💻 computer science

Dense to MoE Adaptation for Compact Vision Language Action Policies

Il documento introduce AdaDE, un metodo che adatta i blocchi feed-forward densi nelle policy Vision Language Action (VLA) in strati Mixture of Experts (MoE) con disattivazione dinamica degli esperti, riducendo con successo i parametri attivi del LLM del 40% pur mantenendo elevati tassi di successo nei compiti su piattaforme robotiche con risorse limitate.

Autori originali: Muchun Niu, Shuang Chen, Yuzhou Wu, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Linfeng Zhang

Pubblicato 2026-09-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Muchun Niu, Shuang Chen, Yuzhou Wu, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Linfeng Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I robot stanno imparando a vedere, comprendere e muoversi nel nostro mondo, ma sono attualmente gravati da menti troppo pesanti da trasportare. I moderni controller robotici, noti come policy visione-linguaggio-azione, combinano la vista di una telecamera, le istruzioni verbali di un essere umano e un piano per il movimento fisico in un unico, massiccio cervello digitale. Sebbene questi sistemi siano diventati incredibilmente capaci, le loro dimensioni sono cresciute così tanto da rendere difficile l'esecuzione sui computer limitati che si trovano all'interno dei robot reali. La parte linguistica di questi cervelli, che aiuta la macchina a comprendere comandi come "prendi la tazza rossa", spesso occupa la maggior parte dello spazio, eppure test preliminari suggeriscono che questa parte contenga una sorprendente quantità di ripetizione. Se gli ingegneri riuscissero a eliminare questo grasso senza tagliare il muscolo, i robot potrebbero diventare più veloci, economici e accessibili.

Un team di ricercatori ha sviluppato un nuovo metodo chiamato AdaDE per risolvere questo problema, rimodellando il modo in cui questi cervelli robotici vengono costruiti. Invece di cercare di eliminare semplicemente parti del codice, il che spesso compromette la capacità del robot di svolgere i compiti, essi prima riorganizzano i blocchi densi e solidi del processore linguistico in una struttura flessibile. Immaginate una biblioteca in cui ogni libro è scritto su un'unica, enorme pagina; questo nuovo approccio taglia quella pagina in sezioni più piccole e gestibili che possono essere aperte o chiuse a piacimento. Questa conversione consente al sistema di partire con l'intelligenza originale completa e intatta, garantendo che il robot si comporti esattamente come faceva prima dell'inizio delle modifiche.

Una volta in atto questa struttura flessibile, il sistema inizia un attento processo di apprendimento su quali sezioni siano veramente necessarie. Mentre il robot pratica i suoi compiti, tiene un conteggio costante di quanto spesso ogni sezione viene consultata dal cervello. Le sezioni raramente utilizzate vengono gradualmente disattivate, mentre le parti più critiche rimangono attive. Fondamentalmente, i ricercatori hanno scoperto che non tutte le parti del cervello sono ugualmente sostituibili. Alcuni strati sono come organi essenziali che non possono essere toccati, mentre altri sono più simili a ruote di scorta che possono essere rimosse senza problemi. Proteggendo le sezioni più importanti e disattivando solo quelle che vengono costantemente ignorate, il sistema impara a funzionare con molti meno componenti attivi.

I risultati di questo approccio sono significativi. Quando i ricercatori hanno testato il loro metodo su una serie di complessi compiti di manipolazione, hanno scoperto di poter disattivare circa il quaranta per cento dei parametri di elaborazione del linguaggio senza causare un calo significativo delle prestazioni. In un set standard di sfide per robot domestici, il sistema modificato ha avuto successo quasi il novantasei per cento delle volte, una cifra quasi identica al modello originale, molto più grande. Anche quando hanno spinto la disattivazione al cinquanta per cento, il robot ha mantenuto un tasso di successo di circa il novantacinque per cento. Ciò suggerisce che una vasta quantità della potenza computazionale attualmente utilizzata da questi robot è ridondante, e che può essere creata una versione più snella ed efficiente senza sacrificare la capacità di afferrare, sollevare o posizionare oggetti.

Oltre ai numeri, lo studio evidenzia un'intuizione chiave su come funzionano queste menti robotiche: esse non trattano tutte le informazioni allo stesso modo. I ricercatori hanno scoperto che le parti del cervello responsabili della comprensione delle istruzioni linguistiche sono molto più tolleranti alla potatura rispetto alle parti responsabili della generazione dei movimenti fisici. Se gli ingegneri tagliassero le sezioni che generano il movimento, il robot perderebbe rapidamente la capacità di controllare le proprie braccia. Tuttavia, il lato linguistico può essere significamente compresso perché diversi strati del sistema si affidano a quantità differenti di informazioni. Adattando il processo di potatura per rispettare queste differenze, il team ha creato un sistema che riduce l'impronta di memoria del robot e l'energia necessaria per farlo funzionare, mantenendo al contempo le mani del robot stabili e la sua comprensione acuta.

Questo lavoro offre una via pratica per il dispiegamento di robot avanzati in contesti del mondo reale dove la potenza e lo spazio sono limitati. Dimostrando che questi grandi modelli possono essere resi più piccoli senza romperli, i ricercatori hanno aperto la porta a una nuova generazione di robot che possono operare indipendentamente su hardware standard. Il metodo non richiede una riprogettazione completa dell'architettura del robot, né richiede una fase di addestramento separata per recuperare le abilità perse dopo i tagli. Inveve, integra il processo di riduzione direttamente nella fase di apprendimento, permettendo al robot di evolversi in una versione più efficiente di se stesso mentre impara a svolgere il proprio lavoro. Le scoperte suggeriscono che il futuro dell'apprendimento robotico potrebbe non dipendere dalla costruzione di cervelli più grandi, ma dall'insegnare a quelli esistenti come utilizzare le proprie risorse in modo più intelligente.

Riepilogo Tecnico: AdaDE per l'adattamento da Dense a MoE in Policy VLA compatte

Problema

Le policy Vision-Language-Action (VLA) sono emerse come un paradigma scalabile per l'apprendimento robotico, unificando percezione, condizionamento del linguaggio e predizione dell'azione. Tuttavia, l'aumento del numero di parametri delle moderne VLA crea sfide significative per il deployment su piattaforme robotiche con risorse limitate in termini di calcolo, memoria e potenza.

Un'osservazione critica derivante da esperimenti preliminari è che il backbone linguistico (LLM) delle policy VLA costituisce spesso una frazione sostanziale dei parametri totali ed esibisce un'alta ridondanza, mentre i Transformer della Visione (ViT) e i moduli di generazione dell'azione sono significativamente più sensibili alla compressione. I metodi di pruning strutturato esistenti richiedono tipicamente la rimozione fisica di strati o canali, il che altera la funzione della rete pre-addestrata e necessita di ulteriore tuning o compensazione per recuperare le prestazioni. Inoltre, l'applicazione diretta di standard metodi di sparsificazione ai backbone densi delle VLA è difficile a causa delle discrepanze architettoniche con i meccanismi Mixture-of-Experts (MoE) e del rischio di interrompere il comportamento della policy pre-addestrata, portando a un controllo instabile.

L'obiettivo centrale è ridurre il numero di parametri lato LLM nella policy distribuita, preservando al contempo le prestazioni nei task downstream, senza richiedere una fase di recupero separata post-conversione.

Metodologia: AdaDE

Gli autori propongono AdaDE (Adaptive Dynamic Expert Deactivation), un framework che adatta selezionati blocchi feed-forward densi in strati MoE e disattiva dinamicamente gli esperti durante il fine-tuning. La pipeline consiste in due fasi principali:

1. Conversione Function-Preserving Dense2MoE

Invece di duplicare interi moduli FFN in molteplici esperti, il metodo riparametrizza i blocchi FFN densi partizionando la dimensione intermedia nascosta in segmenti di canale contigui. Ogni segmento diventa un "esperto".

Inizializzazione: Il router viene inizializzato in modo che tutti gli esperti ricevano probabilità di routing identiche.
Equivalenza: Attraverso una specifica scalatura e rinormalizzazione, il blocco MoE convertito riproduce esattamente l'output del FFN denso originale all'inizializzazione ( $Output_{moe} \equiv Output_{dense}$ ). Ciò assicura che il modello entri nella parametrizzazione MoE senza uno spostamento immediato del comportamento, permettendo l'inizio della disattivazione adattiva senza una fase di recupero.

2. Disattivazione Adattiva degli Esperti

Durante il fine-tuning della policy, AdaDE transita progressivamente il modello da uno stato completamente attivo a uno stato sparso utilizzando i seguenti meccanismi:

Stima dell'Importanza Basata su EMA: Il framework mantiene una Media Mobile Esponenziale (EMA) dei punteggi di utilizzo degli esperti per ogni strato. Questo sopprime il rumore di routing a breve termine, garantendo che le decisioni di disattivazione siano basate sull'uso persistente piuttosto che su fluttuazioni transitorie.
Aggiornamento Dinamico delle Maschere: A differenza degli schemi di sparsità fissi, le maschere binarie per strato vengono aggiornate periodicamente in base ai punteggi EMA. Gli esperti con punteggi inferiori a una soglia $\tau_{deact}$ diventano candidati alla disattivazione.
Vincoli di Stabilizzazione:
- Warmup: Una fase di warmup ( $T_{warm}$ ) stabilizza il routing prima che avvenga qualsiasi disattivazione.
- Protezione Wanda: Gli esperti strutturalmente importanti (identificati tramite il criterio Wanda) sono bloccati ed esclusi dai candidati alla disattivazione per prevenire un collasso precoce.
- Vincoli Locali: Viene imposto un numero minimo di esperti attivi ( $M_{min}$ ) per strato, e un numero massimo di esperti ( $K_{update}$ ) può essere rimosso per ogni step di aggiornamento per garantire transizioni monotone e stabili.
Regolarizzazione del Routing Ausiliaria: Una perdita ausiliaria ( $L_{aux}$ ) penalizza gli strati in cui la probabilità grezza più debole del router collassa troppo presto. Ciò incoraggia il router a formare una competizione significativa prima che inizi la disattivazione, distinta dagli standard obiettivi di bilanciamento del carico.

Programma di Training

Il training procede in tre stadi:

Warmup: Tutti gli esperti sono attivi; ottimizzazione delle perdite del task e ausiliarie.
Stadio AdaDE: Aggiornamento dinamico delle statistiche EMA e delle maschere degli esperti; disattivazione degli esperti persistentemente deboli.
Stadio di Freeze: Le maschere sono fissate, permettendo alla policy di adattarsi alla struttura sparsa finale.

In fase di inferenza, i segmenti di esperti inattivi vengono fisicamente rimossi dal checkpoint, mantenendo solo le righe/colonne attive delle matrici di peso, riducendo così il numero di parametri distribuiti e il computo.

Contributi Chiave

Conversione Dense2MoE Orientata alle VLA: Uno schema di riparametrizzazione per i blocchi FFN lato LLM (inclusi i blocoli di proiezione gate, up e down) che preserva le proiezioni accoppiate creando uno spazio esperto stabile per la successiva compressione.
Framework AdaDE: Un meccanismo di disattivazione adattiva che utilizza le statistiche del router per strato per determinare le maschere di ritenzione degli esperti, riducendo i parametri attivi effettivi senza una fase di recupero separata.
Validazione Empirica: Dimostrazione che una sostanziale disattivazione degli esperti (fino al 40-50% dei parametri LLM) mantiene forti prestazioni di manipolazione attraverso diversi task robotici in simulazione e nel mondo reale.

Risultati Sperimentali

Gli autori hanno valutato AdaDE sui benchmark LIBERO e RobotWin2.0, nonché su task robotici fisici.

LIBERO: Con il 40% dei parametri LLM disattivati, AdaDE ha mantenuto il 95,7% di successo medio sui task LIBERO. Con una disattivazione del 50%, il successo è rimasto intorno al 95%, con riduzioni significative di FLOPs e dimensione del modello attivo.
RobotWin2.0: Su tutti i 50 task DemoClean, l'impostazione con il 40% di disattivazione ha raggiunto un tasso di successo medio del 42,0% (rispetto al 46,7% della baseline densa), riducendo i TFLOPs da 4,38 a 3,18.
Robot Reale: Sui task robotici fisici, AdaDE ha raggiunto il 61,4% di successo medio, dimostrando che la struttura sparsa appresa si trasferisce oltre la simulazione.
Confronto: A differenza dei metodi di pruning (es. LLM-Pruner, FLAP) che soffrono di grandi cali di performance richiedendo un separato recupero SFT, AdaDE preserva le prestazioni direttamente. Riduce inoltre il picco di memoria GPU rispetto alle baseline dense.

Approfondimenti dall'Ablazione

Dinamico vs Fisso: La disattivazione adattiva supera significativamente gli schemi di rimozione degli esperti fissi (95% vs 88% di successo con il 50% di disattivazione).
Protezione: La rimozione della protezione basata su Wanda porta alla degradazione delle prestazioni, confermando la necessità di preservare gli esperti strutturalmente importanti.
Sensibilità del Modulo: I moduli carichi di azioni sono più sensibili alla disattivazione rispetto ai moduli carichi di linguaggio, supportando la necessità di strategie adattive e consapevoli dei moduli piuttosto che rapporti di sparsità globali.

Significato e Limitazioni

L'articolo sostiene che l'adattamento dense-to-MoE con disattivazione dinamica degli esperti è una direzione pratica per ridurre la dimensione del modello attivo VLA senza gravi perdite di performance. I risultati suggeriscono che una compressione efficace non dipende solo dalla sparsità totale, ma da come la disattivazione è distribuita tra gli strati e i moduli funzionali.

Limitazioni:

L'implementazione attuale si concentra principalmente sui blocchi FFN lato LLM, poiché esperimenti preliminari hanno indicato che i componenti ViT e di flusso sono più sensibili a una disattivazione aggressiva.
Il metodo introduce iperparametri legati allo schedule (durata del warmup, intervallo di aggiornamento) che possono variare tra le architetture.
Latenza: Sebbene il metodo riduca l'impronta dei parametri e la memoria di picco, non riduce attualmente la latenza di inferenza end-to-end. Nelle misurazioni con batch-size-uno, il modello sparso è stato leggermente più lento (236ms vs 212ms) a causa dell'overhead di routing e della mancanza di ottimizzazione a livello di kernel per l'implementazione MoE.