Sintesi Tecnica: Competenze Composizionali Emergenti in Mixture-of-Experts per VLA

Problematica

I modelli visione-linguaggio-azione (VLA) hanno dimostrato un potenziale significativo nella generalizzazione attraverso diverse attività di manipolazione robotica. Tuttavia, vengono tipicamente addestrati e distribuiti come policy monolitiche. Questa architettura presenta dei limiti: è difficile identificare abilità riutilizzabili, comporre comportamenti in modo gerarchico o adattare parti specifiche di una policy senza riaddestrare l'intero modello. Al contrario, molte attività robotiche si decompongono naturalmente in modalità comportamentali riutilizzabili (ad esempio, raggiungere, afferrare, posizionare). La questione centrale di questo lavoro è se una struttura di policy modulare, che apprenda esplicitamente tali abilità, possa essere derivata direttamente dai dati senza una decomposizione del compito pre-specificata, una gerarchia o librerie di abilità definite manualmente.

Metodologia

Gli autori propongono l'addestramento di una policy d'azione Mixture-of-Experts (MoE) sopra esistenti backbone VLA pre-addestrati, specificamente $\pi_0$ e SmolVLA. Entrambi i backbone utilizzano il flow matching per la generazione dell'azione. L'approccio è definito da due principali scelte di progettazione:

1. LoRA Mixture-of-Experts: L'architettura MoE sostituisce solo il sottostrato FFN (Feed-Forward Network) di ogni strato d'azione, mentre l'auto-attenzione rimane condivisa tra tutti gli esperti. Ogni esperto è realizzato come un delta a basso rango (LoRA) ($r=16$) applicato al FFN base. La policy è formulata come:
   $$\text{FFN}_\ell(x) = \text{FFN}^{\text{base}}_\ell(x) + \sum_{e \in R} w_e \left( \text{FFN}^{(e)}_\ell(x) - \text{FFN}^{\text{base}}_\ell(x) \right)$$
   Qui, $R$ è l'insieme degli esperti instradati con pesi rinormalizzati $w_e$. Le matrici LoRA $B$ sono inizializzate a zero, garantendo che la policy riproduca esattamente il backbone pre-addestrato al passo zero, permettendo alla specializzazione di emergere attorno a un forte prior piuttosto che partendo da zero.

2. Routing dell'intero passaggio in avanti (Whole Forward Pass Routing): A differenza dei classici transformer MoE che effettuano il routing per ogni token per ogni strato, questo approccio esegue il routing una sola volta per ogni passaggio in avanti della policy. Un piccolo router MLP $g_\phi$ riceve un vettore di contesto che codifica stati visivi, linguistici e propriocettivi ed emette i logit su $E$ esperti. Una singola selezione (top-$k$) è applicata uniformemente attraverso tutti gli strati dell'esperto d'azione. Ciò assicura che ogni esperto funzioni come un comportamento end-to-end coerente o "abilità", piuttosto che come una collezione di decisioni indipendenti per strato.

Obiettivo di Addestramento: Il modello è addestrato utilizzando la perdita di behavior cloning tramite flow-matching del backbone, combinata con un termine ausiliario di bilanciamento del carico ($\lambda_{LB} = 0.01$) per prevenire il collasso del routing su un singolo esperto.

Risultati Chiave e Analisi

Gli autori valutano l'approccio sul benchmark LIBERO-10, affrontando quattro domande fondamentali riguardanti la natura delle abilità apprese:

• Emergenza di Abilità Qualitativamente Distinte: Il router impara autonomamente a selezionare esperti che corrispondono a distinti comportamenti di basso livello. L'analisi qualitativa rivela esperti specializzati in fasi specifiche della manipolazione, come "trasportare un oggetto afferrato", "rilasciare e ritrarre" o "avvicinarsi e afferrare maniglie sottili". Queste abilità sono riutilizzate attraverso compiti strutturalmente diversi (ad esempio, posizionare una tazza rispetto a una moka), suggerendo che gli esperti codifichino abilità a livello di fase piuttosto che policy specifiche per compito.
• Esperti Riutilizzabili vs. Specifici per il Compito: L'analisi delle frequenze di selezione rivela un doppio ruolo per gli esperti. Alcuni esperti (ad esempio, Esperto A e B) sono riutilizzati frequentemente (tasso di selezione 35–45%) in più compiti, agendo come primitive generali. Altri sono altamente specializzati, attivandosi quasi esclusivamente per compiti specifici (ad esempio, l'Esperto C per il Compito T5), gestendo efficacemente casi limite idiosincratici e mantenendo gli esperti riutilizzabili "nitidi".
• Composizione di Primitive: Il router agisce come un sequenziatore implicito di alto livello, cucendo queste primitive in traiettorie a lungo termine. Ad esempio, un compito potrebbe prevedere un Esperto C (afferrare) seguito da un Esperto A (posizionare). Notevolmente, anche nei casi di fallimento, la policy mostra un comportamento interpretabile, invocando ripetutamente primitive note (ad esempio, tentare di afferrare e rilasciare più volte) invece di degenerare in rumore arbitrario.
• Validazione del Routing Manuale: Per verificare che le abilità siano intrinseche agli esperti e non artefatti del router, gli autori hanno eseguito esperimenti di routing manuale. Sostituire la scelta del router con un esperto specifico (ad esempio, forzare un esperto di "presa" in un contesto in cui non era originariamente selezionato) ha prodotto il comportamento qualitativo atteso. Ciò conferma che gli esperti possiedono capacità riutilizzabili e generalizzabili indipendentemente dalla selezione predefinita del router.
• Prestazioni: La policy MoE raggiunge prestazioni sui compiti comparabili a una baseline densa e monolitica sottoposta a fine-tuning dallo stesso checkpoint. Ciò dimostra che la specializzazione delle abilità può essere ottenuta senza sacrificare la competenza nel compito.

Significato e Rivendicazioni

Il documento sostiene che l'apprendimento gerarchico basato sulle abilità per i robot non richiede necessariamente macchinari aggiuntivi come pianificatori di alto livello, framework di opzioni o librerie di abilità pre-addestrate. Invece, una semplice architettura MoE applicata allo standard imitation learning può produrre:

1. Componibilità Emergente: Il modello impara a scomporre i compiti in un piccolo set di primitive modulari e riutilizzabili.
2. Interpretabilità: Fallimenti e successi possono essere compresi come sequenze di primitive note, rendendo la policy più trasparente.
3. Modularità Guidata dai Dati: La struttura compositiva emerge esclusivamente dai dati di dimostrazione, guidata dall'interazione tra un router e esperti specializzati.

Gli autori riconoscono alcune limitazioni, notando che alcune abilità apprese rimangono specifiche per il compito o non interpretabili, e che la mappatura tra esperti e primitive non è sempre perfettamente precisa. Tuttavia, il lavoro rappresenta un passo verso policy robotiche modulari e interpretabili che emergono dai dati stessi.