Riepilogo Tecnico: Finetuning VLA Generalizzabile tramite l'Ancoraggio delle Rappresentazioni e l'Allineamento Linguaggio-Azione

1. Definizione del Problema

I modelli Vision-Language-Action (VLA) sono emersi come un approccio standard per la manipolazione robotica, tipicamente creati effettuando il finetuning di un modello Vision-Language (VLM) preaddestrato su dimostrazioni robotiche tramite Behavior Cloning (BC). Sebbene questo approccio trasferisca i priori semantici del VLM (comprensione di layout spaziali, colori, forme, ecc.) alle policy di controllo, il tipico finetuning BC soffre di due modalità critiche di fallimento che degradano la generalizzazione:

1. Dimenticanza Catastrofica delle Rappresentazioni: Il BC standard ottimizza solo la perdita di predizione dell'azione. Nel corso del finetuning, gli aggiornamenti sovrascrivono progressivamente i concetti visuo-linguistici e spaziali preaddestrati acquisiti durante il preaddestramento su scala internet. Di conseguenza, una policy addestrata a raccogliere una "tazza verde" può fallire nel generalizzare a una "tazza rosa" nella stessa scena, o fallire nell'adattarsi quando le posizioni degli oggetti vengono scambiate, perché il backbone ha perso le sue capacità di ragionamento spaziale e cromatico.
2. Disallineamento Linguaggio-Azione: I rimedi comuni, come il co-training su dati immagine-testo generici del web (es. VQA, captioning), applicano perdite linguistiche e di azione su osservazioni separate. Ciò lascia il VLA con una supervisione disgiunta: la testa dell'azione impara dalle dimostrazioni esperte mentre la testa del linguaggio impara da compiti generici. Poiché non sono mai supervisionati sulla stessa osservazione robotica, le loro predizioni possono contraddirsi (ad esempio, la testa dell'azione si muove a "destra" mentre la testa del linguaggio predice "sinistra"), un disallineamento che i benchmark standard spesso non riescono a esporre.

2. Metodologia: Anchor-Align

Gli autori propongono Anchor-Align, una ricetta di finetuning che aumenta il BC standard con due obiettivi specifici per preservare le rappresentazioni preaddestrate e allineare il linguaggio con l'azione. Il metodo non richiede dati aggiuntivi, annotazioni o modifiche architettoniche oltre alla configurazione VLA standard.

2.1 Architettura Base

Il metodo opera su architetture VLA che utilizzano un backbone VLM preaddestrato con una testa d'azione dedicata (supportando sia la regressione che le teste d'azione basate su flow-matching). Il backbone codifica le osservazioni visive e le istruzioni linguistiche, mentre un proiettore di stato codifica la propriocezione del robot. La testa dell'azione predice chunk di azioni continue basandosi su queste rappresentazioni multimodali.

2.2 Ancoraggio Visione-Linguaggio

Per prevenire la dimenticanza catastrofica, Anchor-Align introduce una perdita di distillazione che ancora il backbone VLA addestrabile a una copia congelata del VLM preaddestrato originale (l' "Anchor VLM").

• Meccanismo: L'Anchor VLM congelato elabora lo stesso batch di input (immagini e testo) in parallelo. Ad ogni livello del decoder $u$, gli stati latenti dei token visivi e testuali nel backbone addestrabile ($H^S_u$) sono costretti a corrispondere a quelli dell'anchor congelato ($H^A_u$).
• Funzione di Perdita: La perdita di ancoraggio è la norma di Frobenius al quadrato della differenza tra questi stati latenti, mediata su tutti i livelli del decoder:
  $$L_{anchor} = \frac{1}{|D|} \sum_{u \in D} \| H^S_u[m] - H^A_u[m] \|_F^2$$
  dove $m$ denota l'insieme delle posizioni dei token visivi e testuali. Questo funge da regolarizzatore nello spazio delle rappresentazioni, preservando il substrato semantico senza richiedere vincoli nello spazio dei pesi.

2.3 Allineamento Linguaggio-Azione

Per risolvere il disallineamento tra linguaggio e azione, il metodo introduce un obiettivo di supervisione congiunta dove entrambe le teste sono addestrate sulla stessa osservazione robotica.

• Meccanismo: I target di azione continua dalle dimostrazioni esperte vengono convertiti programmaticamente in etichette di direzione del movimento discrete (es. "su", "giù", "sinistra", "destra", "avanti", "indietro"). Ciò viene ottenuto mediando le componenti di traslazione dei chunk di azione, filtrando i campioni quasi stazionari e discretizzando l'asse dominante.
• Funzione di Perdita: Il modello viene addestrato a predire questa etichetta di direzione discreta utilizzando l'output della testa del linguaggio sulla stessa osservazione usata per la predizione dell'azione. Nello specifico, l'ultimo stato latente del token di istruzione (che riassume il prefisso visivo e l'istruzione) viene proiettato attraverso la testa del linguaggio preaddestrata e congelata per generare i logit sul vocabolario. La perdita di allineamento è la cross-entropy tra questi logit e l'etichetta di direzione reale:
  $$L_{align} = CE(\hat{a}_{lang}, a_{lang})$$
• Obiettivo Totale: La perdita finale di addestramento combina la perdita d'azione BC standard ($L_{action}$) con le perdite di ancoraggio e di allineamento:
  $$L_{total} = L_{action} + \lambda_{anchor} L_{anchor} + \lambda_{align} L_{align}$$

3. Contributi Chiave

1. Identificazione di Doppi Modelli di Fallimento: Il paper identifica che il BC standard causa deriva della rappresentazione (dimenticanza) e che il co-training fallisce nell'allineare linguaggio e azione sulla stessa osservazione, portando a predizioni contraddittorie.
2. Framework Anchor-Align: Una nuova ricetta di finetuning che combina l'Ancoraggio Visione-Linguaggio (per preservare le rappresentazioni preaddestrate tramite distillazione) e l'Allineamento Linguaggio-Azione (per ancorare le predizioni linguistiche ai target di azione sulla stessa osservazione).
3. Soluzione Data-Efficient: Il metodo ottiene miglioramenti significativi senza richiedere nuovi dataset, annotazioni umane o modifiche architettoniche, basandosi esclusivamente sui dati di dimostrazione esistenti e sul VLM congelato.
4. Strumento Diagnostico: Il framework di allineamento fornisce una metrica diretta per diagnosticare il disallineamento linguaggio-azione nei VLA co-addestrati, mostrando che un migliore allineamento correla con un maggiore successo nei task.

4. Risultati Sperimentali

4.1 Benchmark di Simulazione

Il metodo è stato valutato sui benchmark LIBERO-PRO, LIBERO-Plus e CALVIN utilizzando due diverse architetture VLA (VLA-Adapter e StarVLA).

• LIBERO-PRO (Generalizzazione OOD): Anchor-Align ha superato significativamente tutti i baseline, inclusi i modelli co-addestrati. In particolare, sul test "Position Swap" (dove le posizioni degli oggetti sono riorganizzate), i baseline BC standard e co-addestrati hanno ottenuto quasi lo 0% (riproducendo traiettorie memorizzate), mentre Anchor-Align ha raggiunto il 22,6%.
• LIBERO-Plus (Robustezza Percettiva): Anchor-Align ha migliorato le prestazioni attraverso tutti i sette assi di perturbazione (vista della telecamera, illuminazione, sfondo, ecc.), con i guadagni maggiori su texture dello sfondo (+8,9%) e rumore del sensore (+7,4%).
• CALVIN (Long-Horizon): Sul benchmark ABC→D a lungo orizzonte, Anchor-Align ha ottenuto il tasso di successo più alto per completare catene di cinque istruzioni (77,9% contro il 66,5% di OpenVLA-OFT), dimostrando che preservare la semantica migliora la resistenza all'errore cumulativo.

4.2 Esperimenti nel Mondo Reale

Gli esperimenti sono stati condotti su un robot fisico xArm7 in condizioni sfidanti, incluse riorganizzazioni spaziali, scene affollate e perturbazioni semantiche.

• Generalizzazione: Anchor-Align ha migliorato i tassi di successo nel mondo reale dal 28% al 54% (VLA-Adapter) e dal 37% al 60% (StarVLA) attraverso perturbazioni spaziali e semantiche non viste.
• Perturbazione Semantica: In un test critico in cui una policy addestrata su una "tazza verde" riceveva l'istruzione di raccogliere una "tazza rosa", il BC standard falliva il 90% delle volte (puntando per default alla tazza verde), mentre Anchor-Align aveva successo nel 100% dei casi nel raccogliere l'oggetto corretto.
• Analisi degli Errori: L'analisi dei modi di fallimento ha mostrato che Anchor-Align ha quasi eliminato gli "Errori Semantici" (da 7 a 0) e gli approcci all' "Oggetto Errato" (da 10 a 1) rispetto al BC standard.

4.3 Ablation e Analisi

• Necessità di Entrambi i Termini: Gli studi di ablazione hanno confermato che sia l'Ancoraggio che l'Allineamento sono necessari; l'uso di uno solo di essi migliorava le prestazioni rispetto al BC standard, ma la loro combinazione forniva i risultati migliori.
• Allineamento vs Regolarizzazione: Esperimenti di controllo con etichette corrotte (Shuffle e Scatter) hanno mostato che i guadagni non sono dovuti semplicemente a effetti di regolarizzazione, ma derivano da un genuino allineamento linguaggio-azione.
• Correlazione: È stata trovata una forte correlazione di Pearson (+0,51) tra il grado di allineamento linguaggio-azione e il successo del task, mentre i baseline co-addestrati mostravano una correlazione quasi nulla.
• Preservazione della Rappresentazione: I test di ragionamento visivo (GQA) hanno mostato che, mentre il BC standard perdeva il 94% della sua accuratezza di ragionamento durante il finetuning, Anchor-Align ne manteneva il 70%.

5. Significato e Rivendicazioni

Il paper sostiene che preservare le rappresentazioni preaddestrate e un efficace apprendimento dell'azione non siano fondamentalmente in contrasto. Inquadrando il finetuning VLA come un processo di preservazione e allineamento dei priori del VLM preaddestrato piuttosto che come un loro scambio con il controllo, Anchor-Align offre una ricetta semplice ed efficiente nei dati per adattare i modelli di fondazione a compiti incarnati (embodied).

Gli autori sottolineano che il loro metodo:

• Risolve il problema della "dimenticanza catastrofica" inerente al BC standard.
• Risolve il problema del "disallineamento linguaggio-azione" inerente al co-training.
• Dimostra che questi miglioramenti valgono per diverse architetture (regressione e flow-matching) e scale (da 0,5B a 3B di parametri).
• Offre una strada verso modelli del mondo che mantengono ampi priori spazio-temporali pur rimanendo controllabili e semanticamente radicati.

Il lavoro suggerisce che lo sviluppo futuro dei VLA dovrebbe concentrarsi sull'ancoraggio delle rappresentazioni e sull'allineamento delle modalità sulla stessa osservazione, piuttosto che semplicemente sulla scalabilità dei dati o della dimensione del modello.