Riepilogo Tecnico: Quando il Linguaggio Conta? Le Istruzioni Multilingue Rivelano la Sensibilità Linguistica Passo-Passo nei Modelli Vision-Language-Action

Problematica

I modelli Vision-Language-Action (VLA) hanno dimostrato prestazioni elevate nella manipolazione robotica condizionata dal linguaggio, mappando osservazioni visive e istruzioni in linguaggio naturale verso sequenze di azioni. Tuttavia, la loro robustezza alla variazione linguistica rimane scarsamente compresa. Sebbene la robustezza multilingue sia stata esplorata nei modelli di linguaggio e vision-language, i modelli VLA affrontano sfide uniche: essi generano flussi di azioni continui in un contesto a ciclo chiuso (closed-loop) dove gli errori indotti dal linguaggio possono accumularsi nel tempo, impattando irreversibilmente l'esecuzione a lungo termine.

Gli attuali sistemi VLA spesso assumono istruzioni esclusivamente in inglese. Quando tradotte in lingue non inglesi, questi modelli mostrano un grave degrado delle prestazioni. Gli approcci esistenti per mitigare questo problema, come l'allineamento cross-lingue uniforme (ad esempio, CLAIM), assumono che gli spostamenti linguistici siano distribuiti uniformemente tra i passi di esecuzione. Questo articolo mette in discussione tale assunzione, sostenendo che l'influenza del linguaggio è altamente non uniforme nel tempo e che trattare la robustezza multilingue come un problema di allineamento globale e statico è insufficiente per gli agenti incarnati (embodied agents).

Metodologia

1. Valutazione Multilingue Sistematica

Gli autori hanno tradotto il benchmark LIBERO in dieci lingue (inglese, cinese, giapponese, coreano, francese, spagnolo, arabo, tailandese, portoghese e vietnamita) per condurre la prima valutazione multilingue sistematica dei modelli VLA. Hanno valutato due architetture distinte: OpenVLA-OFT e $\pi0.5$.

2. Analisi della Sensibilità Linguistica Passo-Passo

Per comprendere dove e perché avvengono i fallimenti, gli autori hanno introdotto un framework di analisi passo-passo:

• Misurazione della Deviazione: Hanno misurato la distanza del coseno tra le rappresentazioni latenti (hidden representations) generate da istruzioni non inglesi rispetto a quelle in inglese ad ogni passo di esecuzione.
• Sensibilità Basata sul Gradiente: Per identificare i passi critici per il linguaggio senza richiedere riferimenti in inglese durante l'inferenza, hanno calcolato il rapporto di gradiente testo-immagine. Calcolando i gradienti dell'azione predetta rispetto ai token linguistici ($g_{lang}$) e ai token visivi ($g_{vis}$), hanno derivato un punteggio di sensibilità $r_t = g_{lang} / (g_{vis} + \epsilon)$.
• Risultato: I passi con alti rapporti di gradiente (alta dipendenza dal linguaggio) correlando fortemente con i passi che mostravano grandi deviazioni dalle rappresentazioni inglesi. Ciò ha confermato che l'influenza del linguaggio è localizzata temporalmente, con specifici "hotspot" che guidano il fallimento del compito.

3. Intervento Passo-Passo al Momento dell'Inferenza

Sulla base dell'analisi della sensibilità, gli autori hanno proposto una strategia di allineamento passo-passo che opera al momento dell'inferenza senza riaddestramento:

• Fase Offline: Costruire un set di riferimento di rappresentazioni latenti da traiettorie di addestramento in inglese, indicizzate dai loro punteggi di sensibilità linguistica pre-calcolati.
• Fase Online:
  1. Recupero (Retrieval): Per un dato passo non inglese, recuperare i $K$ vicini più prossimi delle rappresentazioni di riferimento inglesi basandosi sulla similarità del coseno.
  2. Gating: Determinare se l'attuale passo è critico per il linguaggio controllando se la proporzione di vicini recuperati appartenenti ai primi passi sensibili supera una soglia $\tau$.
  3. Allineamento: Se il passo è critico, calcolare una media pesata sulla similarità delle referenze inglesi recuperate e aggiornare l'attuale rappresentazione latente: $h_{aligned} = h_t + \alpha I_t (\bar{h}_t - h_t)$.
  4. Esecuzione: Passare la rappresentazione allineata agli strati successivi per generare l'azione.

4. Addestramento Efficiente nei Dati

Gli autori hanno anche esplorato l'uso della sensibilità passo-passo per guidare il fine-tuning. Invece di aggiornare tutti i passi, hanno limitato gli aggiornamenti dei parametri ai passi identificati come critici per il linguaggio, confrontandolo con il fine-tuning completo e la selezione casuale dei passi.

Risultati Chiave

Degrado delle Prestazioni Multilingue

Senza intervento, i modelli VLA soffrono significativi cali di prestazioni sotto istruzioni non inglesi. Il tasso di successo è sceso del 30–50% rispetto all'inglese in vari compiti (Spaziale, Oggetto, Obiettivo, Lungo). Ad esempio, nel compito "Obiettivo" (Goal), il tasso di successo di OpenVLA-OFT è sceso dal 97,9% (Inglese) fino al solo 6,4% (Arabo).

Efficacia dell'Intervento Passo-Passo

• Al Momento dell'Inferenza: L'allineamento passo-passo proposto ha superato significativamente i baseline. Per OpenVLA-OFT, i tassi di successo medi sono migliorati dal ~51,7% (Baseline) al 68,8% (Spostamento passo-passo) attraverso le lingue non inglesi. Per $\pi0.5$, i tassi sono migliorati da ~56,7% a 80,3%.
• Confronto: L'allineamento uniforme (Spostamento medio) ha prodotto risultati instabili e talvolta ha degradato le prestazioni. L'English Chain-of-Thought (EN-CoT) ha fornito guadagni limitati e inconsistenti, evidenziando la difficoltà di applicare prompt basati sul ragionamento a policy che generano azioni.
• Visualizzazione: Le distribuzioni delle rappresentazioni latenti hanno mostrato che l'allineamento passo-passo sposta efficacemente le rappresentazioni non inglesi verso il riferimento inglese, ma solo nei passi critici.

Efficienza dell'Addestramento

Quando applicato al fine-tuning, limitare gli aggiornamenti ai passi critici per il linguaggio (50% dei passi) ha ottenuto prestazioni paragonabili al fine-tuning completo (85,5% vs 86,8% di successo medio su OpenVLA-OFT) richiedendo meno aggiornamenti. La selezione casuale dei passi è stata significativamente peggiore (44,9%), confermando che i passi identificati catturano dipendenze significative tra linguaggio e azione.

Analisi dei Fallimenti

L'analisi di 100 casi di fallimento ha rivelato che il degrado multilingue è guidato principalmente da errori nell'ancoraggio (grounding) istruzione-visivo.

• Il 53% dei fallimenti si è verificato nella primitiva Navigate (identificazione della posizione target/recipiente).
• Il 18% si è verificato in Grasp.
• I fallimenti sono stati meno frequenti in primitive di fase successiva come Place, Open/Close o Push.
  Ciò indica che i passi critici per il linguaggio sono strettamente legati alla selezione semantica del target piuttosto che al controllo motorio di basso livello.

Significato e Rivendicazioni

L'articolo sostiene che la robustezza linguistica nei modelli VLA è fondamentalmente un problema di controllo passo-passo piuttosto che un problema di allineamento globale delle rappresentazioni.

1. Struttura Temporale: Gli autori dimostrano che l'influenza del linguaggio è altamente non uniforme; certi passi dominano il fallimento complessivo del compito mentre altri sono ampiamente indipendenti dal linguaggio.
2. Intervento Mirato: L'allineamento uniforme è insufficiente e potenzialmente dannoso. Un intervento selettivo nei passi sensibili al linguaggio è necessario per migliorare la robustezza senza introdurre rumore nei passi non sensibili al linguaggio.
3. Efficienza: L'analisi della sensibilità passo-passo consente sia la correzione efficace al momento dell'inferenza che un addestramento efficiente nei dati, permettendo ai modelli di recuperare i guadagni di prestazione con meno aggiornamenti.
4. Implicazione Più Ampia: Il lavoro evidenzia la necessità di analisi e interventi strutturati temporalmente nei futuri sistemi di agenti incarnati, andando oltre le visioni statiche e olistiche della robustezza linguistica.

Gli autori notano i limiti, riconoscendo che gli esperimenti sono stati condotti in simulazione e che il trasferimento di queste scoperte a sistemi robotici reali con ulteriore rumore e incertezza rimane una questione aperta. Suggeriscono inoltre che, con l'evoluzione delle architetture VLA, la natura della sensibilità passo-passo potrebbe cambiare, richiedendo l'adattamento futuro di queste strategie.