💬 NLP

Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

Questo articolo presenta il primo studio sistematico che rivela un significativo divario di prestazioni nei modelli Vision-Language-Action nell'elaborazione di istruzioni non inglesi nonostante le backbone linguistiche multilingue, e propone una strategia di fine-tuning denominata Multilingual Principal Component Alignment per mitigare efficacemente questo problema.

Autori originali: Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

Pubblicato 2026-06-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Il Robot "Solo Inglese"

Immaginate di insegnare a un robot come cucinare. Avete un cervello robotico molto intelligente (un modello Vision-Language-Action, o VLA) che può vedere la cucina, comprendere le vostre parole e muovere le braccia per prendere un cucchiaio o accendere un fornello.

I ricercatori hanno scoperto un problema importante: la maggior parte di questi robot è come uno studente che ha studiato solo in inglese. Anche se il "cervello" del robot (il modello linguistico sottostante) sa parlare francese, cinese o arabo, il robot stesso non sa come agire su quelle lingue.

Quando date al robot un comando in inglese ("Pick up the cup"), funziona perfettamente. Ma se dite esattamente la stessa cosa in francese ("Prends la tasse"), il robot spesso si blocza, si confonde o afferra l'oggetto sbagliato. È come se il robot avesse improvvisamente dimenticato come muovere le mani solo perché avete cambiato lingua.

L'Esperimento: Testare l'"Orecchio" del Robot

I ricercatori volevano vedere se questo fosse vero. Hanno preso i dati di addestramento esistenti dei robot (che erano quasi interamente in inglese) e hanno creato un "test multilingue".

Traduzione: Hanno preso le istruzioni in inglese e le hanno tradotte in quattro altre lingue: cinese, francese, russo e arabo.
Il Mix-Up: Hanno anche creato istruzioni con "code-switching", dove una frase è composta principalmente da una lingua ma contiene alcune parole chiave (come "cup" o "pick") in inglese.
Il Test: Hanno chiesto ai robot di eseguire compiti in una cucina simulata utilizzando queste diverse lingue.

Cosa Hanno Scoperto: Il "Gap Multilingue"

I risultati sono stati chiari: c'è un enorme divario.

Il Cervello "Solo Inglese": I robot addestrati su dati in inglese si sono comportati malissimo quando interrogati in altre lingue. Il loro tasso di successo è sceso significativamente, a volte quasi a zero.
Il Cervello "Multilingue": Alcuni robot sono stati costruiti sopra modelli linguistici che già conoscevano molte lingue (come Qwen-VL). Questi robot sono andati meglio, specialmente con il cinese, ma hanno comunque incontrato difficoltà rispetto all'inglese.
La Trappola Visiva: Il problema peggiorava quando la scena visiva era confondente. Se due compiti diversi apparivano esattamente uguali (come mettere una ciotola su un piatto rispetto all'accendere un fornello), il robot faceva affidamento pesantemente sul linguaggio. Se la lingua era straniera, il robot si perdeva completamente.
Il Potere delle Parole Chiave: Interessante è il fatto che, se il robot sentiva una frase in francese ma la parola "cup" era ancora in inglese, si comportava molto meglio. È come se il robot avesse un "trigger di parole chiave" che lo aiuta a capire cosa fare, anche se non comprende il resto della frase.

Perché Succede Questo? (Il Problema della "Traduzione")

I ricercatori hanno guardato dentro il "cervello" del robot per vedere cosa stesse andando storto. Hanno trovato due problemi principali:

Comprensione Confusa: A volte, il robot semplicemente non capiva l'istruzione straniera. Sentiva "accendi il fornello" in francese, ma pensava che aveste detto "metti la ciotola sul piatto" perché la scena visiva era simile.
Il Disallineamento dell' "Action Head": Questa è una parte tecnica, ma pensatela come a un traduttore alla fine della linea. Il cervello del robot comprende le parole, ma la parte che effettivamente muove le braccia (l' "Action Head") è sintonizzata sull'inglese. Quando la lingua cambia, il "segnale" inviato alle braccia diventa distorto.
- Analogia: Immaginate un direttore d'orchestra (il cervello) che parla francese a un'orchestra, ma i musicisti (le braccia del robot) sanno leggere solo spartiti scritti per anglofoni. La musica viene suonata male.
- Hanno scoperto che alcuni tipi di "direttori" (specifici design chiamati GR00T e π) sono più bravi a gestire questo mix rispetto ad altri.

La Soluzione: "Principal Component Alignment" (MPCA)

I ricercatori non si sono limitati a indicare il problema; hanno proposto una soluzione. Hanno proposto un metodo chiamato Multilingual Principal Component Alignment (MPCA).

L'Analogia: Immaginate che il cervello del robot abbia una "mappa" di come le parole si relazionano alle azioni. In inglese, la mappa è chiara. In francese, la mappa è spostata verso sinistra, quindi il robot cammina nella direzione sbagliata.
La Soluzione: MPCA è come una bussola che riallinea la mappa francese in modo che punti nella stessa direzione della mappa inglese. Non richiede di riaddestrare l'intero robot da zero. Prende semplicemente la conoscenza esistente e "ruota" i dati della lingua straniera in modo che si adattino al sistema di azione esistente del robot.

Conclusione

Il documento conclude che non possiamo dare per scontato che i robot funzioneranno a livello globale solo perché i loro modelli linguistici sono multilingue. Se vogliamo che i robot lavorino in ambienti reali e multilingue, dobbiamo addestrarli e allinearli specificamente affinché comprendano che lingue diverse devono portare alle stesse azioni fisiche.

Hanno dimostrato che con un semplice aggiustamento (MPCA), possiamo migliorare significativamente la capacità di un robot di seguire istruzioni in lingue diverse dall'inglese, rendendoli più pronti per il mondo reale.

Riepilogo Tecnico: Oltre l'Inglese: Svelare il Gap Multilingue nei Modelli Vision-Language-Action

Definizione del Problema

I modelli Vision-Language-Action (VLA) sono emersi come un paradigma promettente per lo sviluppo di policy robotiche generaliste, integrando la percezione visiva, la comprensione del linguaggio naturale e la generazione di azioni. Tuttavia, esiste un limite critico nei sistemi VLA attuali: essi sono prevalentemente addestrati e valutati utilizzando istruzioni in inglese. Sebbene i Large Language Models (LLM) e i Vision-Language Models (VLM) sottostanti possiedano spesso capacità multilingue, rimane incerto se tali capacità si trasferiscano efficacemente nello spazio di generazione delle azioni durante il processo di allineamento.

Il problema centrale affrontato è il potenziale "gap multilingue" — ovvero la degradazione delle prestazioni del robot quando le istruzioni vengono fornite in altre lingue rispetto all'inglese. Questo gap pone una barriera significativa al dispiegamento nel mondo reale, dove i robot devono comprendere input linguistici diversificati. Il documento indaga se i VLA mantengano realmente la comprensione multilingue dopo essere stati allineati con le azioni robotiche e cerca di identificare le cause sottostanti alla degradazione delle prestazioni in contesti non inglesi.

Metodologia

1. Framework di Valutazione Multilingue

Gli autori propongono un framework di valutazione sistematica composto da tre fasi:

Costruzione del Dataset Multilingue: I benchmark esistenti per la manipolazione robotica (LIBERO e SimplerEnv) sono stati estesi traducendo le istruzioni inglesi in quattro lingue target: cinese (zh), francese (fr), russo (ru) e arabo (ar). Sono stati definiti due setting di interazione:
- Istruzioni Multilingue: Traduzioni dirette che preservano la semantica originale.
- Istruzioni di Code-Switching: Espressioni miste in cui verbi e sostantivi chiave sono sostituiti dall'inglese nel testo tradotto, simulando comuni scenari di comunicazione multilingue.
- È stata impiegata una pipeline che utilizza API di traduzione Cloud e LLM (per il Named Entity Recognition e la verifica della coerenza semantica tramite "LLM-as-a-Judge") per generare varianti di istruzioni di alta qualità.
Adapter di Valutazione Multilingue: È stato sviluppato un adapter leggero per scambiare agevolmente gli input linguistici nella pipeline di valutazione senza modificare le architetture dei modelli o la logica dell'ambiente, garantendo un confronto equo tra le lingue.
Protocollo di Valutazione: Il tasso di successo dei task è stato misurato attraverso diverse lingue. Le prestazioni sono state quantificate tramite la Performance Relativa, calcolata come la differenza tra il tasso di successo in un setting multilingue e quello originale in inglese.

2. Setup Sperimentale

Modelli: Diversi modelli VLA rappresentativi sono stati valutati, tra cui $\pi_{0.5}$ , OpenVLA-OFT, ABot-M0, Cosmos Policy e vari modelli basati su Qwen-VL con diversi design di testa d'azione (OFT, FAST, $\pi$ , GR00T).
Benchmark: Gli esperimenti sono stati condotti negli ambienti di simulazione LIBERO e SimplerEnv, coprendo task come il riposizionamento di oggetti, l'uso di strumenti e la manipolazione spaziale.

3. Soluzione Proposta: Allineamento dei Componenti Principali Multilingue (MPCA)

Motivati dalla scoperta che le istruzioni multilingue causano shift nelle rappresentazioni, gli autori propongono MPCA, un approccio di fine-tuning.

Meccanismo: MPCA utilizza l'Analisi delle Componenti Principali (PCA) per identificare il sottospazio della componente principale degli embedding linguistici. Successivamente, allinea le rappresentazioni multilingue proiettate a questo sottospazio.
Obiettivo: Ridurre lo shift di distribuzione tra le rappresentazioni delle istruzioni in inglese e quelle in altre lingue, migliorando così la capacità del modello di generalizzare attraverso le lingue.

Risultati Chiave e Conclusioni

1. Esistenza di un Significativo Gap Multilingue

Gli esperimenti hanno rivelato un sostanziale calo delle prestazioni per i modelli addestrati principalmente in inglese quando valutati su istruzioni non inglesi.

Dipendenza dal Modello Base: I modelli basati su VLM anglocentrici (es. PaliGemma, Prismatic) hanno mostrato una degradazione severa, performando spesso in modo simile a modelli senza istruzioni. Al contrario, i modelli basati su VLM multilingue (es. Qwen-VL) hanno dimostrato una migliore generalizzazione, in particolare per il cinese, sebbene persistano gap per altre lingue.
Amplificazione del Contesto Visivo: Il gap è stato più pronunciato in ambienti con input visivi simili (es. LIBERO-Goal), suggerendo che la comprensione del linguaggio diventa il differenziatore critico quando i segnali visivi sono ambigui.

2. Impatto della Struttura delle Istruzioni e delle Teste d'Azione

Importanza delle Parole Chiave: Le istruzioni di code-switching (contenenti parole chiave in inglese) hanno prodotto cali di performance minori rispetto alle istruzioni completamente tradotte. Ciò indica che i verbi e i sostantivi chiave sono cruciali per la comprensione VLA.
Design della Testa d'Azione: L'architettura della testa d'azione influenza significativamente la robustezza multilingue.
- Teste basate su Diffusione (stile GR00T, stile $\pi$ ) hanno mantenuto migliori prestazioni, probabilmente perché conservano le informazioni semantiche del VLM base e si adattano meglio agli shift di distribuzione.
- Teste basate su Token (stile FAST) hanno mostrato prestazioni peggiori, potenzialmente a causa della perdita di informazioni semantiche durante la tokenizzazione.
- Teste basate su MLP (stile OFT) hanno mostrato prestazioni intermedie, faticando ad adattarsi allo shift di distribuzione causato dagli input multilingue.

3. Causa Radice: Shift di Rappresentazione

L'analisi delle rappresentazioni (visualizzando gli embedding aggregati) ha confermato che il gap multilingue deriva da shift di rappresentazione.

Nei modelli con scarse prestazioni multilingue, gli embedding per le istruzioni non inglesi erano molto distanti dagli embedding inglesi nello spazio latente.
Nei modelli con migliori prestazioni (es. Qwen3-VL- $\pi$ ), gli embedding inglesi e cinesi erano strettamente allineati, il che correla con una migliore generalizzazione.
I modi di fallimento sono stati categorizzati in: (1) Incomprensione dell'Istruzione (generazione di azioni completamente errate a causa della confusione linguistica) e (2) Fallimento di Esecuzione (comprensione dell'intento ma fallimento nella generazione della sequenza di azioni corretta).

4. Efficacia di MPCA

La strategia MPCA proposta ha ridotto efficacemente il gap di performance multilingue. Allineando le rappresentazioni multilingue al sottospazio della componente principale, MPCA ha migliorato i tassi di successo dei task in contesti non inglesi, dimostrando il suo potenziale come soluzione pratica per migliorare la robustezza multilingue.

Significato e Contributi

Il documento dichiara i seguenti contributi:

Primo Studio Sistematico: Presenta la prima investigazione completa sul seguire istruzioni multilingue nei modelli VLA, andando oltre l'assunto "solo inglese" prevalente nella ricerca attuale.
Framework e Benchmark: Introduce un framework di valutazione multilingue e l'estensione dei dataset per LIBERO e SimplerEnv, consentendo confronti controllati tra lingue e setting di interazione.
Approfondimenti Empirici: Rivela un significativo gap multilingue nei sistemi attuali e fornisce un'analisi dettagliata su come le capacità del modello base, i design delle teste d'azione e le strutture delle istruzioni influenzino tale gap.
Soluzione Pratica: Propone MPCA, un metodo di fine-tuning semplice ma efficace che sfrutta l'allineamento delle rappresentazioni per mitigare il gap multilingue, offrendo una via verso agenti incarnati (embodied agents) più robusti e globalmente dispiegabili.

Gli autori concludono che, sebbene i VLA siano promettenti, le loro capacità multilingue sono attualmente poco sviluppate e richiedono interventi specifici sull'architettura e sull'addestramento per eguagliare le prestazioni dei loro corrispettivi inglesi.