On Robustness of Vision-Language-Action Model against Multi-Modal Perturbations

Questo lavoro presenta RobustVLA, un metodo che migliora la robustezza dei modelli Vision-Language-Action contro perturbazioni multi-modali attraverso l'ottimizzazione offline del rumore nelle azioni e la formulazione della robustezza come problema di bandit multi-braccio, ottenendo significativi guadagni nelle prestazioni sia in simulazione che su robot reali.

L'essenziale

Immagina di voler insegnare a un robot domestico (come un maggiordomo futuristico) a svolgere compiti complessi, come "prepara la colazione" o "riordina il tavolo". Per farlo, usiamo un'intelligenza artificiale chiamata VLA (Vision-Language-Action), che è come un cervello robotico che:

1. Vede (Visione): Guarda il mondo con le telecamere.
2. Capisce (Linguaggio): Ascolta le tue istruzioni ("Prendi la tazza").
3. Agisce (Azione): Muove le braccia meccaniche per eseguire il compito.

Il problema? Nella vita reale, le cose non vanno mai perfettamente come nei video di addestramento. Le luci cambiano, le telecamere si sporcano, il robot inciampa o tu gli dai un'istruzione un po' confusa. Se il robot è troppo "rigido", si blocca o rompe tutto.

Ecco cosa hanno scoperto e creato gli autori di questo studio:

1. La Scoperta: Il Robot è più fragile di quanto pensiamo

Gli scienziati hanno fatto un "esame di salute" a diversi robot, sottoponendoli a 17 tipi di disturbi (rumore, luci strane, istruzioni confuse, ecc.). Hanno scoperto tre cose sorprendenti:

• Il punto debole è il movimento (le mani): Immagina di guidare un'auto. Se il parabrezza è sporco (problema visivo), puoi ancora guidare. Ma se il volante si muove da solo di un millimetro quando lo giri (problema di azione), l'auto va fuori strada. Hanno scoperto che per i robot, il movimento è la parte più fragile. Un piccolo errore nel muovere la mano può far fallire tutto il compito.
• I "super-eroi" visivi non aiutano: Esistono già robot addestrati a essere bravi anche con foto sfocate o colori strani (robustezza visiva). Ma gli autori hanno scoperto che essere bravi a vedere non li rende bravi a muoversi o a capire. È come avere un occhio di falco ma le gambe di un bambino: se il terreno è scivoloso, cadi comunque.
• Il campione attuale: Tra i robot testati, uno chiamato $\pi_0$ (pi greco zero) è stato il più resistente, molto meglio degli altri.

2. La Soluzione: RobustVLA (Il Robot "Antifragile")

Per risolvere il problema, hanno creato un nuovo metodo chiamato RobustVLA. Non si tratta di rendere il robot più forte, ma di renderlo più "intelligente" nel gestire gli imprevisti. Usano due strategie principali:

A. Allenamento "Sotto Stress" (Robustezza all'Uscita/Azione)

Immagina di allenare un atleta per una maratona. Se lo alleni solo su un percorso perfetto, perderà il primo sasso che trova.
RobustVLA fa qualcosa di simile: durante l'addestramento, inietta deliberatamente errori nel movimento del robot.

• L'analogia: È come se il robot provasse a camminare mentre qualcuno gli spinge le gambe o gli fa inciampare.
• Il risultato: Il robot impara a correggere se stesso. Se il suo braccio si muove di troppo, il cervello del robot sa che "accade" e si adatta immediatamente, invece di andare in tilt. È come un surfista che impara a stare in piedi anche quando l'onda è irregolare.

B. Allenamento "Cecità Selettiva" (Robustezza all'Ingresso/Input)

A volte il robot vede cose strane: un'ombra lunga, un oggetto nuovo sul tavolo, o tu gli parli con un dialetto strano.
RobustVLA insegna al robot che il significato del compito non cambia anche se l'immagine o la frase cambiano un po'.

• L'analogia: Se ti chiedo "Portami la mela", non importa se la mela è rossa, verde, o se c'è un'ombra sopra. Il robot impara a ignorare i dettagli inutili (il "rumore") e concentrarsi solo sull'obiettivo (la mela).
• Il trucco intelligente: Usano un algoritmo chiamato UCB (come un giocatore di poker esperto) che decide automaticamente quale disturbo è il più pericoloso in quel momento e si allena proprio su quello, invece di perdere tempo su cose facili.

3. I Risultati: Funziona davvero?

Hanno testato il loro robot in due modi:

1. Nel simulatore (il videogioco): Il nuovo robot (RobustVLA) ha vinto contro tutti gli altri, migliorando il successo dei compiti del 12-13% in media, anche con disturbi misti (luce cattiva + istruzioni confuse + movimento impreciso). Inoltre, è 50 volte più veloce di altri metodi che usano intelligenze artificiali esterne pesanti.
2. Nel mondo reale (con un vero braccio robotico): Questo è il test più difficile. Hanno usato un braccio robotico reale (FR5) e gli hanno dato pochissime dimostrazioni (solo 25 prove, invece di migliaia).
   • Il risultato: Mentre gli altri robot fallivano miseramente (successo del 30-40%), il loro RobustVLA ha avuto successo nel 90% dei casi.
   • Perché? Perché ha imparato a gestire l'imprevisto fin dall'inizio, non ha bisogno di vedere "ogni possibile scenario" per funzionare.

In Sintesi

Questo paper ci dice che per avere robot utili nella vita reale, non basta farli vedere meglio o capire meglio. Dobbiamo insegnar loro a muoversi con sicurezza anche quando le cose vanno storte.

RobustVLA è come un allenatore che non si limita a far ripetere al robot il compito perfetto, ma gli fa fare esercizi con ostacoli, luci strane e istruzioni confuse, così che quando entra in una cucina reale e caotica, non si spaventa e sa esattamente cosa fare. È un passo fondamentale verso robot che possiamo davvero fidare di lasciare soli in casa nostra.

Sommario tecnico

1. Il Problema

I modelli Vision-Language-Action (VLA) rappresentano una classe fondamentale di modelli robotici che integrano visione, linguaggio e controllo per abilitare manipolazioni flessibili e generali. Tuttavia, la loro robustezza nel mondo reale è compromessa da un'ampia gamma di incertezze multi-modali.
Mentre la ricerca precedente si è concentrata principalmente sulle perturbazioni visive (es. rumore sulla camera, oggetti distraenti), questo lavoro evidenzia che i modelli VLA sono vulnerabili anche a:

• Perturbazioni delle azioni: Rumore sensomotorio, usura degli attuatori, disturbi imprevisti.
• Perturbazioni delle istruzioni: Variazioni lessicali, sintattiche o prompt avversari.
• Perturbazioni ambientali: Forze esterne, oggetti irrilevanti, variazioni di illuminazione.

Esistono metodi esistenti (come BYOVLA) che migliorano la robustezza visiva, ma falliscono nel generalizzare ad altre modalità e introducono un elevato sovraccarico computazionale dipendendo da grandi modelli linguistici esterni (LLM).

2. Metodologia: RobustVLA

Gli autori propongono RobustVLA, un framework di fine-tuning progettato per migliorare la robustezza sia agli input che agli output del modello VLA, basato sull'architettura $\pi_0$ (che utilizza un flusso rettificato o rectified flow matching).

A. Valutazione Preliminare

Prima di proporre la soluzione, gli autori hanno valutato 17 tipi di perturbazioni su 4 modalità (Azione, Osservazione, Istruzione, Ambiente) su modelli mainstream ($\pi_0$, OpenVLA, $\pi_0$-FAST). Le scoperte chiave sono state:

1. La modalità Azione è la più fragile.
2. I modelli robusti solo visivamente non mostrano miglioramenti in altre modalità.
3. $\pi_0$ (basato su diffusion) è intrinsecamente più robusto di OpenVLA (basato su autoregressive).

B. Robustezza agli Output (Azioni)

Per rendere il modello robusto al rumore nelle azioni generate, gli autori formulano un problema di ottimizzazione robusta offline:

• Derivano il caso peggiore (worst-case) del rumore sull'azione ($\delta$) massimizzando la perdita di flow matching.
• Utilizzano un obiettivo di tipo TRADES che bilancia la perdita originale (su dati puliti) e la perdita contro il rumore avversario:
  $$\min_{\theta} \mathcal{L}_{\pi_0} + \lambda_{out} \max_{\delta} \mathbb{E}[\|v_\theta - u\|^2]$$
• Questo approccio agisce come una combinazione di label smoothing, penalizzazione degli outlier e addestramento avversario, rendendo il modello meno sensibile a deviazioni minori nelle azioni.

C. Robustezza agli Input (Osservazioni e Istruzioni)

Per gestire le perturbazioni negli input, il metodo impone che azioni ottimali rimangano invariate se la semantica del compito non cambia:

• Selezione Adattiva delle Perturbazioni: Poiché esistono molti tipi di rumore, il problema di scegliere quale perturbazione usare per l'addestramento è formulato come un problema a braccia multipla (Multi-Armed Bandit).
• Viene utilizzato l'algoritmo Upper Confidence Bound (UCB) per identificare automaticamente la perturbazione più dannosa (quella che massimizza la perdita di flow matching) in ogni iterazione di addestramento, evitando l'overfitting su un singolo tipo di rumore.
• Si aggiunge una regolarizzazione per mantenere la coerenza delle azioni tra input perturbati e non perturbati.

3. Contributi Chiave

1. Valutazione Olistica: La prima valutazione sistematica della robustezza VLA su 17 perturbazioni attraverso 4 modalità, rivelando che la fragilità delle azioni è il collo di bottiglia principale.
2. Framework Unificato (RobustVLA): Un metodo che migliora la robustezza sia in input che in output senza dipendere da modelli esterni pesanti.
3. Selezione Adattiva (UCB): Un meccanismo innovativo per bilanciare automaticamente l'addestramento contro diverse fonti di rumore, superando i limiti della randomizzazione dei domini (Domain Randomization).
4. Efficienza Computazionale: Un approccio che non richiede LLM esterni durante l'inferenza, a differenza di metodi precedenti come BYOVLA.

4. Risultati Sperimentali

Benchmark Simulato (LIBERO)

• Performance: RobustVLA ha ottenuto guadagni assoluti di 12.6% sulla backbone $\pi_0$ e 10.4% su OpenVLA su tutte le 17 perturbazioni.
• Efficienza: È 50.6 volte più veloce nell'inferenza rispetto a BYOVLA, poiché non richiede passaggi aggiuntivi con LLM esterni per l'inpainting visivo.
• Perturbazioni Miste: Mostra un guadagno del 10.4% anche quando input e output sono perturbati simultaneamente.

Esperimenti nel Mondo Reale (Robot FR5)

• Scenario Low-Data: Con soli 25 dimostrazioni, RobustVLA supera $\pi_0$ del 65.6% nel tasso di successo sotto 4 tipi di perturbazioni multi-modali.
• Scalabilità: Anche con 100 dimostrazioni, dove le performance di $\pi_0$ si saturano, RobustVLA mantiene un vantaggio del 30% nel tasso di successo.
• Analisi dei Fallimenti: I modelli baseline falliscono per controllo impreciso (rumore azione), interpretazione errata (rumore visivo/istruzioni) o disallineamento OOD (ambiente), mentre RobustVLA mantiene la stabilità.

5. Significato e Impatto

Questo lavoro sposta il paradigma della robustezza nei modelli VLA da una visione puramente visiva a una visione multi-modale completa.

• Sicurezza e Affidabilità: Dimostra che per il dispiegamento robotico reale è cruciale proteggere non solo ciò che il robot "vede", ma anche ciò che "fa" e come "interpreta" i comandi.
• Efficienza: Fornisce una soluzione scalabile che non richiede infrastrutture computazionali massive (LLM esterni) per essere robusta, rendendo i robot più pratici per l'uso industriale e domestico.
• Fondamenta per il Futuro: Stabilisce che l'architettura basata su diffusion ($\pi_0$) combinata con tecniche di ottimizzazione robusta offline è la direzione preferibile per i robot foundation model.

In sintesi, RobustVLA rappresenta un passo significativo verso robot autonomi capaci di operare in ambienti reali caotici e imprevedibili, garantendo stabilità anche in presenza di errori di sensori, rumore meccanico e ambiguità linguistiche.