💻 computer science

CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

Il documento propone CAST, un metodo che sfrutta i modelli visione-linguaggio per generare etichette controfattuali per l'aumento dei dataset robotici, migliorando significativamente le capacità di seguire le istruzioni dei modelli visione-linguaggio-azione senza richiedere una raccolta di dati aggiuntiva.

Autori originali: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Pubblicato 2026-06-10

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come navigare in una casa o come raccogliere degli oggetti. Gli mostri un video di un robot che cammina lungo un corridoio e gira a destra. Gli dici: "Ecco come appare 'vai dritto'".

Il problema è che il robot è uno studente un po' pigro. Nota che ogni volta che vede un corridoio, il robot nel video gira a destra. Così, impara una scorciatoia: "Se vedo un corridoio, giro a destra." Smette di ascoltare le tue istruzioni specifiche (come "gira a sinistra al tavolo blu") perché pensa che l'immagine del corridoio gli dica tutto ciò che ha bisogno di sapere. Nei termini tecnici del paper, questo è chiamato "collasso della distribuzione a posteriori" (posterior collapse): il robot ignora la tua voce e si limita a indovinare basandosi su ciò che vede.

La Soluzione CAST: Il gioco del "E se...?"

Gli autori di questo articolo, provenienti dalla UC Berkeley e da Princeton, hanno ideato un trucco ingegnoso per risolvere il problema. Lo chiamano CAST (Counterfactual Labels Improve Instruction Following).

Pensa a CAST come a un coach di scrittura creativa per robot. Invece di mostrare al robot solo l'unico percorso che ha effettivamente percorso, il coach gli chiede di giocare al gioco del "E se...?".

Ecco come funziona, passo dopo passo:

La Scena Originale: Il robot ha un video di se stesso mentre cammina lungo un corridoio.
La Domanda "E se...?": I ricercatori usano un'IA super intelligente (un Modello Visione-Linguaggio) per guardare quello stesso corridoio e chiedere: "Ehi, cos'altro avrebbe potuto fare il robot qui?".
- Originale: "Vai dritto."
- Controfattuale (E se...?): "Gira a destra al tavolo arancione," oppure "Muoviti lungo la parete a sinistra."
Inventare il Percorso: L'IA non si limita a inventare una frase; inventa anche un percorso video finto che corrisponda a quella nuova frase. Immagina: "Ok, se il robot girasse a destra al tavolo arancione, come apparirebbero i secondi successivi?".
La Nuova Lezione: Ora, il robot ha due lezioni per lo stesso identico corridoio:
- Lezione A: "Vai dritto" (il video reale).
- Lezione B: "Gira a destra al tavolo arancione" (il video inventato).

Perché Questo Cambia Tutto

Prima di questo trucco, il robot vedeva un corridoio e pensava: "Lo conosco! Giro a destra!". Non aveva bisogno di ascoltare le tue parole.

Dopo il trucco CAST, il robot vede lo stesso corridoio ma realizza: "Aspetta, a volte vado dritto, e a volte giro a destra al tavolo arancione. L'immagine da sola non mi dice cosa fare. Devo ascoltare le parole specifiche che mi dai per sapere quale percorso intraprendere".

I Risultati

I ricercatori hanno testato questo metodo su due tipi di robot:

Robot di Navigazione: Robot che si muovono in ambienti interni ed esterni.
Robot di Manipolazione: Bracci robotici che raccolgono oggetti come broccoli o cucchiai.

Hanno scoperto che, utilizzando questi dati "controfattuali" (senza dover raccogliere nuovi video dal mondo reale), i robot sono diventati molto più bravi a seguire le istruzioni.

Nella navigazione, il tasso di successo è raddoppiato rispetto ai robot addestrati senza questo trucco.
Nei compiti di manipolazione (come raccogliere oggetti quando sono presenti oggetti di distrazione nelle vicinanze), i robot sono migliorati del 27%.

In Breve

CAST è come dare a un robot una biblioteca di "realtà alternative". Mostrando al robot che la stessa scena può portare a molti risultati diversi a seconda dell'istruzione, lo costringe a smettere di indovinare e a iniziare ad ascoltare. Trasforma un robot che si limita a "guardare e indovinare" in un robot che "ascolta e agisce" davvero.

Sintesi Tecnica: CAST – Etichette Controfattuali Migliorano l'Adesione alle Istruzioni nei Modelli Vision-Language-Action

Problema
I robot generalisti richiedono la capacità di seguire istruzioni linguistiche variegate e a vocabolario aperto. Sebbene i modelli Vision-Language-Action (VLA) offrano un'architettura promettente per mappare il linguaggio nelle azioni robotiche, essi incontrano attualmente difficoltà nel seguire istruzioni granulari. Un limite primario è la mancanza di diversità semantica e di grounding linguistico nei dataset robotici esistenti. In molti dataset, le osservazioni sono fortemente correlate a specifiche azioni (ad esempio, un cassetto implica "apri il cassetto"), portando al collasso del posteriore (posterior collapse). In questo fenomeno, la policy impara a ignorare gli input linguistici per inferire i compiti basandosi esclusivamente sulle osservazioni visive, poiché il linguaggio non fornisce informazioni predittive aggiuntive. Inoltre, i dataset esistenti spesso mancano di diversità di compiti granulari per osservazioni simili, e alcuni dataset di navigazione mancano completamente di etichette linguistiche. Scalare la cura dei dati per affrontare questi problemi è costoso e laborioso.

Metodologia: Augmentation Controfattuale con Traiettorie Sintetiche (CAST)
Gli autori propongono CAST, un framework di data augmentation che sfrutta i Vision-Language Models (VLM) per generare etichette linguistiche controfattuali e azioni sintetiche per dataset di traiettorie robotiche esistenti e non curati. L'intuizione centrale è che addestrare le policy su molteplici azioni distinte associate alla stessa osservazione (ma guidate da istruzioni diverse) costringe il modello ad attendere all'input linguistico per predire l'azione corretta, mitigando così il collasso del posteriore.

La pipeline CAST opera in quattro fasi principali:

Identificazione dei Punti Decisionali: Le traiettorie esistenti vengono segmentate in chunk atomici basati su cambiamenti comportamentali (ad esempio, girare, fermarsi). Questi confini fungono da punti decisionali.
Generazione di Istruzioni Controfattuali: In ogni punto decisionale, un VLM (specificamente Gemini 2.5 Pro) viene interrogato con l'osservazione corrente e il contesto della traiettoria originale. Il VLM genera istruzioni controfattuali plausibili (ad esempio, "Gira a sinistra" invece del "Gira a destra" eseguito) e i corrispondenti comandi atomici (ad esempio, "gira a sinistra").
Generazione di Azioni Sintetiche: Una policy atomica ( $\pi_a$ ) pre-addestrata, addestrata su dati robotici reali per seguire semplici comandi atomici (ad esempio, "vai avanti", "gira a sinistra"), viene utilizzata per generare i chunk di azione per queste istruzioni controfattuali. Questa policy si dirama dalla traiettoria originale per creare un nuovo e plausibile "finale controfattuale".
Augmentation del Dataset: Le traiettorie originali vengono aumentate con questi nuovi tuple $(osservazione, istruzione\_controfattuale, azione\_controfattuale)$ . Questo dataset espanso viene utilizzato per addestrare la politica VLA finale, denominata CounterfactualVLA.

Gli autori forniscono una motivazione teorica basata sull'informazione mutua. Argomentano che l'adesione al linguaggio è migliorata massimizzando l'informazione mutua $I(a; \ell|o)$ tra azione ( $a$ ) e linguaggio ( $\ell$ ) condizionata sull'osservazione ( $o$ ). Aumentando l'entropia dei comandi atomici ( $H(\ell_a|o)$ ) per una data osservazione, garantendo al contempo che il comando atomico sia prevedibile dalla descrizione completa ( $H(\ell_a|\ell, o)$ ), CAST aumenta efficacemente un limite inferiore di questa informazione mutua.

Dettagli di Implementazione
Gli autori istanziano CAST in due domini:

Navigazione: Utilizzando il dataset GNM (indoor/outdoor), impiegano una pipeline di hindsight relabeling per generare etichette iniziali per i dati non etichettati. Segmentano le traiettorie in comportamenti atomici (gira a sinistra/destra, vai avanti, fermati) per addestrare una policy atomica. Il VLM genera prompt di navigazione controfattuali e la policy atomica sintetizza i corrispondenti chunk di azione.
Manipolazione: Utilizzando il dataset Bridge, utilizzano le etichette esistenti a livello di task e le decomposizioni in sottotask (ad esempio, "prendi", "sposta verso") come comandi atomici. Il VLM genera task controfattuali (ad esempio, posizionare un oggetto su una superficie diversa) e una Steerable Policy pre-addestrata genera le azioni.

In entrambi i casi, il CounterfactualVLA finale è una versione fine-tuned del VLM PaliGemma da 3B, addestrato sul dataset aumentato utilizzando l'action chunking per garantire la coerenza temporale.

Risultati Sperimentali
Gli autori valutano il metodo attraverso diverse lenti:

Qualità delle Etichette: Giudici umani hanno valutato la precisione delle etichette generate riguardo a oggetti, movimento e grounding della scena. Le etichette controfattuali sono risultate accurate e plausibili.
Performance di Navigazione: CounterfactualVLA è stato testato su 27 compiti di aderenza alle istruzioni in tre ambienti (ufficio, cucina, parco all'aperto). I compiti includevano navigazione di oggetti, navigazione referenziale (relazioni spaziali) e navigazione continua.
- CounterfactualVLA ha superato i VLA addestrati su dati non aumentati del 27%.
- Ha raggiunto un tasso di successo doppio rispetto alla baseline.
- Ha superato i metodi allo stato dell'arte nel dominio.
Performance di Manipolazione: Valutato su compiti di pick-and-place con distrattori, il metodo ha mostrato un miglioramento delle prestazioni del 27% rispetto a un VLA addestrato con dati standard.

Significatività e Claim
Il paper sostiene che CAST fornisca un metodo scalabile e data-efficient per migliorare le capacità di steerability e di aderenza alle istruzioni delle policy VLA senza richiedere la raccolta di ulteriori dati nel mondo reale. Sfruttando i VLM pronti all'uso per generare dati controfattuali, il metodo affronta il problema del "collasso del posteriore" intrinseco negli attuali dataset. Gli autori posizionano questo lavoro come un "primo passo verso un vero aderenza linguistica open-set", dimostrando che l'aumento dei dataset esistenti con controfattuali sintetici può migliorare significativamente la capacità di un robot di seguire comandi complessi e granulari in ambienti diversificati. Il codice, i dati e i checkpoint sono open-source per facilitare ulteriore ricerca.

Articoli simili