World Action Models are Zero-shot Policies

Il paper introduce DreamZero, un modello di azione mondiale basato su diffusione video che supera i limiti di generalizzazione dei modelli VLA esistenti, consentendo il controllo robotico in tempo reale e il trasferimento cross-embodiment zero-shot o few-shot attraverso l'apprendimento congiunto di dinamiche fisiche e azioni.

L'essenziale

Immagina di voler insegnare a un robot come fare le faccende di casa: piegare le magliette, mettere via la frutta o persino allacciarsi le scarpe. Fino a poco tempo fa, per farlo, dovevamo mostrare al robot la stessa identica azione centinaia di volte, come un insegnante che ripete "prendi la mela" mille volte finché il robot non lo fa a memoria. Se poi gli chiedevamo di fare qualcosa di nuovo, come "allaccia le scarpe", il robot si bloccava perché non aveva mai visto quell'esatto movimento.

Il nuovo modello presentato in questo documento, chiamato DreamZero, cambia completamente le regole del gioco. Ecco come funziona, spiegato in modo semplice:

1. Il Robot che Sogna (Il "Cinema" nella testa)

Invece di imparare solo a muovere le braccia (azione), DreamZero impara a immaginare il futuro.
Pensa a un regista di film. Quando un regista deve girare una scena, non dice solo all'attore "muovi la mano". Prima, immagina la scena: vede mentalmente come si muoverà l'attore, come cambierà la luce, come l'oggetto cadrà.

DreamZero fa lo stesso:

• Riceve un'istruzione (es. "Metti la banana nello scaffale").
• Genera un video mentale di cosa succederà nei prossimi secondi.
• Solo dopo aver "visto" il futuro nel suo video mentale, decide quali movimenti fisici fare per renderlo reale.

È come se il robot avesse un piccolo cinema nella sua testa. Prima di muoversi, proietta il film di quello che sta per accadere. Se il film dice "la banana cade", il robot sa che deve afferrarla meglio.

2. Imparare Guardando, non Ripetendo

La maggior parte dei robot attuali sono come studenti che studiano a memoria: devono vedere lo stesso esercizio 100 volte per impararlo.
DreamZero, invece, è come un bambino curioso che guarda il mondo.

• Dati Diversi: È stato addestrato guardando migliaia di ore di video diversi (cucina, ufficio, negozi) e non solo lo stesso movimento ripetuto.
• Il Risultato: Ha imparato la "fisica" del mondo. Sa che se spingi un bicchiere, cadrà. Sa che per piegare una maglietta serve un certo movimento.
• Generalizzazione: Se gli chiedi di fare qualcosa che non ha mai fatto esattamente così (es. "allaccia le scarpe" invece di "piega la maglietta"), usa la sua immaginazione (il video mentale) per capire come muoversi, anche se non ha mai visto quel compito specifico prima.

3. Il Trucco della Velocità (Il "Flash")

C'era un problema: creare questi video mentali è lento. Un computer che "sogna" un video al secondo è troppo lento per un robot che deve muoversi in tempo reale (come quando devi afferrare una tazza che cade).
Gli scienziati hanno creato una versione chiamata DreamZero-Flash.

• L'analogia: Immagina di dover disegnare un quadro. La versione normale dipinge ogni singolo pennellata con cura estrema (lento ma preciso). La versione "Flash" impara a fare schizzi rapidi che catturano l'idea principale, permettendo al robot di muoversi velocemente (7 volte al secondo) senza perdere la precisione.

4. Imparare dagli Altri (Il "Teletrasporto" delle abilità)

Questa è la parte più magica.

• Robot-to-Robot: Se addestri un robot umanoide (AgiBot) e poi vuoi insegnare a un altro robot (YAM) a fare la stessa cosa, di solito devi raccogliere ore di dati per il nuovo robot. Con DreamZero, basta 20 minuti di video del primo robot che fa il lavoro. Il secondo robot guarda il video, "sogna" come farlo con il suo corpo, e ce la fa.
• Umano-to-Robot: Ancora più incredibile: puoi mostrare a un robot un video di una persona che fa qualcosa (es. "apri il frigo"). Il robot guarda il video, capisce la fisica del movimento e lo esegue con le sue braccia meccaniche, anche se non assomiglia a un umano. È come se il robot avesse imparato a camminare guardando un video di un bambino che impara a camminare.

In Sintesi

DreamZero non è solo un robot che obbedisce a comandi. È un robot che capisce il mondo.

• I vecchi robot: "Ho visto questo movimento 100 volte, quindi lo ripeto."
• DreamZero: "Vedo cosa vuoi fare, immagino come succede nel mondo reale, e invento il movimento necessario."

Grazie a questo approccio, DreamZero riesce a fare cose nuove in ambienti nuovi (come un ufficio diverso o con oggetti diversi) senza bisogno di essere ri-addestrato per ogni singola situazione, rendendo i robot molto più simili a noi umani: capaci di adattarsi e imparare guardando.

Sommario tecnico

1. Il Problema

I modelli robotici attuali, noti come Vision-Language-Action (VLA), eccellono nella generalizzazione semantica (capire cosa fare basandosi su istruzioni linguistiche e conoscenza web), ma falliscono nella generalizzazione fisica. Nello specifico:

• Limiti nella dinamica fisica: I VLA faticano a generalizzare verso nuovi movimenti o abilità fisiche non presenti nei dati di addestramento (es. slegare un laccio, stirare un panno).
• Dipendenza da dati ripetitivi: Le politiche VLA richiedono solitamente grandi quantità di dati robotici specifici e ripetitivi per ogni compito, limitando la capacità di apprendere da dati eterogenei e non strutturati.
• Mancanza di pianificazione visiva: I VLM (Vision-Language Models) sottostanti codificano il "cosa" a livello semantico, ma mancano di rappresentazioni spaziali precise e dinamiche su come eseguire le azioni in ambienti nuovi.

2. Metodologia: DreamZero e i World Action Models (WAM)

Il paper introduce DreamZero, un modello fondazionale robotico da 14 miliardi di parametri basato su un'architettura di World Action Model (WAM). A differenza dei VLA, DreamZero non imita direttamente le azioni, ma apprende la dinamica fisica prevedendo sia il futuro visivo che le azioni.

Architettura e Principi Chiave

• Backbone Video Diffusion: DreamZero è inizializzato da un modello di diffusione video pre-addestrato su scala web (Wan2.1-I2V-14B). Questo permette al modello di ereditare ricchi priors spaziotemporali e di comprendere la fisica del mondo.
• Previsione Congiunta (Joint Prediction): Il modello prevede simultaneamente i futuri fotogrammi video ($o_{l:l+H}$) e le azioni ($a_{l:l+H}$) condizionati a istruzioni linguistiche, stato proprioceettivo e osservazioni visive passate.
  • La previsione video agisce come un pianificatore visivo implicito che guida la generazione delle azioni.
  • Questo approccio trasforma l'apprendimento delle azioni da una semplice imitazione stato-azione a un problema di dinamica inversa allineata con la previsione del futuro visivo.
• Architettura Autoregressiva: DreamZero utilizza un'architettura autoregressiva (basata su DiT - Diffusion Transformer) invece che bidirezionale.
  • Permette l'uso di KV-Cache per l'efficienza.
  • Preserva il frame rate nativo del video, evitando il sottocampionamento che causerebbe disallineamento tra video e azioni.
  • In un ambiente a ciclo chiuso, le osservazioni reali (ground-truth) sostituiscono i fotogrammi generati nel cache dopo ogni esecuzione, eliminando l'accumulo di errori tipico della generazione video pura.

Ottimizzazioni per il Tempo Reale

I modelli di diffusione video sono tradizionalmente troppo lenti per il controllo robotico in tempo reale. DreamZero supera questo ostacolo con un insieme di ottimizzazioni che raggiungono un speedup di 38x, permettendo un controllo a ciclo chiuso a 7 Hz:

1. Ottimizzazioni di Sistema: Parallelismo CFG (Classifier-Free Guidance) su due GPU e caching delle velocità nel DiT.
2. Ottimizzazioni di Implementazione: Uso di torch.compile, CUDA Graphs, quantizzazione mista (NVFP4 su architettura Blackwell) e ottimizzazione dei kernel CUDA.
3. DreamZero-Flash (Ottimizzazione a livello di modello): Decoupling degli schemi di rumore per video e azioni. Durante l'addestramento, il video viene mantenuto in uno stato più rumoroso (timestep alti) mentre le azioni vengono denoizzate più velocemente. Questo permette l'inferenza in un singolo passo (o pochi passi) mantenendo alta la qualità delle azioni, riducendo la latenza da ~350ms a ~150ms.

3. Contributi Chiave

1. Apprendimento da Dati Eterogenei: DreamZero dimostra che è possibile apprendere politiche generaliste da dati robotici non ripetitivi e diversificati (500 ore di dati reali in 22 ambienti diversi), superando la necessità di dimostrazioni ripetute per ogni compito.
2. Generalizzazione Zero-Shot: Il modello mostra una capacità di generalizzazione superiore del 2x rispetto ai migliori VLA esistenti su compiti e ambienti mai visti.
3. Transfer Cross-Embodiment (Tra diversi robot):
   • Video-only: L'uso di sole dimostrazioni video (senza etichette di azione) da altri robot o umani (10-20 minuti di dati) migliora le prestazioni su compiti non visti del 42%.
   • Few-shot Adaptation: Un modello pre-addestrato su un robot (AgiBot G1) si adatta a un nuovo robot (YAM) con soli 30 minuti di dati di gioco, mantenendo la capacità di generalizzazione zero-shot.
4. Efficienza Computazionale: Rende fattibile il controllo in tempo reale di modelli di diffusione video di grandi dimensioni (14B) su hardware robotico.

4. Risultati Sperimentali

Le valutazioni sono state condotte su due piattaforme robotiche: AgiBot G1 (manipolatore mobile bimanuale) e Franka (braccio singolo), utilizzando dataset come DROID e dati interni raccolti.

• Generalizzazione su Compiti Non Visti (Zero-Shot):
  • Su AgiBot G1, DreamZero ha raggiunto un progresso medio del compito del 39.5% su 10 compiti mai visti (es. slegare scarpe, stirare, scuotere la mano), mentre i VLA basati su addestramento da zero hanno ottenuto quasi lo 0% e i VLA pre-addestrati solo il 16.3%.
  • Su Franka (DROID), DreamZero ha superato i baseline pre-addestrati (49% vs 31-33% di progresso).
• Post-Training: Anche dopo il fine-tuning su compiti specifici (es. piegare camicie, imballare frutta), DreamZero mantiene la sua capacità di generalizzazione ambientale, superando i VLA pre-addestrati.
• Ablazioni:
  • Diversità dei Dati: L'uso di dati diversificati ha migliorato le prestazioni del 50% rispetto a dati ripetitivi (33%).
  • Scala del Modello: Il modello da 14B supera significativamente la versione da 5B (50% vs 21%), mentre i VLA non mostrano miglioramenti significativi con l'aumento della scala su dati diversificati.
  • Architettura: L'approccio autoregressivo produce movimenti più fluidi e un migliore allineamento rispetto alle architetture bidirezionali.

5. Significato e Impatto

Il lavoro "World Action Models are Zero-shot Policies" segna un cambio di paradigma nell'IA robotica:

• Dal "Cosa" al "Come": Sposta il focus dalla semplice comprensione semantica alla modellazione esplicita della dinamica fisica attraverso la previsione video.
• Efficienza dei Dati: Dimostra che la diversità dei dati è più importante della quantità di ripetizioni per compiti specifici, aprendo la strada all'uso di dati web su larga scala e video umani per l'addestramento robotico.
• Scalabilità e Adattabilità: La capacità di trasferire competenze tra robot diversi usando solo video (senza azioni) suggerisce una via scalabile per sfruttare l'enorme quantità di video umani disponibili su internet per l'addestramento robotico.
• Real-Time Feasibility: Risolve il collo di bottiglia computazionale dei modelli di diffusione, rendendo possibile il loro utilizzo in sistemi robotici reattivi.

In sintesi, DreamZero stabilisce un nuovo standard per i modelli fondazionali robotici, combinando la potenza generativa dei modelli video con il controllo preciso, permettendo ai robot di imparare da esperienze eterogenee e adattarsi a nuovi mondi e nuovi corpi con pochissimi dati.