🤖 AI

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

DreamDojo è un modello di mondo fondamentale addestrato su 44.000 ore di video egocentrici umani che apprende diverse interazioni destre attraverso azioni latenti continue, consentendo la simulazione in tempo reale, un controllo preciso dell'azione e una pianificazione efficace delle policy per robot generalisti in ambienti open-world ricchi di contatti.

Autori originali: Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie

Pubblicato 2026-02-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, Linxi "Jim" Fan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come fare tutto ciò che può fare un essere umano: cucinare, pulire, riparare cose e giocare con i giocattoli. Il problema è che i robot sono costosi, si rompono facilmente e non abbiamo abbastanza ore di filmati di robot per insegnare loro tutte queste abilità.

DreamDojo è un nuovo "cervello" per i robot che risolve questo problema imparando dai video umani invece che dai video dei robot. Immaginalo come un robot che impara guardando milioni di ore di persone che svolgono attività quotidiane su YouTube e TikTok, piuttosto che aver bisogno che il robot esegua ogni singola attività in prima persona.

Ecco come funziona, suddiviso in concetti semplici:

1. La Biblioteca Imponente (I Dati)

Di solito, i dati di addestramento per i robot sono come una piccola biblioteca con solo pochi libri su "come raccogliere un blocco rosso". La biblioteca di DreamDojo è una biblioteca enorme e infinita che contiene 44.000 ore di video umani.

La Scala: È come confrontare un singolo taccuino con l'intera Library of Congress.
La Varietà: Copre tutto, dal cucinare in una cucina al riparare un'auto in un garage, coinvolgendo migliaia di oggetti e abilità differenti.
Il Tocco Magico: Poiché questi video non hanno "istruzioni robotiche" allegate, il team ha inventato un traduttore speciale chiamato Azioni Latenti (Latent Actions). Immagina di guardare un video di qualcuno che apre un barattolo. Anche se il robot non può vedere l'esatto movimento muscolare, questo traduttore capisce l'intento e la fisica del "ruotare e tirare" solo osservando come si muovono il barattolo e la mano. Trasforma il video in un manuale di istruzioni universale che qualsiasi robot può comprendere.

2. Il Simulatore (Il Modello del Mondo)

Una volta che il cervello del robot ha imparato da questi video, diventa un Modello del Mondo (World Model).

L'Analogia: Pensa a un Modello del Mondo come a un simulatore di volo per un pilota. Prima che un pilota voli su un vero aereo, si esercita in un simulatore. Se commette un errore nel simulatore, nessuno si fa male.
Come Funziona DreamDojo: Puoi dire a DreamDolo, "Immagina che il robot allunghi la mano verso la tazza, ma la manchi". Il modello genererà quindi un video di ciò che accadrebbe dopo. Comprende la fisica: se spingi una tazza, questa scivola; se la spingi troppo forte, cade dal tavolo. Può simulare questi risultati istantaneamente, anche per oggetti o ambienti che non ha mai visto prima.

3. La Spinta di Velocità (Distillazione)

Il "cervello" originale è molto intelligente ma lento, come un professore geniale che impiega 10 minuti per risolvere un problema di matematica. Affinché un robot possa muoversi in tempo reale, deve pensare velocemente come un essere umano.

La Soluzione: Il team ha utilizzato un processo chiamato Distillazione. Hanno preso il professore geniale e lento e hanno addestrato uno studente giovane e veloce (il "Modello Studente") affinché lo imitasse.
Il Risultato: Lo studente può ora prevedere il futuro a 10,81 fotogrammi al secondo. Questo è abbastanza veloce per funzionare in tempo reale. Puoi controllare un robot virtuale con un controller VR, e il robot si muoverà e reagirà istantaneamente, proprio come una persona reale.

Cosa Può Fare? (In base alle affermazioni del documento)

Il documento evidenzia tre modi principali in cui questa tecnologia viene utilizzata:

Testare le Politiche (Il "Simulatore di Volo" per i Robot):
Prima di inviare un robot nel mondo reale per confezionare della frutta, puoi testare il suo "cervello" in DreamDojo. Il documento mostra che se una strategia del robot funziona bene nella simulazione di DreamDojo, quasi certamente funzionerà bene nel mondo reale (correlazione del 99,5%). Ciò risparmia tempo e impedisce ai robot di rompere oggetti durante l'apprendimento.
Pianificare in Anticipo (Il "Giocatore di Scacchi"):
Quando un robot deve eseguire un compito complesso, può usare DreamDojo per "sognare" diversi esiti. Può provare cinque modi diversi per afferrare una mela nella sua mente, vedere quale porta al risultato migliore e poi eseguire quel movimento specifico. Questo rende il robot molto più intelligente e di successo in compiti difficili.
Teleoperazione Live (Il "Gemello Virtuale"):
Poiché il modello è molto veloce, un essere umano può indossare un visore VR e controllare un robot virtuale in tempo reale. Se l'umano muove la mano, il robot virtuale si muove istantaneamente. Questo permette agli umani di "essere" il robot da remoto, il che è utile per compiti troppo pericolosi o difficili da svolgere direttamente per gli esseri umani.

Riassunto

DreamDojo è un ponte tra il mondo reale, disordinato e diversificato, e il mondo preciso dei robot. Imparando dalla vasta quantità di attività umane online e utilizzando un "traduttore" speciale per comprendere le azioni senza bisogno di etichette, crea un cervello per robot capace di immaginare il futuro, testare idee in sicurezza e agire in tempo reale. Trasforma il robot da una macchina rigida che conosce solo ciò che le è stato esplicitamente insegnato, in un agente flessibile che comprende come funziona il mondo.

Sintesi Tecnica: DreamDojo

Problematica

Lo sviluppo di agenti robotici generalisti si basa fortemente su modelli del mondo capaci di simulare stati futuri basati sulle azioni. Sebbene i recenti progressi nella generazione di video abbiano abilitato modelli del mondo per domini di controllo discreti (es. giochi, guida), essi faticano con compiti robotici ad alta dimensionalità e ricchi di contatto. Gli approcci esistenti affrontano tre limitazioni primarie:

Scarsità e Distribuzione dei Dati: I dati robotici sono limitati dai costi dell'hardware e dalla variabilità, fallendo spesso nel coprire l'infinita varietà di ambienti e oggetti del mondo reale.
Mancanza di Stocasticità: I dataset esistenti consistono prevalentemente in dimostrazioni di esperti, mancando della stocasticità nelle intenzioni necessaria per apprendere una robusta controllabilità dell'azione.
Scarsità di Etichette: Le etichette d'azione dettagliate sono scarse nei dataset video su larga scala. L'addestramento ingenuo su video passivi ignora la causalità tra osservazioni e azioni, portando a un scarso trasferimento di conoscenza per la simulazione condizionata dall'azione.

Di conseguenza, gli attuali modelli del mondo basati su video sono spesso confinati alla simulazione di setup osservati e non riescono a rispondere ad azioni controfattuali o a generalizzare su oggetti e ambienti non visti.

Metodologia

DreamDojo è introdotto come un modello del mondo fondazionale progettato per compiti robotici destri in open-world. L'approccio consiste in tre fasi distinte:

1. Pre-addestramento su Video Umani su Larga Scala

Per superare i limiti dei dati, gli autori curano DreamDojo-HV, il più grande dataset di video egocentrici umani ad oggi, composto da 44.711 ore di video. Questo dataset abbraccia diversi scenari quotidiani (casa, vendita al dettaglio, trasporto, ecc.) con circa 6.015 abilità uniche e 1.135k oggetti unici.

Azioni Latenti Continue: Per affrontare la mancanza di etichette d'azione, gli autori introducono azioni latenti continue come azioni proxy unificate. Un Variational Autoencoder (VAE) con un'architettura Transformer spazio-temporale estrae queste azioni da fotogrammi video consecutivi in modo auto-supervisionato. Questo crea un collo di bottiglia informativo che disaccoppia le informazioni critiche del movimento dal contesto, permettendo il trasferimento di conoscenza cross-embodiment (da umani a robot).
Architettura: Il modello è costruito sulla base del modello di diffusione video latente Cosmos-Predict2.5.
- Azioni Relative: Invece di pose articolari assolute, gli input sono ricalibrati su azioni relative per ridurre la complessità della modellazione.
- Iniezione a Blocchi (Chunked Injection): Le azioni vengono iniettate come blocchi (4 azioni consecutive per fotogramma latente) piuttosto che come condizione globale per mitigare la confusione causale.
- Obiettivo di Addestramento: Lo standard flow matching loss è aumentato con una loss di coerenza temporale per corrispondere meglio alle transizioni temporali reali, migliorando la completezza degli oggetti e il rispetto delle azioni.

2. Post-addestramento su Robot Target

Per adattare il modello fondazionale a specifici embodiment robotici (es. Fourier GR-1, Unitree G1, AgiBot), viene condotta una fase di post-addestramento su dataset di robot target su piccola scala.

Lo strato di condizionamento dell'azione viene resettato e reinizializzato per corrispondere allo spazio d'azione del target.
Il modello viene sottoposto a fine-tuning completo, sfruttando il forte pre-addestramento per ottenere una generalizzazione zero-shot su oggetti non visti e nuovi ambienti nonostante i limitati dati target.

3. Distillazione per l'Inferenza in Tempo Reale

Per abilitare applicazioni come la teleoperazione live e la pianificazione online, il modello fondazionale viene distillato in un modello studente autoregressivo utilizzando il paradigma Self Forcing.

Cambio di Architettura: Il meccanismo di attenzione bidirezionale è sostituito da un'attenzione causale su una finestra scorrevole.
Processo: Un processo a due stadi (warmup e distillazione) allinea la distribuzione dello studente con le soluzioni ODE del docente, minimizzando il mismatch tra distribuzione di addestramento e di test.
Risultato: Il modello distillato raggiunge 10,81 FPS a una risoluzione di 640×480 con solo 4 passi di denoising, mantenendo la coerenza a lungo termine.

Contributi Chiave

Dataset DreamDojo-HV: Un dataset massiccio e diversificato di oltre 44k ore di video egocentrici umani, che rappresenta il più grande corpus per il pre-addestramento di modelli del mondo, con una diversità di skill e scene significativamente superiore ai precedenti dataset robotici.
Modello del Mondo Fondazionale: Il primo modello del mondo di questo tipo che utilizza video umani su larga scala e azioni latenti continue per ottenere la generalizzazione zero-shot su oggetti e ambienti non visti per la manipolazione destra.
Pipeline di Distillazione: Un metodo per convertire il modello fondazionale in un predittore autoregressivo in tempo reale che mantiene la coerenza del contesto e supporta interazioni a lungo termine senza degradazione visiva.
Applicazioni Downstream: Dimostrazione dell'utilità del modello in valutazione della policy, pianificazione basata sul modello e teleoperazione live.

Risultati Sperimentali

Il paper valuta DreamDojo su sei benchmark out-of-distribution (OOD), inclusi nuovi oggetti, ambienti e azioni controfattuali.

Condizionamento dell'Azione: Il condizionamento dell'azione latente supera significativamente il pre-addestramento senza azione e si avvicina alle performance delle impostazioni ideali con etichette d'azione reali (es. miglioramenti del PSNR su EgoDex Eval).
Diversità dei Dati: L'aumento della diversità dei dati (aggiungendo In-lab, EgoDex e DreamDojo-HV) migliora costantemente la modellazione della fisica e la controllabilità dell'azione in tutti i benchmark.
Generalizzazione: Il modello da 14 miliardi di parametri (DreamDojo-14B) supera Cosmos-Predict2.5 e la variante da 2B sia nella correttezza della fisica che nel rispetto dell'azione nelle valutazioni di preferenza umana.
Efficienza della Distillazione: Il modello studente distillato gira 4 volte più velocemente (10,81 FPS vs 2,72 FPS) rispetto al docente pur mantenendo prestazioni comparabili nei rollout a lungo termine (600 fotogrammi). Dimostra inoltre una superiore robustezza alle occlusioni grazie al suo contesto multi-frame.
Applicazioni:
- Valutazione della Policy: DreamDojo mostra una forte correlazione lineare (Pearson $r=0,995$ ) tra i tassi di successo simulati e quelli nel mondo reale per i compiti di confezionamento della frutta.
- Pianificazione Basata sul Modello: L'uso di DreamDojo per la pianificazione al tempo di test ha migliorato i tassi di successo fino al 17% rispetto al miglior singolo checkpoint e quasi 2 volte rispetto al campionamento uniforme.
- Teleoperazione Live: Il modello abilita la teleoperazione in tempo reale di un robot G1 virtuale utilizzando controller VR.

Significato e Claim

Il paper sostiene che DreamDojo rappresenti un passo significativo verso i modelli del mondo robotici a scopo generale. Sfruttando video umani su larga scala e azioni latenti continue, il metodo colma con successo il gap di embodiment, permettendo ai robot di apprendere la fisica e la dinamica dalle interazioni umane.

Gli autori sottolineano che DreamDolo consente una valutazione scalabile delle policy senza deployment nel mondo reale e facilita la pianificazione online basata sul modello e la teleoperazione live. Il lavoro suggerisce che simulare compiti open-world ricchi di contatto è fattibile attraverso modelli fondazionali addestrati su dati umani diversificati, aprendo la strada ad agenti generalisti più capaci e adattabili.

Il paper riconosce modestamente alcuni limiti, notando che il modello fatica con azioni insolite e veloci (es. schiaffo) e che i tassi di successo simulati possono talvolta essere superiori a quelli del mondo reale, indicando la necessità di una migliore sfumatura nella generazione dei fallimenti. Il lavoro futuro suggerisce di esplorare distribuzioni di azione più ampie e la simulazione multi-vista.