🤖 AI

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

DreamDojo est un modèle de monde de fondation entraîné sur 44 000 heures de vidéos humaines égocentrées qui apprend des interactions dextres diverses à travers des actions latentes continues, permettant une simulation en temps réel, un contrôle précis des actions et une planification de politique efficace pour des robots généralistes dans des environnements ouverts et riches en contacts.

Auteurs originaux : Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, Linxi "Jim" Fan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un robot à faire tout ce qu'un humain peut faire : cuisiner, nettoyer, réparer des choses et jouer avec des jouets. Le problème est que les robots sont coûteux, se cassent facilement, et nous n'avons pas assez d'heures de séquences vidéo de robots pour leur enseigner toutes ces compétences.

DreamDojo est un nouveau « cerveau » pour les robots qui résout ce problème en apprenant à partir de vidéos humaines plutôt que de vidéos de robots. Imaginez un robot qui apprend en regardant des millions d'heures de personnes accomplissant des tâches quotidiennes sur YouTube et TikTok, plutôt que d'avoir besoin qu'un robot effectue chaque tâche lui-même.

Voici comment cela fonctionne, décomposé en concepts simples :

1. La bibliothèque massive (Les données)

Habituellement, les données d'entraînement des robots sont comme une petite bibliothèque contenant seulement quelques livres sur « comment ramasser un bloc rouge ». La bibliothèque de DreamDojo est une bibliothèque massive et infinie contenant 44 000 heures de vidéos humaines.

L'échelle : C'est comme comparer un simple carnet de notes à l'intégralité de la Library of Congress.
La variété : Elle couvre tout, de la cuisine dans une cuisine à la réparation d'une voiture dans un garage, impliquant des milliers d'objets et de compétences différents.
La recette secrète : Puisque ces vidéos n'ont pas d'instructions de « robot » attachées, l'équipe a inventé un traducteur spécial appelé Actions Latentes. Imaginez regarder une vidéo de quelqu'un ouvrant un bocal. Même si le robot ne peut pas voir les mouvements musculaires exacts, ce traductur comprend l'intention et la physique du « tourner et tirer » simplement en observant comment le bocal et la main bougent. Cela transforme la vidéo en un manuel d'instructions universel que n'importe quel robot peut comprendre.

2. Le simulateur (Le modèle du monde)

Une fois que le cerveau du robot a appris de ces vidéos, il devient un Modèle de Monde (World Model).

L'analogie : Pensez à un Modèle de Monde comme un simulateur de vol pour un pilote. Avant qu'un pilote ne vole dans un vrai avion, il s'entraîne dans un simulateur. S'il commet une erreur dans le simulateur, personne n'est blessé.
Comment fonctionne DreamDojo : Vous pouvez dire à DreamDojo : « Imagine que le robot tend la main vers la tasse, mais la rate. » Le modèle génère alors une vidéo de ce qui se passerait ensuite. Il comprend la physique : si vous poussez une tasse, elle glisse ; si vous la poussez trop fort, elle tombe de la table. Il peut simuler ces résultats instantanément, même pour des objets ou des environnements qu'il n'a jamais vus auparavant.

3. Le boost de vitesse (La distillation)

Le « cerveau » original est très intelligent mais lent, comme un professeur de génie qui met 10 minutes pour résoudre un problème de mathématiques. Pour qu'un robot puisse bouger en temps réel, il doit réfléchir aussi vite qu'un humain.

La solution : L'équipe a utilisé un processus appelé Distillation. Ils ont pris le professeur de génie, lent, et ont entraîné un jeune étudiant rapide (le « Modèle Étudiant ») pour l'imiter.
Le résultat : L'étudiant peut désormais prédire le futur à 10,81 images par seconde. C'est assez rapide pour fonctionner en temps réel. Vous pouvez contrôler un robot virtuel avec un contrôleur VR, et le robot bougera et réagira instantanément, tout comme une vraie personne.

Que peut-il faire ? (Basé sur les affirmations de l'article)

L'article souligne trois manières principales dont cette technologie est utilisée :

Tester les politiques (Le « simulateur de vol » pour les robots) :
Avant d'envoyer un robot dans le monde réel pour emballer des fruits, vous pouvez tester son « cerveau » dans DreamDojo. L'article montre que si une stratégie de robot fonctionne bien dans la simulation DreamDojo, elle fonctionnera presque certainement dans le monde réel (corrélation de 99,5 %). Cela permet de gagner du temps et d'éviter que les robots ne cassent des choses pendant l'apprentissage.
Planifier à l'avance (Le « joueur d'échecs ») :
Lorsqu'un robot doit accomplir une tâche complexe, il peut utiliser DreamDojo pour « rêver » de différents résultats. Il peut essayer cinq façons différentes de saisir une pomme dans son esprit, voir laquelle mène au meilleur résultat, puis exécuter ce mouvement spécifique. Cela rend le robot beaucoup plus intelligent et efficace lors de tâches difficiles.
Téléopération en direct (Le « jumeau virtuel ») :
Parce que le modèle est très rapide, un humain peut porter un casque VR et contrôler un robot virtuel en temps réel. Si l'humain bouge sa main, le robot virtuel bouge instantanément. Cela permet aux humains d'« être » le robot à distance, ce qui est utile pour des tâches trop dangereuses ou trop difficiles pour les humains directement.

Résumé

DreamDojo est un pont entre le monde réel, complexe et diversifié, et le monde précis des robots. En apprenant de l'activité humaine abondante en ligne et en utilisant un « traducteur » spécial pour comprendre les actions sans avoir besoin d'étiquettes, il crée un cerveau de robot capable d'imaginer le futur, de tester des idées en toute sécurité et d'agir en temps réel. Il transforme le robot, d'une machine rigide qui ne connaît que ce qu'on lui a explicitement enseigné, en un agent flexible qui comprend comment le monde fonctionne.

Résumé Technique : DreamDojo

Problématique

Le développement d'agents robotiques généralistes repose largement sur des modèles de monde capables de simuler des états futurs à partir d'actions. Bien que les avancées récentes dans la génération de vidéos aient permis l'émergence de modèles de monde pour des domaines de contrôle discrets (ex: jeux, conduite), ils peinent face aux tâches robotiques riches en contacts et à haute dimensionnalité. Les approches existantes se heurtent à trois limitations principales :

Rareté et distribution des données : Les données robotiques sont limitées par les coûts matériels et la variabilité, échouant souvent à couvrir l'infinie variété des environnements et des objets du monde réel.
Manque de stochasticité : Les jeux de données existants consistent principalement en des démonstrations d'experts, manquant de la stochasticité des intentions nécessaire pour apprendre un contrôle d'action robuste.
Rareté des étiquettes : Les étiquettes d'actions fines sont rares dans les jeux de données vidéo à grande échelle. Un entraînement naïf sur des vidéos passives ignore la causalité entre les observations et les actions, ce qui conduit à un faible transfert de connaissances pour la simulation conditionnée par l'action.

Par conséquent, les modèles de monde vidéo actuels sont souvent confinés à la simulation de configurations observées et échouent à répondre à des actions contrefactuelles ou à se généraliser à des objets et environnements inédits.

Méthodologie

DreamDise est introduit comme un modèle de monde de fondation conçu pour des tâches robotiques dextres en monde ouvert. L'approche se compose de trois phases distinctes :

1. Pré-entraînement sur des vidéos humaines à grande échelle

Pour surmonter les limitations de données, les auteurs ont constitué DreamDojo-HV, le plus grand jeu de données de vidéos humaines égocentrées à ce jour, comprenant 44 711 heures de vidéo. Ce jeu de données couvre divers scénarios quotidiens (maison, commerce, transport, etc.) avec environ 6 015 compétences uniques et 1,135 million d'objets uniques.

Actions latentes continues : Pour remédier au manque d'étiquettes d'actions, les auteurs introduisent des actions latentes continues comme actions proxies unifiées. Un auto-encodeur variationnel (VAE) doté d'une architecture Transformer spatio-temporelle extrait ces actions à partir de trames vidéo consécutives de manière auto-supervisée. Cela crée un goulot d'étranglement informationnel qui sépare les informations de mouvement critiques du contexte, permettant le transfert de connaissances inter-incarnation (de l'humain vers le robot).
Architecture : Le modèle est construit sur le modèle de diffusion vidéo latente Cosmos-Predict2.5.
- Actions relatives : Au lieu de poses articulaires absolues, les entrées sont rebasées sur des actions relatives pour réduire la complexité de la modélisation.
- Injection par blocs (Chunked Injection) : Les actions sont injectées sous forme de blocs (4 actions consécutives par trame latente) plutôt que comme une condition globale afin d'atténuer la confusion causale.
- Objectif d'entraînement : La perte standard de "flow matching" est augmentée d'une perte de cohérence temporelle pour mieux correspondre aux transitions temporelles réelles, améliorant ainsi la complétude des objets et le suivi des actions.

2. Post-entraînement sur des robots cibles

Pour adapter le modèle de fondation à des incarnations robotiques spécifiques (ex: Fourier GR-1, Unitree G1, AgiBot), une étape de post-entraînement est réalisée sur de petits jeux de données de robots cibles.

La couche de conditionnement d'action est réinitialisée et ré-initialisée pour correspondre à l'espace d'action de la cible.
Le modèle est entièrement affiné (fine-tuned), exploitant le fort pré-entraînement pour atteindre une généralisation zero-shot à des objets et environnements inconnus malgré des données cibles limitées.

3. Distillation pour l'inférence en temps réel

Pour permettre des applications telles que la téléopération en direct et la planification en ligne, le modèle de fondation est distillé en un modèle étudiant autorégressif utilisant le paradigme Self Forcing.

Changement d'architecture : Le mécanisme d'attention bidirectionnelle est remplacé par une attention causale sur une fenêtre glissante.
Processus : Un processus en deux étapes (échauffement et distillation) aligne la distribution de l'étudiant avec les solutions ODE de l'enseignant, minimisant le décalage de distribution entraînement-test.
Résultat : Le modèle distillé atteint 10,81 FPS à une résolution de 640×480 avec seulement 4 étapes de débruitage, tout en maintenant une cohérence sur le long terme.

Contributions Clés

Jeu de données DreamDojo-HV : Un jeu de données massif et diversifié de plus de 44k heures de vidéos humaines égocentrées, représentant le plus grand corpus pour le pré-entraînement de modèles de monde, avec une diversité de compétences et de scènes nettement supérieure aux jeux de données robotiques précédents.
Modèle de monde de fondation : Le premier modèle de monde de ce type qui utilise des vidéos humaines à grande échelle et des actions latentes continues pour parvenir à une généralisation zero-shot à des objets et environnements inconnus pour la manipulation dextre.
Pipeline de distillation : Une méthode pour convertir le modèle de fondation en un prédicteur autorégressif en temps réel qui maintient la cohérence du contexte et supporte des interactions sur le long terme sans dégradation visuelle.
Applications en aval : Démonstration de l'utilité du modèle dans l'évaluation de politiques, la planification basée sur un modèle et la téléopération en direct.

Résultats Expérimentaux

L'article évalue DreamDojo sur six benchmarks hors distribution (OOD), incluant des objets, des environnements et des actions contrefactuelles nouveaux.

Conditionnement par l'action : Le conditionnement par action latente surpasse significativement le pré-entraînement sans action et approche les performances des réglages idéaux avec des étiquettes d'action réelles (ex: améliorations du PSNR sur EgoDex Eval).
Diversité des données : L'augmentation de la diversité des données (ajout de In-lab, EgoDex et DreamDojo-HV) améliore systématiquement la modélisation de la physique et la contrôlabilité de l'action sur tous les benchmarks.
Généralisation : Le modèle de 14 milliards de paramètres (DreamDojo-14B) surpasse Cosmos-Predict2.5 et la variante de 2B tant en termes de correction physique que de suivi d'action lors des évaluations de préférence humaine.
Efficacité de la distillation : Le modèle étudiant distillé est 4 fois plus rapide (10,81 FPS contre 2,72 FPS) que l'enseignant tout en maintenant des performances comparables dans les déploiements sur le long terme (600 trames). Il démontre également une robustesse supérieure aux occlusions grâce à son contexte multi-trame.
Applications :
- Évaluation de politique : DreamDojo montre une forte corrélation linéaire (Pearson $r=0,995$ ) entre les taux de réussite simulés et réels pour les tâches d'emballage de fruits.
- Planification basée sur un modèle : L'utilisation de DreamDojo pour la planification au moment de l'exécution a amélioré les taux de réussite jusqu'à 17 % par rapport au meilleur checkpoint unique et presque 2 fois par rapport à l'échantillonnage uniforme.
- Téléopération en direct : Le modèle permet la téléopération en temps réel d'un robot virtuel G1 via des contrôleurs VR.

Signification et Revendications

L'article affirme que DreamDojo représente une étape importante vers des modèles de monde robotiques à usage général. En exploitant les vidéos humaines à grande échelle et les actions latentes continues, la méthode parvient à combler le fossé de l'incarnation, permettant aux robots d'apprendre la physique et la dynamique à partir des interactions humaines.

Les auteurs soulignent que DreamDojo permet une évaluation de politique scalable sans déploiement réel et facilite la planification en ligne basée sur un modèle et la téléopération en direct. Le travail suggère que la simulation de tâches complexes en monde ouvert est réalisable grâce à des modèles de fondation entraînés sur des données humaines diverses, ouvélant la voie à des agents généralistes plus capables et adaptables.

L'article reconnaît modestement des limites, notant que le modèle peine avec les actions rapides et inhabituelles (ex: gifle) et que les taux de réussite simulés sont parfois plus élevés que les taux réels, indiquant un besoin de meilleure nuance dans la génération d'échecs. Des travaux futurs sont suggérés pour explorer des distributions d'actions plus larges et la simulation multi-vues.