World2Act: Latent Action Post-Training via Skill-Compositional World Models

Le papier présente World2Act, un cadre d'entraînement postérieur qui améliore la généralisation des agents incarnés en alignant directement les actions des politiques VLA sur des latents de dynamique vidéo via un objectif contrastif, tout en surmontant les limites de durée des modèles du monde grâce à une pipeline de décomposition automatique des compétences par LLM.

L'essentiel

🤖 Le Problème : Le Robot qui rêve trop (et se trompe)

Imaginez que vous voulez apprendre à un robot à faire des tâches complexes, comme ranger une cuisine ou préparer un café. Pour cela, on utilise souvent des modèles d'intelligence artificielle appelés VLA (Vision-Language-Action). C'est un peu comme un chef cuisinier très instruit qui a lu des millions de livres de cuisine (Internet) mais qui n'a jamais vraiment tenu une spatule.

Pour l'entraîner, on utilise des Modèles du Monde (World Models). C'est comme si on donnait au robot un rêveur : un système capable d'imaginer à quoi ressemblera la cuisine dans 10 secondes s'il fait telle ou telle action.

Le souci ?
Jusqu'à présent, pour apprendre au robot, on lui montrait les images de ses rêves (les pixels) et on lui disait : "Fais exactement ce mouvement pour obtenir cette image".

• Le problème : Les rêves du robot sont imparfaits. Parfois, il imagine qu'un verre flotte dans les airs ou qu'une poignée de tiroir disparaît. Si on force le robot à copier ces erreurs visuelles (les pixels), il devient confus et malhabile. C'est comme essayer d'apprendre à nager en regardant un dessin animé où l'eau est dessinée avec des crayons de couleur : vous allez vous tromper de mouvement !

---

💡 La Solution : World2Act (Le "Pont Invisible")

Les chercheurs de MBZUAI ont inventé World2Act. Au lieu de faire copier au robot les images imparfaites de ses rêves, ils lui apprennent à comprendre l'essence du mouvement à l'intérieur du rêve.

Voici l'analogie pour comprendre la différence :

1. L'ancienne méthode (Pixel-to-Action) : C'est comme demander à un élève de dessiner une pomme en regardant un tableau de maître, mais le tableau a une tache d'encre. L'élève va essayer de reproduire la tache d'encre sur sa pomme. Résultat : une pomme moche.
2. La méthode World2Act (Latent-to-Action) : C'est comme demander à l'élève de comprendre comment le peintre a pensé à la forme de la pomme, sans se soucier de la tache d'encre. On lui donne les "instructions secrètes" (les latents) du rêveur. Le robot apprend la dynamique (comment les objets bougent, tombent, s'ouvrent) plutôt que de copier l'image brute.

En résumé : World2Act crée un pont direct entre ce que le robot imagine (la logique du mouvement) et ce qu'il fait (ses muscles), en ignorant les erreurs visuelles de l'imagination.

---

🧩 Le Défi : Les Films Trop Longs

Il y a un autre problème. Les robots doivent parfois faire des tâches très longues (ex: "Prépare un sandwich"). Les modèles d'IA actuels sont entraînés sur de courts clips vidéo (comme des stories Instagram). Quand on leur demande de faire un film entier, ils commencent à halluciner et à perdre le fil après 5 secondes.

La solution de l'équipe : La "Décomposition par Compétences"
Imaginez que vous ne pouvez pas écrire un roman entier d'un coup. Vous le décomposez en chapitres, puis en scènes, puis en phrases.

World2Act utilise une IA très intelligente (un LLM) pour découper les tâches complexes en petites compétences atomiques :

• Au lieu de dire : "Prépare le café" (trop long).
• Le système dit : "1. Prends la tasse. 2. Verse l'eau. 3. Appuie sur le bouton."

Chaque petite étape est générée séparément par le modèle du monde, puis on les colle ensemble comme des Lego. Cela permet de créer des scénarios de n'importe quelle longueur sans que le robot ne perde la tête.

---

🚀 Les Résultats : Un Robot Plus Intelligent

Grâce à cette méthode, les chercheurs ont testé leur approche sur deux robots virtuels très avancés (GR00T et Cosmos Policy).

• Résultat : Le robot devient beaucoup plus fiable. Il réussit mieux ses tâches, même dans des environnements nouveaux.
• Le test réel : Ils l'ont même installé sur un vrai bras robotique physique. Même si le "rêve" du robot montrait parfois une poignée de tiroir qui disparaissait (une hallucination visuelle), le robot a quand même réussi à fermer le tiroir parce qu'il avait appris la dynamique du mouvement, pas juste l'image.

🌟 En Bref

World2Act, c'est comme passer d'un apprentissage par copie de dessins (qui contient des erreurs) à un apprentissage par compréhension de la physique (qui est robuste).

1. On ne force plus le robot à copier les erreurs visuelles de ses rêves.
2. On lui apprend à comprendre la logique du mouvement à l'intérieur de ces rêves.
3. On découpe les grandes tâches en petits morceaux gérables pour éviter que le robot ne perde le fil.

C'est une étape de plus vers des robots domestiques qui ne se trompent pas quand ils essaient de vous aider à ranger le salon ! 🧹✨

Résumé technique

Titre : World2Act : Post-entraînement par action latente via des modèles du monde composés de compétences

1. Problématique

Les modèles Vision-Language-Action (VLA) sont essentiels pour les agents robotiques, mais ils peinent souvent à généraliser face aux changements environnementaux ou à des conditions de contact inédites. Pour améliorer leur robustesse, des méthodes de post-entraînement utilisant des Modèles du Monde (World Models - WM) ont été développées. Cependant, ces approches existantes présentent deux limites majeures :

• Dépendance à l'espace pixelique : La plupart des méthodes supervisent les actions du VLA directement sur les images générées par le WM (via des modèles de dynamique inverse ou des récompenses basées sur les pixels). Cela rend les politiques sensibles aux artefacts visuels et aux "hallucinations" (incohérences physiques) inhérentes aux déroulements (rollouts) de vidéo générative, surtout sur de longues séquences.
• Génération de vidéos arbitraires : Les modèles de diffusion vidéo sont généralement entraînés sur des clips de longueur fixe, alors que les tâches robotiques varient considérablement en durée. Cela entraîne une accumulation d'erreurs lors de la génération de trajectoires longues, rendant les signaux d'entraînement peu fiables.

2. Méthodologie : World2Act

L'article propose World2Act, un cadre de post-entraînement qui transfère les priors de dynamique du WM vers les politiques VLA sans dépendre de l'espace pixelique, mais en alignant les représentations latentes. La méthode se déroule en deux étapes principales :

A. Pipeline de Modèles du Monde Composés de Compétences (Skill-Compositional WM)
Pour résoudre le problème de la génération de vidéos de longueur arbitraire, les auteurs introduisent un pipeline automatisé basé sur les LLM (Large Language Models) :

• Décomposition des compétences : Un LLM (DeepSeek) décompose les instructions de haut niveau en une séquence ordonnée de compétences atomiques (sous-objectifs).
• Segmentation des données : Les démonstrations expertes sont segmentées en sous-vidéos correspondant à ces compétences atomiques, en utilisant les changements d'état de la pince (ouverture/fermeture) comme repères temporels.
• Nouveaux jeux de données : Cela permet de créer RoboCasa-Skill et LIBERO-Skill, des ensembles de données où la distribution des longueurs de vidéos est plus uniforme, facilitant l'entraînement de modèles génératifs stables sur de longues horizons.
• Inférence compositionnelle : Lors de l'inférence, le WM génère une vidéo par compétence atomique et les concatène séquentiellement, en utilisant la dernière image d'une sous-séquence comme condition initiale pour la suivante.

B. Alignement Latent et Post-entraînement
Au lieu d'utiliser les pixels, World2Act aligne les dynamiques visuelles du WM avec les actions du robot dans un espace latent partagé :

1. Phase 1 : Alignement Latent (Pré-entraînement des adaptateurs)
   • Des adaptateurs vidéo et action projettent respectivement les latents vidéo du WM et les actions brutes du robot dans un espace latent commun.
   • Un objectif de perte contrastive bidirectionnelle (InfoNCE) est utilisé pour maximiser la similarité entre les latents vidéo et les latents action correspondants, tout en minimisant celle des paires incorrectes. Un décodeur d'action assure également la reconstruction des actions pour préserver la cinématique.
2. Phase 2 : Post-entraînement de la politique VLA
   • La politique VLA de base (ex: GR00T-N1.6, Cosmos Policy) est figée.
   • Une politique résiduelle légère est entraînée pour corriger les actions de la politique de base.
   • L'objectif est de minimiser la perte contrastive entre les latents d'action de la politique finale et les latents vidéo dynamiques du WM (qui servent de "vrai" signal de dynamique). Cela permet d'apprendre sans récompense externe, en s'appuyant uniquement sur la cohérence dynamique interne du WM.

3. Contributions Clés

• World2Act : Une nouvelle approche de post-entraînement qui aligne les actions VLA avec les dynamiques latentes du WM, réduisant la sensibilité aux hallucinations pixeliques.
• Pipeline de décomposition automatique : Une méthode utilisant les LLM pour segmenter les trajectoires expertes en compétences atomiques, permettant un entraînement stable de modèles du monde sur des horizons temporels variables.
• Nouveaux Benchmarks : Publication des jeux de données RoboCasa-Skill et LIBERO-Skill, conçus spécifiquement pour l'apprentissage de modèles du monde composés.
• Framework Skill-Compositional : Un cadre d'inférence qui génère des vidéos de tâches complexes en assemblant des clips courts, garantissant une cohérence temporelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks RoboCasa et LIBERO, ainsi que sur des robots réels (Franka Research 3).

• Performance en Simulation :
  • Sur RoboCasa, World2Act atteint un taux de réussite de 72,6% avec GR00T-N1.6, surpassant les méthodes de post-entraînement précédentes (comme DreamGen ou VLA-RFT) et les modèles VLA de pointe.
  • Sur LIBERO, la méthode améliore la performance de base de 97,0% à 98,1%, tandis que d'autres méthodes de post-entraînement dégradent les performances.
  • Une forte corrélation positive est observée entre l'alignement latent (similarité cosinus) et le taux de réussite.
• Efficacité des données : World2Act atteint des performances supérieures avec beaucoup moins de démonstrations réelles (50 réelles + 50 synthétiques) que les méthodes nécessitant des milliers de démonstrations.
• Généralisation : L'approche montre une excellente généralisation à des tâches non vues (cross-task generalization) et une stabilité lors de l'augmentation du volume de données de post-entraînement, contrairement aux méthodes basées sur les pixels qui deviennent instables.
• Transfert Réel (Sim-to-Real) : Sur un bras robotique réel, le post-entraînement World2Act améliore le taux de réussite moyen de 6,67% sur trois tâches de manipulation, démontrant la robustesse du transfert malgré les artefacts visuels mineurs dans les déroulements imaginés.

5. Signification et Impact

Ce travail marque une avancée significative dans l'intégration des modèles du monde et des politiques VLA pour la robotique :

• Robustesse aux Hallucinations : En évitant la supervision par les pixels, la méthode contourne le problème majeur des modèles génératifs actuels (artefacts visuels), rendant le post-entraînement plus fiable.
• Scalabilité Temporelle : La décomposition en compétences permet de surmonter la barrière de la génération de vidéos longues, un goulot d'étranglement critique pour les tâches robotiques complexes.
• Efficacité et Généralisation : La méthode démontre qu'un alignement latent fin-grainé permet d'extraire des priors dynamiques généralisables, améliorant la capacité des agents à s'adapter à de nouveaux environnements et tâches sans réentraînement massif.

En résumé, World2Act propose un changement de paradigme : au lieu de forcer le robot à imiter des images générées parfois imparfaites, il apprend à aligner ses actions sur la dynamique sous-jacente capturée par le modèle du monde, offrant une voie prometteuse pour des agents robotiques plus robustes et généralistes.