Résumé Technique : World-in-World : Modèles de Monde dans un Monde en Boucle Fermée

Problématique

Les progrès récents de la génération visuelle ont produit des modèles de monde capables de simuler des environnements avec un réalisme visuel saisissant. Cependant, la communauté manque d'un cadre unifié pour évaluer si ces modèles améliorent réellement les performances des agents incarnés. Les benchmarks existants (par exemple, VBench, WorldModelBench) se concentrent principalement sur des métriques de qualité visuelle isolées ou sur la plausibilité visuelle, utilisant souvent des protocoles en boucle ouverte qui ne testent pas l'utilité du modèle dans la prise de décision. Par conséquent, il reste incertain de savoir si une génération de vidéo haute fidélité se traduit par une réussite dans l'accomplissement de tâches lors d'interactions en boucle fermée, où les agents doivent percevoir, planifier et agir en fonction de futurs prédits.

Méthodologie

Les auteurs introduisent World-in-World, la première plateforme ouverte conçue pour évaluer les modèles de monde (WM) au sein d'un environnement en boucle fermée qui reflète les interactions réelles entre un agent et son environnement. La méthodologie comprend quatre composantes fondamentales :

1. Stratégie de Planification Unifiée en Boucle Fermée

Le cadre utilise une stratégie de recherche en largeur (beam search) guidée par une politique, composée de trois étapes itératives :

• Proposition : Une politique d'agent ($\pi_{proposal}$) génère $M$ séquences d'actions candidates ($\hat{A}_t$) basées sur l'observation actuelle ($o_t$) et l'objectif de la tâche ($g$).
• Simulation : Une API d'Action Unifiée transforme ces plans candidats en entrées de contrôle ($I_t$) compatibles avec divers modèles de monde (par exemple, prompts textuels, trajectoires de caméra ou séquences d'actions de bas niveau). Le modèle de monde ($g_\theta$) effectue ensuite des déroulements contrefactuels pour prédire les états futurs ($\hat{O}_t$) pour chaque plan.
• Révision : Une politique de révision ($\pi_{revision}$) évalue les trajectoires simulées et sélectionne la décision optimale ($D^*_t$) à exécuter dans l'environnement réel. La boucle se répète avec la nouvelle observation.

2. API d'Action Unifiée

Pour intégrer des modèles de monde hétérogènes, les auteurs proposent une API qui mappe les séquences d'actions de l'agent vers des entrées de modèles spécifiques :

• Prompts Textuels : Pour les modèles image-vers-vidéo, les actions sont converties en descriptions textuelles.
• Trajectoires de Caméra : Pour les modèles conditionnés par le point de vue, les actions sont mappées sur des mouvements de caméra (translation/rotation).
• Actions de Bas Niveau : Pour les modèles acceptant des actions discrètes ou continues, une correspondance directe avec le vocabulaire d'action du modèle est appliquée.

3. Tâches Incarnées Complètes

Le benchmark évalue les modèles de monde à travers quatre tâches distinctes couvrant la perception, la navigation et la manipulation :

• Reconnaissance Active (AR) : Identifier des cibles occultées via une exploration active (Habitat-Sim/Matterport3D).
• Navigation par Image-Objectif (ImageNav) : Atteindre un point de vue cible étant donné une image de référence (HM3D).
• Questionnement Incarné Actif (A-EQA) : Répondre à des questions ouvertes après une exploration active (OpenEQA/HM3D).
• Manipulation Robotique : Contrôler un bras robotique pour la saisie et le placement (RLBench/CoppeliaSim).

4. Protocole de Post-Entraînement

Pour adapter les générateurs de vidéo pré-entraînés aux tâches incarnées, les auteurs introduisent une procédure de fine-tuning utilisant des données action-observation provenant des simulateurs cibles (Habitat-Sim et RLBench). Cela aligne le prior génératif avec la distribution spécifique du domaine et l'espace d'action, garantissant que le modèle apprend à prédire les résultats conditionnés par les actions de l'agent plutôt que par de simples statistiques de vidéos naturelles.

Principales Contributions

1. Benchmark World-in-World : Une plateforme d'évaluation complète en boucle fermée qui privilégie la réussite de la tâche plutôt que la fidélité visuelle, évaluant les modèles de monde à travers quatre tâches incarnées diverses.
2. Cadre Unifié : Une stratégie de planification et une API d'action standardisées qui permettent d'intégrer et de comparer de manière transparente des modèles de monde hétérogènes (de l'image à la vidéo, et de l'open-source au propriétaire).
3. Découvertes Empiriques :
   • Qualité Visuelle $\neq$ Succès de la Tâche : Des scores esthétiques élevés ne garantissent pas des taux de réussite élevés ; la contrôlabilité (l'alignement entre les actions prévues et la dynamique prédite) est le facteur critique.
   • Loi d'Échelle des Données (Data Scaling Law) : L'augmentation de l'échelle du post-entraînement avec des données action-observation est plus efficace pour l'utilité incarnée que la simple mise à jour de la taille du générateur de vidéo pré-entraîné.
   • Mise à l'Échelle de l'Inférence : Allouer plus de calcul à la phase de planification (augmenter le nombre de déroulements simulés par décision) améliore substantiellement les performances en boucle fermée.

Résultats et Analyse

Les auteurs ont évalué une large gamme de modèles, incluant SVD, LTX-Video, Hunyuan, Wan2.1/2.2, Cosmos-P2, ainsi que des modèles propriétaires comme Runway Gen4.

• Gains de Performance : L'intégration de modèles de monde améliore systématiquement les performances des politiques de proposition de base (ex: VLM ou heuristiques). Par exemple, dans la Reconnaissance Active, le meilleur modèle post-entraîné (Runway Gen4) a atteint une précision de 64,79 % avec une trajectoire moyenne de 4,06 étapes, surpassant nettement la ligne de base VLM (50,27 % de précision, 6,24 étapes).
• Efficacité du Post-Entraînement : Les variantes post-entraînées (notées avec †) surpassent systématiquement leurs homologues zero-shot. Par exemple, le modèle Wan2.1 post-entraîné a amélioré la précision de la Reconnaissance Active de 58,26 % à 62,61 % et le taux de succès de l'ImageNav de 38,19 % à 45,14 %.
• Défis de la Manipulation : Les gains sont moins marqués dans les tâches de manipulation robotique. Bien que le post-entraînement ait amélioré les résultats (ex: SVD† atteint un taux de succès de 46,5 % contre 44,5 % pour la ligne de base), la difficulté de modéliser la physique riche en contacts et la cinématique précise reste un goulot d'étranglement par rapport aux tâches de navigation.
• Tendances de Mise à l'Échelle :
  • Mise à l'Échelle des Données : Augmenter les données de post-entraînement de 400 à 80 000 instances a systématiquement amélioré les taux de réussite, révélant une loi d'échelle claire pour l'adaptation.
  • Mise à l'Échelle de l'Inférence : Augmenter le nombre d'inférences du modèle de monde par épisode (de 3 à 11) a conduit à une augmentation monotone des taux de réussite, démontant la valeur de "penser" (simuler des futurs) avant d'agir.

Signification

L'article soutient que le domaine des modèles de monde doit changer de paradigme d'évaluation, passant de la qualité générative à l'utilité incarnée. Les auteurs affirment que "les modèles de monde vivent et meurent de leur succès en boucle fermée, et non de la perfection de leurs visuels générés". En établissant World-in-World, ce travail fournit un cadre nécessaire pour suivre le progrès réel dans l'IA incarnée, démontant que bien que les modèles actuels peinent avec la dynamique physique fine, ils peuvent considérablement aider la perception et la navigation lorsqu'ils sont correctement adaptés et intégrés dans des systèmes de planification en boucle fermée. Les conclusions suggèrent que les progrès futurs dépendent moins de l'augmentation de la taille des données de pré-entraînement seule que du post-entraînement conditionné par l'action et du calcul au moment de l'inférence pour améliorer la contrôlabilité et la prise de décision.