Grounding Generated Videos in Feasible Plans via World Models

Ce papier propose GVP-WM, une méthode qui ancre les plans générés par vidéo dans des séquences d'actions réalisables en utilisant un modèle de monde appris pour optimiser des trajectoires latentes dynamiquement cohérentes tout en préservant l'alignement sémantique avec le plan visuel initial.

L'essentiel

Imaginez que vous demandez à un artiste génial, mais un peu rêveur, de dessiner le plan d'un trajet pour aller d'un point A à un point B. Cet artiste (le modèle de génération vidéo) est incroyable : il peut imaginer des scènes magnifiques, fluides et très réalistes. Cependant, comme il est un rêveur, il oublie parfois les lois de la physique : il fait disparaître des objets, les téléporte, ou dessine des mouvements qui seraient impossibles dans la vraie vie (comme glisser sur l'air sans toucher le sol).

Si vous essayiez de suivre ce dessin à la lettre pour conduire une voiture ou manipuler un bras robotique, vous auriez un accident. Le plan est beau, mais il est inexécutable.

C'est exactement le problème que résout cette recherche, baptisée GVP-WM. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Le Plan de l'Artiste vs. La Réalité

Les grands modèles d'intelligence artificielle qui créent des vidéos (comme ceux qui font des films à partir de texte) sont devenus très bons pour imaginer des séquences d'actions. Mais ils ne connaissent pas les lois de la gravité ou de la friction.

• L'analogie : C'est comme si un architecte dessinait une maison magnifique avec un escalier qui mène directement au ciel. C'est joli sur le papier, mais vous ne pouvez pas y monter. Si un robot essaie de suivre ce plan, il va échouer.

2. La Solution : Le "Traducteur de Réalité" (Le Modèle du Monde)

Les auteurs proposent une méthode intelligente pour corriger ces rêves. Ils utilisent un deuxième outil, appelé Modèle du Monde (World Model).

• L'analogie : Imaginez que vous avez un ingénieur civil très strict à côté de l'artiste. L'artiste dessine le trajet, mais l'ingénieur dit : "Attends, ce pont ne peut pas tenir, et cette voiture ne peut pas faire ce virage à 100 km/h."
• Le rôle de GVP-WM est de faire dialoguer les deux. Il prend le dessin de l'artiste et le soumet aux règles de l'ingénieur.

3. Comment ça marche ? (La "Correction" en temps réel)

Au lieu de simplement copier le dessin, le système fait quelque chose de très astucieux :

1. Il regarde le rêve : Il prend la vidéo générée par l'IA (le plan de l'artiste).
2. Il entre dans un monde virtuel : Il projette ce rêve dans un espace mathématique (un "espace latent") où les règles de la physique sont déjà connues et respectées par le Modèle du Monde.
3. Il ajuste le tir : Le système cherche un chemin qui ressemble le plus possible au dessin de l'artiste, MAIS qui respecte strictement les lois de la physique.
   • Si le dessin montre un objet qui traverse un mur, le système dit : "Non, l'objet va contourner le mur, mais on va garder l'idée générale du mouvement."
   • Il modifie légèrement le plan pour qu'il soit réalisable, tout en gardant l'intention originale.

4. Le Résultat : Un Plan "Terre-à-Terre"

À la fin, au lieu d'avoir un dessin magnifique mais impossible, vous obtenez une séquence d'actions réelles que le robot peut exécuter sans tomber ni casser quelque chose.

• L'analogie finale : C'est comme si vous utilisiez un GPS qui vous montre un itinéraire de rêve (traverser les montagnes à vol d'oiseau). Votre voiture ne peut pas le faire. Le système GVP-WM est le logiciel qui recalcule instantanément l'itinéraire pour qu'il suive les routes réelles, tout en vous amenant au même endroit, aussi vite que possible.

Pourquoi c'est important ?

• Robustesse : Même si la vidéo générée est floue ou contient des erreurs (comme un objet qui disparaît), le système arrive à "deviner" le bon mouvement physique.
• Longue durée : Cela fonctionne même pour des tâches complexes et longues, là où les autres méthodes échouent.
• Pas besoin de réapprendre : Le système utilise des modèles déjà entraînés. Il ne faut pas rééduquer le robot à chaque fois ; il suffit de lui donner le "rêve" et de le laisser le corriger.

En résumé, GVP-WM est un pont entre l'imagination illimitée de l'IA générative et la réalité rigide de la physique, permettant aux robots de suivre des plans visuels sans se casser les dents.

Résumé technique

Titre : Ancrage des Vidéos Générées dans des Plans Faisables via des Modèles du Monde

1. Problématique

Les modèles de génération vidéo à grande échelle (notamment les modèles de diffusion) ont démontré des capacités prometteuses en tant que planificateurs visuels "zero-shot" (sans entraînement spécifique). Ils peuvent générer des séquences vidéo réalistes et temporellement cohérentes à partir d'observations initiales et d'objectifs.

Cependant, une limitation majeure persiste : les plans générés par vidéo sont souvent physiquement irréalisables ou temporellement incohérents.

• Violations physiques : Téléportation d'objets, déformations morphologiques, ou violation des contraintes de corps rigides.
• Incohérences temporelles : Flous de mouvement artificiels ou transitions non physiques.
• Conséquence : Lorsque ces vidéos sont directement mappées à des actions exécutables (via des modèles d'inverse dynamique), les agents échouent, car les trajectoires visuelles ne respectent pas la dynamique réelle de l'environnement.

Les approches existantes supposent souvent que les sous-objectifs visuels sont réalisables ou nécessitent un apprentissage supplémentaire par interaction avec l'environnement, ce qui est coûteux.

2. Méthodologie : GVP-WM

Les auteurs proposent GVP-WM (Grounding Video Plans with World Models), une méthode de planification qui ancre les plans générés par vidéo dans des séquences d'actions faisables en utilisant un modèle du monde conditionné par l'action pré-entraîné.

Le processus se déroule en deux étapes principales au moment du test (test-time) :

A. Génération du Plan Vidéo
Un modèle de génération vidéo (ex: Image-to-Video) produit un plan vidéo $\tau_{vid}$ reliant l'observation initiale $o_0$ à l'objectif $o_g$. Ce plan peut contenir des artefacts physiques.

B. Ancrage par Collocation Latente Guidée par la Vidéo
Au lieu d'exécuter directement la vidéo, GVP-WM projette ce plan sur la variété des trajectoires latentes dynamiquement faisables définies par le modèle du monde.

• Formulation du problème : L'ancrage est formulé comme un problème d'optimisation de trajectoire dans l'espace latent.
• Variables d'optimisation : Contrairement aux méthodes de tir (shooting) où seuls les états sont simulés, GVP-WM optimise simultanément les états latents ($z_{0:T}$) et les actions ($a_{0:T-1}$).
• Contraintes et Objectifs :
  1. Dynamique du monde : Les transitions latentes doivent respecter la fonction de transition $f_\psi$ du modèle du monde (contrainte dure).
  2. Alignement sémantique : Une fonction de perte ($L_{vid}$) pénalise la déviation angulaire entre la trajectoire latente optimisée et la trajectoire latente encodée de la vidéo générée. Cela préserve l'intention sémantique du plan vidéo tout en corrigeant les incohérences physiques.
  3. Atteinte de l'objectif : Minimisation de l'erreur quadratique entre l'état final latent et l'objectif.
• Optimisation : Le problème est résolu via la Méthode du Lagrangien Augmenté (ALM), alternant entre la mise à jour des variables primales (états et actions) et des variables duales (multiplicateurs de Lagrange).
• Exécution : Les actions optimisées sont exécutées via un Contrôle Prédictif de Modèle (MPC) à horizon glissant, permettant de corriger les erreurs d'accumulation.

3. Contributions Principales

1. Méthode GVP-WM : Une approche de test-time qui transforme des plans vidéo potentiellement non physiques en séquences d'actions exécutables sans ré-entraînement de la politique.
2. Formulation d'optimisation : Définition de l'ancrage vidéo comme un problème d'optimisation de trajectoire dans l'espace latent sous contraintes de dynamique du monde, optimisant conjointement états et actions.
3. Robustesse empirique : Démonstration que la méthode récupère des plans faisables à long terme à partir de vidéos générées en zero-shot (hors distribution) et de vidéos floues, surpassant les modèles d'inverse dynamique directs.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux environnements de simulation : Push-T (manipulation d'objets en 2D) et Wall (navigation 2D).

• Comparaison avec les bases (Baselines) :
  • GVP-WM surpasse systématiquement UniPi (un modèle d'inverse dynamique direct) et les planificateurs MPC sans guidage vidéo (MPC-CEM, MPC-GD).
  • Dans le cas de vidéos générées en zero-shot (WAN-0S), UniPi échoue presque totalement (taux de succès proche de 0 sur Push-T), tandis que GVP-WM maintient des taux de succès significatifs (ex: 56% sur Push-T à T=25).
• Robustesse au flou de mouvement :
  • L'article introduit un bruit temporel (flou) dans les vidéos expertes.
  • UniPi est très sensible à la dégradation temporelle (chute drastique du succès).
  • GVP-WM reste robuste : même avec un flou sévère (MB-10), il maintient un taux de succès élevé (ex: 82% sur Push-T à T=25), prouvant sa capacité à ignorer les incohérences temporelles tout en respectant la dynamique physique.
• Efficacité computationnelle : Bien que GVP-WM nécessite une optimisation itérative, il est plus rapide que les méthodes de tir par échantillonnage (MPC-CEM) tout en étant plus précis.

5. Signification et Implications

• Pont entre Génération et Contrôle : GVP-WM résout le fossé entre la puissance créative des modèles de génération vidéo et les contraintes rigides de la robotique physique. Il permet d'utiliser des vidéos "imparfaites" comme guide sémantique sans sacrifier la faisabilité.
• Planification sans apprentissage de politique : La méthode fonctionne au moment du test sans nécessiter d'interaction supplémentaire avec l'environnement pour apprendre une nouvelle politique, contrairement aux approches d'apprentissage par renforcement guidé par la vidéo.
• Avenir de la robotique : Cette approche suggère que les grands modèles de vidéo, même entraînés sur des données internet non robotiques, peuvent être exploités pour la robotique si leur sortie est "ancrée" (grounded) par un modèle du monde appris, ouvrant la voie à des planificateurs visuels universels et robustes.

En résumé, GVP-WM propose une solution élégante pour transformer des "rêves" visuels (vidéos générées) en "réalités" physiques (actions exécutables) en utilisant la dynamique apprise d'un modèle du monde comme filtre de réalité.