Learning World Models for Interactive Video Generation

1. Problématique et Contexte

Les modèles de monde fondamentaux (World Models) sont essentiels pour la planification et la prise de décision, car ils doivent simuler des futurs possibles basés sur des actions choisies. Pour être efficaces, ces modèles doivent posséder deux propriétés clés :

1. Interactivité : La capacité d'être conditionnés par des séquences d'actions.
2. Cohérence spatio-temporelle : La capacité de maintenir une représentation cohérente du monde sur de longues durées (objets, éclairage, géométrie).

Cependant, les modèles actuels de génération vidéo, même les plus avancés (comme les modèles de diffusion), échouent souvent à générer des vidéos interactives longues et cohérentes en raison de deux défis majeurs :

• L'accumulation d'erreurs (Compounding Errors) : Dans les approches autoregressives (génération image par image ou par blocs), les petites erreurs d'inférence s'accumulent au fil du temps, entraînant une déviation rapide et irréaliste par rapport à l'état futur plausible.
• Mécanismes de mémoire insuffisants : Les modèles peinent à maintenir l'identité des objets, la disposition spatiale et l'état global du monde sur de longues séquences, ce qui conduit à des incohérences (ex: un personnage qui change de forme ou un décor qui se dégrade).

L'article souligne également que les techniques de réussite des grands modèles de langage (LLM), comme l'extension de la fenêtre de contexte ou la génération augmentée par récupération (RAG) standard, ne se transfèrent pas efficacement aux modèles vidéo en raison de leurs capacités d'apprentissage "in-context" (dans le contexte) plus faibles.

2. Méthodologie : VRAG (Video Retrieval Augmented Generation)

Les auteurs proposent VRAG, une nouvelle architecture qui combine la récupération de mémoire explicite et le conditionnement par l'état global pour surmonter les limitations des modèles autoregressifs standards.

A. Fondations : Génération Vidéo Interactive

Le modèle de base est un modèle de diffusion vidéo latent (basé sur DiT - Diffusion Transformer) :

• Conditionnement par action : Utilisation de la normalisation de couche adaptative (AdaLN) pour intégrer les séquences d'actions (déplacement, rotation, etc.) dans le processus de génération.
• Génération Autoregressive : Utilisation de la technique "Diffusion Forcing", où du bruit est ajouté de manière aléatoire à chaque trame d'entrée lors de l'entraînement. Cela force le modèle à être robuste aux erreurs accumulées dans les trames de contexte, simulant ainsi un processus de génération autoregressive réaliste.

B. Innovations Clés de VRAG

Pour résoudre les problèmes de cohérence et d'accumulation d'erreurs, VRAG introduit deux mécanismes principaux :

1. Conditionnement par l'État Global (Global State Conditioning) :

   • Contrairement aux modèles qui ne voient que les pixels, VRAG reçoit explicitement l'état du monde (coordonnées 3D $x, y, z$ et l'orientation/yaw) comme condition d'entrée.
   • Cela ancre la génération dans une réalité spatiale cohérente, permettant au modèle de comprendre où se trouve l'agent et comment il est orienté, réduisant ainsi les incohérences géométriques.

2. Génération Augmentée par Récupération Vidéo (VRAG) :

   • Mécanisme de récupération : Le modèle maintient un tampon (buffer) d'images latentes historiques. Lors de la génération d'une nouvelle trame, il récupère les trames passées les plus pertinentes (basées sur une similarité d'état global) et les concatène au contexte actuel.
   • Entraînement spécifique (In-Context Learning) : Contrairement au RAG classique des LLM, les modèles vidéo ont une faible capacité d'apprentissage in-context. VRAG corrige cela par des modifications cruciales lors de l'entraînement :
     • Décalage temporel (Temporal Offset) : Les trames récupérées reçoivent un décalage dans leurs embeddings de position (RoPE) pour les distinguer des trames courantes.
     • Niveaux de bruit réduits : Les trames récupérées sont soumises à moins de bruit que les trames courantes pour simuler des états partiellement débruités.
     • Masquage de la perte : La fonction de perte de diffusion est masquée pour les trames récupérées. Le modèle n'est pas pénalisé pour ne pas "dénouer" les trames passées, mais doit apprendre à les utiliser comme contexte pour générer le futur.
     • Conditionnement sélectif : Les trames récupérées sont conditionnées uniquement par leur état global, sans les actions passées, pour éviter les discontinuités temporelles dans les séquences d'actions.

3. Contributions Principales

1. Découplage et Analyse des Défis : L'article identifie et sépare systématiquement les problèmes d'accumulation d'erreurs et de fidélité de la mémoire, démontrant que les approches purement autoregressives sans mécanismes explicites sont insuffisantes.
2. Proposition de VRAG : Introduction d'un cadre combinant récupération de mémoire et conditionnement d'état global, qui améliore significativement la cohérence spatio-temporelle à long terme.
3. Évaluation Comparative Rigoureuse : Démonstration que les techniques d'extension de contexte issues des LLM (comme YaRN pour l'extension de fenêtre, ou l'attention infinie) sont inefficaces pour la génération vidéo en raison de la faiblesse de l'apprentissage in-context des modèles de diffusion vidéo.
4. Benchmark et Métriques : Établissement d'une stratégie d'évaluation découplée pour mesurer séparément la sévérité des erreurs d'accumulation et la fidélité de la récupération de mémoire.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données de 1000 vidéos de gameplay Minecraft (17 heures) et étendues à un jeu de données réel (RealEstate10K).

• Cohérence du Monde (World Coherence) : Sur des séquences de 300 images, VRAG surpasse toutes les méthodes de base (Diffusion Forcing standard, YaRN, Buffer d'historique, Mémoire neuronale).

  • Métriques : VRAG atteint un SSIM de 0.506 (contre 0.466 pour le meilleur modèle de base) et un LPIPS de 0.506 (plus bas est mieux), indiquant une meilleure similarité structurelle et une moindre distorsion perceptuelle.
  • Observation : L'extension de la fenêtre de contexte (YaRN) n'apporte aucune amélioration significative par rapport au modèle de base, confirmant que le simple allongement du contexte ne résout pas les problèmes de cohérence.

• Erreur d'Accumulation (Compounding Error) : Sur des séquences très longues (1200 images), VRAG maintient une structure beaucoup plus stable.

  • Métriques : VRAG obtient un SSIM moyen de 0.349, nettement supérieur au modèle de base (0.321) et bien meilleur que la méthode "Buffer d'historique" naïve (0.188), qui échoue totalement sans entraînement in-context approprié.

• Généralisation : Le modèle a été fine-tuné avec succès sur le dataset RealEstate10K (vidéos réelles) en seulement 2 époques, surpassant la baseline DFoT, ce qui prouve la généralisabilité de l'approche au-delà des simulations de jeux.

• Efficacité : VRAG n'ajoute qu'une surcharge computationnelle négligeable par rapport à un modèle standard avec fenêtre de 20 images, car les opérations de récupération sont légères et peuvent être effectuées sur CPU.

5. Signification et Implications

Ce travail est significatif car il remet en question l'hypothèse selon laquelle les techniques de gestion de contexte des LLM peuvent être directement appliquées à la vidéo. Il démontre que :

• Les modèles de diffusion vidéo ont des capacités d'apprentissage in-context intrinsèquement faibles.
• Pour construire des modèles du monde interactifs fiables, il est nécessaire d'introduire des représentations explicites (états globaux, cartes, coordonnées) et des mécanismes de mémoire entraînés spécifiquement (et non juste injectés au moment de l'inférence).

VRAG établit un nouveau standard pour la génération de vidéos interactives à long terme, offrant une voie prometteuse pour les applications en simulation de jeux, en conduite autonome et en robotique, où la cohérence temporelle et la fidélité de la mémoire sont critiques.