minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

Résumé Technique : minWM

Énoncé du Problème
Les modèles fondateurs récents basés sur la diffusion ont obtenu des succès significatifs dans la génération vidéo de haute qualité à partir de texte (T2V) et à partir de texte et d'image (TI2V). Cependant, transformer ces générateurs bidirectionnels hors ligne en modèles de monde vidéo interactifs en temps réel reste un défi considérable. Un modèle de monde interactif efficace doit prendre en charge le déroulement causal, répondre aux actions de l'utilisateur (telles que les trajectoires de caméra) et générer des images futures avec une latence suffisamment faible. Bien que des travaux récents aient exploré la distillation de diffusion autorégressive (AR) pour combler cet écart, ces techniques sont actuellement dispersées dans des pipelines séparés. La construction d'un système interactif complet nécessite toujours des efforts substantiels et disjoints dans la construction de données, le fine-tuning contrôlable, l'entraînement AR, la distillation en quelques étapes et l'alignement de l'inférence. Il manque un cadre unifié, reproductible et extensible pour gérer l'ensemble de ce pipeline.

Méthodologie
Les auteurs présentent minWM, un cadre open-source complet conçu pour convertir les modèles fondateurs bidirectionnels T2V/TI2V existants en modèles de monde autorégressifs en quelques étapes, contrôlables par caméra. Le pipeline est modulaire et se compose de deux phases principales :

1. Phase 1 : Entraînement contrôlable par caméra pour les modèles de diffusion bidirectionnels

   • Objectif : Équiper une colonne vertébrale de diffusion bidirectionnelle multi-étapes de la capacité à suivre des trajectoires de caméra prescrites tout en préservant la qualité visuelle originale.
   • Technique : Le cadre adopte PRoPE (Projective Rotation and Position Embedding) comme méthode d'injection. Étant donné les paramètres de caméra (matrice intrinsèque $K_i$ et transformation extrinsèque $T^{cw}_i$), PRoPE construit une matrice projective surélevée pour chaque image. Cette transformation est injectée dans le mécanisme d'attention auto-associative sous une forme GTA (Generalized Token Attention), permettant au modèle de se conditionner sur les trajectoires de caméra en encodant les intrinsèques et poses relatives de la caméra sans perturber la structure générative originale de l'attention auto-associative.

2. Phase 2 : Distillation de diffusion AR pour les modèles interactifs en temps réel

   • Objectif : Transformer le modèle bidirectionnel contrôlable par caméra et multi-étapes en un générateur autorégressif en quelques étapes adapté à une inférence à faible latence.
   • Pipeline : Le cadre implémente le pipeline Causal Forcing ou Causal Forcing++, comprenant trois étapes :
     • Étape 1 (Entraînement de diffusion AR) : Le modèle bidirectionnel est affiné en un modèle de diffusion AR via le forcing de l'enseignant. Cela implique de concaténer une vidéo propre avec ses contreparties bruitées et d'entraîner sous un masque d'attention causal. Cela confère une capacité autorégressive mais conserve la latence multi-étapes et les problèmes de biais d'exposition.
     • Étape 2 (Initialisation) : Le modèle est distillé en un générateur en quelques étapes. Le cadre offre deux options :
       • ODE Causal : Régression des images intermédiaires bruitées vers des images propres en utilisant des trajectoires PF-ODE générées par l'enseignant AR.
       • CD Causal (Consistency Distillation) : Une alternative théoriquement équivalente qui élimine le besoin de génération de données ODE hors ligne, réduisant ainsi les coûts de stockage et de temps.
     • Étape 3 (DMD Asymétrique) : Pour surmonter les limitations de qualité héritées de l'enseignant AR, une étape de distillation asymétrique avec un modèle de diffusion (DMD) est appliquée. Le modèle élève AR en quelques étapes génère des séquences complètes par déroulement autonome, qui sont ensuite optimisées par rapport à un modèle enseignant bidirectionnel figé et de haute qualité (le "vrai" score) en utilisant des gradients DMD standard.
   • Intégration de la caméra : Tout au long de toutes les étapes de distillation, les conditions de caméra sont systématiquement fournies à l'enseignant AR, au modèle élève et aux estimateurs de score ($s_{real}$ et $s_{fake}$), garantissant que le modèle final en quelques étapes reste contrôlable par caméra.

Contributions Clés

• Cadre minWM : La publication d'un pipeline entièrement open-source, de bout en bout, pour la construction de modèles de monde vidéo interactifs en temps réel. Il couvre l'ensemble du flux de travail, de la construction de données conditionnées par caméra et du fine-tuning contrôlable à la distillation Causal Forcing et à l'inférence à faible latence.
• Généralisation de l'Architecture : Démonstration que le cadre est agnostique à l'architecture. Les auteurs ont instancié minWM sur deux backbones open-source distincts :
  • Wan2.1-T2V-1.3B : Utilisant une injection de condition basée sur l'attention croisée.
  • HY1.5-TI2V-8B : Utilisant une architecture de style MMDiT.
• Adaptabilité : Le cadre prend en charge l'adaptation des modèles de monde existants (par exemple, HY-WorldPlay) à de nouvelles distributions de données, recettes d'entraînement et objectifs de latence.
• Ablations Pratiques : L'article fournit des conseils actionnables sur des facteurs d'entraînement critiques, notamment la nécessité de trajectoires de caméra vérité terrain (par opposition aux poses estimées par perception), le nombre minimum d'étapes d'entraînement requis pour le contrôlabilité et les exigences minimales de taille de lot.

Résultats

• Réduction de la Latence : Les modèles AR en quelques étapes ont obtenu des réductions dramatiques de la latence de la première image par rapport aux bases bidirectionnelles multi-étapes.
  • HY1.5 : Réduction de la latence de 771,04 s à 3,446 s (un accélération de 223,75×).
  • Wan2.1 : Réduction de la latence de 269,055 s à 1,137 s (une accélération de 236,64×).
  • Cette faible latence permet une interaction en temps réel où les utilisateurs peuvent visualiser les images pendant que la génération est en cours.
• Préservation de la Contrôlabilité : Les résultats visuels confirment que les modèles AR distillés en quelques étapes conservent la capacité de générer des vidéos sous différentes actions de caméra, validant ainsi l'efficacité de l'algorithme de distillation pour préserver le contrôlabilité.
• Constats des Ablations :
  • Qualité des Données : L'entraînement sur des ensembles de données avec des poses de caméra estimées par perception (SpatialVid) n'a pas permis d'obtenir un contrôlabilité fiable. Un entraînement réussi a nécessité des trajectoires vérité terrain obtenues via reconstruction/ré-rendu 3D (DL3DV) ou générées par WorldPlay.
  • Étapes d'Entraînement : Le contrôlabilité de la caméra est apparu progressivement ; les modèles étaient largement incontrôlables à 1–2k étapes, ont commencé à répondre à ~5k étapes, et ont atteint un fort contrôlabilité à 8k étapes.
  • Taille de Lot : Une taille de lot inférieure à 4 a souvent entraîné un échec de l'apprentissage du contrôlabilité. Une taille de lot de 16 s'est avérée nécessaire pour un entraînement stable et à fort contrôlabilité.

Signification
L'article positionne minWM non pas comme un seul point de contrôle entraîné, mais comme une recette reproductible et extensible pour la communauté. Il aborde la fragmentation de la recherche actuelle en fournissant un pipeline unifié qui convertit des modèles fondateurs hors ligne puissants en agents interactifs en temps réel. En publiant des scripts exécutables, des points de contrôle et de la documentation, minWM vise à réduire la barrière pour les chercheurs afin de construire, adapter et étendre des modèles de monde vidéo interactifs en temps réel, en particulier pour les applications nécessitant une génération contrôlable par caméra à faible latence. Les auteurs notent explicitement que, bien qu'ils se concentrent actuellement sur le contrôle de la caméra, le cadre est conçu pour être étendu à d'autres conditions de contrôle (par exemple, la pose) et à des modèles supplémentaires à l'avenir.