🤖 machine learning

DreamForge-World 0.1 Preview: A Low-Compute Real-Time Controllable World Model

DreamForge-World 0.1 Preview est un modèle de monde fondamental à faible consommation de calcul et adapté aux GPU grand public qui adapte l'architecture LongLive 1 dérivée de Wan2.1 avec une voie d'action résiduelle pour permettre des simulations vidéo interactives en temps réel avec contrôle au clavier et à la souris jusqu'à 15 FPS sur une RTX 4090.

Auteurs originaux : Daniyel Ayupov, Artur Markov-Tsoy

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniyel Ayupov, Artur Markov-Tsoy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un livre d'histoires magique et infini. Habituellement, quand vous écrivez une histoire, vous tapez une phrase, et le livre écrit la page suivante. Mais cette nouvelle invention, DreamForge-World 0.1, est différente : c'est un livre d'histoires qui vous écoute pendant que vous le lisez.

Voici une décomposition simple de ce dont traite ce document, en utilisant des analogies de la vie quotidienne :

1. L'idée centrale : Un créateur de films "en direct"

La plupart des générateurs de vidéos par IA sont comme un chef qui cuisine un repas complet avant que vous ne vous asseyiez pour manger. Vous leur donnez une recette (un prompt textuel), et ils vous servent un clip vidéo terminé.

DreamForge-World 0.1 est comme un chef qui cuisine bouchée par bouchée, juste devant vous. Vous dites : « Rendez cela épicé », et le chef ajoute du poivre à la bouchée actuelle. Ensuite, vous dites : « Maintenant, ajoutez des nouilles », et le chef les mélange immédiatement. La vidéo continue tant que vous continuez à parler ou à bouger votre souris. C'est un film interactif en temps réel qui ne s'arrête que lorsque vous le lui dites.

2. La recette secrète : La magie du "faible calcul"

Habituellement, créer ces mondes interactifs nécessite un supercalculateur massif et coûteux (comme une usine géante). Cette équipe a voulu voir si elle pouvait construire une version "à l'échelle d'une cuisine" capable de fonctionner sur un ordinateur domestique puissant et classique (plus précisément, une seule carte graphique appelée RTX 4090).

L'analogie : Pensez aux autres modèles de monde comme construisant un parc à thème complet. DreamForge construit un circuit de train miniature très impressionnant et détaillé qui tient sur une table basse. Ce n'est pas aussi vaste qu'un parc à thème, mais c'est pleinement fonctionnel, vous pouvez jouer avec tout de suite, et vous n'avez pas besoin d'une équipe de construction pour le faire fonctionner.

3. Comment ça marche (La recette)

L'équipe n'a pas construit un robot à partir de zéro. Au lieu de cela, elle a pris deux outils puissants existants et les a collés ensemble :

La base (LongLive/Wan) : C'est un outil qui est déjà très bon pour prédire ce qui se passe ensuite dans une vidéo. Considérez cela comme un acteur d'improvisation très talentueux qui sait comment faire durer une scène.
Le contrôleur (Style Matrix-Game) : Ils ont ajouté une couche de "télécommande". Cela vous permet d'utiliser votre clavier et votre souris pour dire à l'acteur quoi faire (sauter, tourner, courir) pendant que le film joue.

Ils ont entraîné cette combinaison sur une quantité relativement petite de données vidéo (environ 64 heures de gameplay). Pour donner un ordre d'idée, d'autres projets similaires ont utilisé 1 200 à 30 000 heures. C'est comme apprendre à conduire une voiture en regardant 64 heures de vidéos de conduite au lieu de 30 000.

4. Que pouvez-vous réellement faire ?

Le document énumère plusieurs "tours de magie" que le système peut réaliser actuellement :

Commencer n'importe où : Vous pouvez commencer avec seulement des mots (« Un dragon dans une grotte »), ou vous pouvez télécharger une image ou un court clip vidéo, et l'IA continuera l'histoire à partir de ce moment précis.
Changer d'avis en cours de route : Si l'IA est en train de créer une scène sur une plage, et que vous tapez soudainement « Maintenant, un tsunami frappe », l'histoire change instantanément pour un tsunami sans redémarrer toute la vidéo.
Changer de perspective : Vous pouvez regarder l'action depuis une vue "Première personne" (comme si vous étiez le personnage) ou une vue "Troisième personne" (comme si vous regardiez un film de votre personnage). Le système utilise deux "modes de cerveau" différents pour gérer ces différents angles.
Vitesse : Il tourne assez vite pour donner une sensation de jeu, affichant environ 14 à 15 images par seconde sur un ordinateur domestique haut de gamme.

5. Le "Mais..." (Les limites)

Le document est très honnête sur ce que cet outil ne peut pas encore faire. C'est un "Aperçu", pas un produit fini.

Le problème de "l'amnésie" : Le système n'a pas de mémoire à long terme. Si vous détournez la caméra d'un arbre puis que vous la tournez à nouveau, l'IA pourrait oublier que l'arbre était là et dessiner un nouvel arbre différent à sa place. Elle ne se souvient pas du monde qu'elle vient de créer.
Le problème du "flou" : Si vous jouez pendant longtemps (plusieurs minutes), la qualité de la vidéo commence à se dégrader. Les couleurs peuvent devenir trop vives ou les textures peuvent paraître boueuses parce que l'IA devine en se basant sur ses propres suppositions imparfaites.
Pas de physique ni de son : C'est un tour visuel. Il ne simule pas réellement la gravité, les collisions ou le son. C'est juste une illusion visuelle très convaincante.

Résumé

DreamForge-World 0.1 est une preuve de concept. Elle prouve qu'il n'est pas nécessaire d'avoir un supercalculateur valant des milliards de dollars pour créer un monde vidéo interactif en temps réel. Vous pouvez le faire sur un seul ordinateur domestique en combinant intelligemment des outils existants et en se concentrant sur le "suffisamment bon" plutôt que sur le "parfait".

C'est comme montrer que l'on peut construire une voiture fonctionnelle et conductible en utilisant des pièces provenant d'un vélo et d'une tondeuse à gazon. Ce n'est pas une Ferrari, et elle n'a pas de GPS, mais cela prouve que le moteur fonctionne, et vous pouvez la conduire autour du pâté de maisons dès maintenant.

Résumé Technique : DreamForge-World 0.1 Preview

Énoncé du Problème

Le domaine des modèles de mondes interactifs est actuellement organisé autour d'un compromis entre la latence (réactivité en temps réel) et la rétention d'état (cohérence à long terme et mémoire). Les systèmes de pointe (ex: Genie 3, WorldPlay) privilégient la mémoire spatiale persistante et le contrôle de niveau moteur, mais nécessitent souvent des ressources de calcul massives et des mécanismes de récupération de mémoire complexes. À l'inverse, les systèmes légers manquent souvent de la capacité de maintenir des déploiements cohérents et contrôlables sur la durée.

DreamForge-World 0.1 Preview répond à un point d'opération complémentaire : atteindre une large couverture de capacités interactives sous une faible puissance de calcul d'adaptation. L'objectif est de démontrer une voie pratique pour des aperçus de modèles de mondes contrôlables et en temps réel tournant sur des GPU grand public (spécifiquement une seule RTX 4090) sans les données d'entraînement massives ou l'infrastructure de mémoire requises par les modèles de pointe. Le système vise à supporter le contrôle en direct, l'initialisation multimodale et des déploiements de l'ordre de la minute, tout en reconnaissant qu'il n'est pas encore un simulateur « complet en mémoire » ou de qualité de pointe.

Méthodologie

1. Architecture et Backbone

Le système est construit sur LongLive 1, une pile vidéo autorégressive dérivée de Wan2.1-T2V-1.3B. LongLive fournit les propriétés autorégressives causales fondamentales, incluant :

Déploiement autorégressif au niveau de la trame (frame).
Mécanismes de cache KV pour une inférence en streaming efficace.
Attention à fenêtre courte et contexte de type "frame-sink".
Capacités de changement de prompt.

2. Mécanisme de Contrôle : Voie d'Action Résiduelle

Pour permettre le contrôle interactif, les auteurs ont adapté une voie d'action résiduelle inspirée de la famille Matrix-Game.

Adaptation du Backbone : Un LoRA de rang 64 a d'abord été entraîné sur le backbone LongLive/Wan en utilisant des vidéos de gameplay (provenant des jeux de données NitroGen et GameGen-X) pour adapter le prior vidéo aux domaines interactifs sans contrôle explicite.
Injection d'Action : Des poids de conditionnement d'action de style Matrix-Game 2.0 ont été transplantés sur le DiT basé sur LongLive. Ce module a ensuite été brièvement affiné pour aligner les caractéristiques d'action avec le backbone adapté.
Checkpoints Spécifiques à la Vue : Pour gérer les exigences distinctes des vues à la première personne (égocentrée) et à la troisième personne (externe), deux adaptateurs LoRA de haut rang ont été entraînés sur le module d'action. Ceux-ci utilisent des objectifs MSE $x_0$ et des pertes de trajectoire/pose (supervisées par Depth Anything 3) pour empêcher la dérive de perspective. Les poids résultants sont fusionnés dans le module d'action, permettant la sélection de checkpoints spécifiques selon le mode de vue souhaité.

3. Initialisation Multimodale

Contrairement à l'interface native de LongLive qui repose sur le changement de prompt, DF-World 0.1 introduit l'initialisation multimodale via le conditionnement de l'historique latent :

Entrée Image/Vidéo : Les images ou segments vidéo d'entrée sont encodés dans le même espace latent utilisé pour le déploiement et insérés comme préfixes d'« historique propre ».
Continuité : La boucle autorégressive continue à partir de ces préfixes sous des prompts textuels et des flux d'actions en direct, permettant des points d'entrée de type image-vers-monde et vidéo-vers-monde.

4. Optimisation du Temps d'Exécution

La pile d'inférence est optimisée pour le matériel grand public :

Streaming Asynchrone : La génération et le décodage VAE sont découplés pour réduire la latence.
Quantification : Des chemins d'exécution de quantification du cache KV et de basse précision (fp8) sont implémentés.
Gestion du Cache : Une gestion de cache sans entraînement de type "Deep Forcing" est utilisée pour atténuer la dérive lors de séquences longues.
Options de Décodeur : Le système supporte le VAE par défaut de Wan2.1 ainsi qu'un décodeur plus léger, LightTAEW 2.1, pour un meilleur débit.

Résultats Clés

Métriques de Performance

Le système atteint des déploiements interactifs en temps réel à une résolution native de 480p (480×832) sur une seule RTX 4090 :

FPS : Varie de ~10–12 FPS (VAE par défaut, bf16) à 14–15 FPS (LightTAEW 2.1, fp8).
Empreinte Mémoire : Varie de ~4 Go à ~9 Go de VRAM, selon la précision et le choix du décodeur.
Horizon : Supporte des déploiements interactifs de l'ordre de la minute, la première minute offrant la fenêtre qualitative la plus forte.

Capacités Fonctionnelles

L'aperçu démontre six capacités intégrées au sein d'un seul environnement d'exécution :

Déploiement par Prompt uniquement : Initialisation de trajectoire pilotée par le texte.
Entrée Multimodale : Initialisation à partir de texte, images, vidéo ou contextes mixtes.
Contrôle en Direct : Conditionnement clavier et souris en temps réel (mouvement, saut, sprint, accroupissement, actions).
Fonctionnement à Double Vue : Chemins de contrôle distincts pour les perspectives à la première et troisième personne.
Reprompting en cours de flux : Mises à jour des conditions sémantiques pendant les déploiements actifs sans redémarrage.
Continuité : Génération autorégressive au-delà du prompt initial.

Comparaison d'Efficacité

Le système a été entraîné sur un ensemble de données curatées de seulement 64 heures de vidéos de gameplay/contrôle. C'est nettement inférieur aux systèmes comparables :

Matrix-Game 2.0 : ~1 200 heures (18,8x plus grand).
Genie : ~30 000 heures (468,8x plus grand).

Limitations

Le document identifie explicitement plusieurs contraintes actuelles :

Mémoire et Cohérence de Visite : Le système manque de mémoire spatiale persistante. Si un utilisateur détourne la vue d'une région et y revient, le contenu de la scène est souvent resynthétisé plutôt que préservé, entraînant des incohérences (ex: de nouveaux arbres apparaissant dans des espaces auparavant vides).
Dérive à Longue Durée : La qualité, l'identité des objets et la fidélité des textures se dégradent à mesure que le modèle se conditionne sur son propre historique imparfait au fil du temps.
Précision du Contrôle : Bien que les entrées clavier/souris influencent la trajectoire, la diversité et la précision des actions sont inférieures aux standards de simulation explicites. Un mouvement de caméra agressif peut déstabiliser la scène, et le contrôle à la troisième personne est noté comme étant plus fragile que celui à la première personne.
Périmètre : L'aperçu n'inclut pas la génération sonore, l'interaction multi-agents, ni l'interaction physique fiable avec des objets persistants.

Signification et Revendications

Les auteurs positionnent DreamForge-World 0.1 Preview non pas comme un remplacement des simulateurs de pointe, mais comme la démonstration d'une voie pratique à faible coût de calcul vers des modèles de mondes contrôlables en temps réel.

Espace de Conception : Il occupe un espace unique défini par la "couverture de capacité par unité de calcul d'adaptation directe" plutôt que par la fidélité visuelle ou l'échelle de la mémoire.
Faisabilité : Il prouve qu'une boucle de modèle de monde interactive et fonctionnelle — supportant l'entrée multimodale, le contrôle en direct et le reprompting — peut être construite sur des GPU grand public en utilisant l'adaptation ciblée de backbones vidéo ouverts.
Direction Future : Ce travail établit une base pour les futures itérations (ex: DF-World 0.5) qui visent à traiter la mémoire persistante, des backbones plus larges et une meilleure stabilité de la double vue, mais la contribution actuelle est la validation de la recette d'adaptation à faible coût elle-même.