🤖 AI

ReWorld: An Interactive World Model with Long-Horizon Memory

ReWorld est un modèle de monde interactif qui résout la tension structurelle entre le contrôle à court horizon et la mémoire à long horizon en séparant ces capacités lors de l'entraînement grâce à des mécanismes d'attention mixtes et en les unifiant lors de l'inférence via un système de recherche de points de repère indexés par pose, atteignant ainsi une fidélité d'action, une qualité vidéo et une cohérence temporelle de plusieurs minutes supérieures à travers divers domaines visuels.

Auteurs originaux : Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen

Publié 2026-08-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un ordinateur capable de regarder une vidéo puis de prédire ce qui se passe ensuite, image par image, comme s'il vivait à l'intérieur de la scène. C'est la promesse d'un « modèle de monde » (world model), un type d'intelligence artificielle conçu pour simuler des environnements où un agent peut se déplacer et agir. Pour que ces systèmes semblent véritablement vivants, ils doivent accomplir trois tâches difficiles simultanément : ils doivent réagir instantanément aux commandes d'un utilisateur, ils doivent se souvenir exactement de l'aspect d'un lieu lorsque l'utilisateur l'a quitté et y est revenu, et ils doivent continuer à générer de nouvelles vidéos en temps réel sans manquer de mémoire. Le problème est que ces objectifs s'opposent souvent. Pour réagir rapidement, un système doit se concentrer uniquement sur le passé immédiat, mais pour se souvenir d'un lieu lointain, il doit conserver une histoire vaste. Si un système tente de faire les deux avec la même approche simple, il échoue généralement à l'un ou à l'autre, soit en oubliant le passé, soit en trébuchant sur le présent.

Des chercheurs ont maintenant construit un système appelé ReWorld qui résout cette tension en apprenant à l'ordinateur à penser de deux manières différentes simultanément. L'équipe, travaillant avec des institutions de Hong Kong et d'Alibaba, a créé un modèle capable de suivre les mouvements de caméra d'un utilisateur, de diffuser des vidéos de haute qualité de mondes photoréalistes ou de type jeu vidéo, et de se rappeler des scènes spécifiques d'il y a plusieurs minutes, même après que la caméra s'est éloignée et est revenue. La découverte clé est que le système n'a pas besoin de choisir entre réaction à court terme et mémoire à long terme ; au contraire, il sépare ces tâches pendant son processus d'apprentissage et les gère soigneusement lorsqu'il est en cours d'exécution.

Le succès de ReWorld repose sur la façon dont il organise son attention. Dans de nombreux modèles d'intelligence artificielle, le système examine toutes les informations qu'il a vues jusqu'à présent pour décider de ce qu'il va générer ensuite. ReWorld répartit ce travail entre différentes parties de son cerveau. Certaines parties sont entraînées pour ne regarder que le passé très récent, par exemple les dernières secondes, afin de garantir qu'une pression sur un bouton se traduise par un mouvement de caméra immédiat et précis. D'autres parties sont entraînées pour regarder l'intégralité de l'historique de la vidéo, permettant au système de reconnaître qu'une formation rocheuse ou un bâtiment spécifique vu il y a longtemps est bien le même qu'il voit à nouveau maintenant. Crucialement, les chercheurs n'ont pas assigné ces tâches à des parties fixes du système. Au lieu de cela, ils ont mélangé les rôles de manière aléatoire pendant l'entraînement, garantissant que chaque partie du système apprenne à gérer à la fois les réactions immédiates et les souvenirs lointains. Cela empêche le système de devenir dépendant d'une manière spécifique de regarder le passé, ce qui est vital car, dans le monde réel, le système ne peut pas garder tout son historique en mémoire indéfiniment.

Lorsque le système est mis en action, il est confronté à une limite stricte de la quantité d'informations qu'il peut contenir à un instant donné. Pour gérer cela, ReWorld utilise un système de classement ingénieux. À mesure que la vidéo défile, il conserve une petite fenêtre, constamment mise à jour, des images les plus récentes. Lorsque des images plus anciennes sortent de cette fenêtre, elles ne sont pas simplement supprimées. Au lieu de cela, le système vérifie si la caméra a suffisamment bougé pour justifier la sauvegarde d'un instantané de cet emplacement. Si c'est le cas, le système enregistre un « point de repère » (landmark) de haute qualité de cette scène. Ces points de repère sont stockés dans une banque séparée et limitée. Lorsque la caméra fait demi-tour et retourne vers un endroit visité précédemment, le système recherche dans cette banque le point de repère qui correspond à la vue actuelle et le réintègre dans la mémoire active. Cela permet au système de se souvenir d'une scène d'il y a une minute sans avoir besoin de stocker chaque image survenue entre-temps.

Pour faire fonctionner cela, les chercheurs ont dû enseigner au modèle en utilisant un type de données très spécifique. Ils ont combiné des séquences de vidéos réelles, de jeux vidéo et d'environnements générés par ordinateur, mais ils ont fait une chose inhabituelle : ils se sont assurés qu'une commande unique, comme appuyer sur une touche pour avancer, déplace la caméra exactement de la même distance physique dans chaque type de séquence. Cela a créé un langage de mouvement unifié. Ils ont également utilisé une technique d'entraînement spéciale où ils cachaient parfois des parties de l'historique de la vidéo au modèle, le forçant à apprendre comment reconstruire la scène même lorsque sa mémoire était incomplète. Cela a préparé le modèle à la réalité de sa banque de mémoire limitée, garantissant qu'il ne serait pas confus lorsqu'il devrait s'appuyer sur quelques points de repère clés plutôt que sur un flux continu de données.

Les résultats de cette approche sont frappants. Dans des tests où la caméra s'éloignait puis revenait à son point de départ, ReWorld a été capable de régénérer la vue originale avec une précision remarquable, même après que la caméra a voyagé pendant une minute ou plus. D'autres systèmes, qui reposent sur le maintien d'une simple fenêtre glissante d'images récentes, ont échoué à se souvenir du point de départ une fois que celui-ci est sorti de leur fenêtre. ReWorld s'est également révélé supérieur pour suivre les commandes, la caméra se déplaçant exactement comme prévu sans dériver de sa trajectoire. Le système peut générer de la vidéo à une résolution de 704 par 1280 pixels, assez rapidement pour être interactif, et il maintient cette qualité à travers différents styles, des paysages réalistes aux mondes de jeux stylisés.

Les chercheurs ont constaté que leur méthode fonctionne parce qu'elle respecte les besoins différents du contrôle et de la mémoire. En apprenant au système à gérer séparément les commandes à court terme et le rappel à long terme, et en utilisant un système de récupération intelligent pour ramener les anciens souvenirs seulement quand ils sont nécessaires, ils ont créé un modèle de monde qui semble à la fois réactif et cohérent. Le système n'a pas besoin d'être une entité massive et omnisciente pour se souvenir du passé ; il lui suffit de savoir comment trouver la bonne pièce du passé au moment où elle est nécessaire. Cette approche permet au modèle de fonctionner sur du matériel informatique standard tout en maintenant un sentiment de continuité qui était auparavant impossible pour la génération de vidéo interactive. Ce travail suggère que l'avenir de l'IA interactive ne réside pas seulement dans la création de modèles plus grands, mais dans la capacité de ces modèles à être plus intelligents dans la manière dont ils organisent et accèdent aux informations qu'ils ont déjà apprises.

Résumé Technique : ReWorld – Un modèle de monde interactif avec une mémoire à long horizon

1. Énoncé du problème

Les modèles de monde interactifs visent à simuler des environnements où un agent peut agir, générant des flux vidéo cohérents et explorables en réponse aux actions de l'utilisateur. Cependant, les systèmes actuels sont confrontés à une tension structurelle fondamentale entre contrôle et mémoire :

Le contrôle nécessite des horizons d'attention courts pour réagir immédiatement aux entrées de l'utilisateur (ex: pressions de touches) sans être distrait par l'historique lointain.
La mémoire nécessite des horizons d'attention illimités pour se rappeler et régénérer avec précision des scènes visitées il y a longtemps.

Les approches existantes peinent souvent à équilibrer ces deux aspects. Améliorer simultanément ces deux capacités lors de l'entraînement conduit généralement à un compromis où l'amélioration du contrôle dégrade la mémoire (fidélité de la revisite), et vice versa. De plus, le déploiement de ces modèles en temps réel est contraint par le budget de mémoire du cache KV ; maintenir un historique complet pour de longs déploiements est informatiquement irréalisable, tandis que les fenêtres glissantes standards évacuent inévitablement les preuves nécessaires au rappel à long horizon.

2. Méthodologie

ReWorld répond à ces défis par une conception en deux étapes : le découplage de l'entraînement du contrôle et de la mémoire via la division de fenêtres, et la consolidation de la mémoire sous un budget d'inférence fixe.

2.1 Entraînement : Contrôle et Mémoire par Division de Fenêtres

L'innovation centrale consiste à séparer l'apprentissage du contrôle et de la mémoire en assignant différentes fenêtres d'attention à différentes têtes d'attention au sein d'une même itération du modèle.

Fenêtres d'attention par tête mixtes : Le modèle divise ses têtes d'attention en deux groupes :
- Têtes Locales (18/24) : Portent attention uniquement aux $w=12$ dernières trames (3 blocs). Ces têtes apprennent le contrôle, garantissant que le modèle répond correctement aux actions immédiates quel que soit la longueur totale de l'historique.
- Têtes Globales (6/24) : Portent attention à l'intégralité de l'historique causal. Ces têtes apprennent la mémoire, permettant la récupération de contenu lointain.
Routage aléatoire des têtes : Pour éviter que des têtes spécifiques ne deviennent de façon permanente spécialisées (ce qui échouerait lors de l'inférence lorsque l'historique complet est indisponible), l'assignation des rôles global ou local est randomisée à chaque étape de l'optimiseur. Un ensemble fixe de partitions aléatoires est cyclé, garantissant que chaque tête apprend les deux capacités. Cela permet au modèle de fonctionner correctement même lorsque le cache d'inférence est limité et partagé par toutes les têtes.
Conditionnement Dual : Le modèle utilise deux canaux de conditionnement :
1. Attention indexée par la pose (MRoPE) : Intègre la pose de la caméra ( $SE(3)$ ) directement dans le mécanisme d'attention (via des décalages de phase et des résidus), permettant au modèle de récupérer du contenu basé sur la proximité spatiale plutôt que sur la simple distance temporelle.
2. Injection directe d'action : Injecte explicitement des commandes de caméra à 6 degrés de liberté (sous forme de cartes de rayons de Plücker) pour assurer une autorité de contrôle précise.

2.2 Inférence : Consolidation de la Mémoire et Entraînement par Suppression de Blocs

Lors de l'inférence, le modèle opère sous un budget de cache KV strictement limité ( $B=12$ blocs).

Consolidation de la mémoire : Au lieu d'une fenêtre glissante qui rejette les données anciennes, ReWorld maintient une banque de points de repère limitée ( $K=30$ $K = 30$ ).
- Admission : À mesure que les blocs vieillissent et sortent de la fenêtre récente, ils sont admis dans la banque de points de repère uniquement si la caméra a parcouru une distance significative depuis le dernier point de repère stocké (une "règle de l'odomètre"). Cela garantit que la banque contient des instantanés diversifiés et non redondants de l'environnement.
- Éviction : Lorsque la banque est pleine, le membre le plus spatialement redondant (le plus proche en espace de pose des autres) est évincé.
- Récupération : Le cache fixe est peuplé d'un bloc "puits" (pour la structure globale), des 5 blocs les plus récents et des 6 points de repère ( $|T_k|=6$ ) les plus proches de la pose actuelle de la caméra, totalisant un budget de $B=12$ .
Entraînement par Suppression de Blocs (Chunk-Drop Training) : Pour combler l'écart entre l'entraînement (historique contigu) et l'inférence (historique épars et non contigu), le processus d'entraînement masque aléatoirement un sous-ensemble de blocs KV passés. Cela apprend au modèle à reconstruire les états de la scène à partir d'une mémoire incomplète, rendant les caches épars produits par la politique de consolidation "dans la distribution".

2.3 Distillation en Temps Réel

Pour atteindre des performances en temps réel, ReWorld emploie une Distillation par Appariement de Distribution (DMD) confinée à un adaptateur LoRA léger.

Un modèle enseignant multi-étapes entraîne un modèle étudiant qui opère en seulement 4 étapes de débruitage.
L'adaptateur LoRA est appliqué uniquement aux couches d'attention et de propagation vers l'avant (feed-forward), laissant les chemins d'injection d'action et de conditionnement de pose intacts. Cela permet à un seul backbone de supporter à la fois une génération multi-étapes de haute fidélité et un streaming interactif en temps réel.

2.4 Pipeline de Données

Le modèle est entraîné sur un corpus aligné à l'échelle métrique de 220 724 clips provenant de huit sources (Unreal Engine, images du monde réel et données de jeux).

Alignement d'échelle : Toutes les sources sont redimensionnées de sorte qu'une action physique unique (ex: une pression de touche) corresponde à la même distance physique à travers tous les jeux de données.
Augmentation Palindrome : Les trajectoires qui retracent leur chemin (aller-retour) sont utilisées pour fournir une supervision explicite de la mémoire à long horizon.

3. Contributions Clés

Entraînement par Division de Fenêtres : Une nouvelle recette d'entraînement utilisant des fenêtres d'attention par tête mixtes et un routage aléatoire des têtes pour découpler l'apprentissage du contrôle (fenêtre courte) et de la mémoire (fenêtre longue) sans augmenter les paramètres du modèle.
Inférence basée sur la Consolidation : Un système de gestion de la mémoire utilisant une banque de points de repère indexée par la pose avec éviction basée sur la redondance, couplé à un entraînement par suppression de blocs, pour maintenir une mémoire spatiale sur des déploiements illimités avec un budget KV fixe.
Pipeline Multi-Source Aligné Métriquement : Un moteur de données unifié qui aligne les données synthétiques, réelles et de jeu sur une échelle physique unique, permettant un transfert robuste entre les domaines.
Déploiement en Temps Réel : Une stratégie de distillation confinée à LoRA qui permet à un seul backbone de streamer de la vidéo haute résolution (704×1280) en temps réel (4 étapes) tout en maintenant des capacités de haute fidélité.

4. Résultats

Évalué par rapport à six modèles de mondes interactifs récents (incluant SANA-WM, DreamX, HY-WorldPlay et Matrix-Game 3.0), ReWorld démontre une performance supérieure sur trois axes :

Fidélité du Contrôle : ReWorld obtient la meilleure erreur de rotation (11,95°) et la meilleure cohérence du mouvement de caméra sur un benchmark de 240 clips à travers six trajectoires canoniques. Il surpasse les bases tant dans les tâches riches en translation que celles riches en rotation.
Mémoire à Long Horizon : Sur les tests de type "aiguille dans une botte de foin" (palindromes allant jusqu'à 384 latents / ~64 secondes), ReWorld maintient une haute fidélité de revisite.
- À une longueur de déploiement de 96 latents, là où les fenêtres glissantes ont évacué la vue de départ, ReWorld atteint une SSIM de revisite de 0,384, surpassant nettement les bases qui dérivent ou altèrent la géométrie.
- Les études d'ablation confirment que le routage aléatoire des têtes est critique : sans lui, l'ajout de l'injection d'action dégrade la mémoire ; avec lui, le contrôle et la mémoire sont préservés simultanément.
Qualité de Génération : ReWorld atteint le score moyen le plus élevé sur VBench (0,850), équilibrant la cohérence temporelle, la fluidité du mouvement et le degré de dynamique. Contrairement à certaines bases qui sacrifient le mouvement pour la cohérence, ReWorld maintient des degrés de dynamique élevés.

5. Signification et Revendications

L'article affirme que ReWorld résout la tension structurelle entre contrôle et mémoire en les séparant pendant l'entraînement et en les limitant lors de l'inférence.

Découplage : Le mécanisme de routage aléatoire des têtes prouve que le contrôle n'a pas besoin de dépendre de têtes spécifiques ou de fenêtres longues, permettant au modèle de fonctionner correctement même lorsque le cache d'inférence est compressé.
Scalabilité : En consolidant la mémoire dans une banque de points de repère indexée par la pose, le modèle peut générer des déploiements de plusieurs minutes avec une mémoire spatiale cohérente à un coût computationnel constant, un exploit là où les fenêtres glissantes échouent et où l'attention full-KV épuise la mémoire.
Praticité : Le système démontre que des modèles de monde interactifs haute fidélité et en temps réel sont réalisables grâce à une distillation efficace et une conception architecturale soignée, plutôt qu'en augmentant simplement la taille du modèle ou la longueur du contexte.

Les auteurs notent que bien que le système actuel excelle dans l'interaction de navigation, étendre ce mécanisme de consolidation aux scènes dynamiques et aux interactions plus riches et non-navigationnelles reste une direction future.