🤖 machine learning

Addressable Memory for Video World Models

L'article introduit WorldTrace, un cadre sans entraînement qui permet une persistance visuelle à long terme dans les modèles de monde vidéo en assignant des positions virtuelles distinctes aux créneaux de mémoire compressés, surmontant ainsi les limitations des plongements positionnels rotatifs temporels et améliorant considérablement la cohérence temporelle et le rappel épisodique sur le nouveau benchmark LoopBench.

Auteurs originaux : Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

Publié 2026-08-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un moteur de jeu vidéo qui ne se contente pas de vous montrer un monde, mais qui l'imagine au fur et à mesure que vous jouez. Vous avancez, et le jeu génère la scène suivante. Vous tournez un coin, et il invente un nouveau couloir. C'est la magie des « modèles de mondes vidéo ». Mais il y a un piège : ces rêveurs numériques ont une capacité d'attention très courte. Ils ne peuvent se souvenir que de ce qui s'est passé au cours des dernières secondes du jeu. Si vous marchez en un grand cercle et revenez à votre point de départ dix minutes plus tard, le jeu oublie généralement à quoi ressemblait le point de départ. Il pourrait vous montrer un arbre légèrement différent, un mur déplacé ou une couleur complètement erronée. C'est comme un conteur qui se souvient du début d'un récit, mais qui, arrivé au milieu, a oublié le nom du personnage principal, alors il en invente un nouveau qui sonne de façon similaire, mais qui n'est pas tout à fait le bon.

Pour corriger cela, les scientifiques essaient généralement de donner à l'ordinateur un « carnet de notes » plus grand pour écrire tout ce qu'il voit. Mais voici le problème : le carnet possède une règle magique. Plus loin dans le passé vous écrivez, plus il est difficile de lire votre propre écriture. Dans le monde de ces modèles d'IA, l'« écriture » est un code spécial appelé encodage positionnel (plus précisément RoPE) qui indique au modèle quand quelque chose s'est produit. Si vous essayez de faire tenir trop d'histoire dans un carnet de taille fixe, le code se brouille. Le modèle peut voir les notes, mais il ne peut plus déterminer quelle note appartient à quel moment de l'histoire. C'est comme essayer de lire un journal intime dont les dates auraient été effacées ; vous savez que vous avez écrit sur une plage, mais vous ne savez pas si c'était hier ou l'année dernière. Ce document s'attaque à ce problème spécifique : comment maintenir un monde de jeu vidéo cohérent et reconnaissable, même après que le joueur a fait un long détour sinueux.

Les chercheurs derrière cette étude, travaillant avec NVIDIA et plusieurs universités, proposent un nouveau système ingénieux appelé WorldTrace. Ils ont découvert que la raison pour laquelle ces modèles d'IA oublient n'est pas seulement qu'ils manquent d'espace, mais qu'ils perdent la capacité de trouver les souvenirs qu'ils ont stockés. Imaginez un bibliothécaire qui possède une immense pile de livres mais aucun système de catalogue. Si vous demandez un livre d'il y a dix ans, le bibliothécaire sait peut-être qu'il est dans la pile, mais il ne peut pas le sortir de l'étagère car l'étiquette sur la tranche s'est estompée ou ne correspond plus à la date actuelle.

L'équipe a trouvé deux problèmes principaux. Premièrement, les « étiquettes » des souvenirs se brouillent lorsque le jeu dure plus longtemps que ce pour quoi le modèle a été entraîné. Deuxièmement, lorsque les gens tentent de compresser les vieux souvenirs pour gagner de l'espace (comme résumer un chapitre entier en une seule phrase), ils mélangent accidentellement les « dates » des événements, ce qui rend le résumé confus et composé d'informations incompatibles.

Pour résoudre cela, WorldTrace agit comme un bibliothécaire super organisé doté d'un système de classement spécial. Au lieu de laisser les « étiquettes de date » dériver vers l'inconnu, le système attribue à chaque souvenir une adresse fixe et sûre que le modèle sait lire, peu importe la durée du jeu. C'est comme donner à chaque livre un numéro de rayon permanent qui ne change jamais, même si la bibliothèque s'agrandit.

À l'intérieur de ce nouveau système de classement, les chercheurs ont testé deux manières différentes de décider quoi écrire :

WorldTrace-Field (Le Résumé Fluide) : Cette méthode consiste à prendre un long voyage routier sinueux et à écrire un journal fluide et continu qui capture l'« ambiance » générale du voyage. Elle moyenne les détails pour que l'histoire se déroule naturellement. Cela aide le jeu à paraître cohérent et stable, afin que le ciel ne change pas soudainement de couleur ou que le sol ne tremble pas pendant que vous marchez. Dans leurs tests, cette approche a amélioré la fluidité de la vidéo de 15,5 % par rapport aux anciennes méthodes.
WorldTrace-Landmark (L'Album Photo) : Cette méthode ressemble davantage à un album de coupures. Au lieu de résumer tout le contenu, elle sélectionne des moments spécifiques et importants — comme le moment exact où vous avez tourné un coin ou vu un bâtiment unique — et enregistre un instantané parfait et figé de cette scène. Lorsque vous revenez à cet endroit plus tard, le modèle extrait cette « photo » exacte de l'album. Cela est crucial pour le « rappel épisodique », ou le fait de se souvenir d'endroits spécifiques. Dans leurs tests, cette méthode a amélioré la capacité de se souvenir d'une scène après un long détour de 19,5 %.

Pour prouver que leur idée fonctionnait, l'équipe a inventé un nouveau test appelé LoopBench. Imaginez un jeu où vous marchez en un carré ou un triangle, visitant différents endroits, puis revenant à votre point de départ. Le test vérifie si le jeu se souvient de l'apparence de votre point de départ. Les résultats ont montré que sans WorldTrace, le jeu échoue souvent à recréer la scène originale, montant une version floue ou erronée. Mais avec WorldTrace, le jeu peut reconstruire de manière fiable la scène originale, même après un long voyage.

L'article suggère que la clé pour rendre ces mondes d'IA réels et persistants n'est pas seulement de stocker plus de données, mais de les stocker d'une manière qui reste trouvable. En fixant l'« adresse » des souvenirs et en choisissant le bon type de résumé (soit une histoire fluide, soit un instantané net), WorldTrace permet à ces mondes numériques de rester cohérents beaucoup plus longtemps, transformant potentiellement de courts clips vidéo en aventures infinies et explorables où le monde se souvient de vous.

=== RÉSUMÉ TECHNIQUE ===

Résumé Technique : Mémoire adressable pour les modèles de mondes vidéo (WorldTrace)

1. Énoncé du problème

Les modèles de mondes vidéo autorégressifs visent à simuler des environnements interactifs où les agents peuvent explorer et revisiter des lieux, ce qui nécessite une persistance visuelle — la capacité de régénérer une scène vue précédemment de manière cohérente lors d'un retour. Cependant, ces modèles souffrent d'une dégradation rapide de la persistance visuelle une fois que la génération dépasse l'horizon de contexte d'entraînement.

Le papier identifie deux goulots d'étranglement couplés causant cet échec :

Échec d'adressabilité : À mesure que l'horizon de génération s'étend, les décalages temporels entre la requête actuelle et les clés mises en cache dépassent la plage observée durant l'entraînement. Comme ces modèles reposent sur les Embeddings de Position Rotatifs (RoPE), interroger des décalages hors distribution (OOD) provoque le fait que le modèle accorde de l'attention au « bruit positionnel » plutôt qu'au contenu réel, rendant les mémoires stockées effectivement illisibles.
Échec d'informativité : Les stratégies de compression standard (par exemple, la moyenne des clés) dans l'espace rotatif RoPE entraînent une annulation de phase. Lorsque les clés provenant de timestamps distants sont moyennées, leurs angles de rotation RoPE distincts pointent dans des directions opposées, annulant le signal et corrompant le résumé compressé.

Les méthodes existantes traitent souvent un seul de ces problèmes (par exemple, limiter les décalages ou compresser le contenu) mais échouent à résoudre le problème couplé, menant soit à des mémoires inadressables, soit à des résumés peu informatifs.

2. Méthodologie : WorldTrace

Les auteurs proposent WorldTrace, un cadre de mémoire sans réentraînement conçu pour maintenir une mémoire compressée à la fois adressable et informative sans réentraîner le modèle de monde sous-jacent.

Mécanismes fondamentaux

WorldTrace partitionne la fenêtre d'attention en une fenêtre récente (images verbatim) et un cache de résumé (historique compressé). Il résout les deux goulots d'étranglement par :

Positionnement Virtuel par Rang de Slot (Adressabilité) :
Au lieu d'utiliser des timestamps absolus ou de limiter les décalages (ce qui cause l'effondrement de slots distincts vers une même position), WorldTrace assigne à chaque slot de résumé une position virtuelle fixe, dans la distribution, basée sur son rang dans le cache ( $s$ ).
- La position virtuelle $t^v_s$ est calculée comme $q - (L_{attn} - 1 - s)$ , où $q$ est la position de la requête actuelle.
- Cela garantit que chaque slot de résumé reste dans la plage limitée par l'entraînement des décalages RoPE, quel que soit la longueur totale de la génération, maintenant les tokens individuellement adressables.
Stockage de Clés Canoniques (Informativité) :
Pour prévenir l'annulation de phase lors de la compression, les clés sont dé-rotées vers leur représentation canonique (non rotée) avant d'être moyennées ou stockées.
- Dé-rotation : $K_{canonical} = R(-\theta_f t_m) K_f^{t_m}$
- Ré-rotation : La clé compressée est ré-rotée vers la position virtuelle spécifique du slot uniquement au moment de l'attention.
- Cela garantit que la moyenne s'effectue dans un espace invariant à la rotation, préservant le score d'attention moyen des frames sources.

Deux Variantes

WorldTrace offre deux « rédacteurs de contenu » complémentaires (matrices de projection) adaptés à différents types de requêtes :

WorldTrace-Field (Cohérence Temporelle) :
- Stratégie : Moyenne uniformément des groupes contigus de frames assignés à chaque slot de résumé dans l'espace canonique.
- Objectif : Préserve le « champ grossier » des informations passées, optimisant pour une continuation temporelle fluide où l'attention future se propage de manière lisse sur l'historique.
- Implémentation : Maintient une moyenne mobile des frames sources dans la mémoire hôte pour éviter toute perte d'information irréversible, en recalculant les moyennes des slots à chaque étape.
WorldTrace-Landmark (Rappel Épisodique) :
- Stratégie : Stocke des frames de haute valeur verbatim (entrées de scène) plutôt que des moyennes.
- Sélection : Détecte les événements d'entrée de scène via des pics de distance cosinus dans les clés canoniques.
- Optimisation : Utilise des clés canoniques gelées. Une fois qu'un landmark est sélectionné, sa clé canonique est calculée une seule fois et stockée. Les décalages ultérieurs du slot ne ré-effectuent pas la rotation de la clé, éliminant la dérive de virgule flottante et préservant la trace exacte de la scène.
- Objectif : Optimise pour le rappel épisodique où l'agent doit reconstruire une scène passée spécifique et saillante.

3. Contributions Clés

Diagnostic de l'échec à long horizon : Le papier identifie que l'échec à long horizon est fondamentalement un problème d'adressabilité (dû aux décalages RoPE OOD) couplé à l'informativité (dû à l'annulation de phase RoPE lors de la compression standard).
Cadre WorldTrace : Une approche sans réentraînement qui découple l'assignation de position de la compression de contenu. Il introduit les positions virtuelles par rang de slot pour maintenir l'adressabilité et le stockage de clés canoniques pour maintenir l'informativité.
LoopBench : Un nouveau benchmark évaluant le rappel épisodique dans les modèles de monde autorégressifs. Il teste si un cache compressé peut reconstruire une scène précédemment visitée après un détour important (boucles ABA, ABCA, ABCDA) sans images de référence externes.
Validation Empirique : Démontre que WorldTrace étend l'horizon de mémoire effectif, surpassant significativement les baselines de fenêtre glissante et les autres méthodes de compression en termes de cohérence temporelle et de reconstruction de scène.

4. Résultats Expérimentaux

L'évaluation utilise le modèle de monde Matrix-Game-2 (MG2) (1,3 milliard de paramètres) et le benchmark LoopBench.

Cohérence Temporelle (WorldTrace-Field) :
- Sur les déploiements longs ( $N=48$ chunks), WorldTrace-Field a amélioré la SSIM Temporelle de +15,5 % par rapport à la baseline de fenêtre glissante.
- Il a maintenu la cohérence de la scène là où les baselines (Block-relative, Centroid-linear) commençaient à dériver et à générer une géométrie incohérente après $N=18$ .
- Les études d'ablation ont confirmé que l'assignation de position est la contrainte déterminante ; sans positions virtuelles dans la distribution, la compression ne produit aucun bénéfice.
Rappel Épisodique (WorldTrace-Landmark) :
- Sur les visites ABA de LoopBench, WorldTrace-Landmark a amélioré le rappel épisodique (mesuré par le Position-Aligned CLIP, PAC) de +19,5 % par rapport à la baseline de fenêtre glissante.
- Il a réussi à reconstruire l'apparence de la scène originale à travers diverses topologies (ABA, ABCA, ABCDA) et orientations de caméra, là où la baseline a échoué à récupérer la structure de la scène.
- À des horizons étendus ( $N=256$ ), seul le rappel de landmarks verbatim a maintenu des scores PAC élevés ( $\approx 0,99$ ), tandis que l'ancrage par clé canonique sans landmarks chutait significativement.
Insights d'Ablation :
- Position vs Contenu : Une assignation de position correcte (WorldTrace) est nécessaire pour que toute compression fonctionne ; la moyenne standard avec des positions correctes reste inférieure à la moyenne canonique.
- Annulation de Phase : La moyenne canonique a réduit le LatentDiff de 25,3 % par rapport à la moyenne standard dans l'espace RoPE spécifiquement à $N_s=4$ slots de résumé, prouvant que la dé-rotation des clés est critique pour préserver le contenu à basse fréquence.

5. Signification et Revendications

Le papier affirme que la persistance visuelle dans les modèles de monde vidéo n'est pas seulement une question de stockage de plus de contenu, mais de s'assurer que le contenu reste adressable et fidèlement compressé.

Insight Théorique : Les auteurs soutiennent que la conception de la mémoire pour les modèles de monde vidéo doit répondre à deux questions : Où la mémoire est placée (pour garantir qu'elle soit adressable via RoPE) et Ce qui est stocké (pour garantir qu'elle soit informative).
Impact Pratique : WorldTrace permet une génération visuellement persistante passant de quelques secondes vers des déploiements de type "retour à l'origine" de l'ordre de la minute, sans réentraîner le modèle de base.
Limitations : Les auteurs notent modestement que WorldTrace est conçu pour les modèles autorégressifs avec un RoPE temporel et des budgets de cache KV fixes. Les rédacteurs de contenu actuels (Field et Landmark) représentent des projections structurées simples ; les futurs systèmes pourraient nécessiter des sélections de projections plus adaptatives, particulièrement dans des contextes interactifs où les agents revisitent des lieux depuis des points de vue changeants.