Résumé Technique : Infinite-World

Problématique

Les modèles de mondes interactifs existants ont obtenu des succès remarquables dans des environnements synthétiques (ex: Unreal Engine 5, GTA5) où les poses de caméra de vérité terrain parfaites et les données vidéo-action appariées sont disponibles. Cependant, la transition de ces modèles vers des scénarios du monde réel se heurte à trois barrières critiques :

1. Pose imprécise et contrôle peu fiable : Les vidéos du monde réel nécessitent des estimations des extrinsèques de la caméra, ce qui introduit du bruit et des erreurs, dégradant la précision de la correspondance action-réponse.
2. Rareté des revisites de points de vue : Les flux vidéo naturels sont principalement linéaires, manquant de la densité de « fermeture de boucle » (revenir à des emplacements précédents) nécessaire pour que les modèles apprennent les structures géométriques globales et la mémoire spatiale à long terme.
3. Goulots d'étranglement computationnels : Les mécanismes d'attention standard augmentent de manière quadratique ($O(L^2)$) avec la longueur de la séquence, rendant la génération de plus de 1000 images prohibitive sur le plan informatique. Les solutions de mémoire existantes reposent soit sur des métadonnées de pose sujettes à l'erreur pour la récupération, soit utilisent un sous-échantillonnage simple qui provoque une perte d'information sévère.

Méthodologie

Les auteurs proposent Infinite-World, un modèle de monde interactif robuste conçu pour maintenir une mémoire visuelle cohérente sur plus de 1000 images en utilisant des vidéos réelles brutes et non sélectionnées. Le cadre se compose de trois composants fondamentaux :

1. Compresseur de Mémoire Hiérarchique sans Pose (HPMC)

Pour résoudre le goulot d'étranglement computationnel et éliminer le besoin de priors géométriques explicites, les auteurs introduisent un pipeline de distillation récursive à deux étapes :

• Compression Locale : Pour les séquences à courte portée, un encodeur temporel compresse directement les latents bruts, réduisant la résolution temporelle d'un facteur $k=4$.
• Compression Globale : Pour les séquences à long horizon dépassant un budget de mémoire, le modèle utilise un mécanisme de fenêtre glissante adaptative. Les latents bruts sont partitionnés en blocs chevauchants, compressés localement, puis distillés de manière récursive en une représentation globale unifiée.
• Optimisation Conjointe : Le compresseur est entraîné de bout en bout avec l'architecture DiT (Diffusion Transformer). Cela permet au modèle d'apprendre de manière autonome quels indices historiques sont saillants pour la synthèse future et la fermeture de boucle sans métadonnées de pose externes, maintenant une empreinte mémoire strictement limitée ($T_{max}$) quel que soit la longueur totale de la séquence.

2. Étiquetage d'Action Sensible à l'Incertitude

Pour gérer les estimations de pose bruitées dans les données du monde réel, les auteurs proposent une stratégie qui discrétise le mouvement continu en une logique tri-état :

• Non-opération : Assignée lorsque l'amplitude du mouvement est inférieure à un seuil de bruit ($\tau_1$).
• Action Discrète : Assignée lorsque le mouvement dépasse un seuil de déclenchement ($\tau_2$), mappé vers des directions sémantiques (ex: W/A/S/D pour la translation).
• Incertain : Assignée aux mouvements ambigus à faible rapport signal sur bruit (SNR) entre les deux seuils.
  Au lieu de rejeter ces échantillons ambigus, le modèle les étiquette explicitement comme « Incertain ». Cela protège l'espace d'action déterministe de la corruption par le jitter ou les dérives lentes de pose, tout en maximisant l'utilisation des données vidéo brutes.

3. Stratégie de Finetuning à Haute Densité de Revisite

Guidés par une étude pilote révélant que l'activation de la mémoire spatiale dépend davantage de la densité topologique des trajectoires que du volume total de données, les auteurs emploient une approche d'entraînement en deux étapes :

• Pré-entraînement : Le modèle est entraîné sur un ensemble de données à grande échelle et domaine ouvert (plus de 30 heures) pour apprendre des priors visuels diversifiés et des dynamiques locales.
• Finetuning : Un ensemble de données compact de 30 minutes, le Revisit-Dense Dataset (RDD), est utilisé pour activer la cohérence à long terme. Cet ensemble de données présente des revisites fréquentes de points de vue et des fermetures de boucles, permettant au modèle d'apprendre efficacement les structures spatiales globales sans nécessiter de quantités massives de données.

Contributions Clés

1. Modélisation Long-Horizon sans Pose : L'introduction de l'HPMC permet de passer l'échelle de la modélisation de monde interactive à plus de 1000 images avec un coût computationnel limité, éliminant la dépendance aux poses de caméra explicites.
2. Paradigme d'Entraînement Robuste : Un nouveau cadre pour les vidéos brutes du monde réel comprenant un étiquetage d'action sensible à l'incertitude pour atténuer le bruit de pose et une stratégie de finetuning à haute densité de revisite pour activer la mémoire à long terme.
3. Validation Empirique : Des expériences approfondies démontrent qu'Infinite-World atteint des performances supérieures en termes de qualité visuelle, de contrôlabilité par l'action et de cohérence spatiale par rapport aux bases de référence de l'état de l'art.

Résultats

Les auteurs ont évalué Infinite-World contre plusieurs modèles de référence, notamment HY-World 1.5, Hunyuan-GameCraft, Matrix-Game 2.0 et Yume 1.5, en utilisant un benchmark de 100 scénarios divers avec des trajectoires de 16 blocs (environ 1000 images).

• Métriques Quantitatives : Infinite-World a obtenu des scores de premier rang ou proches du sommet sur les métriques VBench (Fluidité du mouvement, Degré de dynamique, Qualité esthétique).
• Étude Utilisateur : Dans une étude utilisateur à grande échelle avec des classements ELO, Infinite-World a obtenu un score dominant de 1719, surpassant nettement le modèle suivant (HY-World 1.5 à 1542).
  • Cohérence de la Mémoire : Classé 1er (1.92), démontrant une atténuation efficace de l'accumulation d'erreurs sur de longs horizons.
  • Fidélité Visuelle : Classé 1er (1.67), préservant les points de repère globaux et les détails structurels.
  • Réactivité à l'Action : Classé 1er (1.54), prouvant que le modèle peut apprendre des correspondances action-réponse robustes même à partir de trajectoires réelles imparfaites et bruitées.
• Analyse Qualitative : Les comparaisons visuelles montrent que tandis que les modèles de référence souffrent de ghosting, de distorsion structurelle ou d'un biais de « mouvement vers l'avant », Infinite-World réussit des fermetures de boucles à long terme et maintient la cohérence de la scène après des centaines d'images.
• Efficacité : L'analyse de la consommation de mémoire montre que tandis que les modèles de référence non compressés échouent à environ 180 images en raison d'erreurs OOM (Out Of Memory), Infinite-World se stabilise à environ 45 Go, supportant l'inférence au-delà de 1300 images.

Signification et Revendications

L'article affirme qu'Infinite-World comble avec succès le « fossé de réalité » dans la modélisation de mondes. En supprimant la dépendance aux priors géométriques parfaits et en développant un mécanisme pour gérer les signaux de contrôle bruités, il démontre qu'une simulation interactive stable à long horizon est réalisable dans des environnements complexes du monde réel.

Les auteurs soulignent que leur travail fournit un cadre ouvert et efficace pour la modélisation interactive à long horizon du monde réel, contrastant avec les systèmes propriétaires de l'état de l'art. Ils concluent que le goulot d'étranglement pour la modélisation à long horizon ne réside pas dans la quantité de données, mais dans la densité topologique et la durée des trajectoires individuelles, une conclusion validée par leur capacité à activer la cohérence de 1000 images avec seulement 30 minutes de données de finetuning. Ce travail vise à servir de fondation pour les futurs simulateurs neuronaux du monde réel dans des domaines tels que la conduite autonome et l'IA incarnée.