InSpatio-WorldFM: An Open-Source Real-Time Generative Frame Model

Ce papier présente InSpatio-WorldFM, un modèle génératif open-source en temps réel qui, contrairement aux modèles vidéo séquentiels, génère des images indépendantes pour assurer une inférence spatiale à faible latence tout en préservant la cohérence géométrique multi-vues grâce à une pipeline d'entraînement progressive.

L'essentiel

🌍 InSpatio-WorldFM : Le "Moteur de Monde" en Temps Réel

Imaginez que vous voulez créer un univers virtuel (comme dans un jeu vidéo ou un film) où vous pouvez vous déplacer librement, tourner la tête, et voir l'environnement changer instantanément autour de vous. C'est ce que les chercheurs appellent un "modèle de monde".

Jusqu'à présent, la plupart des intelligences artificières (IA) qui faisaient cela fonctionnaient comme un caméraman qui tourne une pellicule. Elles devaient générer les images une par une, dans l'ordre, en se souvenant de la précédente pour créer la suivante. C'est comme si vous deviez écrire un roman, page par page, avant de pouvoir tourner la page suivante. Résultat ? C'est lent, et si vous voulez changer de direction brusquement, l'IA a du mal à suivre, ce qui crée des bugs ou des délais.

InSpatio-WorldFM, c'est une nouvelle approche qui change complètement les règles du jeu.

1. La différence fondamentale : Le Film vs. La Photographie Instantanée

• L'ancienne méthode (Modèles vidéo) : C'est comme un train. Chaque wagon (image) est attaché au précédent. Pour avancer, tout le train doit bouger ensemble. Si vous voulez arrêter ou changer de voie, c'est compliqué et ça prend du temps.
• La nouvelle méthode (InSpatio-WorldFM) : C'est comme un photographe avec un appareil photo ultra-rapide. Peu importe où vous regardez, l'appareil prend une photo parfaite et instantanée de ce que vous voyez, sans avoir besoin de regarder la photo précédente. Chaque image est générée indépendamment, mais elle reste parfaitement cohérente avec le reste du monde.

2. Comment fait-elle ça ? Les deux "Mémoires" du cerveau

Pour que l'IA ne génère pas un monde qui change de forme à chaque photo (comme un cauchemar où les murs bougent), elle utilise deux types de "mémoire" combinés :

• La Mémoire Explicite (Les Échafaudages) : Imaginez que vous construisez une maison. Avant de peindre les murs, vous avez besoin d'un plan 3D solide, d'échafaudages et de mesures précises. InSpatio-WorldFM utilise des "ancres 3D" (des nuages de points) qui agissent comme ce plan. Cela garantit que si vous tournez à gauche, le mur reste au même endroit géométriquement.
• La Mémoire Implicite (Le Souvenir Visuel) : C'est comme si vous fermiez les yeux et vous souveniez de la couleur d'un objet que vous avez vu il y a une seconde. L'IA regarde l'image de référence (ce que vous avez vu avant) pour se souvenir des détails fins (la texture du bois, la couleur de la peau) et les appliquer à la nouvelle photo.

En combinant les échafaudages (pour la structure) et le souvenir (pour les détails), l'IA crée un monde qui est à la fois solide et beau, même si vous bougez très vite.

3. L'Entraînement en Trois Étapes (Le Parcours du Combattant)

Pour arriver à ce résultat, les chercheurs ont entraîné l'IA en trois phases, un peu comme un étudiant qui apprend à conduire :

1. Phase 1 (L'Apprentissage de base) : On donne à l'IA une excellente capacité à dessiner de belles images (comme un artiste talentueux).
2. Phase 2 (L'Apprentissage de la géométrie) : On lui apprend à comprendre l'espace. On lui montre des vidéos et on lui dit : "Si je me déplace ici, l'image doit ressembler à ça". On lui apprend à utiliser les échafaudages 3D et la mémoire visuelle.
3. Phase 3 (L'Accélération) : C'est l'étape magique. L'IA était lente car elle faisait beaucoup de calculs pour chaque image. Les chercheurs ont utilisé une technique de "distillation" (comme un résumé ultra-condensé) pour lui apprendre à faire le même travail en 2 étapes seulement au lieu de 50. C'est comme passer d'un calculateur scientifique lent à un super-ordinateur instantané.

4. Pourquoi c'est révolutionnaire ?

• Vitesse Éclair : Vous pouvez explorer ce monde virtuel en temps réel, comme dans un jeu vidéo, sans aucun délai (latence). C'est possible même sur des cartes graphiques de gamers classiques (pas besoin de super-ordinateurs de la NASA).
• Stabilité : Même si vous tournez en rond pendant des minutes, les murs ne se déforment pas et les objets ne disparaissent pas.
• Ouvert à tous : Contrairement à d'autres projets secrets, le code et le modèle sont open-source. N'importe qui peut les télécharger et les utiliser pour créer ses propres mondes.

En résumé

InSpatio-WorldFM est comme un magicien de la réalité virtuelle qui ne dessine plus des films, mais qui peint instantanément chaque nouvelle vue que vous demandez, en s'assurant que tout reste cohérent grâce à un plan 3D invisible et une mémoire visuelle puissante. C'est une étape majeure vers des mondes virtuels que l'on peut explorer librement, sans attendre, directement sur notre ordinateur.

Résumé technique

Résumé Technique : InSpatio-WorldFM

1. Problématique

Les modèles de monde actuels (World Models) reposent majoritairement sur des architectures de génération vidéo. Bien qu'ils héritent de bonnes priors sur le mouvement et l'apparence, ils souffrent de limitations fondamentales pour l'interaction en temps réel :

• Latence interactive élevée : La génération séquentielle de fenêtres temporelles (avec attention bidirectionnelle et décodage complet) impose un coût d'inférence important, rendant l'interaction fluide difficile.
• Accumulation d'erreurs spatiales : Les modèles vidéo sont optimisés pour la continuité temporelle à court terme. Sur le long terme, les petites imprécisions spatiales s'accumulent, entraînant une dérive de la géométrie de la scène (drift) et des incohérences structurelles.
• Manque de modèles ouverts : Bien que des approches basées sur des "frames" (images individuelles) aient été proposées (ex: RTFM de World Labs), les détails techniques et le code source restent souvent fermés.

L'objectif est donc de créer un modèle capable de générer des images de manière indépendante (frame-based) tout en maintenant une cohérence spatiale multi-vues stricte, permettant une inférence en temps réel avec une latence négligeable.

2. Méthodologie

InSpatio-WorldFM adopte un paradigme de modèle de frame génératif conditionnel plutôt que séquentiel. Le modèle synthétise une nouvelle vue d'une scène 3D à partir d'une image de référence unique et d'une pose de caméra cible, sans dépendre des frames précédentes pour la génération immédiate.

Le pipeline repose sur trois étapes clés :

A. Architecture et Mécanismes de Cohérence

Le modèle utilise un cadre de Diffusion Latente (basé sur PixArt-Σ) enrichi par deux mécanismes de mémoire spatiale hybride :

1. Ancres 3D Explicites : Un rendu de nuage de points (point cloud rendering) de la vue cible est injecté comme condition explicite. Cela fournit des contraintes géométriques globales stables.
2. Mémoire Spatiale Implicite : L'image de référence et sa pose de caméra sont utilisées comme mémoire implicite. Le modèle apprend à transférer les détails visuels fins via le mécanisme d'auto-attention du Transformer.
3. Encodage de la Pose (PRoPE) : Pour contrôler la géométrie, le modèle utilise le Projected Relative Positional Encoding (PRoPE). Contrairement aux embeddings de rayons de Plücker, PRoPE modifie directement les calculs d'attention (Query, Key, Value) en fonction des matrices de projection de la caméra, permettant un raisonnement géométrique natif entre les vues.

B. Pipeline d'Entraînement en Trois Étages

L'entraînement suit une progression pour transformer un générateur d'images en un générateur temps réel :

• Étape I (Pré-entraînement) : Utilisation de PixArt-Σ comme fondation pour assurer une haute fidélité visuelle et une efficacité computationnelle.
• Étape II (Middle-Training) : Transformation du modèle en un modèle de frame contrôlable.
  • Données : Mélange de vidéos réelles (DL3DV, RealEstate10K), vidéos capturées et données synthétiques (Unreal Engine).
  • Stratégies : Injection progressive des conditions (d'abord la mémoire implicite, puis les ancres 3D) pour éviter le surapprentissage sur les ancres. Masquage aléatoire des ancres pour forcer l'utilisation de la mémoire implicite.
  • Affinement : Un fine-tuning sur des données synthétiques précises (Unreal Engine) corrige les erreurs de profondeur/pose des modèles de reconstruction réels.
• Étape III (Post-entraînement / Distillation) : Utilisation de la Distribution Matching Distillation (DMD) pour réduire le nombre d'étapes de débruitage.
  • Le modèle est distillé pour fonctionner en 2 étapes de débruitage (au lieu de 50+).
  • Un temps intermédiaire optimal ($t_{mid} = 200$ sur une échelle de 1000) est choisi pour équilibrer la reconstruction de la structure grossière et le raffinement des détails fins.

3. Contributions Clés

1. Modèle Open-Source Temps Réel : InSpatio-WorldFM est le premier modèle de frame génératif open-source capable d'une inférence interactive en temps réel sur des GPU grand public.
2. Paradigme Frame-Based : Abandon de la génération séquentielle pour une génération indépendante par frame, éliminant la latence d'accumulation et permettant une exploration interactive fluide.
3. Mémoire Spatiale Hybride : Combinaison innovante d'ancres 3D explicites (géométrie globale) et de mémoire implicite (détails d'apparence) via l'auto-attention, assurant une cohérence multi-vues robuste.
4. Pipeline d'Entraînement Progressif : Une méthodologie éprouvée passant d'un générateur d'images à un modèle contrôlable, puis à un générateur ultra-rapide par distillation.

4. Résultats

• Performance Temps Réel : Le modèle atteint environ 10 FPS à une résolution de 512x512 sur un GPU NVIDIA A100, avec une latence d'interaction de 50-70 ms. Sur un GPU grand public (RTX 4090), il atteint 7 FPS avec une inférence en une seule étape.
• Cohérence Spatiale : Les résultats qualitatifs montrent une forte cohérence multi-vues. Le modèle maintient la géométrie de la scène et les détails fins lors de changements de point de vue importants, sans dérive structurelle visible.
• Qualité vs Vitesse : La distillation en 2 étapes préserve la fidélité visuelle et la cohérence spatiale du modèle "professeur" (multi-étapes) avec un compromis qualité/vitesse minime.
• Exploration Interactive : L'interface permet une exploration interactive de mondes générés (styles photoréalistes, science-fiction, artistiques) avec une latence négligeable.

5. Signification et Perspectives

InSpatio-WorldFM représente une avancée significative pour l'intelligence spatiale générative. En démontrant qu'un modèle basé sur des frames indépendantes peut surpasser les modèles vidéo séquentiels en termes de latence et de stabilité géométrique à long terme, il offre une alternative pratique pour la simulation de mondes en temps réel.

Limitations actuelles :

• Difficulté à générer du contenu dynamique complexe et stable.
• Limites de la mémoire historique (basée sur des observations multi-vues ou panoramiques) qui impose des contraintes de calcul et de mémoire.
• Instabilité visuelle (jitter) due à l'absence de contraintes temporelles strictes entre les frames.

Travaux futurs :
L'équipe vise à intégrer des primitives de Gaussian Splatting pour améliorer la fidélité, à optimiser l'architecture pour les dispositifs edge (mécanismes de cache, attention linéaire), et à améliorer la génération de contenu dynamique et l'expansion de la portée de génération à des échelles illimitées.

En conclusion, ce travail fournit une fondation efficace pour des systèmes d'intelligence spatiale réactifs, ouvrant la voie à des applications dans les jeux vidéo, la réalité virtuelle et la simulation robotique.