Résumé Technique de MoVerse : Modélisation de Monde Vidéo en Temps Réel avec un Échafaudage Gaussien Panoramique

Énoncé du Problème

Le document traite du défi consistant à générer un monde 3D navigable et interactif à partir d'une seule image à champ de vision étroit (NFOV). Cette tâche est fondamentalement sous-contrainte car l'entrée ne capture qu'un petit frustum de l'environnement, alors que les applications interactives (par exemple, le prototypage VR, les jumeaux numériques, la simulation d'agents incarnés) nécessitent un monde complet, spatialement persistant, avec un mouvement de caméra contrôlable et des observations de haute fidélité temporellement cohérentes.

Les approches existantes peinent à satisfaire simultanément toutes ces exigences :

• Les méthodes 3D explicites (nuages de points, maillages, Gaussiennes 3D) offrent une mémoire spatiale durable et un contrôle précis de la caméra, mais échouent souvent lorsqu'elles sont levées directement à partir d'une seule image NFOV en raison d'une preuve faible, entraînant des trous, des objets flottants (« floaters ») et une qualité perceptuelle limitée.
• Les modèles vidéo/monde implicites génèrent des vidéos visuellement fortes mais manquent de stabilité géométrique à long terme, souffrant souvent de dérive, de changements d'identité ou de discontinités de bordure sur de longues trajectoires.
• Les systèmes hybrides tentent de combiner les deux mais font face à une tension entre la force de l'ancrage géométrique et la déployabilité du rendu génératif, résultant souvent en un guidage parcimonieux ou en des modèles bidirectionnels coûteux en calcul, peu adaptés à l'interaction en temps réel.

Méthodologie

MoVerse propose un système en trois étapes qui sépare la construction du monde (hors ligne) du rendu d'observation (en ligne). Cette factorisation permet au système de tirer parti de la contrôlabilité des représentations 3D explicites tout en utilisant la qualité perceptuelle des modèles vidéo génératifs.

Étape I : Génération Panoramique Sensible à la Géométrie

Étant donné une image NFOV unique, le système étend d'abord la vue en un panorama équirectangulaire (ERP) complet à 360°, aligné sur la gravité. Cette étape comble le champ de vision manquant avant toute élévation 3D.

• Canonisation : L'entrée est stabilisée dans un espace de vue canonique aligné sur la gravité via un module d'auto-nivellement différentiable. Ce module prédit des correspondances 2D denses et résout une transformation sphérique rigide pour supprimer le tangage et le roulis, garantissant que l'horizon est à niveau et que les structures verticales sont droites.
• Complétion Sensible à la Topologie : Un modèle de diffusion latent masqué complète le champ de vision manquant. Pour respecter la périodicité horizontale $S^1$ des panoramas ERP, le système emploie un encodage latent circulaire (en enveloppant le padding convolutionnel autour de l'axe azimuthal) et une génération équivariante par décalage (imposant la cohérence lors des décalages circulaires horizontaux).
• Entraînement : Le modèle est entraîné sur Horizon360, un ensemble de données de panoramas canonisés, en utilisant une combinaison de perte de diffusion latente, de perte de cohérence de décalage et de perte de flux géométrique.

Étape II : Construction de l'Échafaudage Gaussien Panoramique

Le panorama complété est élevé en un échafaudage de Gaussiennes 3D (3DGS) persistant et directement rendu.

• Initialisation : Les Gaussiennes sont initialisées via une rétroprojection sphérique à partir d'une carte de profondeur de panorama prédite. Crucialement, l'initialisation est sensible à l'ERP, en dimensionnant la taille des Gaussiennes proportionnellement à $\cos \phi$ (latitude) pour tenir compte de l'aire non uniforme des pixels ERP.
• Prédiction de Résidus : Un réseau de propagation directe (feed-forward) prédit les corrections résiduelles des attributs des Gaussiennes (centre, échelle, rotation, couleur, opacité) dans l'espace angulaire-inverse-profondeur. Cela garantit que les mises à jour restent cohérentes avec la géométrie ERP et maintiennent la fermeture horizontale.
• Sortie : Le résultat est un actif 3DGS dense ($G$) qui sert de mémoire spatiale réutilisable, fournissant des images de conditionnement RGB contrôlables par caméra ($\hat{V}_{1:T}$) qui sont géométriquement stables mais peuvent contenir des artefacts de rendu (ex: floaters, trous).

Étape III : Rendu Vidéo en Flux Conditionné par les Gaussiennes

Cette étape traduit les rendus imparfaits de l'échafaudage en une vidéo de haute fidélité et temporellement cohérente en temps réel.

• Distillation Enseignant-Étudiant : Un enseignant de diffusion bidirectionnelle (initialisé à partir de Wan2.1-T2V) est entraîné pour effectuer un rendu vidéo dense conditionné par les Gaussiennes, en portant attention à l'ensemble du clip pour une haute qualité. Cet enseignant est ensuite distillé dans un étudiant autorégressif causal via le self-forcing et le rapprochement de distribution (RAVEN).
• Streaming Causal : L'étudiant génère des blocs vidéo de manière autorégressive, se conditionnant sur le rendu actuel de l'échafaudage et portant attention à l'historique récent via un cache Key-Value (KV) local. Cette conception permet un streaming à latence bornée.
• Gestion de la Mémoire : Le système utilise MemRoPE (une fenêtre glissante avec des jetons de puits/sink et de mémoire EMA à long terme) pour gérer les positions temporelles sur de longs déploiements. L'échafaudage explicite porte la mémoire spatiale à long terme, tandis que le modèle vidéo se concentre sur la réparation des artefacts locaux et l'amélioration perceptuelle.

Contributions Clés

1. Factorisation en Trois Étapes : Une architecture novatrice qui découple la construction du monde (génération de panorama + élévation 3D) du rendu d'observation, permettant la création d'actifs hors ligne et l'interaction en temps réel en ligne.
2. Échafaudage Gaussien Panoramique : Une méthode pour élever des panoramas alignés sur la gravité en 3DGS en utilisant une initialisation sensible à la latitude et une prédiction de résidus angulaires, créant une mémoire spatiale dense et directement rendable.
3. Diffusion Sensible à la Topologie : Des techniques pour la complétion de panoramas 360° qui imposent l'alignement gravitationnel et la topologie horizontale $S^1$ par un auto-nivellement différentiable et une diffusion latente équivariante par décalage.
4. Distillation Vidéo Causale : Un pipeline de distillation qui convertit un enseignant vidéo bidirectionnel de haute qualité en un étudiant causal à faible latence, permettant un streaming en temps réel (8 FPS sur une seule RTX 4090) sans sacrifier la cohérence géométrique fournie par l'échafaudage.

Résultats

• Performance : Le système supporte la déambulation en temps réel à 8 FPS sur un seul GPU NVIDIA RTX 4090.
• Résultat Qualitatif : Le pipeline génère avec succès des vidéos navigables à partir d'entrées NFOV uniques. L'échafaudage de Gaussiennes 3D fournit un contrôle de caméra et une disposition stables, tandis que le moteur de rendu causal améliore la qualité perceptuelle et la cohérence temporelle, réparant efficacement les artefacts de splatting et comblant les petites déocclusions.
• Ablation/Analyse : Les résultats démontent que la séparation des étapes permet au système de gérer de longues trajectoires sans la dérive géométrique commune aux modèles purement implicites, tout en évitant l'hallucination de larges régions non observées courante dans la reconstruction 3D directe à partir d'une seule image.

Signification et Revendications

L'article affirme que MoVerse démontre une voie pratique vers la création de mondes à partir d'une seule image avec une sortie vidéo interactive. En combinant la contrôlabilité et la cohérence à long terme des représentations 3D explicites (l'échafaudage gaussien panoramique) avec la qualité perceptuelle des modèles vidéo génératifs (le moteur de rendu causal distillé), le système surmonte les limitations des approches explicites et implicites existantes.

Les auteurs soulignent que cette conception ne nécessite pas au modèle vidéo d'halluciner le monde à partir de rien ; au lieu de cela, l'échafaudage explicite ancre la disposition de la scène et le mouvement de la caméra, permettant au modèle vidéo de se concentrer sur la synthèse d'observations de haute fidélité. Cette approche hybride permet une interaction en temps réel qui était auparavant inatteignable avec l'une ou l'autre des méthodes seules.

Limites Reconnues :
L'article note modestement que la qualité finale du monde est limitée par la complétion du panorama de l'Étape I (les erreurs dans le panorama se propagent à l'échafaudage) et que l'échafaudage gaussien reste une représentation approximative (sujet aux objets flottants dans les régions à ambiguïté de profondeur). De plus, le moteur de rendu causal échange l'optimisation globale du clip contre la latence de streaming, ce qui peut introduire une dérive de texture à court terme. Des travaux futurs sont suggérés pour renforcer le feedback entre les étapes et étendre le système aux objets dynamiques.