SceneExpander: Expanding 3D Scenes with Free-Form Inserted Views

1. Problématique : L'Expansion de Scène 3D par Insertion de Vues Libres

Le papier aborde un défi majeur dans la création de mondes virtuels : l'expansion itérative et contrôlée d'une scène 3D existante.

• Contexte : Les workflows réels de création de contenu (jeux, simulation) impliquent souvent de partir d'une capture partielle (photos multi-vues réelles) et d'étendre l'environnement pour révéler des zones non observées.
• Le Défi : L'approche proposée consiste à insérer une vue 2D générée par IA (via un modèle de diffusion text-to-image) pour étendre la scène au-delà des limites capturées.
• La Difficulté Principale : Les vues générées par l'IA sont souvent géométriquement désalignées (3D-misaligned) par rapport à la reconstruction 3D originale. Elles peuvent contenir des incohérences structurelles, des hallucinations ou des décalages de perspective.
  • Si l'on force une consistance multi-vue stricte, cela dégrade la reconstruction originale (artefacts, géométrie instable).
  • Si l'on ignore la nouvelle vue, l'expansion échoue.
• Objectif : Reconstruire une scène 3D étendue qui préserve la fidélité aux vues originales tout en intégrant de manière robuste le contenu nouvellement inséré, même en présence de désalignements géométriques.

2. Méthodologie : SceneExpander

Les auteurs proposent SceneExpander, un cadre basé sur l'adaptation au moment de l'exécution (Test-Time Adaptation - TTA) appliquée à un modèle de reconstruction 3D feed-forward (basé sur WorldMirror). Au lieu de réentraîner le modèle, il ajuste les paramètres spécifiques à la scène pour intégrer la nouvelle contrainte.

Le système utilise deux signaux de distillation complémentaires pour équilibrer la stabilité et l'adaptation :

A. Architecture et Flux de Données

1. Entrées : Un ensemble de vues capturées ($C$) et une vue insérée générée ($I_g$) qui peut être désalignée.
2. Modèle de Base : Un reconstruteur feed-forward ($f_\theta$) qui prédit des paramètres de caméra, des cartes de profondeur, des normales et une représentation 3D (Gaussians 3D - 3DGS).
3. Adaptation : Le modèle est ajusté au moment de l'exécution en minimisant une fonction de perte combinée.

B. Les Deux Signaux de Distillation

1. Distillation d'Ancrage (Anchor Distillation) :

   • But : Stabiliser la partie de la scène déjà capturée et éviter que l'ajout de la vue générée ne corrompe la géométrie existante.
   • Mécanisme : Un "enseignant d'ancrage" ($\theta_A$) est figé et prédit les géométries sur les vues originales. Le modèle étudiant ($\theta$) est contraint de rester proche de ces prédictions initiales sur les vues capturées via une perte ($\mathcal{L}_{anchor}$) sur les paramètres de caméra, la profondeur et les normales.

2. Auto-distillation sur la Vue Insérée (Inserted-view Self-Distillation) :

   • But : Intégrer la vue générée ($I_g$) sans la traiter comme une vérité absolue (car elle est bruitée/désalignée).
   • Mécanisme : Un "enseignant de génération" ($\theta_G$) est mis à jour comme une moyenne mobile exponentielle (EMA) du modèle étudiant.
   • Fonctionnement : Le modèle étudiant prédit la géométrie pour $I_g$, et l'enseignant EMA fournit des "étiquettes douces" (soft labels) qui évoluent progressivement. Cela permet au modèle d'expliquer la nouvelle vue tout en évitant le surapprentissage aux incohérences de l'IA générative. La perte ($\mathcal{L}_{gen}$) est pondérée faiblement pour agir comme une contrainte souple.

C. Techniques de Stabilisation

• Échantillonnage de sous-ensembles et Augmentation Géométrique : Pour éviter le surapprentissage à une configuration spécifique, le modèle est entraîné sur des sous-ensembles de vues capturées et soumis à des perturbations géométriques (affines globales et par blocs) qui simulent les désalignements potentiels.
• Restauration Stochastique : Toutes les $K$ étapes, une partie aléatoire des paramètres est réinitialisée vers les poids initiaux ($\theta_0$) pour prévenir la dérive à long terme (drift) causée par l'accumulation d'erreurs sur la vue désalignée.

3. Contributions Clés

1. Définition d'une nouvelle tâche : L'expansion de scène 3D via l'insertion de vues libres (free-form view insertion), reliant la génération de vues textuelles à la construction de mondes 3D éditables.
2. Framework SceneExpander : Une méthode d'adaptation au moment de l'exécution utilisant la distillation d'ancrage et l'auto-distillation pour intégrer des vues 3D désalignées sans nécessiter de génération 3D parfaitement cohérente.
3. Validation Empirique : Démonstration de l'efficacité sur des scènes réelles (ETH) et des données en ligne, montrant une amélioration significative de la qualité de reconstruction et de l'expansion par rapport aux méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences comparent SceneExpander à des méthodes de reconstruction feed-forward (WorldMirror, OmniVGGT, TTT3R) et à l'optimisation directe (3DGS).

• Métriques de Préservation (Zone capturée) :
  • SceneExpander obtient les meilleurs scores de fidélité (PSNR : 21.21, SSIM : 0.776, LPIPS : 0.276), surpassant WorldMirror (PSNR 19.30). Cela prouve que la méthode préserve mieux la géométrie originale que les autres approches qui souffrent d'artefacts lors de l'ajout de la vue désalignée.
• Métriques de Qualité d'Expansion (Zone insérée) :
  • Évaluation par LLM (GPT) et humaine : SceneExpander obtient les scores les plus élevés pour la satisfaction de l'insertion (GPT-IS : 3.72, H-IS : 4.56) et la qualité de rendu (GPT-RQ : 3.05, H-RQ : 4.53).
• Analyse Qualitative :
  • Les méthodes de base (OmniVGGT, 3DGS direct) produisent des artefacts importants (fantômes, distorsions) ou échouent à reconstruire la nouvelle zone.
  • SceneExpander génère des géométries étendues plausibles et cohérentes pour la navigation, tout en maintenant la stabilité de la scène d'origine.
• Études d'ablation : Confirment que chaque composant (distillation d'ancrage, augmentation, auto-distillation, restauration stochastique) est essentiel pour atteindre le compromis optimal entre fidélité et expansion.

5. Signification et Impact

Ce travail est significatif car il change le paradigme de la construction de mondes 3D :

• Robustesse vs. Cohérence Parfaite : Il démontre qu'il n'est pas nécessaire de générer des vues 3D parfaitement cohérentes pour étendre une scène. On peut intégrer des vues 2D imparfaites (générées par IA) en utilisant une adaptation robuste.
• Workflow Itératif : Il permet aux créateurs d'étendre des scènes de manière itérative et contrôlée par le texte, comblant le fossé entre la génération d'images 2D et la modélisation 3D pratique.
• Application : Cette approche ouvre la voie à des outils de création de contenu plus accessibles pour les jeux vidéo, la simulation et la réalité virtuelle, où l'ajout de nouveaux éléments à des environnements existants est courant mais techniquement difficile.

En résumé, SceneExpander offre une solution élégante au problème de l'intégration de contraintes géométriques contradictoires, permettant une expansion de scène 3D fluide et contrôlée par l'utilisateur.