Generalizable Sparse-View 3D Reconstruction from Unconstrained Images

1. Énoncé du problème

La reconstruction de scènes 3D à partir d'images internet éparses et non calibrées (« in-the-wild ») reste un défi majeur en raison de trois facteurs principaux :

1. Éclairage variable : Les photos internet capturent souvent la même scène dans des conditions d'éclairage radicalement différentes (heure du jour, saisons).
2. Occlusions transitoires : Les captures à la main contiennent fréquemment des objets en mouvement (touristes, véhicules) qui agissent comme des distracteurs dynamiques plutôt que comme de la géométrie de scène statique.
3. Vues éparses : Les jeux de données réels manquent souvent de la couverture multi-vues dense requise par les méthodes traditionnelles.

Limites des méthodes existantes :

• Méthodes basées sur l'optimisation (ex. WildGaussians, NexusSplats) : Nécessitent une optimisation par scène extensive (heures d'entraînement) et échouent souvent lorsque les vues sont éparses ou que l'éclairage diffère des conditions d'entraînement. Elles peinent à se généraliser à des scènes non vues.
• Méthodes feed-forward : Bien que rapides, elles sont généralement limitées à un éclairage fixe ou nécessitent des poses de caméra précises. Elles échouent souvent à dissocier la géométrie de l'apparence, entraînant des artefacts sous un éclairage variable.

2. Méthodologie : GenWildSplat

GenWildSplat est un cadre feed-forward qui reconstruit des scènes 3D en un seul passage (environ 3 secondes) sans optimisation par scène. Il intègre la prédiction de géométrie, le contrôle de l'apparence et la gestion des occlusions dans une architecture unifiée.

A. Architecture de base

Le cadre s'appuie sur AnySplat, utilisant un backbone transformateur VGGT pour traiter des images multi-vues éparse et non calibrées en cartes de caractéristiques riches. Ces caractéristiques sont décodées par des têtes spécialisées :

• Tête de profondeur : Prédit des cartes de profondeur par pixel.
• Tête de caméra : Estime les intrinsèques et extrinsèques de la caméra.
• Tête Gaussienne : Prédit les attributs canoniques de Gaussiennes 3D (position, rotation, échelle, opacité et coefficients harmoniques sphériques indépendants de l'apparence).

B. Composants clés

1. Représentation dans l'espace canonique :
   Le modèle prédit un ensemble « canonique » de Gaussiennes 3D ($\mathcal{G}_c$) qui représente la géométrie de la scène statique, dissociée des conditions d'éclairage spécifiques.

2. Adaptateur d'apparence (Contrôle de l'éclairage) :
   Pour gérer l'éclairage variable, le modèle introduit un Adaptateur d'apparence.

   • Un Encodeur de lumière ($E_{Light}$) extrait un code lumineux compact ($L_i$) de chaque image d'entrée.
   • Un MLP ($F_{light}$) module les couleurs canoniques des Gaussiennes ($c$) en fonction du code lumineux cible pour produire des couleurs transformées ($c_{L_i}$).
   • Cela permet au modèle de rendre la même scène sous de nouvelles conditions d'éclairage en changeant simplement le code lumineux, sans ré-optimiser la géométrie.

3. Modélisation des occlusions :
   Pour gérer les objets transitoires (personnes, voitures), le système exploite un réseau de segmentation sémantique pré-entraîné (YOLOv8).

   • Il génère des masques binaires identifiant les régions transitoires.
   • Ces masques sont utilisés pour masquer la fonction de perte de supervision, assurant que le modèle n'apprend que du contenu statique. Cela empêche de « justifier » les structures statiques (comme les arbres) comme des occlusions et évite l'effondrement du gradient dans les régions dynamiques.

C. Stratégie d'apprentissage par curriculum

L'entraînement direct sur des données à grande échelle et non contraintes est instable en raison du caractère mal posé de l'apprentissage conjoint de la géométrie, de l'éclairage et des occlusions. Les auteurs emploient un curriculum en trois étapes :

1. Étape 1 (Éclairage) : Entraînement sur une seule scène synthétique avec des variations d'éclairage pour apprendre la dissociation de l'éclairage sans confusions géométriques/occlusions.
2. Étape 2 (Multi-scènes) : Introduction de scènes synthétiques diverses pour apprendre des priors géométriques et d'apparence robustes.
3. Étape 3 (Occlusion) : Ajout d'objets transitoires synthétiques avec des masques vérité-terrain pour enseigner au modèle à ignorer les éléments dynamiques.

3. Contributions clés

• Première approche feed-forward pour les scènes sauvages : GenWildSplat est la première méthode à intégrer la modélisation de l'apparence et la gestion des occlusions dans un paradigme de reconstruction 3D feed-forward pour des images éparse et non calibrées.
• Généralisation sans optimisation : Elle atteint des performances de pointe (SOTA) sur des scènes non vues en 3 secondes sans aucune optimisation au moment du test ni ajustement par scène.
• Transfert d'apparence inter-scènes : En dissociant la géométrie de l'éclairage, le modèle peut transférer des styles d'éclairage d'une scène à une autre (par exemple, appliquer l'éclairage d'une scène de coucher de soleil à un bâtiment différent), une capacité absente des méthodes d'optimisation conjointe antérieures.
• Gestion robuste des occlusions : L'utilisation de priors de segmentation externes pour une supervision masquée assure un entraînement stable et une reconstruction propre même avec des occlusions transitoires lourdes.

4. Résultats expérimentaux

La méthode a été évaluée sur PhotoTourism et le jeu de données exigeant MegaScenes (présentant des vues éparse, un éclairage diversifié et des occlusions lourdes).

• Performance quantitative :
  • Surpasse les baselines basées sur l'optimisation (WildGaussians, NexusSplats, GS-W) sur MegaScenes.
  • MegaScenes (6 vues) : Atteint 15,84 PSNR, 0,440 SSIM et 0,407 LPIPS, battant significativement la méthode suivante (NexusSplats : 13,92 PSNR).
  • Temps d'inférence : 3 secondes contre des heures pour les méthodes basées sur l'optimisation.
• Performance qualitative :
  • Produit des rendus cohérents avec les vues et avec moins d'artefacts (par exemple, pas de ciels « épineux » ni de distorsions géométriques) par rapport aux baselines.
  • Gère avec succès les conditions d'éclairage nouvelles et supprime les objets transitoires (personnes/voitures) pour révéler la géométrie statique sous-jacente.
• Études d'ablation :
  • La suppression de l'Adaptateur d'apparence entraîne des sorties d'apparence unique et fixe.
  • La suppression de la Gestion des occlusions conduit à des objets transitoires figés.
  • La suppression de l'Apprentissage par curriculum provoque un effondrement des couleurs et une instabilité.

5. Signification et impact

GenWildSplat représente une avancée majeure dans la reconstruction 3D généralisable.

• Applicabilité en temps réel : En éliminant le besoin d'optimisation par scène, elle permet une compréhension de scène 3D en temps réel pour la RA/RV, la navigation et les jumeaux numériques à l'aide de photos internet brutes.
• Robustesse : Elle démontre que des priors pré-entraînés à grande échelle (via un apprentissage par curriculum sur des données synthétiques) peuvent se généraliser efficacement à des conditions réelles complexes « in-the-wild » où les méthodes traditionnelles échouent.
• Contrôlabilité : La capacité à contrôler l'apparence et l'éclairage après reconstruction ouvre de nouvelles possibilités pour la création de contenu et l'édition de scènes sans ré-entraînement.

Limites :
Le papier reconnaît que la méthode peine encore avec des vues extrêmement éparse (entraînant une géométrie manquante), des vues bien en dehors de la distribution d'entraînement (causant des artefacts), des scènes intérieures avec des masques imparfaits, et ne modélise pas encore les ombres portées ni le rééclairage physiquement précis.