Résumé technique : Apprentissage de mondes canoniques stables pour la synthèse de vues nouvelles et au-delà

Énoncé du problème

Les méthodes actuelles de Gaussian Splatting à propagation directe (FFGS - Feed-Forward Gaussian Splatting) facilitent la synthèse de vues nouvelles en temps réel, mais souffrent d'un biais de « rendu-centré ». Ces approches optimisent généralement les preuves multi-vues pour synthétiser directement les vues cibles, ce qui entraîne souvent des prédictions dépendantes de la vue. À mesure que le nombre de vues d'entrée augmente, ces méthodes ont tendance à accumuler des preuves bruitées, redondantes ou conflictuelles plutôt qu'à converger vers une représentation de scène stable et partagée. Par conséquent, des vues supplémentaires peuvent dégrader les performances ou introduire des artefacts (par exemple, du ghosting ou une géométrie incohérente) au lieu de raffiner le modèle de la scène. L'article soutient que les méthodes existantes échouent à effectuer la « canonisation » — la transformation d'observations encombrées et centrées sur la vue en un modèle interne cohérent et centré sur la scène — un concept ancré dans la théorie de la vision de Marr.

Méthodologie : CanonicalGS

Les auteurs proposent CanonicalGS, un pipeline de propagation directe conçu pour mapper les observations multi-vues en un monde latent stable et centré sur la scène avant de décoder les Gaussiennes 3D. La méthode suit un pipeline 2D → 2.5D → 3D :

1. Formation d'indices centrés sur la vue

Pour chaque vue d'entrée, le système extrait indépendamment des caractéristiques visuelles denses, de la profondeur et des estimations d'incertitude :

• Extraction de caractéristiques : Un backbone DINO-v2 pré-entraîné extrait des caractéristiques par patch, qui sont ensuite suréchantillonnées à la résolution de l'image pour former une carte de caractéristiques denses ($F_{view}$).
• Estimation de la profondeur sensible à l'incertitude : En utilisant un module de profondeur par volume de coût inspiré du stereo par balayage de plan (plane-sweep stereo), le modèle calcule un volume de probabilité de profondeur discret. Cela produit une carte de profondeur ($D$) et une carte d'incertitude positionnelle ($U_{pos}$) dérivée de la variance des hypothèses de profondeur.
• Incertitude d'apparence : Une carte d'incertitude d'apparence supplémentaire ($U_{app}$) est prédite à partir de caractéristiques sémantiques via un MLP.
• Carte de fiabilité : Ces sources d'incertitude sont combinées pour générer une carte de fiabilité par pixel ($R_{view}$), où une haute fiabilité indique un support géométrique et une certitude visuelle.

2. Agrégation d'indices centrés sur la scène

L'innovation centrale réside dans l'agrégation des indices dans un réseau de voxels 3D partagé ($\mathcal{V}$) plutôt que dans l'espace image ou après le décodage des Gaussiennes :

• Rasterisation : Les points 3D projetés de toutes les vues sont rasterisés sur une grille de voxels fixe.
• Agrégation guidée par la fiabilité : Au sein de chaque voxel, le système identifie un « représentant local » (l'observation ayant la plus haute fiabilité). Les autres observations sont pondérées en fonction de leur fiabilité et de leur accord de caractéristiques avec ce représentant.
  • Les observations qui sont fiables et cohérentes avec le représentant local contribuent fortement.
  • Les observations incertaines ou incohérentes sont supprimées.
• Champs de sortie : Ce processus produit deux champs centrés sur la scène :
  • $R_{scene}$ : un champ de fiabilité enregistrant le support accumulé.
  • $F_{scene}$ : un champ de caractéristiques stockant les descripteurs de scène pondérés par la fiabilité.

3. Décodage GP

Un décodeur mappe les champs latents de la scène ($F_{scene}, R_{scene}$) en un ensemble de Gaussiennes 3D renduables ($G$) :

• Contrôle de l'opacité : L'opacité ($\alpha$) de chaque Gaussienne est dérivée de la fiabilité de la scène accumulée ($R_{scene}$) via une fonction non décroissante. Cela garantit qu'à mesure que des preuves plus fiables s'accumulent, l'opacité augmente ou sature, plutôt que de fluctuer.
• Géométrie et apparence : Les autres attributs (décalage de position, covariance, harmoniques sphériques) sont décodés à partir du champ de caractéristiques ($F_{scene}$). La position est ancrée au point projeté représentatif et est affinée par un décalage appris.

Contributions clés

1. FFGS orienté vers la canonisation : L'article recadre le FFGS, passant d'un pipeline de rendu à un algorithme d'apprentissage de représentation. Il sépare explicitement la consolidation des preuves (dans l'espace de la scène) de la prédiction de primitives (décodage des Gaussiennes).
2. Fusion sensible à l'incertitude : Contrairement aux méthodes d'agrégation précédentes qui peuvent traiter toutes les vues de manière égale ou fusionner après le décodage, CanonicalGS utilise l'incertitude comme un signal de premier rang pour pondérer les preuves avant l'agrégation, supprimant ainsi le bruit et la redondance.
3. Représentation de scène stable : En imposant une contrainte d'opacité non décroissante basée sur la fiabilité accumulée, la méthode garantit que les vues supplémentaires affinent la représentation de la scène plutôt que de la déstabiliser.
4. Transférabilité aux tâches en aval : L'architecture produit naturellement des caractéristiques adaptées aux tâches en aval (par exemple, la segmentation sémantique) sans nécessiter de têtes de perception auxiliaires, car la représentation de la scène est construite sur des preuves consolidées et fiables.

Résultats expérimentaux

Les auteurs évaluent CanonicalGS sur les jeux de données RealEstate10K (RE10K) et DL3DV, en le comparant aux méthodes FFGS de pointe (MVSplat, DepthSplat, FreeSplat, ZPressor) et aux variantes de fusion dans l'espace gaussien.

• Synthèse de vues nouvelles : CanonicalGS obtient des améliorations significatives du rapport signal sur bruit de crête (PSNR), de la similitude structurelle (SSIM) et de l'indice LPIPS. Notamment, alors que les méthodes de base se dégradent ou plafonnent souvent lorsque le nombre de vues d'entrée augmente (de 2 à 8 vues), CanonicalGS montre une amélioration constante, atteignant un gain de 2,5 dB en PSign-to-Noise Ratio (PSNR) sur RE10K.
• Stabilité de la représentation : Les analyses qualitatives et quantitatives montrent que les caractéristiques de CanonicalGS deviennent plus stables et convergent vers une référence (12 vues) à mesure que les entrées sont ajoutées, tandis que les méthodes de base présentent une sensibilité aux changements de l'ensemble de vues.
• Perception en aval : Lorsqu'il est utilisé pour la segmentation sémantique via une sonde linéaire, CanonicalGS produit un gain de 11 % de précision par rapport aux méthodes de base, démontrant que le monde latent appris préserve mieux la structure sémantique.
• Robustesse : Sous des perturbations de bruit gaussien des estimations de profondeur, CanonicalGS maintient un PSNR et un SSIM plus élevés avec une dégradation plus faible par rapport aux méthodes conditionnées par la profondeur, validant l'efficacité de l'agrégation guidée par la fiabilité.

Signification et affirmations

L'article affirme que CanonicalGS fait le pont entre la théorie de la vision classique (la hiérarchie de Marr) et les représentations modernes de Gaussiennes 3D. Sa principale signification réside dans la démonstration que des vues supplémentaires doivent renforcer une représentation de scène partagée plutôt que d'introduire un encombrement dépendant de la vue.

Les auteurs positionnent CanonicalGS non pas simplement comme un outil de rendu, mais comme un algorithme d'apprentissage de représentation qui permet :

• Évolutivité : Les performances s'améliorent avec davantage de vues d'entrée, contrairement aux approches actuelles centrées sur le rendu.
• Robustesse : Le système est moins sensible aux estimations de profondeur bruitées et aux occlusions grâce à la fusion sensible à l'incertitude.
• Généralisation : Les caractéristiques stables et centrées sur la scène se transfèrent efficacement aux tâches de perception visuelle en aval, telles que la segmentation sémantique.

L'article conclut avec modestie, reconnaissant des limites telles que la dépendance à la qualité des entrées géométriques (poses de caméra et estimations de profondeur) et la structure fixe du réseau de voxels. Il suggère des travaux futurs dans la canonisation conjointe (raffinant la profondeur et la pose ensemble) et une modélisation plus riche de l'incertitude, mais souligne que la contribution centrale est le passage vers la consolidation des preuves dans un espace de scène partagé.