Résumé Technique : SSA-3DGS

Problématique

Les méthodes de synthèse de vues nouvelles (NVS), particulièrement le 3D Gaussian Splatting (3DGS), reposent sur l'hypothèse que les images d'entrée sont propres et cohérentes multi-vues. Cependant, les captures du monde réel contiennent souvent des artefacts en espace écran : des occlusions statiques fixées au plan l'image 2D plutôt qu'au monde 3D. Les exemples courants incluent les défauts physiques des capteurs, les obstructions environnementales (pluie, boue sur les boîtiers d'objectifs), les obstructions de capture (doigts, tableaux de bord) et les superpositions numériques (filigranes, éléments d'interface utilisateur).

Parce que ces artefacts sont statiques par rapport au capteur de la caméra, ils « bougent » par rapport à la géométrie du monde à mesure que la caméra parcourt la scène. Les algorithmes de reconstruction 3D standards, qui supposent une cohérence multi-vues, échouent à rejeter ces artefacts. Au lieu de cela, ils les intègrent erronément dans la géométrie 3D sous forme de « floaters » (Gaussiennes 3D proches de la caméra) ou d'effets dépendants de la vue, ce qui dégrade sévèrement la fidélité des rendus de vues nouvelles. Les méthodes de robustesse existantes (ex. : NeRF-W, RobustNeRF, DeSplat) ciblent principalement les transitoires de l'espace monde et des objets en mouvement, et peinent à distinguer le bruit statique en espace écran de la géométrie de la scène. De plus, les techniques de restauration d'image unique manquent de connaissances structurelles 3D, ce qui entraîne un scintillement temporel et des incohérences géométriques lorsqu'elles sont appliquées comme étape de prétraitement.

Méthodologie : SSA-3DGS

Les auteurs proposent SSA-3DGS, un cadre non supervisé qui optimise conjointement une représentation de scène 3D et une superposition 2D apprenable pour désenchevêtrer les artefacts en espace écran de la géométrie sous-jacente.

Formulation Fondamentale

La méthode étend le pipeline 3DGS standard en introduisant une superposition 2D apprenable partagée entre toutes les vues d'entraînement. La couleur prédite finale du pixel $\hat{C}(u)$ est modélisée comme un mélange alpha entre le rendu de la scène 3D propre $\hat{C}_{3D}(u)$ et la superposition d'artefacts :
$$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$$
Où :

• $W \in \mathbb{R}^{H \times W \times 3}$ est la Carte de Couleur d'Artefact apprenable.
• $A \in \mathbb{R}^{H \times W \times 1}$ est le Masque Alpha d'Artefact apprenable.
• $W$ et $A$ sont tous deux définis en coordonnées de pixels et restent constants pour toutes les poses de caméra, contrairement aux Gaussiennes 3D qui se projettent différemment selon la vue.

Optimisation et Régularisation

La décomposition est sous-contrainte ; sans régularisation, le modèle pourrait dégénérer en des solutions où la scène 3D est sur-éclairée ou assombrie par une superposition uniforme, ou bien où des détails valides de la scène sont absorbés par la superposition. Pour éviter cela, les auteurs introduisent une fonction de perte composite :
$$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$$

1. Perte Photométrique ($\mathcal{L}_{rgb}$) : Perte L1 et SSIM standard entre la prédiction composée et la vérité terrain.
2. Régularisation de Parcimonie ($\mathcal{L}_{sparse}$) : Encourage le masque alpha $A$ à être nul partout où cela est possible. Cela biaise l'optimisation pour expliquer les pixels via la géométrie 3D en priorité, n'utilisant la superposition que lorsque nécessaire. Cela empêche également la solution dégénérée d'« effondrement d'exposition ».
3. Perte de Variation Totale ($\mathcal{L}_{TV}$) : Encourage la superposition à être composée de régions lisses par morceaux. Cela supprime l'absorption de bruit haute fréquence et impose une cohérence spatiale, reflétant la nature de nombreux artefacts réels (ex. : filigranes, éclaboussures de boue).

Initialisation

Au lieu d'initialiser la superposition avec des constantes, la méthode sème $W$ et $A$ en utilisant les statistiques par pixel de l'ensemble d'entraînement. Les pixels présentant une intensité stable à travers les vues (probablement des artefacts) commencent presque opaques, tandis que les pixels présentant une forte variation multi-vues (probablement du contenu de la scène) commencent près de la transparence.

Contributions Clés

1. Désenchevêtrement Non Supervisé : Une méthode pour récupérer une scène 3DGS propre et segmenter l'artefact en espace écran simultanément à partir d'enregistrements multi-vues corrompus, sans masques de vérité terrain ou supervision manuelle.
2. Schéma de Régularisation : Une combinaison novatrice de contraintes de parcimonie et de variation totale qui biaise l'optimisation vers des explications géométriques 3D, garantissant que la couche d'artefact ne capture que le véritable bruit en espace écran.
3. Jeu de Données Réel : L'introduction d'un jeu de données réel auto-capturé contenant de véritables artefacts physiquement induits (boue sur un boîtier d'objectif, occlusions de montages) pour évaluer la méthode au-delà des composites synthétiques.

Résultats

Les auteurs ont évalué SSA-3DGS sur le dataset Mip-NeRF 360 (avec des artefacts synthétiques) et sur leur propre jeu de données capturé en conditions réelles.

• Performance Quantitative : Sur le benchmark synthétique, SSA-3DGS a amélioré la fidélité de reconstruction jusqu'à 9 dB de PSNR par rapport au 3DGS classique entraîné sur les mêmes entrées corrompues. Il surpasse systématiquement le 3DGS de base et la méthode robuste aux distracteurs de pointe, DeSplat.
  • Avec la densification MCMC, SSA-3DGS a atteint un PSNR moyen de 28,43 dB sur des entrées corrompues, approchant la performance du 3DGS entraîné sur des données propres (29,57 dB).
  • Sur la scène réelle « Mud » (Boue), la méthode a amélioré le PSNR de 3,0 dB par rapport à la meilleure base de comparaison (DeSplat).
• Performance Qualitative : Les résultats visuels démontrent que SSA-3DGS parvient à supprimer les artefacts (filigranes, tableaux de bord, boue, éléments d'interface) et à récupérer une géométrie propre, là où les bases de comparaison intègrent souvent les artefacts dans la scène sous forme de floaters semi-transparents. La méthode réussit également à reconstruire l'artefact lui-même en tant que superposition distincte.
• Ablation : L'étude confirme que les régularisations de parcimonie et de variation totale sont toutes deux nécessaires. Leur suppression a entraîné une chute d'environ 1,0 dB du PSNR et a dégradé les scores FLIP, le modèle échouant à séparer correctement l'artefact de la scène.

Signification et Revendications

L'article affirme que SSA-3DGS offre une voie viable vers une reconstruction 3D fiable à partir de captures « dans la nature » non contraintes en modélisant explicitement les imperfections de capture. Contrairement au débruitage 2D générique appliqué comme étape de pré-traitement, qui brise la cohérence multi-vues, SSA-3DGS préserve la cohérence géométrique en intégrant la logique de séparation directement dans la boucle d'optimisation 3D.

Les auteurs notent que la méthode repose sur le consensus multi-vues ; par conséquent, des captures suffisamment denses sont requises. Ils reconnaissent une limite concernant les artefacts qui sont seulement approximativement statiques (ex. : des occlueurs avec des reflets dépendants de la vue), qui ne sont que partiellement capturés par leur modèle de superposition statique, bien que la méthode se dégrade gracieusement et surpasse les bases de comparaison dans ces scénarios. Ce travail suggère que la modélisation explicite des obstructions sur le plan du capteur est une étape critique pour une NVS robuste dans des applications réelles.