GaussianSSC: Triplane-Guided Directional Gaussian Fields for 3D Semantic Completion

1. Problématique

La complétion sémantique de scène (SSC) vise à générer une carte d'occupation 3D dense et sémantique à partir d'observations partielles (par exemple, une seule image RGB), en remplissant les zones occluses et hors champ de vue (FOV).

Bien que les approches monoculaires (basées uniquement sur la caméra) soient attractives pour leur faible coût et leur richesse sémantique par rapport au LiDAR, elles souffrent de deux limitations majeures :

1. Ambiguïté géométrique et sémantique : À partir d'une seule vue, les erreurs se propagent le long des rayons de la caméra, rendant difficile l'estimation précise de la géométrie et des régions occluses.
2. Inadéquation des représentations de grille : Les méthodes basées sur des grilles de voxels uniformes traitent l'espace de manière isotrope, gaspillant des ressources computationnelles sur l'espace vide et peinant à s'adapter aux structures anisotropes réelles (routes, façades, objets allongés).

L'objectif est de combiner l'efficacité des représentations par grilles/triplanes avec la flexibilité des champs gaussiens pour modéliser les incertitudes et les détails de surface sans sacrifier la performance.

---

2. Méthodologie : GaussianSSC

GaussianSSC propose un cadre en deux étapes, natif de la grille (grid-native) et guidé par des triplanes, qui intègre des champs gaussiens directionnels sans remplacer la grille de voxels ni maintenir un ensemble de gaussiennes séparé.

Étape 1 : Estimation de l'occupation (Occupancy Prior)

L'objectif est de prédire une carte d'occupation dense pour servir de support structurel.

• Extraction de caractéristiques : Utilisation d'un backbone (ResNet-50 + FPN) pour extraire des caractéristiques multi-échelles de l'image monoculaire.
• Représentation Triplane : Construction d'une représentation factorisée en trois plans orthogonaux (PHW, PHD, PWD) à partir de requêtes de voxels, permettant un raisonnement 3D efficace avec un traitement 2D.
• Ancrage Gaussien (Gaussian Anchoring) : C'est le cœur de cette étape. Au lieu de projeter un voxel sur un seul pixel, le modèle apprend un gaussien 2D sur la carte de caractéristiques fusionnée (FPN) pour chaque voxel.
  • Ce gaussien a un centre ($\mu$), une échelle ($\Sigma$) et une opacité ($\alpha$) appris.
  • Il agrège les caractéristiques de l'image dans un voisinage sous-pixel pondéré par ce gaussien.
  • Avantage : Cela améliore l'alignement image-voxel, rendant le processus robuste aux erreurs de projection sous-pixel et à l'ambiguïté de la profondeur monoculaire.
• Fusion et Raffinement : Les caractéristiques de l'ancrage sont fusionnées avec les descripteurs de voxels via une porte (gated fusion) et raffinées par une tête 3D légère pour prédire l'occupation binaire.

Étape 2 : Complétion Sémantique

Cette étape prédit les étiquettes sémantiques conditionnées par la structure d'occupation de l'étape 1.

• Conditionnement Triplane : Les tokens d'occupation sont projetés sur les triplanes et enrichis par des mécanismes d'attention déformable sur les caractéristiques de l'image.
• Raffinement Gaussien-Triplane (Gaussian-Triplane Refinement) : Au lieu de splatter des gaussiennes en 3D complet (coûteux), le modèle apprend un champ gaussien par voxel et projette ces gaussiennes sur les trois triplanes orthogonaux.
  • Rassemblement Local (Local Gathering) : Pour chaque point cible, les caractéristiques sont agrégées depuis les voisins pondérés par le champ gaussien local. Cela améliore la localisation et réduit les artefacts de quantification.
  • Agrégation Globale (Global Aggregation) : Chaque source diffuse ses caractéristiques vers ses voisins selon son propre champ gaussien et son opacité. Cela permet de partager l'information sémantique sur de longues distances.
  • Fusion : Une combinaison pondérée ($\beta$) de ces deux processus produit des caractéristiques sémantiques raffinées, continues et préservant la structure.
• Prédiction Finale : Les triplanes raffinés sont remontés dans l'espace 3D pour prédire la carte sémantique dense finale.

---

3. Contributions Clés

1. Représentation Hybride Triplane-Gaussienne : Une approche qui conserve l'efficacité des triplanes tout en dotant chaque voxel d'un support gaussien adaptatif pour capturer les détails de surface et l'asymétrie liée aux occlusions.
2. Ancrage Gaussien (Stage 1) : Une méthode d'agrégation d'images pondérée par un gaussien sous-pixel sur les caractéristiques FPN fusionnées, améliorant considérablement l'estimation de l'occupation monoculaire.
3. Module de Raffinement Gaussien-Triplane (Stage 2) : Un mécanisme qui combine un rassemblement local et une agrégation globale via des champs gaussiens appris, produisant des caractéristiques sémantiques continues et cohérentes.
4. Pipeline Natif de Grille : Contrairement aux méthodes purement gaussiennes (comme 3DGS) qui nécessitent des ensembles séparés, GaussianSSC reste natif de la grille, facilitant le déploiement et l'intégration avec les décodeurs existants.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données SemanticKITTI.

• Performance d'Occupation (Stage 1) :

  • Amélioration de +1,0 % de Rappel (Recall), +2,0 % de Précision et +1,8 % d'IoU par rapport aux méthodes de l'état de l'art (comme ETFormer et VoxFormer).
  • Cela démontre une meilleure capacité à prédire les zones occupées et à supprimer les faux positifs dans l'espace vide.

• Performance Sémantique (Stage 2) :

  • Gain de +1,8 % d'IoU et +0,8 % de mIoU (IoU moyen) par rapport aux meilleures méthodes monoculaires existantes.
  • Performances supérieures sur des catégories structurelles clés (bâtiments, véhicules, végétation, terrain).

• Efficacité :

  • Le modèle offre un excellent compromis précision-efficacité. Bien qu'il soit légèrement plus lent que les méthodes basées sur des requêtes pures (ETFormer), il évite la consommation mémoire excessive des méthodes volumétriques denses (VoxFormer) tout en surpassant la précision.

• Études d'ablation :

  • L'ajout de l'ancrage gaussien améliore systématiquement l'estimation de l'occupation.
  • La combinaison du rassemblement local et de l'agrégation globale ($\beta=0.5$) donne les meilleurs résultats, prouvant la complémentarité des deux mécanismes.

---

5. Signification et Impact

GaussianSSC représente une avancée significative dans la compréhension de scène 3D monoculaire en résolvant le compromis entre la flexibilité géométrique des gaussiennes et l'efficacité computationnelle des grilles/triplanes.

• Robustesse à l'ambiguïté : En modélisant l'incertitude et l'asymétrie via des champs gaussiens directionnels, le système est plus robuste aux occlusions et aux erreurs de profondeur inhérentes à la vision monoculaire.
• Préservation des détails : La capacité à capturer la tangence de surface et les structures allongées permet une reconstruction plus fidèle des scènes réelles (routes, bâtiments) que les grilles uniformes.
• Applicabilité Robotique : Le cadre natif de la grille et l'efficacité computationnelle le rendent prometteur pour des applications robotiques en temps réel, telles que la navigation sémantique et la localisation, où la précision géométrique et sémantique est cruciale.

En résumé, l'article propose une architecture élégante qui "injecte" les bénéfices des champs gaussiens dans un pipeline de grille standard, atteignant des performances de pointe sans sacrifier la praticité du déploiement.