Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

Résumé Technique : COVScene

Énoncé du Problème
L'article traite du défi consistant à parvenir à une compréhension complète de scènes 3D à partir d'images éparses et non posées, sans dépendre de la calibration externe de la caméra ou de pipelines de Structure-from-Motion (SfM). Bien que les récentes méthodes de Gaussiennes de type feed-forward (ex. : LSM, Uni3R) aient fait progresser la reconstruction sans pose et le rendu sémantique, elles restent largement centrées sur la surface. Ces méthodes optimisent les primitives Gaussiennes principalement par des pertes de rendu dans l'espace image. Par conséquent, dans les régions non observées ou faiblement observées, les primitives apprises manquent de contraintes explicites sur l'espace libre versus l'espace occupé. Cela conduit à des artefacts physiquement implausibles tels que des « floaters » (objets flottants), des structures creuses et des distributions de densité ambiguës, même lorsque les images RGB ou sémantiques rendues semblent plausibles. Les approches existantes traitent souvent l'occupation volumétrique comme une branche auxiliaire ou une conversion post-hoc, échouant à fournir un retour volumétrique pendant le processus d'entraînement pour corriger la représentation Gaussienne sous-jacente.

Méthodologie
Les auteurs proposent COVScene, un cadre de Gaussiennes sémantiques sans pose qui couple des primitives Gaussiennes rendables avec un champ d'occupation sémantique dense via un levage volumétrique différentiable (differentiable volumetric lifting). L'innovation centrale réside dans l'exécution de ce levage au sein du graphe de calcul de l'entraînement plutôt que comme une étape de post-traitement détachée.

1. Architecture :

   • Transformateur de Géométrie Sémantique (Semantic-Aware Geometry Transformer) : Le modèle utilise un encodeur partagé, initialisé à partir d'un modèle de fondation géométrique pré-entraîné (VGGT), pour inférer la géométrie de la caméra, la profondeur et la structure de la scène directement à partir d'images multi-vues non posées. Cela évite la dépendance à un SfM externe.
   • Décodage Multi-tâches : Un décodeur Dense Prediction Transformer (DPT) se divise en trois têtes : une tête de Caméra (prédisant les extrinsèques/intrinsèques), une tête de Profondeur (estimant les centres 3D) et une tête de Gaussienne Sémantique (prédisant l'opacité, la rotation, l'échelle, la couleur et les caractéristiques sémantiques à vocabulaire ouvert).
   • Levage Volumétrique Différentiable : Les Gaussiennes sémantiques prédites sont élevées en un champ d'occupation sémantique dense $(O, F)$ pendant l'entraînement. Pour chaque voxel, la probabilité d'occupation $O(x)$ est calculée en accumulant les densités Gaussiennes, et les caractéristiques sémantiques $F(x)$ sont agrégées via une moyenne pondérée par la densité. Ce processus est entièrement différentiable, permettant aux gradients des pertes volumétriques de mettre à jour directement l'opacité, la géométrie et les caractéristiques sémantiques des Gaussiennes.

2. Stratégie d'Optimisation :
   Le cadre emploie une fonction de perte multi-objectifs combinant :

   • Supervision Photométrique et Sémantique : Pertes de rendu standard (L1, LPIPS) et alignement au niveau des caractéristiques avec des modèles de vision-langage gelés (ex. : CLIP) pour des capacités à vocabulaire ouvert.
   • Distillation de Fondation Géométrique : Distillation à partir d'un enseignant géométrique gelé (VGGT) pour fournir des échafaudages géométriques multi-vues initiaux et réduire l'ambiguïté d'échelle.
   • Régularisation de l'Entropie d'Occupation : Un composant critique qui impose un a priori physique bimodal sur le champ d'occupation élevé. En minimisant l'entropie de la probabilité d'occupation, le modèle pénalise les états ambigus ($O(x) \approx 0,5$) et encourage les régions à être soit clairement libres ($O(x) \to 0$), soit occupées ($O(x) \to 1$). Cela résout les incohérences géométriques sans nécessiter de supervision directe au niveau du voxel.

Contributions Clés

• Représentation Unifiée : COVScene est le premier cadre sans pose à coupler des primitives Gaussiennes rendables avec un champ d'occupation sémantique dense via un levage différentiable, permettant la synthèse de vues nouvelles, la segmentation à vocabulaire ouvert et la prédiction d'occupation sémantique au sein d'une seule représentation.
• Retour Volumétrique au Temps de l'Entraînement : Contrairement aux travaux précédents qui convertissent les Gaussiennes en voxels uniquement lors de l'évaluation, COVScene intègre la régularisation volumétrique dans la boucle d'entraînement. Cela permet aux pertes volumétriques de régulariser directement l'opacité et la géométrie des Gaussiennes, réduisant ainsi les artefacts dans les régions non observées.
• Régularisation de l'Entropie : L'introduction d'un objectif d'entropie d'occupation impose des structures libres/occupées physiquement plausibles, supprimant efficacement les « floaters » et les artefacts creux courants dans les 3DGS non posés.
• Capacités Zero-Shot : La méthode supporte l'interrogation sémantique à vocabulaire ouvert et la prédiction d'occupation 3D zero-shot sans nécessiter d'annotations étendues par catégorie.

Résultats Expérimentaux
Les auteurs ont évalué COVScene sur les jeux de données ScanNet et ScanNet++ à travers trois tâches :

• Synthèse de Vues Nouvelles (NVS) : COVScene maintient une qualité de rendu compétitive (PSNR, SSIM, LPIPS) par rapport aux bases de référence de Gaussiennes feed-forward de pointe.
• Segmentation à Vocabulaire Ouvert (OVS) : Le cadre démontre des performances améliorées en segmentation à vocabulaire ouvert par rapport aux bases de référence auto-supervisées et aux autres méthodes de Gaussiennes sémantiques.
• Prédiction d'Occupation Sémantique : COVScene obtient une prédiction d'occupation sémantique plus forte que les bases de référence auto-supervisées (ex. : SelfOcc) et des résultats compétitifs face aux méthodes entièrement supervisées, malgré l'absence de supervision directe au niveau du voxel pendant l'entraînement.
• Études d'Ablation : Les expériences confirment que la simple conversion des Gaussiennes sémantiques en occupation au moment de l'évaluation est insuffisante. Le fondement volumétrique au temps de l'entraînement s'avère essentiel pour réduire les artefacts géométriques et améliorer la précision de l'occupation.

Signification et Revendications
L'article affirme que COVScene établit un nouveau paradigme pour la compréhension de scènes 3D scalable en comblant le fossé entre les représentations Gaussiennes efficaces et rendables et le raisonnement volumétrique physiquement ancré. En traitant l'occupation non pas comme une sortie auxiliaire mais comme une contrainte native et différentiable sur la représentation Gaussienne, la méthode parvient à une reconstruction 3D plus physiquement plausible. Les auteurs positionnent COVScene comme une étape significative vers une compréhension 3D robuste pour la robotique et les agents incarnés, où le raisonnement précis sur l'espace libre et occupé est critique, tout en opérant sans avoir besoin de poses de caméra calibrées. Le travail démontre que la régularisation volumétrique peut être efficacement intégrée dans les pipelines de Gaussiennes feed-forward pour résoudre les ambiguïtés inhérentes des entrées éparses et non posées.