💻 computer science

Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors

GaussDet introduit une approche novatrice pour la segmentation de type vocabulaire ouvert et de référence dans le Gaussian Splatting 3D en exploitant des détecteurs d'objets 2D discrets et un mécanisme de vote sémantique agrégé par vue afin de parvenir à un regroupement d'instances 3D robuste et zero-shot ainsi qu'à un ancrage référentiel complexe sans dépendre de caractéristiques CLIP denses.

Auteurs originaux : Jameel Hassan, Yasiru Ranasinghe, Vishal Patel

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jameel Hassan, Yasiru Ranasinghe, Vishal Patel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez l'hologramme magique et en 3D d'une pièce. Cet hologramme n'est pas fait de murs ou de meubles solides, mais de millions de minuscules points lumineux brillants (appelés « Gaussiennes ») qui flottent dans l'espace. Lorsque vous le regardez sous n'importe quel angle, il ressemble à une véritable photo. Cette technologie est appelée 3D Gaussian Splatting.

Le problème est que, pour l'instant, cet hologramme est « aveugle ». Il sait où se trouvent les points, mais il ne sait pas ce qu'ils sont. Si vous lui demandez : « Où est la pomme rouge ? » ou « Trouve le chat jouet », il ne peut pas répondre car il ne voit que de la lumière, pas du sens.

Les tentatives précédentes pour apprendre au hologramme à comprendre le langage étaient comme essayer d'apprendre à un enfant à lire en lui montrant des images de mots floues et de haute résolution. Ils utilisaient un cerveau d'IA massif et complexe (appelé CLIP) pour deviner ce que les points signifiaient, mais ce cerveau était souvent confus, ne pouvait comprendre que des mots simples comme « chat » ou « chaise », et peinait face à des objets mélangés ou des descriptions complexes comme « la pomme rouge à côté de la tasse bleue ».

Entrez GaussDet : L'approche par « Étiquette Adhésive »

Les auteurs de cet article, GaussDet, ont décidé d'arrêter d'essayer d'apprendre au hologramme à lire des images floues. À la place, ils ont utilisé une astuce ingénieuse impliquant des détecteurs d'objets 2D (des caméras intelligentes capables de repérer des choses sur des photos plates).

Voici comment ils ont fait cela, en utilisant une analogie simple :

1. Le Groupement (Le problème du « Paquet »)

D'abord, le système tente de regrouper les points flottants en objets. Imaginez que vous essayez de trier un tas de briques LEGO mélangées en piles distinctes (une voiture, une maison, un arbre).

L'ancienne méthode : Les anciennes méthodes étaient désordonnées. Elles collaient souvent accidentellement une brique « arbre » à une brique « voiture », ou incluaient un morceau du sol dans la pile « voiture ».
La nouvelle méthode : GaussDet utilise le même groupement désordonné qu'avant, mais ne panique pas lorsque les groupes sont imparfaits. Il accepte que certains groupes puissent être un peu « bruyants » (mélangés).

2. Les Étiquettes Magiques (Le Détecteur 2D)

Au lieu de deviner ce qu'est le groupe, GaussDet prend une photo de la scène 3D sous de nombreux angles différents. Il utilise ensuite une caméra 2D super intelligente pour apposer des étiquettes numériques sur la photo.

Si la caméra voit une « pomme rouge », elle place une étiquette qui dit « pomme rouge » juste au-dessus d'elle.
Si elle voit un « chat jouet », elle met une étiquette « chat jouet ».
Crucialement, ces étiquettes sont discrètes et claires. Ce ne sont pas des suppositions vagues ; ce sont des étiquettes spécifiques comme « Waldo » ou « canard en caoutchouc ».

3. Le Dépouillement des Voix (Distribution de Labels Sémantiques Agrégée par Vue)

C'est la recette secrète. Puisque les groupes 3D peuvent être désordonnés, le système observe la scène sous de nombreux angles différents (comme si l'on tournait autour d'une statue).

Il projette le « paquet » de points 3D sur ces photos 2D.
Il demande : « Dans cette photo, quelle étiquette recouvre ce paquet ? »
Il fait cela pour les 20, 40 ou 80 meilleurs angles et compte les voix.
Si 70 % des angles disent « C'est une pomme rouge » et 30 % disent « C'est l'arrière-plan », le système décide avec confiance : « C'est une pomme rouge. »

Ce processus de « vote » agit comme un filtre. Même si un angle est flou ou que le groupement est légèrement erroné, la majorité des votes provenant des autres angles corrige l'erreur.

4. Le Filet de Sécurité de l'« Arrière-plan »

Parfois, un groupe de points n'est que de l'espace vide ou du bruit de fond. Les anciens systèmes tentaient de forcer une étiquette sur cet espace vide, disant par exemple « Ceci est une chaise ! » alors qu'il s'agissait simplement d'un mur.
GaussDet possède une règle spéciale : Il conserve l'étiquette « Arrière-plan ». Si le système de vote voit qu'un groupe est majoritairement composé d'arrière-plan dans la plupart des photos, il le classera correctement comme « Arrière-plan » au lieu de lui imposer un nom d'objet erroné. Cela empêche le système d'halluciner des objets là où il n'y en a pas.

Pourquoi cela compte (Les Résultats)

L'article a testé cela sur deux défis principaux :

Segmentation à Vocabulaire Ouvert (Open-Vocabulary Segmentation) : Demander au système de trouver n'importe quel objet qu'il a déjà vu (ex: « Trouve le bol de ramen »). GaussDet était bien meilleur que les méthodes précédentes sur ce point, surtout dans des pièces encombrées avec beaucoup d'objets qui se chevauchent.
Expressions de Référence (Referring Expressions) : C'est la grande victoire. Le système peut désormais comprendre des phrases complexes comme « Le canard en caoutchouc posé sur le Rubik's Cube. »
- Les systèmes précédents échouaient ici car ils reposaient sur une simple correspondance de mots.
- GaussDet a réussi car il a utilisé la capacité du détecteur 2D à comprendre les relations spatiales et les descriptions spécifiques, atteignant une amélioration de 16,7 % par rapport à la meilleure méthode existante, le tout sans avoir besoin d'être réentraîné pour chaque pièce spécifique (une capacité « zero-shot »).

En résumé

GaussDet est comme si l'on donnait à un hologramme 3D aveugle des lunettes intelligentes. Au lieu d'essayer de deviner ce que sont les choses en les regardant vaguement, il prend de nombreuses photos claires, demande à une caméra intelligente d'étiqueter les objets dans ces photos, puis utilise un « vote majoritaire » pour décider ce que sont les objets 3D. Cela le rend incroyablement efficace pour trouver des objets spécifiques et comprendre des descriptions complexes, même dans des environnements encombrés et désordonnés.

Résumé Technique : GaussDet pour la Segmentation en Vocabulaire Ouvert et de Référence dans les Gaussiennes 3D

Énoncé du Problème

Bien que le Splatting de Gaussiennes 3D (3DGS) ait révolutionné la reconstruction de scènes 3D grâce à sa représentation explicite basée sur des points et ses capacités de rendu en temps réel, l'étendre à la compréhension de vocabulaire ouvert et d'expressions de référence reste un défi. Les méthodes existantes reposent généralement sur la distillation de caractéristiques CLIP (Contrastive Language-Image Pre-training) denses et de haute dimension directement dans la représentation de la scène. Cette approche souffre de deux limitations principales :

Bruit de Groupement d'Instances : Les stratégies de groupement ascendantes (bottom-up) nécessitent souvent des nombres d'instances prédéfinis ou souffrent d'associations erronées, conduisant à des groupes d'instances 3D qui contiennent plusieurs objets, des éléments d'arrière-plan ou des artefacts flottants.
Goulots d'Étranglement Sémantiques : La dépendance aux caractéristiques CLIP limite la compréhension sémantique à de simples groupes nominaux. De plus, l'extraction de caractéristiques CLIP à partir de masques de segmentation isolés (par exemple, de SAM) rejette le contexte d'image environnant, ce qui entraîne une faible expressivité sémantique et une incapacité à gérer le raisonnement spatial complexe ou les expressions de référence (par exemple, « la tasse rouge sur la gauche »).

Méthodologie : GaussDet

Les auteurs proposent GaussDet, une méthode qui contourne la nécessité d'une distillation de caractéristiques CLIP denses en exploitant des détecteurs d'objets 2D à vocabulaire ouvert discrets dotés de capacités de référence d'expression. Le pipeline suit un paradigme « désentrelacé » où l'apprentissage d'instances et l'assignation sémantique sont séparés :

Groupement d'Instances : La méthode adopte le paradigme d'apprentissage d'instances des travaux antérieurs (par exemple, LaGa), où chaque gaussienne individuelle est augmentée de caractéristiques d'instance apprenables supervisées par des masques d'instance 2D (par exemple, de SAM). Ces caractéristiques sont utilisées pour décomposer la scène en groupes d'instances 3D ( $G_i$ ) via des associations 2D-3D.
Génération de Cartes de Labels Sémantiques Discrètes : Au lieu d'extraire des caractéristiques à partir de masques, GaussDet emploie un détecteur d'objets à vocabulaire ouvert (par exemple, Qwen-VL ou YOLO-World) pour générer des détections de boîtes englobantes ( $B_v$ ) pour chaque image. Ces détections sont converties en cartes de labels sémantiques discrètes ( $S_v$ ) en superposant les labels basés sur des poids de boîtes englobantes (heuristiques de taille pour l'occlusion).
Filtrage et Sélection de Vues : Pour assigner une sémantique à un groupe d'instances 3D, le groupe est rendu à travers toutes les vues. Un score de visibilité de masque ( $s_{i,v}$ ) est calculé sur la base du ratio de gaussiennes visibles à haute opacité par rapport à la taille totale du groupe. Les top- $K$ vues ayant les scores de visibilité les plus élevés sont sélectionnées pour minimiser le bruit provenant d'instances occultées ou fragmentées.
Distribution de Labels Sémantiques Agrégée par Vue (VASD) : Pour les top- $K$ vues sélectionnées, la méthode échantillonne les labels sémantiques discrets à partir des cartes de labels 2D aux coordonnées projetées des moyennes des gaussiennes. Ces labels sont agrégés, pondérés par les scores de signifativité des gaussiennes, pour former une distribution de probabilité (VASD) pour chaque groupe d'instances.
Régularisateur Sémantique d'Arrière-plan (SBR) : Un composant critique de la génération de la VASD est la rétention explicite du label d'arrière-plan (index -1) des cartes du détecteur. Cela agit comme un régularisateur pour empêcher l'assignation erronée de sémantiques de premier plan à des groupes 3D qui sont en réalité du bruit d'arrière-plan ou des « floaters », un problème courant dans la décomposition 3D non supervisée.

Principales Contributions

Assignation Sémantique Novatrice : Les auteurs introduisent une approche basée sur un détecteur d'objets 2D pour le marquage sémantique des splats de gaussiennes 3D. Cela élimine la dépendance aux caractiques CLIP denses, permettant une segmentation robuste à vocabulaire ouvert.
Ancrage de Référence Zero-Shot : Le pipeline est étendu pour gérer l'ancrage d'expressions de référence dans un cadre strict de zero-shot. En exploitant la capacité du détecteur à traiter des requêtes complexes et la robustesse de la VASD, la méthode ancre des descriptions complexes (par exemple, « Waldo » ou « statue de chat jouet ») sans optimisation par scène ou génération de pseudo-masques.
Robustesse via l'Agrégation de Vues : La stratégie VASD agit comme un puissant régularateur, atténuant les labels spécieux causés par un groupement d'instances 2D-3D de faible qualité ou bruité.

Résultats Expérimentaux

La méthode a été évaluée sur deux tâches clés : la Segmentation à Vocabulaire Ouvert (OVS) et l'Ancrage d'Expressions de Référence.

Segmentation à Vocabulaire Ouvert : Sur le benchmark LeRF-OVS, GaussDet a atteint un mIoU moyen de 69,9 %, représentant une amélioration de 5,8 % par rapport à l'état de l'art précédent (LaGa). Des gains significatifs ont été observés dans les scènes encombrées (par exemple, Figurines, Ramen). Sur le jeu de données ScanNet, GaussDet montre une amélioration de 3,3 % du mIoU par rapport à LaGa sur le split de 19 classes.
Ancrage d'Expressions de Référence : Sur le benchmark Ref-LeRF, GaussDet a obtenu une augmentation absolue de 1,7 % du mIoU par rapport à ReferSplat (le précédent meilleur), malgré un fonctionnement en mode zero-shot sans entraînement par scène ou réseaux cross-modaux spécialisés.
Améliorations Qualitatives : Les comparaisons visuelles ont démontré que GaussDet produit des limites d'objets plus nettes, empêche la diffusion sémantique dans l'arrière-plan et isole avec succès des instances spécifiques dans des environnements encombrés là où les méthodes de base échouent.

Signification et Revendications

L'article affirme que GaussDet représente une étape importante vers la compréhension de scènes 3D en abordant les goulots d'étranglement sémantiques inhérents aux méthodes 3DGS basées sur CLIP. En passant d'une distillation de caractéristiques denses à une agrégation de labels discrets, la méthode :

Améliore l'Expressivité : Elle supporte des requêtes complexes, compositionnelles et le raisonnement spatial que les simples groupes nominaux ne peuvent capturer.
Améliore la Robustesse : La stratégie d'agrégation de vues et la régularisation de l'arrière-plan atténuent efficacement le bruit inhérent au groupement d'instances 3D non supervisé.
Permet des Capacités Zero-Shot : Elle démontre qu'un ancrage de référence de haute qualité peut être obtenu sans le coût computationnel d'une optimisation par scène ou les exigences de données d'entraînement de réseaux cross-modaux dédiés.

Les auteurs notent que les capacités de raisonnement spatial de la méthode sont plafonnées par la performance du détecteur 2D à vocabulaire ouvert sous-jacent et que le pipeline repose toujours sur les mécanismes de groupement d'instances 3D existants, qui peuvent propager des erreurs structurelles. Cependant, le module VASD proposé est présenté comme une solution plug-and-play qui améliore considérablement l'assignation sémantique à travers diverses méthodes de base.