💻 computer science

OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention

OpenGaFF est un nouveau cadre de compréhension de scènes 3D à vocabulaire ouvert fondé sur le 3D Gaussian Splatting, qui améliore la cohérence sémantique spatiale et la cohérence au niveau des objets en couplant un champ de caractéristiques gaussiennes avec un codebook structuré et un mécanisme d'attention guidé par ce codebook.

Auteurs originaux : Kunyi Li, Michael Niemeyer, Sen Wang, Stefano Gasperini, Nassir Navab, Federico Tombari

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kunyi Li, Michael Niemeyer, Sen Wang, Stefano Gasperini, Nassir Navab, Federico Tombari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur à « voir » une pièce en 3D, non pas comme un simple ensemble de points flottants, mais comme un lieu rempli d'objets significatifs tels qu'une « pomme rouge », un « verre d'eau » ou un « canapé ».

L'article présente un nouveau système appelé OpenGaFF. Son objectif est de permettre aux ordinateurs de comprendre les scènes 3D si bien que vous pouvez leur demander : « Où est l'éléphant en peluche ? » ou « Montrez-moi le verre d'eau », et ils pointeront l'endroit exact, même s'ils n'ont jamais vu cet objet spécifique auparavant.

Voici comment cela fonctionne, expliqué par de simples analogies :

Le Problème : La Carte 3D « Floue »

Les méthodes précédentes tentaient d'enseigner aux ordinateurs les objets 3D en prenant des images 2D et en les projetant dans l'espace 3D. Pensez-y comme essayer de construire une sculpture 3D en collant ensemble des autocollants plats.

Le Problème : Parce que l'ordinateur regarde l'objet sous différents angles (comme en faisant le tour d'une table), les « autocollants » ne correspondent souvent pas parfaitement. Un côté peut penser que l'objet est une « chaise », tandis que l'autre côté pense que c'est une « table ». Cela conduit à une carte 3D désordonnée et fragmentée où l'ordinateur se perd sur ce que sont les choses.
Le Problème de la « Transparence » : Certains objets, comme un verre d'eau, sont transparents. Les anciennes méthodes les ignoraient souvent car ils ne bloquaient pas bien la lumière, rendant l'ordinateur « aveugle » au verre même si vous le demandiez.

La Solution : OpenGaFF

OpenGaFF résout cela en utilisant deux astuces principales : un Plan Intelligent et un Dictionnaire Partagé.

1. Le Plan Intelligent (Le Champ de Caractéristiques Gaussien)

Au lieu de laisser chaque petit point 3D individuel (appelé « Gaussien ») apprendre son identité indépendamment, OpenGaFF traite l'ensemble de la scène comme un paysage continu.

L'Analogie : Imaginez une carte météorologique. Vous n'enseignez pas à chaque pixel de la carte quelle est la température. Au lieu de cela, vous avez une règle : « Si vous êtes près de la montagne, il fait froid ; si vous êtes près de la plage, il fait chaud. »
Comment cela aide : OpenGaFF utilise un « Champ de Caractéristiques » qui dit : « Si un point 3D a la forme d'une chaise et ressemble au bois, il doit faire partie de la chaise. » Cela force l'ordinateur à comprendre que les objets ont une forme et une identité cohérentes, peu importe l'angle sous lequel on les regarde. Il lie étroitement la forme (géométrie) au sens (sémantique).

2. Le Dictionnaire Partagé (Le Livre de Codes Structuré)

Les anciennes méthodes tentaient de compresser des idées linguistiques complexes en de petits nombres simples, ce qui perdait souvent des détails importants. OpenGaFF utilise un « Livre de Codes », qui est comme un dictionnaire partagé de blocs de construction sémantiques.

L'Analogie : Imaginez un groupe d'artistes essayant de peindre une image d'une « pomme rouge ».
- Ancienne Méthode : Chaque artiste tente d'inventer sa propre définition de « rouge » et de « pomme » à partir de zéro. Le résultat est un mélange désordonné de couleurs.
- Méthode OpenGaFF : Ils conviennent tous d'utiliser une carte spécifique et prédéfinie « Pomme Rouge » d'un jeu partagé. S'ils voient quelque chose qui ressemble à une pomme rouge, ils saisissent tous la même carte.
Comment cela aide : Cela garantit que chaque partie de la « pomme rouge » dans la scène 3D utilise la même définition. Cela empêche l'ordinateur de se confondre et d'appeler la pomme une « balle » ou un « tomate ». Il utilise également un mécanisme d'attention spécial pour s'assurer que l'ordinateur choisit la bonne carte du dictionnaire, réduisant ainsi le bruit.

3. L'Opacité « Fantôme »

Pour les objets délicats comme un verre d'eau, le système leur donne une « opacité sémantique » spéciale.

L'Analogie : Dans le rendu 3D normal, si quelque chose est transparent, l'ordinateur l'ignore. OpenGaFF dit : « Même si je peux voir à travers le verre, je peux toujours voir le concept du verre. » Il crée une couche séparée uniquement pour le « sens » afin que les objets transparents ne disparaissent pas de la compréhension de l'ordinateur.

Les Résultats

L'article a testé ce système par rapport à d'autres méthodes de pointe sur des ensembles de données réels (comme des pièces avec des meubles et des jouets).

Meilleure Précision : Lorsqu'on lui demandait de trouver des objets, OpenGaFF les trouvait plus précisément et complètement que les systèmes précédents.
Moins de Bruit : Il ne mettait pas accidentellement en évidence des éléments d'arrière-plan aléatoires comme l'objet cible.
Plus Rapide et Plus Léger : Il fonctionne plus vite et utilise moins de mémoire informatique que certains concurrents car il n'a pas besoin de stocker une définition unique et complexe pour chaque point 3D individuel ; il suit simplement les règles du « Plan Intelligent ».

En Résumé

OpenGaFF revient à donner à un ordinateur une carte 3D où la forme de l'objet dicte son nom, et un dictionnaire partagé qui garantit que tout le monde s'accorde sur la signification de ce nom. Cela permet à l'ordinateur de comprendre une pièce non pas comme un tas de pixels, mais comme un ensemble d'objets cohérents et compréhensibles, même s'ils sont transparents ou vus sous des angles étranges.

Résumé Technique : OpenGaFF

Énoncé du Problème

La compréhension de scènes 3D à vocabulaire ouvert utilisant des représentations basées sur des Gaussiennes fait face à des défis majeurs concernant la cohérence spatiale et la cohérence sémantique. Bien que le 3D Gaussian Splatting (3DGS) offre des représentations de scènes efficaces et explicites, les méthodes existantes pour intégrer des sémantiques souffrent souvent d'un couplage faible entre la géométrie et les sémantiques. Cela conduit à des prédictions fragmentées, des représentations d'objets spatialement incohérentes et une attribution sémantique peu fiable, en particulier pour les objets transparents ou les scénarios multi-vues complexes. Les approches actuelles se divisent généralement en trois catégories aux limitations distinctes :

Compression puis décodage : Ces méthodes projettent des caractéristiques linguistiques de haute dimension dans des embeddings de basse dimension, jetant des informations sémantiques fines et limitant la compréhension à vocabulaire ouvert.
Agrégation de caractéristiques : Ces méthodes fusionnent des caractéristiques multi-vues en utilisant des poids d'opacité basés sur l'apparence, qui échouent souvent à s'aligner sur la pertinence sémantique (par exemple, attribuer une opacité proche de zéro au verre transparent).
Basées sur des dictionnaires (codebook) : Bien qu'elles discrétisent les sémantiques en embeddings partagés, elles attribuent souvent des caractéristiques de manière agnostique à la géométrie, entraînant des prédictions spatialement incohérentes et des représentations d'objets fragmentées.

Méthodologie

OpenGaFF (Champ de Caractéristiques Gaussiennes à Vocabulaire Ouvert avec Attention de Dictionnaire) est un cadre construit sur le 3DGS, conçu pour imposer une cohérence géométrique et une cohérence sémantique au niveau de l'objet. La méthode opère en deux étapes principales :

1. Prétraitement et Initialisation du Dictionnaire

Le pipeline commence par traiter des images RVB en utilisant des modèles de base (SAM pour la segmentation, CLIP pour les caractéristiques vision-langage) afin de générer des cartes de caractéristiques linguistiques 2D. Contrairement aux travaux antérieurs utilisant des dictionnaires initialisés aléatoirement de taille fixe, OpenGaFF construit un Dictionnaire de Langage Structuré (SL) de manière pilotée par les données. Toutes les caractéristiques CLIP sont agrégées et regroupées via k-means, où le nombre de clusters ( $N_c$ ) est déterminé automatiquement par la structure de la scène. Les centroïdes des clusters forment le dictionnaire, servant d'ensemble de primitives sémantiques partagées. De plus, une Analyse en Composantes Principales (PCA) est appliquée pour projeter les caractéristiques dans un espace de basse dimension (LD) afin de fournir une supervision efficace pour le champ de caractéristiques.

2. Étape 1 : Champ de Caractéristiques Gaussiennes

Au lieu d'assigner des caractéristiques sémantiques apprenables indépendantes à chaque Gaussienne (ce qui découple la géométrie et les sémantiques), OpenGaFF introduit un Champ de Caractéristiques Gaussiennes. Ce champ modélise les sémantiques comme une fonction continue de la géométrie et de l'apparence de la Gaussienne. Plus précisément, la caractéristique sémantique de basse dimension $m_i$ pour une Gaussienne est prédite par un décodeur basé sur un MLP conditionné par la position de la Gaussienne (via un encodage positionnel de Fourier) et sa couleur :
$m_i = F(\phi(\mu_i), c_i)$
Cette formulation couple explicitement la géométrie et les sémantiques, encourageant des représentations de caractéristiques spatialement cohérentes. Pour gérer les objets où l'opacité de l'apparence ne correspond pas à l'importance sémantique (par exemple, le verre transparent), une opacité sémantique ( $\alpha^s_i$ ) séparée est introduite. Les caractéristiques LD sont rasterisées en utilisant cette opacité sémantique et supervisées par rapport aux cartes de caractéristiques LD de référence (ground-truth) en utilisant une combinaison de similarité cosinus et de perte L1.

3. Étape 2 : Attention avec Dictionnaire

Pour récupérer l'expressivité linguistique de haute dimension perdue lors de la compression, OpenGaFF emploie un mécanisme d'attention guidé par le dictionnaire. La carte de caractéristiques LD rendue agit comme la requête, tandis que le dictionnaire structuré sert de clé et de valeur. Grâce à un mécanisme d'attention, le modèle récupère les caractéristiques linguistiques de haute dimension correspondantes. Ce processus est traité comme commutatif avec le rendu, permettant au modèle d'apprendre le dictionnaire en utilisant uniquement une supervision 2D tout en s'étendant naturellement aux Gaussiennes 3D pour l'inférence.
Pour s'assurer que chaque requête se concentre sur une unité sémantique unique et distincte, un terme de régularisation par entropie est appliqué aux poids d'attention, favorisant l'indépendance entre les entrées du dictionnaire. Les caractéristiques linguistiques finales sont supervisées par rapport aux cartes de caractéristiques linguistiques de haute dimension de référence.

Contributions Clés

Champ de Caractéristiques Gaussiennes : Un mécanisme novateur qui conditionne les prédictions sémantiques sur la géométrie et l'apparence des Gaussiennes, alignant la représentation sémantique 3D avec la cohérence spatiale et réduisant la fragmentation des caractéristiques.
Dictionnaire de Langage Structuré : Une initialisation pilotée par les données d'un dictionnaire sémantique qui impose une cohérence au niveau de l'objet en contraignant les caractéristiques linguistiques à être sélectionnées parmi des primitives sémantiques partagées, réduisant ainsi la variation intra-objet.
Attention Guidée par Dictionnaire : Un mécanisme de récupération qui permet un raisonnement robuste à vocabulaire ouvert en faisant correspondre les embeddings de requête aux entrées apprises du dictionnaire, assurant une représentation sémantique cohérente et expressive dans les scènes 3D.

Résultats Expérimentaux

OpenGaFF a été évalué sur des benchmarks standards 2D et 3D à vocabulaire ouvert, spécifiquement LERF-OVS et ScanNet-v2.

Performance Quantitative : La méthode surpasse systématiquement les approches de l'état de l'art (incluant LangSplat, LangSplatV2, GALA et OpenGaussian) dans la segmentation à vocabulaire ouvert 2D et 3D. Sur LERF-OVS, OpenGaFF a atteint un mIoU moyen de 64,98 en 2D et 54,36 en 3D, surpassant le précédent meilleur (LangSplatV2) avec des marges significatives. Sur ScanNet-v2, il a obtenu les meilleures performances sur toutes les métriques (par exemple, 36,55 mIoU pour 19 classes), démontrant une cohérence spatiale supérieure.
Améliorations Qualitatives : Les visualisations montrent qu'OpenGaFF produit des segmentations plus complètes et spatialement cohérentes. Contrairement aux bases de référence qui produisent souvent des résultats fragmentés ou manquent des parties d'objets transparents, OpenGaFF segmente avec une haute fidélité des objets complexes comme « Pomme Rouge » et « Verre d'Eau ».
Interprétabilité du Dictionnaire : L'analyse du dictionnaire appris révèle qu'OpenGaFF apprend des unités sémantiques désintriquées, où les entrées individuelles correspondent à des régions sémantiques uniques et cohérentes. En revanche, les méthodes de base comme LangSplatV2 exhibent des bases de caractéristiques intriquées où les sémantiques sont distribuées sur plusieurs entrées ou s'activent sur du bruit de fond.
Efficacité : OpenGaFF démontre une haute efficacité, ne nécessitant que 12 Go de mémoire et 15 minutes de temps d'entraînement sur une seule RTX 4090, tout en maintenant une vitesse d'inférence de 35 ips.

Importance

L'article postule que la limitation principale dans la compréhension actuelle des scènes 3D est le couplage faible entre la géométrie et les sémantiques, conduisant à des représentations fragmentées et incohérentes. OpenGaFF remédie à cela en traitant les sémantiques comme une fonction continue de la géométrie et en imposant une cohérence au niveau de l'objet via un dictionnaire structuré. L'importance de ce travail réside dans sa capacité à produire des représentations 3D géométriquement cohérentes et sémantiquement interprétables sans la surcharge computationnelle des méthodes volumétriques denses ni la perte d'information d'une compression agressive des caractéristiques. En démontrant qu'une approche structurée basée sur l'attention peut efficacement faire le pont entre les modèles de base 2D et les représentations gaussiennes 3D, OpenGaFF fait progresser la capacité des machines à percevoir des environnements 3D complexes d'une manière à la fois spatialement cohérente et sémantiquement significative.