💻 computer science

OP2GS: Object-Aware 3D Gaussian Splatting with Dual-Opacity Primitives

OP2GS introduit un cadre de splatting gaussien 3D conscient des objets qui utilise un mécanisme de double opacité pour découpler la reconstruction visuelle de l'occupation d'instance, permettant une compréhension de scène à vocabulaire ouvert efficace sans les coûts de stockage élevés des méthodes basées sur des caractéristiques ni les problèmes de contamination d'étiquettes des pipelines de transfert 2D vers 3D.

Auteurs originaux : Guiyu Liu, Niklas Vaara, Janne Mustaniemi, Juho Kannala, Janne Heikkilä

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guiyu Liu, Niklas Vaara, Janne Mustaniemi, Juho Kannala, Janne Heikkilä

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un monde en 3D à partir de millions de petits ballons lumineux et semi-transparents. C'est ainsi que fonctionne une technologie appelée 3D Gaussian Splatting. Elle est remarquable pour créer des images réalistes d'une pièce ou d'une scène sous n'importe quel angle. Cependant, il y a un piège : les ballons ne savent pas ce qu'ils sont. Un ballon flottant près d'une chaise ne sait pas qu'il fait partie du groupe « chaise », et un ballon flottant près d'une table ne sait pas qu'il appartient à la « table ». Ce ne sont que des blobs anonymes de couleur et de lumière.

Cela rend difficile pour les ordinateurs de comprendre la scène d'une manière humaine (comme en disant : « Montrez-moi la chaise »). Les méthodes précédentes tentaient de résoudre ce problème soit en :

Étiquetant chaque ballon avec un énorme et lourd sac à dos contenant une description complexe de ce qu'il est. Cela fonctionne, mais c'est lent et cela occupe trop de mémoire.
Peignant des étiquettes sur les ballons basées sur des images 2D. Mais c'est désordonné. Si un ballon flotte dans les airs (un « floater ») mais se trouve aligné avec une chaise sur une photo 2D, il se voit incorrectement étiqueté comme une chaise. Lorsque vous essayez d'afficher uniquement la chaise plus tard, ce ballon flottant apparaît également, gâchant l'image.

Les auteurs de cet article, OP2GS, proposent une nouvelle méthode astucieuse pour gérer cela en utilisant un concept qu'ils appellent « Double Opacité ».

La solution à double opacité

Imaginez que chaque ballon 3D possède deux nuances différentes de transparence au lieu d'une seule :

L'opacité « Apparence » (σ) : Il s'agit du paramètre original. Il contrôle dans quelle mesure le ballon contribue à l'image visuelle. Si vous regardez la scène, cette opacité détermine si le ballon est visible afin que la pièce ait l'air réaliste.
L'opacité « Identité » (σ) :* Il s'agit de l'ajout nouveau. Il contrôle dans quelle mesure le ballon contribue au masque d'objet (le contour d'un objet spécifique).

Voici l'astuce magique :
Imaginez un ballon « floater » qui flotte dans les airs mais a été étiqueté par erreur comme faisant partie d'une « chaise » parce qu'il s'est aligné avec la chaise sur une photo.

Dans l'ancienne méthode, ce ballon poserait problème. Si vous essayiez d'afficher uniquement la chaise, ce ballon apparaîtrait, donnant l'impression que la chaise possède une extension fantomatique.
Dans OP2GS, le système apprend à désactiver l'« opacité d'identité » du ballon pour la chaise. Le ballon devient invisible uniquement lorsque vous cherchez le contour de la chaise. Cependant, son « opacité d'apparence » reste activée, de sorte qu'il contribue toujours à rendre la scène 3D belle et réaliste.

C'est comme un acteur de théâtre qui porte un costume.

Opacité d'apparence : L'acteur est visible sur scène afin que le public puisse voir la pièce.
Opacité d'identité : L'acteur possède un interrupteur spécial. Si le metteur en scène demande « Le Roi », l'acteur actionne l'interrupteur. S'il joue un « Soldat », il reste visible. S'il joue un « Fantôme » qui ne doit pas être compté comme un personnage, il actionne l'interrupteur pour devenir invisible uniquement lorsque le metteur en scène demande les « Soldats », mais il est toujours là pour aider à ce que l'éclairage soit bon.

Comment ils enseignent aux ballons

Pour apprendre aux ballons quelle « opacité d'identité » utiliser, les auteurs utilisent une « Perte d'objet aléatoire ».
Au lieu d'essayer de corriger chaque ballon individuellement (ce qui est trop difficile), l'ordinateur sélectionne quelques objets au hasard (comme « chaise », « table », « lampe ») à chaque étape d'entraînement. Il demande : « Ce ballon appartient-il à la chaise ? »

Si le ballon fait réellement partie de la chaise, le système augmente son « opacité d'identité » pour la chaise.
Si le ballon est une erreur (un floater ou un morceau mal étiqueté), le système réduit son « opacité d'identité » pour cet objet jusqu'à ce qu'il devienne transparent pour cet objet spécifique.

Cela se répète encore et encore jusqu'à ce que le système apprenne exactement quels ballons appartiennent à quels objets, éliminant le « bruit » sans altérer la qualité visuelle.

Le résultat : Rapide et propre

Une fois les ballons entraînés :

Pas de sacs à dos lourds : Le système n'a pas besoin de stocker d'énormes fichiers de données pour chaque ballon. Il a juste besoin d'un petit nombre (la nouvelle opacité) et d'une simple étiquette d'ID.
Super rapide : Parce que les données sont si légères, l'ordinateur peut traiter la scène incroyablement vite (environ 121 images par seconde), ce qui est beaucoup plus rapide que d'autres méthodes qui tentent de décoder de lourds fichiers de caractéristiques.
Masques propres : Lorsque vous demandez à l'ordinateur de « Montrez-moi la chaise », il dessine un contour net sans ces artefacts flottants ennuyeux ni ces extensions fantomatiques.

Résumé

L'article présente OP2GS, une méthode qui donne aux ballons de scènes 3D un « interrupteur d'identité secrète ». Cela permet à l'ordinateur de séparer le travail de bien paraître (le rendu de l'image) du travail d'être un objet (la segmentation de la forme). Cela résout le problème des étiquettes désordonnées et incorrectes, crée un système beaucoup plus léger et rapide, et permet une compréhension instantanée et à vocabulaire ouvert des scènes 3D (comme demander de voir « la tasse rouge » ou « la chaise en bois ») sans avoir besoin de stockage de données lourd.

Résumé technique de OP2GS : Primitives gaussiennes 3D conscientes des objets via une double opacité

1. Énoncé du problème

Le Splatting Gaussien 3D (3DGS) offre une représentation explicite et efficace pour la reconstruction de scènes réelles, mais il manque d'identité au niveau des objets. Ses primitives sont définies par la géométrie, la couleur et l'opacité, ce qui les rend inadaptées à des tâches en aval comme la compréhension de scène à vocabulaire ouvert sans modification. Les approches existantes tentent d'injecter des informations au niveau des objets via deux voies principales, qui présentent toutes deux des limitations significatives :

Méthodes basées sur les caractéristiques : Elles distillent des embeddings de caractéristiques de haute dimension (par exemple, issus de CLIP) dans les gaussiennes. Bien qu'efficaces, elles entraînent une surcharge importante de stockage et de décodage et peuvent souffrir d'incohérence inter-vue après le compositage alpha.
Méthodes de levage de masques : Elles projettent des masques d'objets 2D (par exemple, issus de SAM) dans le champ gaussien 3D via des heuristiques comme le vote majoritaire ou le filtrage des poids de rendu. Un mode de défaillance critique ici est la contamination des étiquettes. Parce que le 3DGS utilise des primitives douces et semi-transparentes, des gaussiennes « flotteurs » (souvent des artefacts de densification) ou des gaussiennes dans des régions sombres avec une opacité globale faible peuvent dominer le poids de rendu le long d'un rayon. Par conséquent, ces flotteurs peuvent se voir attribuer incorrectement des étiquettes d'objets, contaminant ainsi le masque de segmentation. Une fois qu'une gaussienne est mal étiquetée, les méthodes standard ne peuvent pas supprimer sa contribution au masque d'objet sans également dégrader la reconstruction de l'apparence visuelle, car les deux reposent sur un seul champ d'opacité.

2. Méthodologie : OP2GS

Les auteurs proposent OP2GS, une représentation consciente des objets qui découple la reconstruction visuelle de l'occupation d'instance grâce à une formulation à double opacité.

Représentation :
Chaque primitive gaussienne est augmentée de deux paramètres scalaires supplémentaires :

Opacité d'instance ( $\sigma^*$ ) : Un champ d'opacité dédié pour le rendu de masques d'objets, agissant comme un champ d'occupation d'instance 1D.
Étiquette scalaire ( $l$ ) : Un identifiant d'objet entier attribué lors de l'initialisation.

Contrairement aux méthodes précédentes qui attachent des vecteurs de caractéristiques de haute dimension à chaque gaussienne, OP2GS utilise une étiquette scalaire compacte et un seul scalaire $\sigma^*$ .

Pipeline d'entraînement :
La méthode emploie une stratégie d'entraînement en deux étapes :

Étape 1 (3DGS standard) : Un modèle 3DGS standard est entraîné jusqu'à ce que la densification se stabilise.
Étape 2 (Apprentissage d'instance) :
- Initialisation : Des masques d'instances cohérents avec la vue sont générés en utilisant SAM2. Les centres gaussiens sont projetés sur les vues d'entraînement, et les étiquettes ( $l$ ) sont attribuées par vote majoritaire.
- Rendu à double opacité : Le processus de rendu est divisé. L'opacité originale $\sigma$ gère la reconstruction de la luminance (couleur), tandis que $\sigma^*$ gère l'occupation d'instance. Pour un objet spécifique $j$ , la carte d'instance rendue $S_j(v)$ est calculée en accumulant $\alpha^*_i = \sigma^*_i G^2D_i(v)$ pour les gaussiennes appartenant à l'objet $j$ , en utilisant la même transmittance $T_i$ que la branche couleur.
- Perte d'objet aléatoire ( $L_{obj}$ ) : Pour optimiser $\sigma^*$ , une perte d'objet aléatoire est introduite. À chaque itération, un sous-ensemble d'objets est échantillonné. Pour un objet échantillonné $j$ , une perte d'entropie croisée est calculée entre la carte d'instance rendue $S_j(v)$ et un masque d'étiquette binaire pseudo $B_j$ . Cela encourage les gaussiennes appartenant à l'objet à augmenter leur $\sigma^*$ tout en supprimant le $\sigma^*$ des gaussiennes mal étiquetées (flotteurs) vers zéro.
- Chemins de gradient : Les gradients issus de la perte de reconstruction d'image ( $L_{rgb}$ ) mettent à jour l'opacité originale $\sigma$ , la couleur $c$ et la géométrie. Les gradients issus de $L_{obj}$ mettent à jour l'opacité d'instance $\sigma^*$ et la géométrie. Cela permet au modèle d'apprendre à rendre les gaussiennes mal étiquetées « transparentes » dans la branche de masque tout en les maintenant « visibles » dans la branche couleur pour préserver la fidélité de la scène.

Segmentation à vocabulaire ouvert :
Au lieu de stocker des caractéristiques linguistiques par gaussienne, OP2GS effectue une Agrégation d'embeddings d'objets :

Le champ d'occupation d'instance appris est seuillé pour créer des masques d'objets binaires dans des vues sélectionnées.
Ces masques agissent comme des « portes géométriques » pour recadrer les régions d'objets à partir des images originales.
Des caractéristiques CLIP sont extraites de ces régions recadrées et moyennées sur plusieurs vues pour produire un descripteur sémantique unique par objet.
Des requêtes à vocabulaire ouvert sont effectuées en faisant correspondre les embeddings de texte avec ces descripteurs d'objets agrégés.

3. Contributions clés

Représentation à double opacité : L'introduction d'une opacité d'instance $\sigma^*$ découple l'existence visuelle de l'occupation d'instance. Cela permet au système de supprimer les gaussiennes mal étiquetées dans les masques d'objets sans compromettre la reconstruction photoréaliste de la scène.
Apprentissage d'instance conscient de la visibilité : La perte d'objet aléatoire proposée optimise le champ d'occupation d'instance en utilisant les mécanismes de transmittance standard du 3DGS. Cela résout efficacement la contamination des étiquettes causée par les flotteurs et le levage de masques ambigu en apprenant à annuler l'opacité d'instance des attributions incorrectes.
Segmentation à vocabulaire ouvert compacte : En évitant le stockage et le décodage de caractéristiques par gaussienne, OP2GS atteint une précision compétitive avec une surcharge computationnelle considérablement réduite, permettant des vitesses d'inférence de 121 FPS.

4. Résultats expérimentaux

La méthode a été évaluée sur des benchmarks à vocabulaire ouvert, spécifiquement les ensembles de données 3DOVS et LERF-Mask.

Précision : Sur l'ensemble de données 3DOVS, OP2GS a atteint un mIoU moyen de 97,1 %, surpassant le meilleur précédent (ObjectGS à 96,4 %). Sur l'ensemble de données LERF-Mask, il a atteint 92,3 % de mIoU sur la scène « figurines » et 91,0 % sur « ramen », surpassant les méthodes précédentes dans la plupart des cas.
Efficacité : OP2GS a démontré une vitesse d'inférence supérieure par rapport aux méthodes basées sur les caractéristiques. Avec seulement 2 octets de données supplémentaires par gaussienne (pour l'étiquette et $\sigma^*$ ), il a atteint 121,7 FPS, nettement plus rapide que Gaussian Grouping (43,6 FPS) et ObjectGS (78,6 FPS).
Études d'ablation : Les expériences ont confirmé que la formulation à double opacité est cruciale ; une base utilisant uniquement des étiquettes votées majoritairement et un rendu d'opacité standard a donné un mIoU significativement plus faible (par exemple, 76,1 % contre 97,1 % sur 3DOVS), démontrant que l'apprentissage de $\sigma^*$ est essentiel pour une séparation d'objets stable visuellement.

5. Importance et affirmations

L'article affirme que OP2GS fournit une représentation compacte et robuste consciente des objets qui résout avec succès le compromis entre précision et efficacité dans la compréhension de scènes 3D. En redéfinissant la primitive gaussienne pour inclure un champ d'occupation d'instance dédié, la méthode résout le problème de « contamination des étiquettes » inhérent au levage direct de masques. Les auteurs soulignent que cette approche exploite l'apprentissage d'occupation physiquement cohérent du 3DGS pour gérer les ambiguïtés de visibilité (comme les flotteurs) avec lesquelles les méthodes de levage heuristiques peinent, tout en maintenant une empreinte paramétrique légère adaptée aux appareils périphériques et aux applications interactives. Le travail démontre que le raisonnement explicite au niveau des objets dans le 3DGS ne nécessite pas de champs de caractéristiques lourds, mais plutôt un découplage structurel des propriétés d'apparence et d'instance.