Technische Samenvatting: GaussDet voor Open-Vocabulary en Referring Segmentation in 3D Gaussians

Probleemstelling

Hoewel 3D Gaussian Splatting (3DGS) een revolutie heeft teweeggebracht in 3D-scène reconstructie met zijn expliciete, op punten gebaseerde representatie en real-time rendering mogelijkheden, blijft het uitbreiden ervan naar open-vocabulary en referring expression begrip uitdagend. Bestaande methoden vertrouwen doorgaans op het distilleren van dichte, hoogdimensionale Contrastive Language-Image Pretraining (CLIP) features direct in de scène-representatie. Deze aanpak lijdt onder twee primaire beperkingen:

1. Instance Grouping Ruis: Bottom-up groeperingsstrategieën vereisen vaak vooraf gedefinieerde instantie-aantallen of lijden onder foutieve associaties, wat leidt tot 3D-instantiegroepen die meerdere objecten, achtergrondelementen of zwevende artefacten bevatten.
2. Semantische Bottlenecks: De afhankelijkheid van CLIP-features beperkt semantisch begrip tot eenvoudige zelfstandige naamwoorden. Bovendien resulteert het extraheren van CLIP-features uit geïsoleerde segmentatiemaskers (bijv. van SAM) in het verlies van de omringende beeldcontext, wat leidt tot een lage semantische expressiviteit en een onvermogen om complexe ruimtelijke redenering of referentiële expressies (bijv. "de rode beker links") aan te kunnen.

Methodologie: GaussDet

De auteurs stellen GaussDet voor, een methode die de noodzaak voor dichte CLIP-feature distillatie omzeilt door gebruik te maken van discrete, open-vocabulary 2D objectdetectoren met referring expression capaciteiten. De pipeline volgt een "ontkoppeld" paradigma waarbij instantie-leren en semantische toewijzing van elkaar gescheiden zijn:

1. Instance Grouping: De methode adopteert het instance learning paradigma van eerder werk (bijv. LaGa), waarbij individuele Gaussians worden uitgebreid met leerbare instantie-features die worden gesuperviseerd door 2D instantie-maskers (bijv. van SAM). Deze features worden gebruikt om de scène te deconstrueren in 3D-instantiegroepen ($G_i$) via 2D-3D associaties.
2. Generatie van Discrete Semantische Label Kaarten: In plaats van features uit maskers te extraheren, gebruikt GaussDet een open-vocabulary objectdetector (bijv. Qwen-VL of YOLO-World) om bounding box detecties ($B_v$) voor elk frame te genereren. Deze detecties worden omgezet in discrete semantische label kaarten ($S_v$) door labels te overlappen op basis van bounding box gewichten (size-based heuristieken voor occlusie).
3. View Filtering en Selectie: Om semantiek toe te wijzen aan een 3D-instantiegroep, wordt de groep gerenderd over alle views. Een mask zichtbaarheidsscore ($s_{i,v}$) wordt berekend op basis van de ratio van zichtbare, hoog-opaciteit Gaussians ten opzichte van de totale groepsgrootte. De top-$K$ views met de hoogste zichtbaarheidsscores worden geselecteerd om ruis van geoccludeerde of gefragmenteerde instanties te minimaliseren.
4. View-Aggregated Semantic Label Distribution (VASD): Voor de geselecteerde top-$K$ views samplet de methode de discrete semantische labels uit de 2D label kaarten op de geprojecteerde coördinaten van de Gaussian means. Deze labels worden geaggregeerd, gewogen door de Gaussian significantie scores, om een waarschijnlijkheidsverdeling (VASD) voor elke instantiegroep te vormen.
5. Semantic Background Regularizer (SBR): Een cruciaal onderdeel van de VASD generatie is het expliciet behouden van de achtergrondlabel (index -1) van de detector kaarten. Dit fungeert als een regularisator om te voorkomen dat foutieve foreground semantiek wordt toegewezen aan 3D groepen die eigenlijk achtergrondruis of "floaters" zijn, een veelvoorkomend probleem bij unsupervised 3D decompositie.

Belangrijkste Bijdragen

• Nieuwachtige Semantische Toewijzing: De auteurs introduceren een 2D object detector-gebaseerde aanpak voor de semantische labeling van 3D Gaussian splats. Dit elimineert de afhankelijkheid van dichte CLIP-features, wat robuuste open-vocabulary segmentatie mogelijk maakt.
• Zero-Shot Referential Grounding: De pipeline wordt uitgebreid om referentiële expressie grounding te behandelen in een strikte zero-shot setting. Door gebruik te maken van het vermogen van de detector om complexe queries te verwerken en de robuustheid van de VASD, legt de methode complexe beschrijvingen (bijv. "Waldo" of "toy cat statue") vast zonder per-scene optimalisatie of pseudo-mask generatie.
• Robuustheid via View Aggregatie: De VASD strategie fungeert als een sterke regularisator, waardoor spuria true labels veroorzaakt door lage kwaliteit instance grouping of ruisgevoelige 2D-3D associaties worden gedempt.

Experimentele Resultaten

De methode werd geëvalueerd op twee kerntaken: Open-Vocabulary Segmentation (OVS) en Referential Expression Grounding.

• Open-Vocabulary Segmentation: Op de LeRF-OVS benchmark behaalde GaussDet een gemiddelde mIoU van 69,9%, wat een verbetering van 5,8% betekent ten opzichte van de vorige state-of-the-art (LaGa). Significante winst werd waargenomen in rommelige scènes (bijv. Figurines, Ramen). Op de ScanNet dataset liet GaussDet een mIoU verbetering van 3,3% zien ten opzichte van LaGa op de 19-class split.
• Referential Expression Grounding: Op de Ref-LeRF benchmark behaalde GaussDet een substantiële absolute toename van 16,7% in mIoU ten opzichte van ReferSplat (de vorige beste), ondanks dat het opereert in een zero-shot setting zonder per-scene training of gespecialiseerde cross-modale netwerken.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden aan dat GaussDet scherpere objectgrenzen produceert, semantische "bleeding" naar de achtergrond voorkomt en specifiek de instanties succesvol isoleert in rommelige omgevingen waar baseline methoden falen.

Betekenis en Claims

Het artikel claimt dat GaussDet een belangrijke stap voorwaarts vertegenwoordigt in 3D scène begrip door de semantische bottlenecks aan te pakken die inherent zijn aan CLIP-gebaseerde 3DGS methoden. Door over te stappen van dichte feature distillatie naar discrete label aggregatie, kan de methode:

1. Expressiviteit Vergroten: Het ondersteunt complexe, compositionele queries en ruimtelijke redenering die eenvoudige zelfstandige naamwoorden niet kunnen vangen.
2. Robuustheid Verbeteren: De view-aggregatie strategie en achtergrond regularisatie mitigeren effectief de ruis die inherent is aan unsupervised 3D instance grouping.
3. Zero-Shot Capaciteiten Mogelijk Maken: Het demonstreert dat hoogwaardige referentiële grounding kan worden bereikt zonder de computationele kosten van per-scene optimalisatie of de datavereisten van het trainen van dedicated cross-modale netwerken.

De auteurs merken op dat de ruimtelijke redeneerkracht van de methode begrensd wordt door de prestaties van de onderliggende 2D open-vocabulary detector en dat de pipeline nog steeds leunt op bestaande 3DGS instance grouping mechanismen, die structurele fouten kunnen voortplanten. Echter, de voorgestelde VASD module wordt gepresenteerd als een plug-and-play oplossing die de semantische toewijzing over diverse basismethoden aanzienlijk verbetert.