💻 computer science

OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention

OpenGaFF is een nieuw open-vocabulaire raamwerk voor 3D-scènebegrip dat is gebaseerd op 3D-Gaussische Splatting en dat de ruimtelijke semantische coherentie en objectniveau-consistentie verbetert door een Gaussisch Kenmerkveld te koppelen aan een gestructureerde codeboek en een door het codeboek geleide aandachtsmechanisme.

Oorspronkelijke auteurs: Kunyi Li, Michael Niemeyer, Sen Wang, Stefano Gasperini, Nassir Navab, Federico Tombari

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kunyi Li, Michael Niemeyer, Sen Wang, Stefano Gasperini, Nassir Navab, Federico Tombari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren een 3D-ruimte te "zien", niet alleen als een verzameling zwevende punten, maar als een plek gevuld met betekenisvolle objecten zoals een "rode appel", een "glas water" of een "bank".

Het artikel introduceert een nieuw systeem genaamd OpenGaFF. Het doel is om computers 3D-scènes zo goed te laten begrijpen dat je ze kunt vragen: "Waar is de olifant-speelgoed?" of "Laat me het glas water zien", en ze zullen naar de exacte juiste plek wijzen, zelfs als ze dat specifieke object nog nooit hebben gezien.

Hier is hoe het werkt, uitgelegd via eenvoudige analogieën:

Het Probleem: De "Vage" 3D-kaart

Vorige methoden probeerden computers 3D-objecten aan te leren door 2D-afbeeldingen te nemen en deze in 3D-ruimte te projecteren. Denk hierbij aan het proberen om een 3D-sculptuur te bouwen door vlakke stickers aan elkaar te lijmen.

Het Probleem: Omdat de computer het object vanuit verschillende hoeken bekijkt (alsof je om een tafel loopt), komen de "stickers" vaak niet perfect overeen. Aan de ene kant denkt de computer dat het object een "stoel" is, terwijl de andere kant denkt dat het een "tafel" is. Dit leidt tot een rommelige, gefragmenteerde 3D-kaart waar de computer in de war raakt over wat dingen zijn.
Het "Transparante" Probleem: Sommige objecten, zoals een glas water, zijn doorzichtig. Oude methoden negeerden ze vaak omdat ze licht niet goed blokkeerden, waardoor de computer "blind" was voor het glas, zelfs als je erom vroeg.

De Oplossing: OpenGaFF

OpenGaFF lost dit op met twee belangrijkste trucs: een Slimme Blauwdruk en een Gedeeld Woordenboek.

1. De Slimme Blauwdruk (Het Gaussisch Kenmerkveld)

In plaats van elke individuele kleine 3D-punt (een "Gauss" genoemd) zijn eigen identiteit onafhankelijk te laten leren, behandelt OpenGaFF de hele scène als een continu landschap.

De Analogie: Stel je een weerkaart voor. Je leert niet elke enkele pixel van de kaart wat de temperatuur is. In plaats daarvan heb je een regel: "Als je bij de berg bent, is het koud; als je bij het strand bent, is het warm."
Hoe dit helpt: OpenGaFF gebruikt een "Kenmerkveld" dat zegt: "Als een 3D-punt de vorm van een stoel heeft en eruitziet als hout, moet het noodzakelijkerwijs deel uitmaken van de stoel." Dit dwingt de computer om te begrijpen dat objecten een consistente vorm en identiteit hebben, ongeacht vanuit welke hoek je ze bekijkt. Het koppelt de vorm (geometrie) strak aan de betekenis (semantiek).

2. Het Gedeelde Woordenboek (De Gestructureerde Codeboek)

Oude methoden probeerden complexe taalkundige ideeën te comprimeren tot kleine, simpele getallen, waardoor vaak belangrijke details verloren gingen. OpenGaFF gebruikt een "Codeboek", wat lijkt op een gedeeld woordenboek van semantische bouwstenen.

De Analogie: Stel je een groep kunstenaars voor die proberen een schilderij te maken van een "rode appel".
- Oude Manier: Elke kunstenaar probeert zijn eigen definitie van "rood" en "appel" van scratch te bedenken. Het resultaat is een rommelige mix van kleuren.
- OpenGaFF Manier: Ze komen allemaal overeen om een specifieke, vooraf gedefinieerde "Rode Appel"-kaart te gebruiken uit een gedeeld deck. Als ze iets zien dat op een rode appel lijkt, grijpen ze allemaal dezelfde kaart.
Hoe dit helpt: Dit zorgt ervoor dat elk deel van de "rode appel" in de 3D-scène dezelfde definitie gebruikt. Het voorkomt dat de computer in de war raakt en de appel een "bal" of een "tomaat" noemt. Het gebruikt ook een speciaal aandachtsmechanisme om ervoor te zorgen dat de computer de exacte juiste kaart uit het woordenboek kiest, waardoor ruis wordt verminderd.

3. De "Spook"-Ondoorzichtigheid

Voor lastige objecten zoals een glas water geeft het systeem hen een speciale "semantische doorzichtigheid".

De Analogie: Bij normale 3D-rendering negeert de computer iets als het doorzichtig is. OpenGaFF zegt: "Hoewel ik door het glas heen kan kijken, kan ik nog steeds het concept van het glas zien." Het creëert een aparte laag speciaal voor "betekenis", zodat doorzichtige objecten niet verdwijnen uit het begrip van de computer.

De Resultaten

Het artikel testte dit systeem tegen andere topmethodes op real-world datasets (zoals kamers met meubels en speelgoed).

Betere Nauwkeurigheid: Bij het zoeken naar objecten vond OpenGaFF ze nauwkeuriger en vollediger dan eerdere systemen.
Minder Ruis: Het markeerde niet per ongeluk willekeurige achtergronditems als het doelobject.
Sneller & Lichter: Het werkt sneller en gebruikt minder computergeheugen dan sommige concurrenten, omdat het geen unieke, complexe definitie hoeft op te slaan voor elke individuele 3D-punt; het volgt gewoon de regels van de "Slimme Blauwdruk".

Samenvattend

OpenGaFF is alsof je een computer een 3D-kaart geeft waarbij de vorm van het object de naam bepaalt, en een gedeeld woordenboek dat ervoor zorgt dat iedereen het eens is over wat die naam betekent. Hierdoor kan de computer een ruimte begrijpen, niet alleen als een hoop pixels, maar als een verzameling consistente, begrijpelijke objecten, zelfs als ze transparant zijn of vanuit rare hoeken worden bekeken.

Technische Samenvatting: OpenGaFF

Probleemstelling

Het begrijpen van open-vocabulaire 3D-scènes met behulp van op Gaussische representaties gebaseerde methoden staat voor aanzienlijke uitdagingen op het gebied van ruimtelijke coherentie en semantische consistentie. Hoewel 3D Gaussian Splatting (3DGS) efficiënte en expliciete scène-representaties biedt, lijden bestaande methoden voor het integreren van semantiek vaak onder een zwakke koppeling tussen geometrie en semantiek. Dit leidt tot gefragmenteerde voorspellingen, ruimtelijk inconsistente objectrepresentaties en onbetrouwbare semantische toewijzing, met name voor transparante objecten of complexe multi-view scenario's. Huidige benaderingen vallen over het algemeen in drie categorieën met onderscheidende beperkingen:

Comprimeren en vervolgens decoderen: Deze methoden projecteren hoog-dimensionale taalfeatures naar laag-dimensionale embeddings, waarbij fijnmazige semantische informatie wordt weggegooid en open-vocabulaire begrijpen wordt beperkt.
Feature-aggregatie: Deze methoden fuseren multi-view features met behulp van op uiterlijk gebaseerde opaciteitsgewichten, wat vaak faalt in het aligneren met semantische relevantie (bijvoorbeeld het toewijzen van bijna nul opaciteit aan transparant glas).
Op codebooks gebaseerd: Hoewel deze methoden semantiek discretiseren in gedeelde embeddings, worden features vaak op een geometrie-agnostische manier toegewezen, wat resulteert in ruimtelijk inconsistente voorspellingen en gefragmenteerde objectrepresentaties.

Methodologie

OpenGaFF (Open-Vocabulary Gaussian Feature Field met Codebook Attention) is een framework gebaseerd op 3DGS dat is ontworpen om geometrische consistentie en objectniveau semantische coherentie af te dwingen. De methode werkt in twee primaire fasen:

1. Preprocessing en Codebook-initialisatie

De pipeline begint met het verwerken van RGB-afbeeldingen met behulp van foundation-modellen (SAM voor segmentatie, CLIP voor vision-taal features) om 2D taalfeature-kaarten te genereren. In tegenstelling tot eerdere werken die willekeurig geïnitialiseerde codebooks van vaste grootte gebruiken, construeert OpenGaFF een Gestructureerd Taal (SL) Codebook op een datagedreven manier. Alle CLIP-features worden geaggregeerd en geklusterd via k-means, waarbij het aantal clusters ( $N_c$ ) automatisch wordt bepaald door de structuur van de scène. De clustercentroïden vormen het codebook en dienen als een set gedeelde semantische primitieven. Daarnaast wordt Principal Component Analysis (PCA) toegepast om features te projecteren naar een laag-dimensionale (LD) ruimte om efficiënt toezicht te bieden voor het feature-veld.

2. Fase 1: Gaussian Feature Field

In plaats van onafhankelijke leerbare semantische features aan elke Gaussische toe te wijzen (wat geometrie en semantiek ontkoppelt), introduceert OpenGaFF een Gaussian Feature Field. Dit veld modelleert semantiek als een continue functie van de geometrie en het uiterlijk van de Gaussische. Specifiek wordt de laag-dimensionale semantische feature $m_i$ voor een Gaussische voorspeld door een op MLP gebaseerde decoder die is geconditioneerd op de positie van de Gaussische (via Fourier positionele encoding) en kleur:
$m_i = F(\phi(\mu_i), c_i)$
Deze formulering koppelt geometrie en semantiek expliciet, wat ruimtelijk consistente feature-representaties stimuleert. Om objecten te hanteren waarbij uiterlijke opaciteit niet overeenkomt met semantische belangrijkheid (bijvoorbeeld transparant glas), wordt een aparte semantische opaciteit ( $\alpha^s_i$ ) geïntroduceerd. De LD-features worden gerasterd met behulp van deze semantische opaciteit en getoetst tegen de ground-truth LD feature-kaarten met een combinatie van cosinus-similariteit en L1-verlies.

3. Fase 2: Attention met Codebook

Om de tijdens compressie verloren gegane hoog-dimensionale taaluitdrukkingskracht te herstellen, hanteert OpenGaFF een codebook-geleide attention-mechanisme. De gerenderde LD feature-kaart fungeert als query, terwijl het gestructureerde codebook dient als key en value. Via een attention-mechanisme haalt het model de corresponderende hoog-dimensionale taalfeatures op. Dit proces wordt behandeld als commutatief met rendering, waardoor het model het codebook kan leren met alleen 2D-toezicht, terwijl het zich op natuurlijke wijze uitbreidt naar 3D-Gaussischen voor inferentie.
Om ervoor te zorgen dat elke query zich richt op één enkel, distinct semantisch eenheid, wordt een entropie-regularisatie term toegepast op de attention-gewichten, wat onafhankelijkheid tussen codebook-entries bevordert. De uiteindelijke taalfeatures worden getoetst tegen ground-truth hoog-dimensionale taal-kaarten.

Belangrijkste Bijdragen

Gaussian Feature Field: Een nieuw mechanisme dat semantische voorspellingen conditioneert op Gaussische geometrie en uiterlijk, waardoor de 3D semantische representatie wordt afgestemd op ruimtelijke coherentie en feature-fragmentatie wordt verminderd.
Gestructureerd Taal Codebook: Een datagedreven initialisatie van een semantisch woordenboek dat objectniveau consistentie af dwingt door taalfeatures te beperken tot selectie uit gedeelde semantische primitieven, waardoor variatie binnen objecten wordt verminderd.
Codebook-geleide Attention: Een ophaalmechanisme dat robuust open-vocabulaire redeneren mogelijk maakt door query-embeddings te matchen met geleerde codebook-entries, waardoor een consistente en expressieve semantische representatie in 3D-scènes wordt gewaarborgd.

Experimentele Resultaten

OpenGaFF werd geëvalueerd op standaard 2D- en 3D open-vocabulaire benchmarks, specifiek LERF-OVS en ScanNet-v2.

Kwantitatieve Prestaties: De methode presteert consequent beter dan state-of-the-art benaderingen (waaronder LangSplat, LangSplatV2, GALA en OpenGaussian) in zowel 2D- als 3D open-vocabulaire segmentatie. Op LERF-OVS behaalde OpenGaFF een gemiddelde mIoU van 64,98 in 2D en 54,36 in 3D, wat de vorige beste (LangSplatV2) met aanzienlijke marges overtreft. Op ScanNet-v2 behaalde het de beste prestaties op alle metrieken (bijvoorbeeld 36,55 mIoU voor 19 klassen), wat superieure ruimtelijke consistentie aantoont.
Kwalitatieve Verbeteringen: Visualisaties tonen aan dat OpenGaFF completere en ruimtelijk coherente segmentaties produceert. In tegenstelling tot baselines die vaak gefragmenteerde resultaten opleveren of delen van transparante objecten missen, segmenteert OpenGaFF succesvol complexe objecten zoals "Rode Appel" en "Glas Water" met hoge fideliteit.
Codebook Interpretatie: Analyse van het geleerde codebook onthult dat OpenGaFF ontkoppelde semantische eenheden leert, waarbij individuele entries corresponderen met unieke, coherente semantische regio's. In tegenstelling hiermee vertonen basismethoden zoals LangSplatV2 verstrengelde feature-bases waarbij semantiek over meerdere entries wordt verdeeld of activeert op achtergrondruis.
Efficiëntie: OpenGaFF toont hoge efficiëntie, waarbij slechts 12 GB geheugen en 15 minuten trainingstijd op een enkele RTX 4090 nodig zijn, terwijl een inferentiesnelheid van 35 fps wordt behouden.

Betekenis

Het artikel stelt dat de primaire beperking in het huidige 3D-scènebegrip de zwakke koppeling tussen geometrie en semantiek is, wat leidt tot gefragmenteerde en inconsistente representaties. OpenGaFF adresseert dit door semantiek te behandelen als een continue functie van geometrie en objectniveau consistentie af te dwingen via een gestructureerd codebook. De betekenis van dit werk ligt in het vermogen om geometrisch consistente en semantisch interpreteerbare 3D-representaties te produceren zonder de rekenkundige overhead van dichte volumetrische methoden of het informatieverlies van agressieve feature-compressie. Door aan te tonen dat een gestructureerde, attention-gebaseerde aanpak effectief foundation-modellen voor 2D en 3D Gaussische representaties kan verbinden, vordert OpenGaFF het vermogen van machines om complexe 3D-omgevingen waar te nemen op een manier die zowel ruimtelijk coherent als semantisch betekenisvol is.