💻 computer science

Grounded 3D-Aware Spatial Vision-Language Modeling

Het artikel introduceert GR3D, een unificerend ruimtelijk visueel-taalmodel dat expliciete 2D-gronding, impliciete 2D-gronding en monoscopische 3D-gronding integreert om complexe ruimtelijke redenering te ontleden in grondige perceptie en 3D-inferentie, waardoor de algemene ruimtelijke begrijpingscapaciteiten aanzienlijk worden versterkt.

Oorspronkelijke auteurs: An-Chieh Cheng, Yang Fu, Yatai Ji, Ligeng Zhu, Guanqi Zhan, Zhuoyang Zhang, Zhaojing Yang, Song Han, Yao Lu, Pavlo Molchanov, Vidya Nariyambut Murali, Jan Kautz, Xiaolong Wang, Hongxu Yin, Sifei Liu

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: An-Chieh Cheng, Yang Fu, Yatai Ji, Ligeng Zhu, Guanqi Zhan, Zhuoyang Zhang, Zhaojing Yang, Song Han, Yao Lu, Pavlo Molchanov, Vidya Nariyambut Murali, Jan Kautz, Xiaolong Wang, Hongxu Yin, Sifei Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je kijkt naar een foto van een rommelige keuken. Je wilt een computer vragen: "Hoe ver staat de fles links van de fles rechts?" of "Welk gebouw in de verte is hoger?"

De meeste huidige AI-modellen zijn als iemand die een miljoen boeken over keukens heeft gelezen, maar er nooit echt één heeft gezien. Ze kunnen het antwoord raden op basis van patronen in hun trainingsdata, maar ze krijgen de afstanden vaak verkeerd of hallucineren objecten die er niet zijn. Ze hebben moeite om de woorden die je typt te koppelen aan de specifieke pixels op het scherm, en het is voor hen moeilijk om te begrijpen hoe diep of hoe ver weg dingen zijn, alleen door naar een platte foto te kijken.

Dan is er GR3D (Grounded 3D-Aware Spatial Vision-Language Modeling). Denk aan GR3D als een nieuw soort AI-detective die niet alleen maar raadt; het wijst fysiek naar dingen, meet ze en lost dan de puzzel op.

Hier is hoe het werkt, opgesplitst in drie simpele superkrachten:

1. De "Klik-en-Wijst"-Detective (Expliciete 2D-grounding)

Stel je voor dat je de AI vraagt: "Waar is de rode stoel?"
Oude modellen zeggen misschien gewoon: "Het is in de kamer."
GR3D is anders. Het tekent daadwerkelijk een kaders om de rode stoel op het scherm en zegt: "Ik heb hem hier gevonden." Het vertaalt je woorden naar een specifieke locatie op de afbeelding. Dit is de basis: voordat het iets kan meten, moet het precies weten waar je het over hebt.

2. De "Hardop Denkende" Assistent (Impliciete grounding)

Dit is de grootste innovatie van het paper. Stel je voor dat je een complexe vraag stelt: "Hoe ver is de tweede fles op het plankje van de teddybeer op de wasmachine?"

Een normale AI probeert dit allemaal in één keer te beantwoorden, wat vaak tot verwarring leidt. GR3D gebruikt een techniek genaamd "Streaming Region Insertion".
Denk hierbij aan een detective die een misdrijf oplost terwijl hij met je praat.

Stap 1: De AI zegt: "Eerst laat ik die 'tweede fles op het plankje' vinden." Het vindt de fles direct, tekent een mentaal kader eromheen en voegt een "token" (een digitaal label) toe dat die specifieke fles vertegenwoordigt in zijn eigen denkproces.
Stap 2: Vervolgens zegt het: "Nu laat ik de 'teddybeer' vinden." Het vindt de beer, labelt deze en voegt die toe aan zijn gedachten.
Stap 3: Nu het beide objecten "gelabeld" en zichtbaar heeft in zijn geest, berekent het de afstand tussen hen.

Het raadt het antwoord niet alleen; het bouwt het antwoord stap voor stap op, terwijl het voortdurend het visuele bewijs controleert terwijl het spreekt. Dit voorkomt dat het feiten verzint (hallucinaties).

3. De "3D-Vision"-Vertaler (Monoculaire 3D-grounding)

Naar een platte foto kijken is als naar een stadsplattegrond kijken; je kunt de straten zien, maar je kunt niet zeggen hoe hoog de gebouwen zijn of hoe ver weg ze zijn zonder extra aanwijzingen. Dit is moeilijk voor AI, omdat een klein speelgoedautootje van ver hetzelfde formaat lijkt als een groot echt auto van dichtbij.

GR3D lost dit op door een "Region-Prompted" aanpak te gebruiken.

Zodra de AI het object in 2D heeft geïdentificeerd (zoals de fles uit de vorige stap), behandelt het dat 2D-kader als een "query" om de 3D-wereld te vragen.
Het gebruikt een speciale truc genaamd Intrinsic Normalization. Stel je voor dat de AI de "brandpuntsafstand" van de camera kent (hoe ingezoomd de lens is). Het gebruikt dit om de afbeelding wiskundig in zijn geest te "uitzoomen", waardoor het de ware grootte en afstand van het object kan schatten.
Het geeft vervolgens een 3D-kader met coördinaten (centrum, breedte, hoogte, diepte) uit, net zoals een videogame-engine dat zou doen.

Waarom is dit een groot ding?

Het paper beweert dat GR3D door deze drie vaardigheden te combineren veel beter wordt in het begrijpen van ruimte dan eerdere modellen.

Het is nauwkeuriger: Het presteert beter dan andere modellen op tests die 3D-objectdetectie meten (het vinden van waar dingen zich in de 3D-ruimte bevinden).
Het is betrouwbaarder: Omdat het naar dingen "wijst" voordat het antwoordt, maakt het minder fouten over waar objecten zich bevinden.
Het is een generalist: Het werkt op binnenlandse scènes (zoals keukens), buitenlandse scènes (zoals straten) en zelfs complexe multi-view scenario's (naar een scène kijken vanuit verschillende hoeken).

De Conclusie

GR3D is als het geven van een 3D-bril en een meetlint aan een AI. In plaats van alleen een beschrijving van een kamer te lezen, leert het naar de foto te kijken, naar de specifieke items te wijzen die je noemt, hun echte grootte en afstand te meten, en vervolgens je vragen te beantwoorden met feiten die het heeft "gezien" in plaats van met gissingen die het heeft gememoriseerd.

De auteurs hebben dit getest op veel verschillende datasets (zoals Omni3D, een enorme collectie van 3D-scènes) en ontdekten dat GR3D consequent andere top-AI-modellen versloeg. Dit bewijst dat "grounding" (het verbinden van woorden met visuele realiteit) de geheime saus is om AI de fysieke wereld echt te laten begrijpen.

Technische Samenvatting: Grounded 3D-Aware Spatial Vision-Language Modeling (GR3D)

Probleemstelling

Vision-Language Models (VLM's) zijn geëvolueerd tot algemene perceptiesystemen, maar missen vaak betrouwbare ruimtelijke grounding, wat cruciaal is voor embodied intelligence (bijv. navigatie, manipulatie). Hoewel recente vooruitgang het 2D-ruimtelijk begrip en 3D-perceptie heeft verbeterd, blijven twee specifieke uitdagingen onderbelicht:

Schaarste aan Impliciete 2D Grounding: De meeste systemen ondersteunen expliciete "wijzen op X"-grounding, maar missen mechanismen om automatisch entiteiten te detecteren die in vrije tekst worden genoemd en hun bijbehorende visuele bewijs tijdens de generatie te integreren. Het opzetten van supervisie hiervoor is moeilijk, omdat het vereist dat tekstuele verwijzingen worden afgestemd op latente visuele regio's en dat regio-informatie wordt verweven in de taalstroom.
Onduidelijke Monoculaire 3D Grounding: Het afleiden van 3D-structuur vanuit één gezichtspunt is inherent dubbelzinnig door verstrengeling van objectschaal, diepte en camera-intrinsieken. Bestaande benaderingen omzeilen vaak de tussenstap van het identificeren welk exemplaar de tekst bedoelt voordat de 3D-omvang wordt geschat, of ze vertrouwen op meervoudige gezichtspunten-supervisie of schaarse 3D-boksannotaties.

Methodologie

De auteurs introduceren GR3D, een ruimtelijk VLM dat drie complementaire grounding-capaciteiten integreert binnen een unificerend raamwerk: expliciete 2D grounding, impliciete 2D grounding en monoculaire 3D grounding.

1. Fundamenteel Ruimtelijk VLM

GR3D is gebouwd op de NVILA-8B-Lite-architectuur.

Enkelvoudig gezichtspunt-opstelling: De visuele encoder haalt dichte tokens op die zijn verrijkt met 2D-positional embeddings (pixelcoördinaten) en relatieve dieptecues. Deze tokens behouden de ruimtelijke rangschikking en worden doorgegeven aan een multimodaal projectorgedeelte.
Meervoudig gezichtspunt-extensie: Het raamwerk breidt zich uit naar meervoudige gezichtspunt-invoer door alle beeldtokens te embedden met diepte- en pixelgebaseerde positionele cues in een unificerend ruimtelijk kenmerkruimte, waarbij vervolgbeelden worden getransformeerd naar het coördinatenstelsel van het eerste frame.
Regio-Prompt Ontwerp: Specifieke beeldregio's kunnen worden gecodeerd als individuele query-tokens door kenmerken binnen een omhullende doos te poolen, waardoor downstream-modules kunnen verwijzen naar gelokaliseerde inhoud.

2. Grounding-mechanismen

Expliciete 2D Grounding:
Het model voorspelt 2D-omhullende dozen direct in een gestructureerde HTML-achtige tekstuele indeling (bijv. <bbox>[x1, y1, x2, y2]</bbox>) met behulp van de standaard taalgeneratiekop, zonder aanvullende detectietakken.

Impliciete 2D Grounding (Streaming Regio-invoeging):
Dit mechanisme stelt het model in staat om linguïstische verwijzingen te koppelen aan visueel bewijs tijdens de generatie.

Proces: Terwijl het model een Chain-of-Thought (CoT)-antwoord genereert, voorspelt het bij het noemen van een entiteit eerst de 2D-omhullende dooscoördinaten.
Invoeging: Het bijbehorende beeldgebied wordt gecodeerd in een regio-token, dat direct in de tekststroom wordt ingevoegd.
Inferentie: De generatie gaat door, geconditioneerd op zowel de tekstuele context als het dynamisch ingevoegde regio-token. Dit stelt redenering in staat zich te ontwikkelen op grond van verankerd visueel bewijs zonder een aparte detectiefase.

Monoculaire 3D Grounding via Regio-Prompt:
Dit breidt 2D-grounding uit naar 3D door een verankerde 2D-regio te behandelen als een query voor 3D-inferentie.

Regio-Prompt Formulering: Het model mapt een verankerde regio direct naar zijn 3D-representatie (centrum, grootte, oriëntatie), waardoor expliciete meerstapslokalisatie wordt vermeden.
3D-Doosrepresentatie: Dozen worden geparametriseerd door centrum $(x_c, y_c, z_c)$ , grootte $(w, h, l)$ en genormaliseerde Euler-hoeken. Oriëntaties worden gestandaardiseerd om hoekafwijking tussen lokale PCA-assen en globale assen te minimaliseren.
Intrinsieke Normalisatie: Om schaal/diepte-dubbelzinnigheid te mitigeren, worden beelden herschaald op basis van brandpuntsafstand ( $W' = \frac{1000}{f_x} \cdot W$ ), waardoor een consistent gezichtsveld over datasets wordt gegarandeerd zonder expliciete regressie van intrinsieken.
Supervisie: Het model wordt getraind met:
- Regio $\to$ 3D: Het voorspellen van 3D-dozes vanuit 2D-regio-prompts.
- Tekst $\to$ 3D: Het lokaliseren van entiteiten via tekstuele grounding en het regresseren van 3D-dozes.
- Dichte Punten-supervisie: Een hulptaak waarbij het model 3D-coördinaten voorspelt voor willekeurig gesamplede oppervlaktepunten, geconditioneerd op regio-prompts, waardoor supervisie wordt geschaald voorbij schaarse 3D-bokslabels.

3. Dataconstructie

De trainingspijplijn maakt gebruik van:

Impliciete Grounding-corpus: Afgeleid van RefSpatial, waarbij Florence-2 wordt gebruikt om kandidaat-2D-dozes te genereren voor tekstuele verwijzingen, gevolgd door VLM-verificatie en herschrijving om een-op-een-afstemming te waarborgen.
Trainingsdata: Samengesteld uit 97K verankerde CoT-steekproeven, 780K 3D-detectiesteekproeven (Omni3D, EmbodiedScan) en 272K puntkaart-reconstructiesteekproeven (DepthLM). Er wordt geen propriëtaire data gebruikt.

4. Trainingsstrategie

Fase 1 (Ruimtelijke Pretraining): Initialiseert de visuele encoder, projector en LLM vanuit NVILA-Lite. De visuele encoder wordt bevroren terwijl ruimtelijke modules worden getraind op een mengsel van 2D-grounding en regio-naar-3D-data.
Fase 2 (Detectie CoT Finetuning): Fine-tune alleen de LLM op CoT-georiënteerde detectiedata (gecurateerd uit Omni3D) om de redeneerstructuur en autoregressieve 3D-voorspellingsindeling te leren.

Belangrijkste Bijdragen

Unificerend Raamwerk: GR3D is de eerste die expliciete 2D-grounding, impliciete 2D-grounding (via streaming regio-invoeging) en monoculaire 3D-grounding integreert in één VLM-architectuur.
Impliciete Grounding-mechanisme: Introduceert een nieuwe "streaming regio-invoeging"-techniek die het model in staat stelt dynamisch te verwijzen naar visueel bewijs tijdens CoT-generatie, waardoor het modelgedrag wordt afgestemd op menselijk visueel redeneren (identificeren en dan redeneren).
Regio-gestimuleerde 3D Grounding: Stelt een formulering voor die 3D-inferentie conditioneert op verankerde 2D-regio's, ondersteund door intrinsiek-bewuste normalisatie en dichte geometrische supervisie, waardoor linguïstische en geometrische dubbelzinnigheden effectief worden ontkoppeld.
Inductieve Bias voor Ruimtelijk Begrip: Toont aan dat het inbedden van grounding binnen de modelarchitectuur dient als een effectieve inductieve bias, waardoor algemeen ruimtelijk begrip wordt versterkt, zelfs buiten specifieke grounding-taken.

Resultaten

GR3D behaalt consistente verbeteringen op verankerde en niet-verankerde ruimtelijke benchmarks:

3D Objectdetectie (Omni3D): GR3D-8B presteert beter dan alle recente VLM's (bijv. Qwen3-VL-8B) en visiespecialisten-modellen (bijv. DetAny3D, Cube R-CNN) over meerdere domeinen, met name in binnenruimtes. Het bereikt een mAP van 25,40 op de Omni3D-benchmark, wat significant beter is dan de volgende beste VLM (Qwen3-VL-8B).
2D Grounding: Op de Omni3D-benchmark overtreft GR3D regiovoorstellingen van Cube R-CNN en Qwen3-VL. Op RefCOCO/RefCOCO+/RefCOCOg presteert het op gelijke voet met top VLM's en visiespecialisten-modellen.
Ruimtelijk Redeneren (CVBench, ERQA, SAT): Het model toont significante winst op ruimtelijk redeneerbenchmarks, waarbij impliciete grounding de CoT-nauwkeurigheid en ruimtelijke consistentie verbetert.
Puntniveau Begrip (BLINK-Depth): GR3D overtreft eerdere Region-VLM's die handmatig geannoteerde maskers vereisen, en behaalt hogere prestaties met automatische grounding.
Meervoudig Gezichtspunt Begrip (VSI-Bench): Bij uitbreiding naar meervoudige gezichtspunt-instellingen behaalt GR3D een gemiddelde score van 67,6, wat beter is dan alle state-of-the-art baselines, inclusief SR-3D.

Betekenis

Het artikel stelt dat GR3D aantoont dat grounding een effectieve inductieve bias is voor het versterken van ruimtelijk begrip in VLM's. Door complexe ruimtelijke problemen te ontleden in verankerde 2D-perceptie gevolgd door 3D-inferentie, leert het model om ruimtelijke structuur op een unificerende manier te lokaliseren, te refereren en te redeneren. Het werk benadrukt dat:

Grounding algemeen ruimtelijk begrip verbetert, zelfs zonder expliciete lokaliserings-taken.
Dichte geometrische supervisie schaalbare structuurelementen biedt.
Het combineren van impliciete grounding met regio-gestimuleerde 3D-inferentie een veelzijdige pijplijn ontsluit die verwijzende-exemplaar 3D-grounding, detectie op categorieniveau en meervoudige-object-scene grounding ondersteunt.

De auteurs positioneren GR3D als een flexibel raamwerk voor embodied agents, waarbij de kloof tussen hoog niveau instructies en fysieke interactie wordt overbrugd door betrouwbare ruimtelijke grounding te bieden.