💻 computer science

GeoWeaver: Grounding Visual Tokens with Geometric Evidence before Scene Reasoning

GeoWeaver is een pre-redeneringsframework dat ruimtelijk-temporele redenering in visueel-taalkundige modellen verbetert door fijnkorrelige geometrische bewijslast adaptief toe te wijzen aan individuele visuele tokens, waardoor geometrie wordt gevestigd als een fundamenteel representatief voorwaarde in plaats van een late-fusie hulpsignaal.

Oorspronkelijke auteurs: Deshui Miao, Xingsen Huang, Yameng Gu, Xin Li, Haijun Zhang, Ming-Hsuan Yang

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Deshui Miao, Xingsen Huang, Yameng Gu, Xin Li, Haijun Zhang, Ming-Hsuan Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Vage Brillen"-Probleem

Stel je voor dat je iemand de weg wijst in een drukke stad. Je hebt een kaart (de visuele data) en een stem (het taalmodel).

Huidige AI-modellen zijn uitstekend in het herkennen wat dingen zijn (bijvoorbeeld: "Dat is een rode auto," "Dat is een boom"). Ze hebben echter vaak moeite met waar dingen zich ten opzichte van elkaar bevinden (bijvoorbeeld: "De auto staat 1,5 meter links van de boom," of "Als ik vooruit loop, zal ik dan tegen de muur aanlopen?").

Het artikel stelt dat huidige AI probeert dit op te lossen door geometrie (ruimtelijke wiskunde) als een nadere gedachte toe te voegen. Het is alsof je de AI een bril geeft die alleen de namen van objecten laat zien, en je vraagt het vervolgens complexe berekeningen over afstanden te maken terwijl het probeert te spreken. De AI raakt in de war omdat het tegelijkertijd de vorm van de kamer en de zinsbouw moet bepalen.

De Oplossing: GeoWeaver (De "Architects Blauwdruk"-Aanpak)

De auteurs stellen een nieuwe methode voor genaamd GeoWeaver. In plaats van geometrie aan het einde toe te voegen, bouwen ze het in de fundering voordat de AI begint met denken of spreken.

Denk hierbij aan het volgende:

Oude Manier: Je geeft een bouwvakker een stapel bakstenen (visuele tokens) en een lijst met instructies. De bouwvakker moet de structurele integriteit van de muur bepalen terwijl hij probeert de instructies voor de volgende kamer te schrijven.
GeoWeaver Manier: Voordat de bouwvakker de bakstenen zelfs maar aanraakt, geef je hem een 3D-blauwdruk die specifiek is toegespitst op die exacte plek. De bakstenen zijn nu "verankerd" in de blauwdruk. Wanneer de bouwvakker begint met het schrijven van instructies, is de structuur al stevig en helder.

Hoe Het Werkt: Het "Slimme Bibliotheekbeheerder"-Systeem

Het artikel beschrijft een specifiek proces om dit mogelijk te maken, dat ze Token-Adaptieve Geometrische Verankering noemen. Hier is de analogie:

De Meervoudige Bibliotheek (De Geometriebank):
De AI heeft toegang tot een "bibliotheek" met geometrische informatie. Deze bibliotheek is niet slechts één boek; het is een collectie boeken variërend van "close-up details" (zoals de textuur van een muur) tot "wijdhoekbeelden" (zoals de indeling van de hele kamer). Deze bibliotheek wordt gebouwd door een bevroren, vooraf getrainde geometrie-expert (genaamd VGGT) die de hoofd-AI niet opnieuw hoeft te leren.
De Slimme Bibliotheekbeheerder (De Router):
In de oude dagen zou de AI elk enkel boek in de bibliotheek lezen voor elk enkel woord dat het wilde zeggen. Dit is traag en verwarrend.
GeoWeaver gebruikt een Slimme Bibliotheekbeheerder. Wanneer de AI naar een specifiek deel van een afbeelding kijkt (een "visueel token"), vraagt de Beheerder: "Wat voor soort geometrie heb je nu nodig?"
- Als de AI naar een scherpe hoek kijkt, geeft de Beheerder het het boek met "close-up details".
- Als de AI naar de indeling van de hele kamer kijkt, geeft de Beheerder het het "wijdhoek"-boek.
De Op Maat Gemaakte Mix (Sparse Routing):
De Beheerder geeft niet slechts één boek; het geeft een kleine, perfecte mix van 2 of 3 specifieke boeken die het meest relevant zijn voor die specifieke plek. Het negeert de rest. Dit voorkomt dat de AI overweldigd raakt door irrelevante informatie.
Het Resultaat (Verankerde Tokens):
De visuele "bakstenen" (tokens) zijn nu doordrenkt met dit specifieke geometrische bewijs. Ze zijn niet langer slechts "een foto van een koelkast"; ze zijn "een koelkast die zich 1 meter rechts van de gootsteen bevindt".

Waarom Dit Belangrijk Is (De Resultaten)

Het artikel testte dit op verschillende "ruimtelijk redeneren"-tests (zoals het schatten van afstanden, het tellen van objecten of het plannen van een route).

De Analogie: Stel je een student voor die een wiskundetoets maakt.
- Oude AI: Probeert het formule te onthouden terwijl het het probleem oplost.
- GeoWeaver: Heeft het formule duidelijk op het bureau geschreven voordat de toets begint.
De Uitkomst: GeoWeaver sloeg consequent andere top-AI-modellen op deze ruimtelijke tests. Het werd beter in het schatten van afstanden, het begrijpen van richtingen (links/rechts/achter) en het plannen van routes.
De Bonus: Cruciaal is dat het zijn vermogen om andere dingen te doen niet verloor. Het vergat niet hoe het algemene vragen moest beantwoorden of video's moest begrijpen. Het werd gewoon beter in het "ruimtelijke" deel zonder de rest van zijn brein te breken.

De Kernboodschap

Het artikel beweert dat geometrie geen extra signaal moet zijn dat later wordt toegevoegd; het moet de fundering zijn.

Net zoals je geen stabiel huis kunt bouwen zonder een stevige fundering, kun je geen betrouwbare ruimtelijke redenering hebben zonder visuele tokens die voordat het taalmodel met zijn redeneerproces begint, "verankerd" zijn in de geometrische realiteit. GeoWeaver biedt die fundering door elk deel van de afbeelding zijn eigen perfecte geometrische bewijs te laten kiezen uit een bibliotheek van opties.

Technische Samenvatting: GeoWeaver

Probleemstelling

Huidige Vision-Language Models (VLM's) worstelen met betrouwbare ruimtelijk-temporele redenering, met name bij taken die betrekking hebben op het schatten van relatieve afstanden, het begrijpen van objectopstellingen en het volgen van ruimtelijke relaties in dynamische scènes. Hoewel recente benaderingen proberen ruimtelijke intelligentie te verbeteren door geometrische informatie op te nemen via structurele takken, 3D-bewuste supervisie of late-fusie, behandelen zij geometrische aanwijzingen doorgaans als een gedeeld signaal voor alle visuele tokens.

De auteurs identificeren een kritieke beperking in bestaande paradigma's: verschillende visuele tokens vereisen verschillende geometrische bewijzen, afhankelijk van hun specifieke ruimtelijke rollen (bijvoorbeeld lokale grenzen versus globale lay-out). Huidige methoden slagen er vaak niet in om deze heterogeniteit aan te pakken en behandelen geometrie als een hulpsignaal dat laat in het proces wordt ingebracht (ofwel pre-fusie of binnen de redeneerstack van het LLM). Dit dwingt de decoder om visueel-geometrische uitlijning en hoog-niveau relationele redenering gezamenlijk op te lossen, waardoor perceptuele verankering wordt verweven met cognitieve redenering en de betrouwbaarheid afneemt.

Methodologie: GeoWeaver

GeoWeaver stelt een pre-redenerend geometrisch verankeringskader voor dat geometrie behandelt als een representatief voorwaarde in plaats van een late-fusie signaal. De kernfilosofie is "eerst verankeren, dan redeneren", waarbij visuele representaties worden gevormd voordat ze het taalmodel binnenkomen.

1. Architectuur Overzicht

Het kader bestaat uit drie primaire fasen:

Semantische Visuele Tak: Gebruikt een voorgetraind multimodaal LLM (specifiek Qwen3.5 in de implementatie) met een native visuele encoder om semantische visuele tokens ( $V$ ) te extraheren.
Bevroren Geometrie Tak: Maakt gebruik van een bevroren geometrie-encoder (VGGT) om expliciete geometrische priors uit dezelfde invoerframes te extraheren. In plaats van alleen de laatste representatie te gebruiken, bouwt GeoWeaver een Multi-Level Geometrie Bank door verborgen staten uit diepere lagen te verzamelen (bijvoorbeeld lagen 12–23 van een 24-laags VGGT). Deze bank dient als reservoir van structurele bewijzen, variërend van lokale details tot globale abstracties.
Token-Adaptieve Geometrische Verankering: Dit is de kerninnovatie. Voordat taaldecoding plaatsvindt, queryen visuele tokens de geometrie-bank om relevante bewijzen op te halen.

2. Token-Adaptieve Bewijsallocatie

Het verankeringsproces omvat vier specifieke stappen om ervoor te zorgen dat elke visuele token de meest relevante geometrische abstractie ontvangt:

Normalisatie & Uitlijning: Geometrische kenmerken uit verschillende lagen worden genormaliseerd en ruimtelijk samengevoegd (2×2) om te matchen met de resolutie en verborgen dimensie van de visuele tokens.
Query-Geconditioneerde Routing: Een lichte router voorspelt preferentiegewichten over de geselecteerde geometrielagen voor elke individuele visuele token ( $v_i$ ). Dit erkent dat verschillende ruimtelijke regio's verschillende niveaus van geometrische abstractie vereisen.
Compacte Bewijsselectie: Om te voorkomen dat token-specifieke verankering wordt verwaterd met redundante aanwijzingen, maakt het model gebruik van sparse routing. Het selecteert alleen de top- $K$ (standaard $K=2$ ) meest relevante geometrielagen voor elke token en maskert de rest.
Residuale Verankering: De geselecteerde geometrische bewijzen worden geaggregeerd en via een residuale verbinding in de visuele tokens ingebracht ( $v'_i = v_i + W_o g_i$ ). De projectiematrix $W_o$ wordt geïnitieerd op nul, waardoor het model kan starten als een identiteitsmapping en geleidelijk leert representaties te herschikken tijdens fine-tuning.

3. Trainingsdoel

Het model wordt getraind met standaard next-token predictie (autoregressieve loss) op downstream ruimtelijk-temporele redeneertaken. De geometrie-encoder blijft bevroren en het verankeringsmodule wordt gezamenlijk geoptimaliseerd met het basis multimodale model. Er worden geen hulpgeometrische reconstructie- of contrastieve losses geïntroduceerd; het model leert geometrische bewijzen toe te wijzen en te benutten puur via end-to-end supervisie.

Belangrijkste Bijdragen

Representatieve Diagnose: De auteurs identificeren het gebrek aan geometrisch verankerde visuele tokens als een belangrijke bottleneck in huidige VLM's, en betogen dat ruimtelijk-temporele redenering afhankelijk is van of tokens geometrisch verankerd zijn voordat ze het taalmodel binnenkomen.
GeoWeaver Kader: Een nieuw kader dat token-specifiek geometrisch bewijs toewijst vanuit een multi-level geometrie-bank voorafgaand aan taaldecoding. Dit verschuift visueel-geometrische uitlijning van de redeneerstack naar de perceptuele interface.
Token-Adaptief Mechanisme: De introductie van een sparse, query-geconditioneerd routingmechanisme dat toelaat dat verschillende visuele tokens verschillende geometrische abstracties ophalen, waardoor uniforme blootstelling aan alle geometrielagen wordt vermeden.
Empirische Validatie: Uitgebreide experimenten die aantonen dat pre-redenerende verankering superieure prestaties oplevert zonder catastrofale vergetelheid van algemene multimodale vaardigheden.

Experimentele Resultaten

GeoWeaver werd geëvalueerd op meerdere ruimtelijke redeneerbenchmarks, waaronder VSI-Bench, ReVSI, SPAR-Bench, ViewSpatial, BLINK, 3DSRBench en EmbSpatial.

VSI-Bench: GeoWeaver-5B behaalde een gemiddelde score van 72,8, wat 5,3 punten beter is dan de sterkste open-source baseline (SpatialStack-5B). GeoWeaver-10B bereikte 75,05. Er werden significante winsten waargenomen in geometrie-gevoelige categorieën zoals objecttelling, grootte-inschatting, relatieve richting en routeplanning.
ReVSI: In frame-bewuste settings behaalde GeoWeaver-10B een nauwkeurigheid van 57,5% met 32 frames, waarmee het eerdere ruimtelijke VLM's overtrof. De resultaten suggereren dat effectieve geometrische verankering kritischer is dan simpelweg het verhogen van het aantal invoerframes.
SPAR-Bench: GeoWeaver-5B behaalde een nieuwe state-of-the-art score van 69,2, een enorme verbetering van +26,8 punten ten opzichte van de vorige beste, met name in medium- en hoog-niveau redeneertaken (positie-matching, afstandsinferentie, ruimtelijke verbeelding).
Algemene Vaardigheden: Evaluaties op MMBench, Video-MME en TempCompass toonden aan dat GeoWeaver de algemene multimodale prestaties ten opzichte van baselines behoudt of licht verbetert, wat bevestigt dat de geometrische verankering geen catastrofale vergetelheid veroorzaakt.

Betekenis en Claims

Het artikel claimt dat het primaire voordeel van GeoWeaver niet voortkomt uit het simpelweg injecteren van meer geometrische data in het model, maar uit het herschikken van de visuele representatie voordat taalredenering begint. Door ruwe multi-level geometrische aanwijzingen om te zetten in geometrisch verankerde visuele tokens, stelt het kader het taalmodel in staat om te opereren op "geometrie-klaar" representaties.

De auteurs betogen dat geometrische informatie het grootste voordeel oplevert niet als een late-fusie hulpsignaal, maar als een fundamentele voorwaarde die de representatieve basis vormt. Deze benadering koppelt laag-niveau visueel-geometrische uitlijning succesvol los van hoog-niveau relationele redenering, wat leidt tot robuustere ruimtelijk-temporele intelligentie terwijl de algemene multimodale competentie van het model behouden blijft. Het werk suggereert dat toekomstige vooruitgang in ruimtelijke intelligentie vereist dat de representatieve bottleneck aan de perceptuele interface wordt aangepakt in plaats van uitsluitend de redeneerstack te optimaliseren.