💻 computer science

SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification

Het artikel introduceert SEER, een training-vrije interface tijdens de inferentie voor bevroren Vision-Language Modellen die ruimtelijke relatieclassificatie verbetert door query-specifieke bewijsvoering-views te construeren met expliciete onderwerp/object-rollen en complementaire geometrische context, waardoor fouten veroorzaakt door ambigue globale views of incorrecte instantie-selectie aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een puzzel op te lossen waarbij twee stukjes perfect in elkaar moeten passen. In de wereld van kunstmatige intelligentie zijn er "Vision-Language Models" (VLM's) — superintelligente computerbreinen die een plaatje kunnen bekijken en een vraag erover kunnen lezen. Ze zijn geweldig in het herkennen van objecten; als je ze een foto van een kat en een hond laat zien, weten ze welke welke is. Maar hier komt het lastige deel: wanneer je ze vraagt: "Staat de kat links van de hond?", raken ze soms in de war. Ze herkennen de dieren misschien wel correct, maar halen hun posities door elkaar, of ze gokken op basis van wat ze in boeken hebben gelezen in plaats van wat ze daadwerkelijk zien. Dit is alsoals een student die de definities van "links" en "rechts" kent, maar de verkeerde kant op wijst wanneer hij naar een kaart kijkt. Wetenschappers geven erom omdat ze dit willen oplossen; als deze AI-breinen ruimtelijke relaties niet kunnen begrijpen, kunnen ze ons niet helpen met zaken als zelfrijdende auto's, het navigeren van robots of het veilig lezen van complexe diagrammen.

Maak kennis met SEER, een slimme nieuwe truc voor deze AI-breinen die geen nieuwe training vereist. Denk aan SEER als een "spotlight en label"-systeem. In plaats van de AI naar de hele rommelige afbeelding te laten staren en te laten gokken, vindt SEER eerst rustig de twee specifieke dingen waar de vraag naar vraagt (zoals de kat en de hond). Vervolgens maakt het een speciale, ingezoomde weergave die alleen voor die twee items is. Het tekent een rode box rond het onderwerp en een blauwe box rond het object, en labelt ze duidelijk als "Onderwerp" en "Object". Het verbergt de mogelijke antwoorden (zoals "links" of "rechts") tijdens deze stap, zodat de AI niet de antwoordopties gebruikt om te beslissen waar het moet kijken. Door de AI te dwingen zich te concentreren op een schoon, gelabeld beeld van alleen die twee items, helpt SEER de AI om veel betere beslissingen te nemen. De onderzoekers ontdekten dat deze eenvoudige "herfocussen en labelen"-methode de AI aanzienlijk beter maakte in het begrijpen van ruimtelijke relaties, waarbij de nauwkeurigheid met gemiddeld ongeveer 4% verbeterde over verschillende tests heen.

Het Probleem: De AI's "Grote Wazigheid"

Stel je voor dat je in een drukke kamer vol mensen staat, en iemand vraagt: "Staat de persoon met de rode hoed links van de persoon met het blauwe shirt?" Als je slechts even een vlug glance werpt naar de hele kamer, kun je het fout hebben. Misschien zie je een rode hoed helemaal links en een blauw shirt helemaal rechts, maar de specifieke mensen waar de vraag over gaat, staan eigenlijk vlak naast elkaar in het midden.

Huidige AI-modellen maken vaak dezelfde fout. Ze kunnen de objecten wel zien, maar ze raken verdwaald in het "globale beeld" van de afbeelding. Ze vertrouwen mogelijk op wat ze denken dat gewoon gebeurt (zoals "katten staan meestal links") in plaats van daadwerkelijk de specifieke plekken in de afbeelding te controleren. Dit wordt een "hallucinatie" of een "falen in het gronding" (failure to ground) van het antwoord in het juiste visuele bewijs genoemd. Het artikel stelt dat het probleem niet is dat de AI te dom is om "links" of "rechts" te begrijpen, maar dat de AI naar het verkeerde deel van de afbeelding kijkt of in de war raakt door te veel achtergrondruis.

De Oplossing: SEER's "Zelf-gegronde" Zaklamp

De auteurs van dit artikel, werkzaam bij het Institute of Computing Technology in China, bedachten een methode genaamd SEER (Self-grounded Evidence for Entity-Relation Reasoning). Het is alsof je de AI een zaklamp en een set markeerstiften geeft, maar met één zeer strikte regel: Kijk nog niet naar het antwoordmodel.

Zo werkt SEER, stap voor stap:

De "Blinde" Zoektocht: Wanneer de AI een vraag krijgt zoals "Staat de mok links van het boek?", vraagt SEER de AI eerst om de mok en het boek in de afbeelding te vinden. Cruciaal is dat het de mogelijke antwoorden (links, rechts, boven, onder) verbergt tijdens deze zoektocht. Dit voorkomt dat de AI leunt op het woord "links" en vervolgens simpelweg een mok aan de linkerkant van de afbeelding vindt, ongeacht waar het boek zich daadwerkelijk bevindt.
De "Ingezoomde" Weergave: Zodra de AI de mok en het boek heeft gevonden, knipt SEER een klein plaatje uit dat alleen deze twee items bevat. Het tekent een rode box rond de mok (het onderwerp) en een blauwe box rond het boek (het object). Het labelt ze duidelijk.
De "Rol-Expliciete" Controle: Nu kijkt de AI naar dit schone, ingezoomde plaatje. Het ziet: "Oké, de rode box is de mok, de blauwe box is het boek. Is de rode box nu links van de blauwe box?" Omdat de achtergrond weg is en de rollen zijn gelabeld, is de kans veel kleiner dat de AI in de war raakt.
De "Dubbelcheck" (Optioneel): Soms is de AI nog steeds onzeker. SEER heeft een handige truc genaamd "reciproque consistentie". Het wisselt de rollen om: "Oké, doe nu alsof het boek het onderwerp is en de mok het object. Staat het boek rechts van de mok?" Als het antwoord van de AI in beide richtingen logisch is (als A links van B staat, dan moet B rechts van A staan), bevestigt het de antwoord. Als de antwoorden elkaar tegenspreken, weet het systeem dat er iets mis is en probeert het opnieuw.

Wat de Experimenten Lieten Zien

De onderzoekers testten deze methode op verschillende verschillende datasets, wat een soort enorme collecties zijn van plaatjes-en-vraag-paren. Ze gebruikten een "bevroren" testset, wat betekent dat ze de testvragen kozen voordat ze de experimenten startten, zodat ze hun methode niet per ongeluk konden aanpassen om de antwoorden simpelweg te memoriseren.

De Grote Winst: Op een testset genaamd GQA-Train900 (die 900 unieke afbeeldingen bevat), verbeterde SEER de nauwkeurigheid van de AI met +3,94% vergeleken met het simpelweg bekijken van de volledige afbeelding. Dat klinkt misschien klein, maar in de wereld van AI-benchmarks is een sprong van bijna 4% een enorme zaak. Het betekent dat de AI bijna 40 vragen meer goed heeft beantwoord van de 1.000.
Verschillende Modellen, Dezelfde Succes: Ze probeerden dit uit op verschillende soorten AI-breinen (zoals Qwen3 en InternVL3.5). Elk van hen werd beter. Bijvoorbeeld, op een andere test genaamd EmbSpatial, verbeterde een model zelfs met een enorme +11,79%.
Waarom het Werkt: De onderzoekers voerden speciale tests uit om te ontdekken waarom het werkte. Ze ontdekten dat de magie niet alleen het "inzoomen" (bijsnijden van de afbeelding) was. Het was de labeling. Wanneer ze de afbeelding bijsneden maar niet labelden welk object het onderwerp en welk object het object was, verbeterde de AI niet evenveel. De duidelijke "Rode Box = Onderwerp" en "Blauwe Box = Object" labels waren de sleutel. Het dwong de AI om aandacht te besteden aan de specifieke rollen van de objecten.
Wat het Niet Oploste: De methode is niet perfect. Het had wat moeite met het woord "op" (zoals "de kop staat op de tafel"), omdat "op" lastig te onderscheiden is van enkel "boven" zonder 3D-diepte. Het hielp ook minder wanneer de AI moest gokken op "waar" of "niet waar" bij binaire vragen, wat suggereert dat de truc het beste werkt wanneer er specifieke keuzes zijn om uit te kiezen.

De Conclusie

SEER bewijst dat je niet altijd een grotere, slimmere of duurdere AI nodig hebt om een probleem op te lossen. Soms moet je simpelweg de manier veranderen waarop je het probleem aan de AI laat zien. Door de antwoordopties te verbergen tijdens de zoektocht en vervolgens een schoon, gelabeld beeld van alleen de relevante objecten te presenteren, kan de AI stoppen met gokken en beginnen met echt zien.

De auteurs benadrukken dat dit geen toverstaf is die elk ruimtelijk probleem oplost. De AI moet nog steeds goed zijn in het vinden van de objecten in de eerste plaats. Maar wanneer de objecten gevonden zijn, fungeert SEER als een behulpzame gids die ervoor zorgt dat de AI naar het juiste ding op de juiste manier kijkt. Het is een herinnering dat in de race naar slimmere AI, de beste upgrade soms een betere interface is.

Technische Samenvatting: SEER – Een Zelf-gegronde Evidence Interface voor Gecontroleerde Ruimtelijke Relatieclassificatie

Probleemstelling

Vision-Language Models (VLM's) falen frequent bij ruimtelijk redeneren, zelfs wanneer ze individuele entiteiten correct kunnen herkennen. Benchmarks zoals VSR, What'sUp, GQA en ARO laten zien dat modellen objecten wel herkennen, maar falen in het vergelijken van hun posities, waarbij ze vertrouwen op talige priors, aandacht besteden aan de verkeerde instanties, of interpreteren vanuit ambigue globale weergaven. Huidige redeneergerichte checkpoints en multimodale modellen garanderen niet inherent de selectie van de juiste visuele bewijslast. De kern van het probleem is dat een ruimtelijk antwoord slechts zo betrouwbaar is als de input-evidence; als het model naar een incorrecte instantie kijdt of een expliciete rolconditiering mist, wordt de premisse voor de relatievoorspelling gecorrumpeerd voordat de beslissing wordt genomen.

Methodologie: SEER

SEER (Self-grounded Evidence for Entity-Relation Reasoning) is een training-vrije, inference-time evidence interface ontworpen voor bevroren VLM's. Het traint geen nieuwe modellen en vertrouwt niet op externe detectoren. In plaats daarvan construeert het query-specifieke visuele bewijstoestanden om het beslissingsproces van de VLM te sturen. De methode werkt in vier stadia:

1. Target-Relation-Hidden Self-Grounding

SEER lokaliseert eerst het gevraagde subject ( $S$ ) en object ( $O$ ) paar met behulp van een bevroren VLM grounder ( $G$ ). Cruciaal is dat deze grounding stap target-relation-hidden is: het model ontvangt de afbeelding en entiteitsnamen, maar de kandidaat-relaties en antwoordopties worden expliciet achtergehouden. Dit voorkomt dat de grounder de box-selectie richting een specifieke relatie beïnvloedt.

Validatie: Boxes worden gevalideerd op positieve oppervlakte en geldige coördinaten. Als de grounding faalt, valt het systeem terug op de volledige afbeelding.

2. Constructie van Complementaire Evidence Toestanden

SEER genereert drie verschillende typen bewijs voor hetzelfde subject/object paar:

Full Image Evidence: De originele afbeelding en vraag, waarbij de globale context behouden blijft. Dit dient als een veilige fallback.
Self-Grounded Marker View: Een uitgesneden (cropped) weergave die de unie bevat van de subject en object bounding boxes. Het subject wordt gemarkeerd met een rode box gelabeld met "S", en het object met een blauwe box gelabeld met "O". Deze staat biedt lokale refocus en expliciete roltoewijzing, waardoor het model wordt gedwongen te letten op het specifieke paar en hun talige rollen zonder kandidaat-relaties.
Threshold-Eligible Geometry: Een deterministische kandidaat afgeleid van de box-centra en extensies. Deze is alleen in aanmerking komend voor specifieke relaties (bijv. links/rechts via horizontale verplaatsing, binnen/bevat via box-dekking) en onthoudt zich van andere (bijv. voor/achter, op/boven) waar 2D-geometrie onvoldoende is.

3. Training-Free Evidence Decision

De beslissingsfase aggregeert voorspellingen uit de beschikbare toestanden met behulp van een vaste, deterministische regel:

Forward Decision: Als de Geometry in aanmerking komt en de layout-score de drempelwaarde ( $\tau=0.5$ ) overschrijdt, krijgt deze prioriteit. Zo niet, dan selecteert het systeem de visuele staat (Full of Marker) met de grootste optie-score gap (het verschil tussen de top-kandidaat en de runner-up).
Reciprocal Consistency Refinement: Voor protocollen met exacte inverse relaties (bijv. links $\leftrightarrow$ rechts), voert SEER een wederkerige controle uit. Het wisselt de subject- en objectrollen (en de S/O-markers) om en evalueert de query opnieuw. Als precies één staat (Full of Marker) de inverse relatie respecteert terwijl de andere dat niet doet, schakelt het systeem over naar de consistente staat. Dit fungeert als een conflictresolutiemechanisme, maar alleen wanneer een exacte inverse bestaat.

Belangrijkste Bijdragen

Query-Specifieke Evidence Interface: Het artikel formuleert ruimtelijk antwoorden als een evidence-interface probleem en introduceert target-relation-hidden self-grounding. Dit transformeert het gevraagde paar in een rol-expliciete visuele bewijslast zonder VLM-training of externe detectoren.
Reciprocal Consistency Refinement: Een optionele, protocol-specifieke verfijning die gebruikmaakt van de exacte uitwisseling van subject/object om een observeerbare consistentie-cue te verkrijgen voor conflicterende evidence-staten, zonder dat hiervoor geleerde kalibratie of target-labels nodig zijn.
Mechanisme Isolatie: Door middel van gematchte contrafeitelijke scenario's (bijv. croppen zonder markers, het wisselen van S/O-identiteiten, het gebruiken van oracle boxes) isoleren de auteurs lokale refocus en rol-expliciete conditionering als de primaire drijvers van verbetering, in plaats van eenvoudige cropping of extra tekstuele instructies.

Experimentele Resultaten

SEER werd geëvalueerd op bevroren, beeld-disjuncte testsets en ontwikkelpools over meerdere modellen (Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5) en datasets (GQA, Visual Genome, EmbSpatial, VSR, SpatialSense).

GQA-Train900 (Frozen Test): Op een testset van 900 unieke afbeeldingen die bevroren waren vóór de scoring, behaalde SEER een gepoolde winst van +3.94 ten opzien van de Full-image baseline (95% CI [2.17, 5.72]). De winst bleef positief onder label-onafhankelijke hash-counterbalancing (+2.56).
Development Pools (GQA/VG): Over 41.544 evaluaties verbeterde SEER alle acht model/dataset-combinaties. De gepoolde winst was +3.99 ten opzien van Full. De reciprocal consistency refinement droeg een extra +1.36 bij boven de Forward decision.
EmbSpatial: Op 2.434 gefilterde paar-relatie vragen verbeterde SEER Qwen3-Instruct, Qwen3-Thinking en InternVL3.5 met respectievelijk +4.35, +5.09 en +11.79.
Mechanisme Analyse:
- Local Refocus: De overgang van Full naar een uitgesneden weergave (Crop) leverde een winst van +1.25 op.
- Role Conditioning: Het toevoegen van expliciete S/O-markers aan de crop (Self-Marker) leverde een extra winst van +1.64 op.
- Oracle Gap: Het gebruik van ground-truth boxes (Oracle-Marker) leverde een winst van +6.17 op ten opzien van Self-Marker, wat wijst op aanzienlijke ruimte voor verbetering in de kwaliteit van de lokalisatie.
- Robuustheid: De winsten bleven bestaan, zelfs wanneer ambigue "on" relaties of herhaalde entiteitsnamen werden verwijderd, hoewel de prestaties varieerden per type relatie (bijv. sterke winst op "inside", gemengde resultaten voor "right-of").
Beperkingen: De methode vertaalt niet uniform naar binaire waarheidsoordelen (bijv. VSR, SpatialSense), waarbij reciprocal consistency minder effectief is. De prestaties worden begrensd door de kwaliteit van de self-grounding; hoewel de IoU imperfect is, blijven de winsten bestaan, zelfs bij een lage overlap.

Betekenis en Claims

Het artikel claimt dat expliciete constructie van bewijslast de belangrijkste interventie is voor het verbeteren van ruimtelijk redeneren in bevroren VLM's. Door de gevraagde locaties en rollen gezamenlijk inspecteerbaar te maken, verzacht SEER fouten die worden veroorzaakt door aandacht te besteden aan de verkeerde instantie of door te vertrouwen op talige priors.

Evidence boven Reasoning: De resultaten suggereren dat zelfs geavanceerde redeneer-checkpoints aanzienlijk profiteren van betere visuele evidence interfaces, wat vestigt dat "een ruimtelijk antwoord slechts zo goed is als de input-evidence."
Training-Free Efficiëntie: SEER bereikt deze winsten zonder training, met behulp van een vaste regel en een bevroren VLM. Hoewel het een computationele kostenpost met zich meebrengt (ongeveer 7.12x een enkele Full score), merken de auteurs op dat adaptieve gating ~81% van de winst kan behouden tegen ~2.57x de kosten.
Bescheidenheid: De auteurs stellen expliciet dat SEER een evidence interface is, en geen certificaat van exacte grounding. De verbeteringen impliceren geen perfecte instantie-herwinning, en de methode blijft beperkt door de zichtbaarheid van relaties in lokale verschijningsvormen en 2D-layout. De reciprocal consistency refinement wordt beschreven als een "kleinere, protocol-specifieke verfijning" in plaats van een universele oplossing.

Concluderend demonstreert SEER dat het controleren van de visuele bewijstoestand—met name door target-relation-hidden self-grounding en rol-expliciete conditionering—ruimtelijk redeneerfalen in VLM's aanzienlijk kan herstellen, wat een robuust, training-vrij alternatief biedt voor het hertrainen van modellen of externe detectietools.