Technische Samenvatting: Van Hallucinatie naar Gronding: Het Diagnostiseren van Visuele Ruimtelijke Intelligentie via CRISP

Probleemstelling

Huidige evaluaties van Vision-Language Models (VLM's) met betrekking tot visuele ruimtelijke intelligentie lijden aan een kritieke vermenging van taalprioriteiten (language priors) met echte ruimtelijke redenering. Traditionele Question Answering (QA) benchmarks maken het modellen vaak mogelijk om "semantische sluiproutes" te exploiteren—waarbij ze vertrouwen op statistische co-occurrences in trainingsdata in plaats van de fysieke scène waar te nemen. Als gevolg hiervan kunnen modellen correcte linguïstische outputs produceren terwijl ze gebrekkige impliciete 3D-modellen koesteren, wat een "illusie van ruimtelijke intelligentie" creëert.

Bestaande diagnostische instrumenten, zoals tekstuele rationales of 2D-cognitieve kaarten, bieden niet de metriek-precisie die vereist is voor embodied AI. Bovendien scheiden standaard benchmarks perceptuele bottlenecks (het vermogen om te zien en te meten) niet van redeneertekorten (het vermogen om logisch ruimtelijke concepten te manipuleren). Deze disconnect verhindert een granulair begrip van of het falen van een model voortkomt uit onnauwkeurige perceptie of uit een onvermogen om de eigen structurele representaties te benutten.

Methodologie: De CRISP Benchmark

Om deze beperkingen aan te pakken, introduceren de auteurs CRISP (Consistency of Reasoning In Spatial Perception), een structureel-diagnostisch evaluatieparadigma. CRISP verschuift de focus van resultaatgerichte juistheid naar procesgerichte gronding door discriminatieve QA te koppelen aan een generatieve 3D Scene Graph (SGC) taak.

1. Dataset Constructie

• Bron: De benchmark cureert 1.162 hoogwaardige statische scènes (binnen en buiten) uit nuScenes en ScanNet++.
• Ground Truth: Een rigoureuze geautomatiseerde pipeline projecteert 3D-annotaties op 2D-beelden, waarbij gefilterd wordt op zichtbaarheid en resolutie. Cruciaal is dat het een Master 3D Scene Graph construeert met unieke numerieke ID's in plaats van tekstuele beschrijvingen om semantische lekkage te voorkomen.
• Schaal: De dataset bevat 9.839 vragen over zeven ruimtelijke competenties: afstandschatting, groottechatting, directionele perceptie, tellen, ruimtelijke rangschikking, view transformation en logische deductie.

2. Dual-Task Paradigma

CRISP evalueert modellen op twee verschillende maar gelinkte taken:

• Spatial QA: Modellen beantwoorden vragen (Multiple Choice en Numeriek) over de scène. Dit test expliciete redenering.
• 3D Scene Graph Constructie (SGC): Modellen krijgen een lijst met object-ID's en moeten een star-topologie subgraaf genereren. Dit vereist het voorspellen van:
  • Nodes: 3D-dimensies en afstand tot de camera (metrische schatting).
  • Edges: Semantische directionele predicaten en metrische Euclidische afstanden tussen objecten.
  • Noot: De SGC-taak dwingt het model om zijn impliciete 3D-modellering te externaliseren in een gestructureerd, metriek-bewust formaat, wat dient als een strikte informatieve bottleneck.

3. Evaluatie Metrieken

• QA Score: Accuratesse voor MCQs en Mean Relative Accuracy (MRA) voor numerieke vragen.
• SGC Score: Een samengestelde metriek die Metrische Schatting ($S_{est}$) evalueert via ratio-gebaseerde IoU voor grootte en relatieve accuratesse voor afstand, en de Relatie Score ($S_{rel}$) voor de semantische consistentie van edge-predicaten.
• Self-Consistency Score: Een nieuwe metriek die de uitlijning tussen de twee taken verifieert. Het gebruikt een deterministische solver om een QA-antwoord af te leiden uit de gegenereerde SGC ($A_{derived}$) en vergelijkt dit met het directe QA-antwoord van het model ($A_{QA}$). Dit onderscheidt "echt begrip" van "consistente hallucinatie" (waarbij een model in beide taken fout zit, maar wel consistent fout).

4. Interventie Protocollen

Om perceptie van redenering te ontkoppelen, gebruiken de auteurs:

• Blind Tests: Het evalueren van modellen met enkel tekstuele inputs (alleen numerieke ID's) om een baseline van taalprioriteiten vast te stellen.
• Structurele Interventie: Het voorzien van modellen met ofwel Ground-Truth (GT) 3D SGs of hun eigen Predicted (Pred) SGs naast de afbeelding. Dit test de "plafondwaarde" van latente redenering en de robuustheid van het model tegenover modality conflict.

Belangrijkste Resultaten

1. De Perceptie-Redenering Disconnect

Analyse van 13 state-of-the-art VLM's (inclusief propriëtaire modellen zoals Gemini en GPT-5, en open-source modellen zoals Qwen en InternVL) onthult een systematische disconnect:

• Propriëtaire Modellen: Bezitten robuuste latente redeneermotoren maar lijden onder onnauwkeurige metrische schatting en een onvermogen om hun eigen impliciete structurele representaties te benutten. Ze bouwen vaak redelijke structurele modellen (matige SGC-scores) maar falen in het benutten daarvan tijdens end-to-end QA-generatie.
• Open-Source Modellen: Vertonen vaak semantische sluiproutes. Ze behalen hogere QA-scores door te vertrouwen op taalprioriteiten, terwijl ze falen in het genereren van accurate metrische structuren (lage SGC-scores).
• Consistentie: Een aanzienlijk deel van de modellen vertoont "consistente hallucinatie" (10-12% van de gevallen), waarbij ze coherent redeneren op basis van fundamenteel gebrekkige geometrische gronding.

2. De Illusie van Ruimtelijke Intelligentie

• Semantische Sluiproutes: In blind text-only tests behielden modellen bijna perfecte SGC-formaat compliance (>99%) maar vertrouwden ze op distributieve prioriteiten. Wanneer visuele input werd toegevoegd, vertoonden modellen zoals Qwen2.5-VL significante QA-winsten maar verwaarloosbare SGC-winsten, wat aangeeft dat de vision encoder objecten identificeerde maar faalde in het vertalen hiervan naar ruimtelijke locaties.
• Gespecialiseerde Modellen: Tegenintuïtief presteerden gespecialiseerde ruimtelijke modellen (bijv. VG LLM, Cambrian-S) slechter dan algemene baselines wat betreft consistentie, wat suggereert dat ruimtelijke fine-tuning lokale cues kan activeren zonder te garanderen dat de redeneermotor deze ook daadwerkelijk gebruikt.

3. Het Ontsluiten van Latente Redenering via Interventie

• Oracle Gain: Wanneer voorzien van Ground-Truth 3D SGs, vertoonden modellen dramatische prestatiepieken (bijv. +30.3% voor Gemini 2.5 Flash). Dit bevestigt dat er al robuuste latente redeneercapaciteiten aanwezig zijn binnen huidige VLM's, maar dat deze worden beperkt door perceptie.
• Modality Conflict: Wanneer voorzien van hun eigen Predicted SGs, leden de meeste modellen aan prestatie-instortingen, waarbij ze prioriteit gaven aan hun foutieve tekstuele externalisaties boven de ruwe visuele bewijslast. Dit benadrukt een "trust bias" en een gebrek aan robuustheid bij het oplossen van modality conflict.
• Redeneerdiepte: Propriëtaire modellen vertoonden significante winsten in compositionele logica (multi-hop redeneren) wanneer ze GT SGs kregen, terwijl open-source modellen primair verbeterden op atomische taken, wat wijst op een fundamenteel tekort in hun redeneerdiepte.

Betekenis en Claims

Het paper claimt dat CRISP een rigoureus roadmap biedt voor multi-modale alignment voorbij end-to-end post-training. De belangrijkste bijdragen zijn:

1. Diagnose boven Gissen: CRISP gaat verder dan "correct raden" via taalprioriteiten naar echt "waarnemen, verifiëren en redeneren." Het biedt een granulair diagnose die traditionele black-box QA niet kan bieden.
2. Herdefiniëren van Bottlenecks: De bevindingen herdefiniëren de ontwikkelingsroadmap voor embodied AI. De primaire bottleneck is geïdentificeerd als niet een intrinsieke logische tekortkoming in VLM's, maar als een structurele alignment-fout tussen perceptie en redenering.
3. Actiegerichte Inzichten: Het framework identificeert drie specifieke faalmodi voor toekomstige ontwikkeling:
   • Semantische Sluiproutes: Vereist betere vision encoders voor metrische perceptie.
   • Perceptie-Redenering Disconnect: Vereist een herontwerp van multi-modale alignment strategieën om de interne benuttingskloof te overbruggen.
   • Modality Trust Bias: Vereist upgrades van LLM backbones om conflictresolutie en compositionele redenering te verbeteren.

Uiteindelijk betogen de auteurs dat het opschalen van end-to-end training alleen onvoldoende is. Ware visuele ruimtelijke intelligentie vereist het expliciet afdwingen van structurele consistentie, waarbij wordt gewaarborgd dat logische deducties strikt gegrond zijn in expliciet waargenomen 3D-geometrie.