Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models

Dit paper introduceert Spatial-DISE, een unificerend benchmark en dataset die is gebaseerd op een cognitieve taxonomie om de ruimtelijke redeneerprestaties van Vision-Language modellen te evalueren en aan te tonen dat deze nog een aanzienlijke kloof vertonen met menselijk vermogen, vooral bij complexe dynamische taken.

De kern

🧠 Ruimtelijk Denken: Waarom AI nog steeds verdwaalt in een doolhof

Stel je voor dat je een robot bouwt die een kamer moet opruimen. Die robot moet niet alleen zien waar de stoel staat, maar ook begrijpen wat er gebeurt als je de stoel omgooit, of hoe een platte doos in een 3D-kastje verandert als je hem vouwt. Dit noemen we ruimtelijk redeneren.

Tot nu toe waren de tests voor deze robots (die we "Vision-Language Models" of VLM's noemen) een beetje als een kind dat alleen maar plaatjes bekijkt zonder er echt over na te denken. Ze konden wel zeggen "dat is een auto", maar niet of die auto onder de brug past als hij erdoorheen rijdt.

De auteurs van dit paper (van de Universiteit van Liverpool) zeggen: "Het is tijd voor een eerlijke test." Ze hebben Spatial-DISE bedacht.

1. De Nieuwe Test: Vier Hoeken van Denken

Stel je een vierkante kaart voor, verdeeld in vier kwadranten. De auteurs zeggen dat ruimtelijk denken uit vier soorten bestaat, net als een vierkant met vier hoeken:

• Statisch vs. Dynamisch (Stilstaan vs. Bewegen):
  • Statisch: Kijk naar een foto en zeg waar de beker staat. (Dit is makkelijk).
  • Dynamisch: Stel je voor dat je de beker omgooit, of dat je een papieren vliegtuig vouwt. Je moet het in je hoofd "bewegen". (Dit is moeilijk).
• Intrinsiek vs. Extrinsic (Van binnen vs. Van buiten):
  • Intrinsiek: Kijk naar één object. Hoe passen de onderdelen bij elkaar? (Bijv. "Hoe ziet deze kubus eruit als ik hem draai?").
  • Extrinsic: Kijk naar de relatie tussen objecten. (Bijv. "Is de kat links of rechts van de auto?").

Het probleem: De oude tests waren als een zwembad waar je alleen maar in kon staan (Statisch). De nieuwe test, Spatial-DISE, is een zwembad waar je ook moet kunnen zwemmen, duiken en springen (Dynamisch).

2. De "Robot-Fabriek" (De Data)

Een van de grootste problemen bij het testen van AI is dat er niet genoeg moeilijke vragen zijn. Mensen zijn goed in het bedenken van puzzels, maar dat kost tijd.

De auteurs hebben een automatische fabriek gebouwd (met een programma genaamd Blender).

• Hoe het werkt: Stel je voor dat je een robot hebt die willekeurige 3D-vormen maakt, ze vouwt, gaten in papt, en dan vraagt: "Welke vorm krijg je als je dit weer openvouwt?"
• Het resultaat: Ze hebben 12.000 nieuwe puzzels gemaakt. Het is alsof ze een hele bibliotheek met nieuwe doolhoven hebben gebouwd in plaats van maar één. Ze hebben ook een "kwaliteitscontrole" toegevoegd, zodat ze zeker weten dat er maar één goed antwoord is.

3. De Grote Teleurstelling (De Resultaten)

Ze hebben 32 van de slimste AI-modellen ter wereld (zoals GPT-4o, Gemini, Claude) op deze nieuwe test gezet.

Het nieuws: De AI's zakten door de vloer.

• Mensen: Haalden gemiddeld 77% goed.
• AI: Haalde gemiddeld maar 28% goed. Dat is nauwelijks beter dan raden!

Waarom?
De onderzoekers keken naar de fouten en ontdekten drie grote zwaktes:

1. Geen regels in het hoofd: De AI's weten niet dat als je een kubus vouwt, de achterkant niet tegelijkertijd de voorkant kan zijn. Ze vergeten de "wetten van de fysica".
2. Geen geheugen voor beweging: Bij een "vouw-en-prik" puzzel (vouwen, een gat prikken, weer openvouwen) vergeten ze na stap 1 al wat er in stap 2 gebeurde. Het is alsof ze een film kijken, maar na elke seconde hun geheugen wissen.
3. Kijken zonder te begrijpen: Ze zien de plaatjes, maar ze "rekenen" niet in hun hoofd. Ze proberen te raden op basis van patronen, in plaats van echt te simuleren wat er gebeurt.

4. Kunnen we ze trainen?

Ze hebben de AI's een paar keer laten oefenen met hun nieuwe 12.000 puzzels.

• Het resultaat: Het werd iets beter, maar ze haalden nog steeds niet de menselijke niveau's.
• De les: Het helpt om te oefenen, maar de AI's leren niet op dezelfde manier als mensen. Mensen bouwen een "wereldmodel" op in hun hoofd; AI's proberen alleen patronen te herkennen.

Conclusie in één zin

Spatial-DISE is de nieuwe, eerlijke test die laat zien dat AI's nog steeds slecht zijn in het "in hun hoofd bewegen" van objecten. Ze kunnen foto's zien, maar ze kunnen nog niet echt ruimtelijk denken zoals een mens dat doet.

Het is alsof we een auto hebben die perfect kan rijden op een rechte weg (statisch), maar volledig vastloopt zodra er een bocht of een obstakel komt (dynamisch). De onderzoekers hebben nu de kaart getekend om te zien waar we die auto moeten repareren.

Technische samenvatting

Probleemstelling

Hoewel Vision-Language Models (VLMs) indrukwekkende prestaties leveren in taken zoals objectdetectie en beeldbeschrijving, vertonen ze aanzienlijke tekortkomingen in ruimtelijk redeneren (spatial reasoning). Dit is een fundamenteel aspect van menselijke cognitie dat essentieel is voor toepassingen zoals robotica, augmented reality en autonoom navigeren.

Bestaande benchmarks hebben drie belangrijke beperkingen:

1. Gebrek aan een systematisch cognitief kader: De huidige benchmarks zijn gefragmenteerd en focussen vaak alleen op basisvaardigheden, zonder een gestructureerde taxonomie voor verschillende soorten ruimtelijk redeneren.
2. Beperkte scope (Static vs. Dynamic): De meeste benchmarks testen statische ruimtelijke relaties (wat zie ik?) en negeren dynamisch redeneren (hoe verandert het object? Denk aan mentale rotatie of vouwen).
3. Schaalproblemen: Benchmarks die dynamische taken bevatten, zijn vaak te klein om robuuste evaluaties mogelijk te maken of om modellen effectief te trainen.

Methodologie: Spatial-DISE

De auteurs introduceren Spatial-DISE, een unificerend benchmark en dataset gebaseerd op een cognitief onderbouwde taxonomie.

1. De DISE Taxonomie

Het raamwerk classificeert ruimtelijke taken in vier kwadranten, gebaseerd op twee dimensies:

• Intrinsic vs. Extrinsic:
  • Intrinsic: Betreft de interne eigenschappen en onderlinge relaties van de delen van één object.
  • Extrinsic: Betreft de ruimtelijke relaties tussen verschillende objecten of tussen een object en de omgeving.
• Static vs. Dynamic:
  • Static: Betreft vaste, stationaire informatie.
  • Dynamic: Vereist mentale transformatie (bijv. rotatie, vouwen, snijden).

Dit resulteert in vier kwadranten: Intrinsic-Static (I-S), Intrinsic-Dynamic (I-D), Extrinsic-Static (E-S) en Extrinsic-Dynamic (E-D).

2. Taken en Dataset

De benchmark omvat 10 specifieke taken die de vier kwadranten volledig bestrijken, waaronder:

• I-S: 2D/3D Vormvinden (Shape Finding).
• I-D: 2D/3D Rotatie, Vouw-en-Prik (Fold and Punch).
• E-S: 3D Projectie.
• E-D: 2D/3D Combinatie (samenstellen van onderdelen).

De dataset bestaat uit twee delen:

• Spatial-DISE Bench: 559 zorgvuldig geselecteerde VQA-paren (Visual Question Answering) voor evaluatie, afkomstig uit zowel real-world data als synthetische generatie.
• Spatial-DISE-12K: Een grote dataset van meer dan 12.000 verifieerbare VQA-paren, voornamelijk synthetisch gegenereerd voor training.

3. Synthetische Data Generatie Pipeline

Om de schaalbeperkingen op te lossen, hebben de auteurs een geautomatiseerde pipeline ontwikkeld in Blender:

• Initialisatie & Seeding: Gebruik van hash-waarden voor reproduceerbare random seeds.
• Asset Generatie: Creatie van complexe 3D-objecten en texturen.
• Vraag & Antwoord Rendering: Rendern van vragen en correcte antwoorden vanuit optimale camera-hoeken.
• Systematische Distractor Generatie: Het creëren van plausibele, maar foutieve opties door strategieën zoals geometrische variaties, patroonfouten, verkeerde weergaven en componentvervanging.
• Kwaliteitscontrole: Een strikt proces met menselijke verificatie om unieke oplossingen, nauwkeurigheid en gebrek aan redundantie te garanderen.

Belangrijkste Bijdragen

1. Een cognitief onderbouwde taxonomie: Een unificerend raamwerk dat ruimtelijke taken classificeert, waardoor specifieke zwaktes (zoals dynamisch redeneren) zichtbaar worden die anders verborgen blijven.
2. Een schaalbaar en verifieerbaar data-generatieproces: Een herbruikbare tool die het probleem van data-schaarste voor dynamische ruimtelijke taken oplost en reproduceerbare, verifieerbare datasets garandeert.
3. Een unificerend en verifieerbaar cognitief benchmark: Spatial-DISE biedt een gestructureerde manier om complexe cognitieve taken op grote schaal te evalueren.
4. Onderzoek naar de grenzen van VLMs: Een uitgebreide evaluatie van 32 state-of-the-art modellen die de kloof tussen menselijke en AI-prestaties in kaart brengt.

Resultaten

De auteurs hebben 32 SOTA-modellen (inclusief proprietary modellen zoals GPT-4o, Gemini, Claude en open-source modellen zoals Qwen, InternVL) geëvalueerd.

• Algemene prestatie: De gemiddelde nauwkeurigheid van alle modellen was slechts 28,4%, nauwelijks boven het toevalsniveau (25%) en ver onder het menselijke niveau (76,8%).
• Dynamisch redeneren: Modellen worstelen vooral met multi-stap transformaties. Bijvoorbeeld, bij de "Fold and Punch" taak (vouwen, prikken, uitvouwen) scoorde het beste model (Doubao-1.5-thinking) slechts 30,8%, terwijl het gemiddelde van alle modellen rond het toevalsniveau bleef (25,4%).
• Statisch vs. Dynamisch: Er is geen sterke correlatie tussen prestaties op statische en dynamische taken. Sommige modellen presteren beter op dynamische taken dan op statische, wat suggereert dat ze geen gestructureerde, menselijke redeneerstrategieën hanteren.
• Fine-tuning: Het fine-tunen op de Spatial-DISE-12K dataset leidde tot significante verbeteringen (bijv. Qwen2.5-VL-7B steeg van 26,1% naar 47,0%), maar de modellen bleven ver achter bij menselijke prestaties. De training leidde tot gespecialiseerde vaardigheden per kwadrant, maar niet tot een universeel ruimtelijk inzicht.

Foutanalyse:
Een diepgaande analyse van fouten toont aan dat redeneerfouten (Reasoning Errors) de hoofdoorzaak zijn (72,5% van de fouten), niet perceptie. De drie belangrijkste cognitieve tekortkomingen zijn:

1. Fouten in regeltoepassing: Modellen negeren fundamentele geometrische axioma's (bijv. dat aangrenzende vlakken van een kubus niet tegenover elkaar kunnen liggen).
2. Fouten in mentale simulatie: Gebrek aan "ruimtelijk werkgeheugen" om de staat van een object door een reeks transformaties te volgen.
3. Fouten in holistisch-lokaal verwerking: Modellen kunnen niet goed schakelen tussen het totale beeld en lokale details, waardoor ze worden misleid door oppervlakkige overeenkomsten.

Betekenis en Conclusie

Spatial-DISE legt bloot dat huidige VLMs fundamentele tekortkomingen hebben in cognitieve ruimtelijke intelligentie. Ze vertrouwen te veel op patroonherkenning en missen een robuust "wereldmodel" dat toelaat om objecten mentaal te manipuleren en geometrische regels toe te passen.

De studie biedt een cruciaal raamwerk en dataset voor toekomstig onderzoek. De auteurs pleiten voor een verschuiving van louter visuele perceptie naar actief, mensachtig redeneren, waarbij de nadruk ligt op het ontwikkelen van modellen die mentale simulatie en regelgebaseerde logica kunnen integreren. De dataset en code zijn openbaar beschikbaar om de ontwikkeling van mensachtige ruimtelijke intelligentie te bevorderen.