💬 NLP

SpatialAct: Probing Spatial Reasoning-to-Action Capabilities of VLM Agents in 3D Scenes

Dit artikel introduceert SpatialAct, een simulator-gebaseerde benchmark die een significante kloof tussen redeneren en handelen onthult bij huidige visie-taalmodellen, waarbij wordt aangetoond dat zij niet in staat zijn om een coherente ruimtelijke opvatting te behouden en betrouwbare acties uit te voeren tijdens interacties met meerdere stappen in 3D-scènes, ondanks sterke prestaties op geïsoleerde ruimtelijke redeneertaken.

Oorspronkelijke auteurs: Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om meubels in een woonkamer te herschikken. Je wilt niet alleen dat de robot naar de kamer kijkt en zegt: "Die stoel staat te dicht bij de muur." Je wilt dat de robot de stoel ook daadwerkelijk beweegt, weer kijkt om te zien of het is gelukt, en als dat niet zo is, de stoel opnieuw beweegt totdat de kamer er goed uitziet.

Dit is precies waar het paper SpatialAct over gaat. Het is een nieuwe "test" ontworpen om te zien of moderne AI-visiemodellen (robots die kunnen zien en praten) echt goed zijn in dit soort "zien-denken-doen"-lussen, of dat ze alleen maar goed zijn in praten over wat ze zien.

Hier is een uitsplitsing van de bevindingen van het paper met behulp van eenvoudige analogieën:

1. Het Probleem: De "Slimme Prater" versus de "Doener"

De onderzoekers ontdekten dat huidige AI-modellen lijken op briljante kunstcritici die nog nooit een penseel hebben vastgehouden.

Het Goede Nieuws: Als je een AI een foto van een rommelige kamer laat zien en vraagt: "Raakt de lamp de bank?", kan de AI meestal correct antwoorden. Het heeft goede "ogen" en een "brein" voor statische vragen.
Het Slechte Nieuws: Wanneer je de AI vraagt om de kamer te repareren door de lamp te verplaatsen, raakt het in de war. Het beweegt de lamp vaak de verkeerde kant op, of het denkt dat het het probleem heeft opgelost terwijl het de situatie eigenlijk verergerde. Het heeft moeite om de staat van de kamer bij te houden nadat het een wijziging heeft aangebracht.

2. De Test: "SpatialAct"

Om dit te bewijzen, bouwde het team een 3D-videogamesimulator genaamd SpatialAct. Denk aan een digitale zandbak waar:

De Scène: Er zijn drie soorten kamers: eenvoudige geometrische vormen (zoals Lego-blokken), stadsstraten met gebouwen, en realistische binnenruimtes met meubels.
De Taak: De AI krijgt een kamer te zien met "bugs" (fouten), zoals een gebouw dat tegen een weg botst of een kast die uit een muur steekt.
Het Doel: De AI moet optreden als een digitale interieurontwerper. Het moet:
1. De fout opsporen.
2. Een commando geven (bijv. "Verplaats de kast 1 meter naar het Noorden").
3. Kijken hoe de kamer wordt bijgewerkt in de simulator.
4. Dit proces herhalen totdat de kamer perfect is.

3. De Hiërarchie van Moeilijkheidsgraad

De test was niet zomaar één grote uitdaging; het was een ladder van moeilijkheid om precies te zien waar de AI faalt:

Niveau 1 (Basisvaardigheden): Kan de AI de stoelen tellen? Kan het aangeven welke kant Noord is? (AI is hier vrij goed in).
Niveau 2 (Eén-stap Fix): Kan de AI één fout opsporen en deze in één enkele beweging oplossen? (AI is hier oké, maar niet geweldig).
Niveau 3 (De Boss Fight - Multi-Turn Verfijning): De AI moet een rommelige kamer keer op keer repareren, waarbij het leert van zijn fouten. Dit is waar de AI faliekant faalt.

4. De Resultaten: Een Enorme Kloof

Het paper vergeleek de AI met mensen en vond een enorme kloof:

Mensen: Wanneer mensen deze taak kregen, herstelden zij de kamers ongeveer 91% van de tijd. Het was makkelijk voor hen omdat ze de ruimte kunnen visualiseren en onthouden wat ze net hebben gedaan.
Top AI-modellen: De beste AI-modellen herstelden de kamers slechts ongeveer 20% van de tijd.
De "Negatieve" Score: Sommige AI-modellen maakten de kamers zelfs slechter dan ze begonnen. Ze probeerden een botsing te verhelpen, maar creëerden per ongeluk een nieuwe botsing.

5. Waarom Faalt de AI?

Het paper identificeert een paar belangrijke redenen, met behulp van handige metaforen:

Het "Amnesie"-effect: De AI is geweldig in het bekijken van een snapshot, maar zodien het een actie onderneemt, lijkt het de grip op de nieuwe realiteit te verliezen. Het vergeet dat de muur is verschoven, waardoor het er steeds tegenaan blijft botsen.
De "Diagnose"-fout: Soms weet de AI zelfs niet wat er mis is. Het kan denken dat een gebouw scheef staat terwijl het eigenlijk recht is, of een botsing volledig missen.
De "Actie"-fout: Zelfs als de AI weet wat er mis is, geeft het het verkeerde commando. Het kan zeggen "Roteer 90 graden" terwijl het eigenlijk had moeten zeggen "Verplaats 1 meter".
Complexiteitsoverbelasting: Als de kamer te veel fouten tegelijk heeft, raakt de AI overweldigd. Het is alsof je een knoop probeert te ontwarren met tien verschillende touwtjes; je trekt aan één, en drie andere worden strakker.

6. De Conclusie

Het paper concludeert dat hoewel AI beter wordt in het "zien" en "praten" over ruimte, het nog steeds verschrikkelijk is in het handelen in de ruimte.

Huidige Status: AI is als een toerist die een stad perfect kan beschrijven, maar verdwaalt zodra hij probeert een straat af te lopen.
De Kloof: Er is een enorme "redenering-naar-actie"-kloof. Het feit dat een AI een wiskundeprobleem over een kamer kan oplossen, betekent niet dat het ook daadwerkelijk de meubels in die kamer kan herschikken.

Kortom: We hebben AI gebouwd die een geweldige waarnemer is, maar we hebben nog geen AI gebouwd die een betrouwbare doener is. Totdat we dit "geheugen- en actieprobleem" oplossen, zullen deze robots niet klaar zijn om ons te helpen bij het organiseren van onze echte 3D-ruimtes.

Technische Samenvatting: SpatialAct

Probleemstelling

Hoewel Vision-Language Models (VLM's) veelbelovende capaciteiten hebben getoond in passieve ruimtelijke perceptie en redeneren (bijv. het beantwoorden van vragen over statische afbeeldingen), blijft er een kritieke kloof bestaan in hun vermogen om ruimtelijk redeneren te vertalen naar betrouwbare, iteratieve acties binnen dynamische 3D-omgevingen. Bestaande benchmarks evalueren modellen grotendeels als waarnemers, waarbij de output van het model de omgeving die het vervolgens moet redeneren over, niet verandert. Daarentegen confunderen embodied benchmarks vaak hoogwaardig ruimtelijk redeneren met laagwaardige controle (navigatie, manipulatie), wat het moeilijk maakt om ruimtelijke intelligentie te isoleren.

Het kernprobleem dat wordt geadresseerd is actie-geconditioneerd ruimtelijk redeneren: het vermogen van een agent om niet alleen de huidige ruimtelijke staat te begrijpen, maar ook om te redeneren over hoe de eigen acties die staat veranderen, de resulterende transities te observeren en een coherente ruimtelijke overtuiging te behouden over meerdere beurten van interactie. Huidige VLM's worstelen met het overbruggen van de kloof tussen geïsoleerde redeneertaken en stabiele, langdurige ruimtelijke verfijning in 3D-scènes.

Methodologie: SpatialAct Benchmark

Om deze kloof te adresseren, introduceren de auteurs SpatialAct, een op een simulator gebaseerde benchmark die is ontworpen om de redenerings-naar-actie capaciteiten van VLM-agents te onderzoeken. De benchmark is gebouwd op een hiërarchisch diagnostisch kader en een controleerbare 3D-simulatieomgeving.

1. Constructie van de Benchmark

Scenario's: SpatialAct dekt drie verschillende 3D-layouttypen:
- Abstract Geometrisch: Procedureel gegenereerde scènes met 5–7 geometrische primitieven (kubussen, cilinders, L-vormen, etc.).
- Urbane Architectuur: Afgeleid van RAISECity, bestaande uit gemengde urbane scènes met tot 20 gebouwen.
- Indoor Scène: Gebouwd vanuit InternScenes, bevattende 5–15 verplaatsbare meubelobjecten in diverse binnenomgevingen.
Datagrootte: De benchmark bestaat uit 333 scènes en 4.355 QA-paren.
Visuele Input: Elke scène wordt gerenderd vanuit twee perspectieven: Top-view (bovenaanzicht) en Isometric-view (isometrisch aanzicht), die complementaire ruimtelijke informatie bieden.
Foutinjectie: Om de verfijningscapaciteiten te testen, injecteert het systeem procedureel ruimtelijke fouten in schone scènes, inclusclusief botsingen, grensovertredingen (muur/weg-conflicten) en oriëntatiefouten.

2. Hiërarchisch Taakontwerp

SpatialAct evalueert agents via drie niveaus van toenemende complexiteit:

Niveau 1: Basale Ruimtelijke Vermogens: Vijf fundamentele taken aangepast van psychometrische theorieën om onderliggende ruimtelijke cognitie te diagnosticeren:
1. Object Betekenis: Tellen, identificatie, positie en afstand.
2. Ruimtelijke Relatie: Richting, relaties en zijden tellen.
3. Ruimtelijke Oriëntatie: View consistentie en rotatie.
4. Mentale Rotatie: Object-gecentreerde en scène-gecentreerde rotatie.
5. Ruimtelijke Visualisatie: Voorspellen van de uitkomsten van bewegingen, wisselingen en botsingen.
Niveau 2: Enkelvoudige Foutdetectie en Correctie: Modellen moeten een specifieke ruimtelijke fout in een scène identificeren en een enkele corrigerende actie voorstellen (Move, Rotate, of Scale).
Niveau 3: Multi-turn Interactieve Verfijning (De Kerntaak): Modellen gaan een gesloten interactie aan met een simulator.
- Workflow: Het model ontvangt top/isometrische views van een foutieve scène, identificeert fouten en geeft hoogwaardige semantische commando's uit (bijv. Move(Object_2, North, 0.7)).
- Executie: Een simulator parseert en voert deze commando's uit, en rendert bijgewerkte views.
- Iteratie: Het model ontvangt de nieuwe views samen met de actiegeschiedenis en herhaalt het proces totdat de scène foutloos is of een maximum aantal beurten (30) is bereikt.

3. Evaluatiemetrieken

De benchmark gebruikt een reeks metrieken om zowel nauwkeurigheid als efficiëntie te beoordelen:

Repair Rate (Herstelpercentage): Het aandeel verminderde fouten ( $E_{voor} - E_{na} / E_{voor}$ ).
Scene Success Rate (Scène Succespercentage): Het aandeel scènes waar alle fouten volledig zijn opgelost.
Effective Repair Turn Ratio (Effectieve Herstelbeurt Ratio): De frequentie van beurten die succesvol het aantal fouten verminderen.
Premature Stop Rate (Voortijdige Stop Ratio): De frequentie van stoppen terwijl er nog fouten aanwezig zijn.
Token Cost (Token Kosten): Gemiddeld aantal voltooide tokens per scène.

Belangrijkste Bijdragen

Formalisering van Actie-geconditioneerd Redeneren: Het artikel definieert een nieuwe evaluatie-as voor VLM-agents waarbij hoogwaardige, door een simulator uitvoerbare acties direct de 3D-omgevingsstaat veranderen, wat vereist dat het model redeneert over dynamische staatstransities.
De SpatialAct Benchmark: Een uitgebreide, op een simulator gebaseerde dataset met 333 scènes en 4.355 QA-paren, hiërarchisch georganiseerd om falen te diagnosticeren van basisperceptie tot complexe multi-turn verfijning.
Systematische Evaluatie en Gap-analyse: Een rigoureuze evaluatie van leidende propriëtaire en open-source VLM's onthult een significante "redenering-naar-actie kloof", wat een diagnostisch kader biedt voor toekomstige agentontwikkeling.

Experimentele Resultaten

De auteurs evalueerden 7 state-of-the-art VLM's (waaronder GPT-5.4, Gemini-3.1 Pro, GLM-5V-Turbo, Kimi-K2.5, en Qwen3.6 varianten) en menselijke participanten.

Redenering-naar-actie Kloof: Terwijl modellen goed presteren op geïsoleerde ruimtelijke taken (met ~80% nauwkeurigheid in basiscategorieën), daalt hun prestatie drastisch in multi-turn verfijning.
- Menselijke Baseline: Mensen bereikten een 0.911 Repair Rate en een 0.763 Scene Success Rate.
- Beste VLM (Gemini-3.1 Pro): Bereikte slechts een 0.411 Repair Rate en een 0.206 Scene Success Rate.
- Andere Modellen: Veel open-source modellen en GLM-5V-Turbo behaalden Repair Rates nabij nul of negatief, wat aangeeft dat ze vaak faalden om fouten te corrigeren of nieuwe fouten introduceerden.
Foutmodi: Analyse (Figuur 4) laat zien dat modellen falen door twee gekoppelde problemen:
1. Diagnosefouten: Het onjuist identificeren of er een ruimtelijke overtreding bestaat.
2. Redenering-naar-actie Fouten: Zelfs met een correcte diagnose, het uitgeven van onjuiste corrigerende acties (bijv. een object in de verkeerde richting of met de verkeerde magnitude bewegen).
Context en Complexiteit:
- Context Window: Het vergroten van de context window grootte leidde tot meer verbale redeneringen en interactiebeurten, maar verbeterde de Repair Rates niet, wat suggereert dat de bottleneck in de kwaliteit van cross-turn controle ligt in plaats van in het tokenbudget.
- Scène Complexiteit: Prestaties degradeerden naarmate het aantal initiële fouten toenam, wat wijst op moeilijkheden bij het bijhouden van meerdere gekoppelde fouten.
- Fouttypen: Oriëntatiefouten waren het makkelijkst te corrigeren, terwijl conflictfouten (botsingen, muur/weg-overtredingen) het meest uitdagend waren, wat duidt op een zwakte in constraint-bewuste planning.

Betekenis en Claims

Het artikel claimt dat SpatialAct een fundamentele beperking blootlegt in huidige VLM-agents: het onvermogen om coherente ruimtelijke overtuigingen te behouden en betrouwbare acties te produceren onder actie-geïnduceerde veranderingen in de omgeving.

Kernbottleneck: De primaire oorzaak van falen is niet perceptie of basisredeneren, maar cross-turn staat-onderhoud, constraint-bewuste planning, en stabiele redenering-naar-actie executie.
Implicaties: De resultaten suggereren dat huidige VLM's niet de robuustheid bezitten die vereist is voor real-world agentische taken waarbij de omgeving verandert als reactie op de acties van de agent.
Toekomstige Richting: De auteurs positioneren SpatialAct als een actiegericht diagnostisch kader om de ontwikkeling van VLM-agents met sterkere ruimtelijke staat-tracking en coördinatie over feedbackloops te sturen. De benchmark, de simulator workflow en de toolkit worden open-source beschikbaar gesteld om dit onderzoek te ondersteunen.

Het artikel sluit bescheiden af met de opmerking dat hoewel propriëtaire modellen bemoedigende vooruitgang tonen, alle huidige systemen ver achterblijven bij de menselijke betrouwbaarheid in iteratieve ruimtelijke correctie, en dat de kloof een significante uitdaging blijft voor het vakgebied.