Technische Samenvatting: SpatialWorld

Probleemstelling

Ruimtelijk redeneren is een fundamentele capaciteit voor Multimodale Large Language Models (MLLM's) om de fysieke wereld waar te nemen en erin te opereren. Bestaande benchmarks vertrouwen echter voornamelijk op passieve evaluatieparadigma's (bijv. statische Visual Question Answering of vooraf opgenomen video-begrip) of simulator-specifieke pipelines. Deze benaderingen slagen er niet in om algemeen interactief ruimtelijk begrip te beoordelen, omdat ze de dynamische, gedeeltelijk observeerbare aard van echte omgevingen niet vastleggen. In fysieke ruimtes kunnen agenten geen volledige informatie verkrijgen vanuit één enkel beeld; ze moeten actief navigeren om progressieve visuele bewijslast te verzamlen, ruimtelijke overtuigingen bij te werken en daaropvolgende acties te plannen. Bovendien koppelen bestaande embodied benchmarks agenten vaak aan specifieke simulators, sensor-aannames of laag-niveau actie-interfaces, wat het moeilijk maakt om algemeen ruimtelijk redeneren te onderscheiden van aanpassing aan de eigenaardigheden van een specifieke omgeving.

Methodologie

De auteurs introduceren SPATIALWORLD, een verenigde benchmark die ontworpen is om het interactieve ruimtelijke begrip van multimodale agenten te evalueren in complexe, real-world taken over heterogene 3D-omgevingen.

Kernontwerpprincipes

1. Pure Egocentrische Visie: Agenten opereren onder strikte visie-gebaseerde partiële observeerbaarheid. Ze ontvangen alleen eerste-persoons RGB-observaties zonder geprivilegieerde staatinformatie (bijv. dieptekaarten, globale bezettingsgrids of objectcoördinaten).
2. Cross-Platform Unificatie: De benchmark integreert acht heterogene simulatie-backends (AI2-THOR, ProcTHOR, VirtualHome, CARLA, EmbodiedCity en multi-agent varianten, plus lichtgewicht 3D-games) onder een gedeeld, simulator-agnostisch protocol.
3. Natieve MLLM Actie-interface: In plaats van laag-niveau motorische commando's, drukken agenten beslissingen uit via een verenigde, tekstgebaseerde actieruimte. Dit omvat hoog-niveau primitieven voor Navigatie (bijv. Move), Standpunt & Houding (bijv. Rotate), Interactie (bijv. Pick/Place), en Taakcontrole (bijv. EndTask). Dit stelt off-the-shelf MLLM's in staat om taken te deconstrueren via chain-of-thought redeneren zonder simulator-specifieke fine-tuning.
4. Executie-gebaseerde Verificatie: Succes wordt bepaald door terminal-state verifiers die controleren of de uiteindelijke omgevingsstaat aan het doel voldoet, in plaats van het matchen van een vooraf gedefinieerde actietraject. Dit faciliteert diverse redeneerpaden en open-ended exploratie.

Benchmark Constructie

• Schaal: De benchmark bestaat uit 760 door mensen geannoteerde taken verspreid over zes scenario-categorieën: Dagelijks Huishouden, Werk & Studie, Entertainment, Reizen, Sociale Samenwerking en Digitale Ruimtelijke Games.
• Complexiteit: Taken zijn gecategoriseerd op complexiteitsniveau: Navigatie (alleen beweging), Interactie (verandering in objectstaat) en Hybride (long-horizon navigatie + manipulatie).
• Pipeline: Een rigoureus drie-fasen constructieproces omvat taakontwerp, menselijke executie om referentietrajecten te generen, en cross-validatie door deskundige beoordelaars om haalbaarheid en instructie-helderheid te waarborgen.

Evaluatieprotocol

De evaluatie behandelt de taak als een Partially Observable Markov Decision Process (POMDP). De primaire metriek is de Task Success Rate (TSR), die het deel van de taken meet waarbij de finale doelstelling volledig is voldaan. Een secundaire metriek, Step Efficiency (SE), evalueert de ratio van het aantal stappen van de agent ten opzichte van een door mensen geannoteerde referentielengte, om efficiënte agenten te onderscheiden van agenten die vertrouwen op trial-and-error.

Belangrijkste Resultaten

De auteurs evalueerden 15 geavanceerde MLLM's (inclusief propriëtaire modellen zoals GPT-5, Gemini-3.1-Pro en open-source modellen zoals Qwen-3.5-397B-A17B) op de volledige benchmark.

• Lage Algehele Prestaties: Robuuste ruimtelijke taakoplossing blijft een aanzienlijke uitdaging. Het sterkste model, GPT-5, behaalde een gemiddelde TSR van slechts 17,4%, terwijl het leidende open-source model, Qwen-3.5-397B-A17B, 14,1% bereikte.
• Success-Efficiency Mismatch: Er is een duidelijke discrepantie tussen taaksucces en executie-efficiëntie. Modellen met hogere TSR's behalen niet noodzakelijkerwijs een hogere efficiëntie; sommige slagen alleen door redundante exploratie of taakspecifieke shortcuts.
• Domein-specifieke Variaties: Modelrangschikkingen variëren substantieel per domein:
  • GPT-5 leidt in taken binnen Dagelijks Huishouden, Reizen en Sociale Samenwerking.
  • Qwen-3.5-397B-A17B is gelijk aan GPT-5 in Werk & Studie en leidt in Fysiek Entertainment.
  • Gemini-3.1-Pro behaalt de hoogste scores in Digitale Games.
• Binnen vs. Buiten: Er bestaat een uitgesproken domeinverschuiving. GPT-5 en Qwen-3.5 leiden in binnenomgevingen (die fijnmazige object-grounding vereisen), terwijl Gemini-3-Flash en GPT-5 beter presteren in buitenomgevingen (die long-horizon navigatie vereisen).
• Complexiteit Bottlenecks: Hybride taken die long-horizon navigatie combineren met multi-step manipulatie zijn aantoonbaar moeilijker (gemiddelde TSR ~4,2%) dan pure interactietaken (gemiddelde TSR ~50,2%).

Betekenis en Claims

Het artikel positioneert SPATIALWORLD als een rigoureuze testomgeving die meerdere, scheidbare bottlenecks blootlegt in ruimtelijk redeneren, long-horizon planning en actie-executie, in plaats van de evaluatie te reduceren tot een enkele leaderboard score.

• Diagnostische Waarde: De benchmark onthult dat hoewel huidige modellen uitblinken in statische scène-perceptie, ze diep worstelen met dynamische fysieke omgevingen. De lage succesratio's en hoge variantie suggereren een fundamentele kloof in robuust interactief ruimtelijk redeneren.
• Paradigmaverschuiving: De auteurs zien SPATIALWORLD als een fundamenteel instrument om MLLM-onderzoek te verschuiven van passieve observatie naar de realisatie van algemene ruimtelijke agenten die in staat zijn tot naadloze interactie in de echte wereld.
• Beperkingen: De auteurs erkennen dat de benchmark opereert in gesimuleerde omgevingen in plaats van op fysieke robotplatforms en dat de huidige schaal (760 taken) bescheiden is vergeleken met automatisch gegenereerde datasets vanwege de strikte menselijke annotatie die nodig is voor kwaliteit en reproduceerbaarheid.

Samenvattend betogen de auteurs dat de evaluatie van ruimtelijk redeneren vereist dat men verder kijkt dan statische datasets naar verenigde, interactieve, visie-gebaseerde protocollen die de werkelijke beperkingen van interactie in de fysieke wereld weerspiegelen. SPATIALWORLD biedt de infrastructuur om deze capaciteiten systematisch te meten.