🤖 AI

ViSRA: A Video-based Spatial Reasoning Agent for Multi-modal Large Language Models

Het artikel introduceert ViSRA, een trainingsvrij, mensgericht, op video gebaseerd agent dat expliciete ruimtelijke informatie uit expertmodellen benut om de 3D-ruimtelijke redeneercapaciteiten van multimodale grote taalmodellen aanzienlijk te verbeteren zonder dat er post-training of handmatige datasetcuratie vereist is.

Oorspronkelijke auteurs: Tingshu Mou, Jiabo He, Renying Wang, Ce Liu, Hao Yang, Tiehua Zhang, Jingjing Chen, Xingjun Ma

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tingshu Mou, Jiabo He, Renying Wang, Ce Liu, Hao Yang, Tiehua Zhang, Jingjing Chen, Xingjun Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen robotassistent hebt (een Multi-modal Large Language Model, of MLLM) die video's kan bekijken en vragen kan beantwoorden. Het is uitstekend in het beschrijven van wat het ziet ("Dat is een rode stoel") en wat er gebeurt ("De kat slaapt"). Maar als je het vraagt: "Is de stoel dichter bij de deur of bij de tv?" of "Als ik hier sta en naar het raam kijk, bevindt de lamp zich dan links of rechts van mij?", raakt het vaak in de war. Het worstelt met het opbouwen van een mentale 3D-kaart van de kamer, net als een persoon die probeert een donkere kamer te navigeren door alleen een lijst van objecten te onthouden zonder te weten hoe deze ten opzichte van elkaar zijn gepositioneerd.

De auteurs van dit artikel, ViSRA, betogen dat de gebruikelijke manier om dit op te lossen – het trainen van de robot op duizenden specifieke "ruimtelijke" vragen – vergelijkbaar is met het leren van een student om de antwoorden op een specifieke oefentoets uit het hoofd te leren. De student zou die toets misschien perfect halen, maar zou falen als je de indeling van de kamer lichtjes zou veranderen.

In plaats daarvan stellen ze een nieuwe aanpak voor: ViSRA (Video-based Spatial Reasoning Agent). Denk aan ViSRA niet als een nieuw brein, maar als een super-georganiseerd projectmanager voor de robot.

Het Probleem: De "Uitleerder" versus de "Begrijper"

Momenteel dwingen onderzoekers deze robots om beter te worden in 3D-ruimte door ze enorme datasets van ruimtelijke vragen te laten bestuderen. Dit is alsof je een student een handboek geeft vol met antwoorden op specifieke raadsels.

De Tekortkoming: De robot leert het antwoord te raden op basis van patronen in de trainingsdata, in plaats van de geometrie daadwerkelijk te begrijpen. Als je het een nieuwe kamer toont of een iets andere vraag stelt (zoals "Welk object is het verst?" in plaats van "het dichtst?"), faalt het vaak omdat het nooit het concept van afstand heeft geleerd, maar alleen de specifieke antwoorden die het heeft uit het hoofd geleerd.
Het Falen van de Cognitieve Kaart: De auteurs probeerden de robot een perfecte "cognitieve kaart" (een digitale blauwdruk van de kamer) te geven om het te helpen. Verbazingwekkend genoeg faalde de robot hiermee nog steeds. Het is alsof je iemand een perfecte kaart van een stad geeft, maar vraagt om erdoorheen te navigeren zonder te weten hoe je de kaart moet lezen; het gereedschap is er, maar de robot weet niet hoe het het moet gebruiken om te redeneren.

De Oplossing: De "Gereedschapsgebruikende Projectmanager"

ViSRA verandert het spel. In plaats van het brein van de robot opnieuw te trainen, geeft het de robot een gereedschapskist en een stap-voor-stap workflow.

Stel je voor dat de robot een detective is die probeert een mysterie over een kamer op te lossen. In plaats van te raden, vertelt ViSRA de detective:

Plannen: "Eerst moeten we vinden waar de objecten zich bevinden."
Uitvoeren: "Gebruik de 2D-detecteur (een cameragereedschap) om de stoel en de tv in de videoframes te vinden."
Uitvoeren: "Gebruik nu de 3D-detecteur (een meetgereedschap) om die platte afbeeldingen om te zetten in echte 3D-coördinaten."
Uitvoeren: "Gebruik de Rekenmachine om de afstand tussen de 3D-punten te meten."
Reflecteren: "Kregen we genoeg informatie? Ja. Is de stoel dichter? Ja."
Samenvatten: "Het antwoord is de stoel."

Dit proces gebeurt in real-time (tijdens inferentie) zonder dat de robot opnieuw getraind hoeft te worden. Het is alsof je een mens een rekenmachine en een liniaal geeft in plaats van hen te vragen de vermenigvuldigingstabel uit het hoofd te leren.

De Vier Rollen van de Agent

ViSRA breekt het denkproces op in vier distincte rollen, zoals een klein team dat samenwerkt:

De Planner: Kijkt naar de vraag en de beschikbare gereedschappen, en schrijft vervolgens een takenlijst (bijvoorbeeld: "Eerst detecteren, dan meten").
De Executor: Voert daadwerkelijk de gereedschappen uit (de detecteurs en rekenmachines) en verzamelt de ruwe data.
De Reflector: Controleert het werk. "Hebben we de tv gevonden? Hebben we de 3D-coördinaten? Moeten we naar meer frames kijken?" Als het antwoord nee is, vraagt het om meer data. Als ja, gaat het verder.
De Samenvatter: Neemt alle verzamelde feiten en schrijft het definitieve antwoord.

Waarom Dit Beter Werkt

Het artikel beweert dat deze aanpak twee grote superkrachten heeft:

Het is "Mens-gealigneerd": Het redeneert zoals mensen doen – door te kijken, te meten en te controleren – in plaats van alleen te raden op basis van trainingspatronen.
Het is "Toekomstbestendig": Omdat het aparte gereedschappen gebruikt, kun je als iemand morgen een betere 3D-detecteur bedenkt, gewoon het gereedschap verwisselen. Je hoeft de hele robot niet opnieuw te trainen. De robot wordt direct slimmer.

De Resultaten

Toen ze dit testten op verschillende benchmarks (standaardtests voor ruimtelijk redeneren):

Op bekende tests: Hielp ViSRA standaardrobots hun scores met maximaal 15,6% te verbeteren.
Op nieuwe, onbekende tests: Dit is de grote overwinning. Toen ze vragen stelden die de robots nog nooit hadden gezien (zoals het vinden van het verste object in plaats van het dichtstbijzijnde), verbeterde ViSRA de scores met maximaal 28,9%.
Vergelijking: Robots die "post-getraind" waren (antwoorden uit het hoofd leerden) deden het goed op oude tests, maar faalden erbarmelijk op nieuwe. ViSRA daarentegen deed het op beide goed.

In het Korte Bestek

Het artikel betoogt dat we in plaats van te proberen een robot 3D-ruimte te laten "leren" door miljoenen voorbeelden uit het hoofd te leren (wat duur is en niet generaliseert), we de robot een modulaire gereedschapskist en een gestructureerd proces moeten geven om ruimtelijke problemen stap voor stap op te lossen. Het verandert een "gokspel" in een "meetspel", waardoor de robot veel betrouwbaarder wordt in de echte wereld.

Technische Samenvatting: ViSRA - Een op video gebaseerde agent voor ruimtelijk redeneren voor multimodale grote taalmodellen

Probleemstelling

Recente vooruitgang in multimodale grote taalmodellen (MLLM's) heeft indrukwekkende capaciteiten aangetoond bij het volgen van visuele instructies. Hun vermogen om echte 3D-gerichte ruimtelijke intelligentie te ontwikkelen – specifiek het vermogen om relatieve richtingen, afstanden en objectpermanentie te begrijpen in dynamische videoscènes – blijft echter beperkt. Huidige MLLM's worstelen vaak met robuust ruimtelijk redeneren, vooral wanneer ze geconfronteerd worden met out-of-distribution (OOD) scenario's of complexe 3D-relaties.

Bestaande oplossingen vertrouwen voornamelijk op post-training (bijvoorbeeld supervised fine-tuning, instruction tuning) op gecureerde ruimtelijke datasets. De auteurs identificeren twee kritieke gebreken in dit paradigma:

Hoge kosten en curatie: Post-training vereist enorme, handmatig gecureerde video-redeneringsdatasets en aanzienlijke rekenkracht.
Overfitting en gebrek aan generalisatie: Modellen die zijn getraind op specifieke benchmarks vertonen vaak "benchmark-specifieke overfitting", waarbij ze hoge scores behalen op gevestigde taken maar falen bij het generaliseren naar ongezane ruimtelijke vragen of real-world corner cases. Bovendien missen deze modellen vaak mens-gealigneerde redeneersignalen, wat betekent dat hun interne logica niet noodzakelijkerwijs weerspiegelt hoe mensen ruimte waarnemen en redeneren.

Daarnaast hebben de auteurs geobserveerd dat het verstrekken van expliciete cognitieve kaarten (ground-truth 2D/3D-indelingen) als invoer aan MLLM's vaak niet leidt tot verbeterde prestaties, en in sommige gevallen zelfs verslechtert. Dit suggereert dat huidige MLLM's moeite hebben om gestructureerde ruimtelijke representaties effectief te benutten zonder expliciete redeneermechanismen.

Methodologie: ViSRA

Om deze beperkingen aan te pakken, stellen de auteurs ViSRA (Video-based Spatial Reasoning Agent) voor, een training-vrij framework voor inferentietijd dat is ontworpen om het ruimtelijk redeneren van bestaande MLLM's te verbeteren. ViSRA fungeert als een mens-gealigneerde agent die dynamisch expertwaarnemingshulpmiddelen orchestreert om expliciete ruimtelijk-temporele bewijzen te construeren.

1. Set ruimtelijke hulpmiddelen

ViSRA integreert een modulaire set van zeven soorten hulpmiddelen die gebruikmaken van state-of-the-art domein-expertmodellen om 2D- en 3D-informatie te extraheren:

2D-objectdetectie: Identificeert object-boundingboxen in sleutelframes.
Cross-frame objecttracking: Koppelt objectinstanties over frames aan elkaar met behulp van uiterlijkssignalen (bijvoorbeeld SAM 2).
3D-objectdetectie: Mapt 2D-detecties af op 3D-punten en berekent 3D-centra met behulp van fundamentele geometrische modellen (bijvoorbeeld VGGT).
Scenemodellering: Reconstrueert scenegéometrie, inclusief schatting van het grondvlak via RANSAC, om een consistente coördinatenframe te vestigen (bijvoorbeeld Bird's-Eye-View).
Kennisopvraging: Haalt statistieken over object-/kamergrootte op uit een vooraf samengestelde database om schattingsopdrachten te ondersteunen.
Video/afbeeldingsquery: Laat de MLLM toe om direct de video te bevragen op semantische of metrische signalen die niet door gestructureerde hulpmiddelen worden vastgelegd.
Hulpmiddelen voor nut: Berekent afstanden, relatieve richtingen, hoogtes en obstructies op basis van de geëxtraheerde 3D-gegevens.

2. Multi-role agentframework

ViSRA hanteert een vier-rollen agentarchitectuur om deze hulpmiddelen te orchestreerden zonder hertraining van de MLLM:

Planner: Analyseert de gebruikersvraag en hulpmiddelschema's om een gestructureerd uitvoeringsplan te genereren (hulpmiddelselectie en volgorde).
Reflector: Bewaakt de uitvoeringsstatus, verifieert of de opgebouwde bewijzen voldoende zijn, en beslist of er doorgaan moet worden met het aanroepen van hulpmiddelen of dat moet worden gestopt.
Executor: Roept de geselecteerde experthulpmiddelen aan op de video, verzamelt ruwe uitvoer en converteert deze naar expliciete observaties in natuurlijke taal.
Samenvatter: Integreert de volledige uitvoeringstrace en opgebouwde bewijzen om het uiteindelijke antwoord te synthetiseren, waarbij wordt gegarandeerd dat het redeneren is verankerd in de opgehaalde gegevens in plaats van latente modelpriors.

Dit framework werkt via een begrensd iteratief lus (Plan $\to$ Reflect $\to$ Execute $\to$ Reflect) totdat voldoende bewijzen zijn verzameld of een call-begroting is uitgeput.

Belangrijkste bijdragen

Empirische analyse van beperkingen: De auteurs tonen aan dat huidige MLLM's geen betrouwbaar 3D-begrip hebben en dat post-training-methoden vaak falen bij generalisatie naar OOD-ruimtelijke taken. Ze tonen ook aan dat het simpelweg aanvoeren van cognitieve kaarten aan MLLM's ontoereikend is.
ViSRA-framework: Introductie van een training-vrij, agent voor inferentietijd dat ruimtelijke intelligentie verbetert door dynamisch gebruik te maken van voortdurende vooruitgang in waarnemingsmodellen. Het construeert expliciete, mens-gealigneerde ruimtelijk-temporele bewijzen.
Generalisatie naar OOD-taken: ViSRA is ontworpen om uitbreidbaar en overdraagbaar te zijn, waarbij taak-specifieke overfitting wordt vermeden door te vertrouwen op modulaire hulpmiddelen in plaats van vaste datasetpatronen.

Experimentele resultaten

De auteurs hebben ViSRA geëvalueerd op VSI-Bench (een op video gebaseerde benchmark voor ruimtelijke intelligentie) en een nieuw opgebouwde VSI-Bench-Extra (met ongezane OOD-vraagtypen).

Prestaties op VSI-Bench: ViSRA verbeterde consequent de prestaties van verschillende basis-MLLM's (bijvoorbeeld Qwen2.5-VL, InternVL3). Bijvoorbeeld, Qwen2.5-VL-7B + ViSRA behaalde een gemiddelde nauwkeurigheid van 52,2%, wat 14,6% beter is dan het basismodel en concurreert met propriëtaire modellen en post-getrainde baselines.
Prestaties op OOD-taken (VSI-Bench-Extra): Op ongezane vraagtypen (bijvoorbeeld relatieve richting achteruit, objectobstructie) toonde ViSRA superieure generalisatie. Qwen2.5-VL-7B + ViSRA verbeterde met 28,9% ten opzichte van het basismodel, en presteerde aanzienlijk beter dan post-getrainde modellen, die vaak faalden op deze ongezane taken.
Cross-benchmark validatie: ViSRA toonde consistente winsten op andere benchmarks, waaronder ViewSpatial-Bench, OST-Bench en MMSI-Video-Bench, met verbeteringen tot 38,3% in specifieke categorieën.
Ablatiestudies: Experimenten bevestigden dat het verhogen van de framebemonstering (64 frames) en het gebruik van hoogwaardige detectie-/trackingmodellen (Rex-Omni, SAM 2) de prestaties aanzienlijk verbetert. Het framework toonde ook aan dat het gebruik van ground-truth detectieresultaten de nauwkeurigheid kan opdrijven tot 80,6%, wat wijst op potentieel voor verdere winsten met betere onderliggende hulpmiddelen.

Betekenis en claims

Het artikel beweert dat ViSRA een training-vrij alternatief biedt voor het rekenkracht-intensieve en data-hongerige post-training-paradigma. Door ruimtelijk redeneren te ontkoppelen van de interne gewichten van de MLLM en in plaats daarvan te vertrouwen op een modulair agentframework met expliciete hulpmiddelen, bereikt ViSRA:

Overdraagbaar 3D-begrip in plaats van taak-specifieke overfitting.
Mens-gealigneerd redeneren via expliciete tussenstappen (tracking, 3D-reconstructie, afstands berekening).
Eliminatie van de behoefte aan zware handmatige curatie van ruimtelijke redeneringsdatasets en post-training rekenkosten.

De auteurs concluderen dat ViSRA inspanningen op het gebied van 3D-ruimtelijk redeneren aanvult door een aanpak voor inferentietijd te bieden die zowel effectief is als aanpasbaar aan de continue verbeteringen van externe waarnemingsmodellen.