Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning

Titel: Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning (TRACE)

Auteurs: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu (Tsinghua University, Shanghai AI Laboratory, University of Tokyo).

---

1. Het Probleem

Bestaande Multimodale Grootte Taalmodellen (MLLM's) worstelen met 3D ruimtelijk redeneren, vooral bij het analyseren van video-invoer vanuit een egocentrisch perspectief (het perspectief van een waarnemer die zich door de ruimte beweegt).

• De Kernbeperking: MLLM's falen vaak omdat ze proberen direct te redeneren op pixelniveau of 2D visuele signalen. Ze bouwen geen gestructureerde abstracties van de 3D-omgeving op. In plaats daarvan vertrouwen ze op "shortcut" correlaties uit impliciete ruimtelijke aanwijzingen, wat leidt tot inconsistenties bij complexe vragen over lay-out, afstanden en relaties tussen objecten.
• Cognitieve Inzicht: Mensen gebruiken bij ruimtelijk redeneren vaak een allocentrische representatie (een wereldgeoriënteerd, objectief kaartje van de ruimte) in plaats van alleen te vertrouwen op hun eigen egocentrische perspectief. Ze bouwen mentaal een model van de ruimte op voordat ze antwoorden.

2. Methodologie: TRACE

De auteurs introduceren TRACE (Textual Representation of Allocentric Context from Egocentric Video). Dit is een prompting-methode die MLLM's aanmoedigt om een gestructureerde, tekstuele representatie van de 3D-omgeving te genereren als een tussenstap (intermediate reasoning trace) voordat het uiteindelijke antwoord wordt gegeven.

TRACE bestaat uit drie kerncomponenten die samen een gestructureerde tekstuele beschrijving vormen:

1. Meta-Context (Meta Context):

   • Definieert de globale coördinatenstelsel van de ruimte.
   • Omvat de ruimtetopologie (bijv. "rechthoekige slaapkamer").
   • Stelt de grid-oriëntatie vast (bijv. de Y-as is uitgelijnd met de langste muur of het hoofdpad).
   • Registreert de initiële richting van de camera ten opzichte van dit vaste grid.

2. Camera Trajectorie (Trajectory):

   • Reconstructie van het pad van de waarnemer als een discrete reeks stappen binnen het vastgestelde coördinatenstelsel.
   • Elke stap bevat: tijdstempel, geschatte positie $[x, y]$, kijkrichting (gebaseerd op de 8 hoofdwindstreken), en een actie-beschrijving.
   • Dit stelt het model in staat om navigatievragen te beantwoorden door het pad te traverseren in plaats van te vertrouwen op vluchtig visueel geheugen.

3. Entiteiten Register (Entity Registry):

   • Een gedetailleerde lijst van alle waargenomen objecten.
   • Voor elk object worden attributen geregistreerd: unieke ID, categorie, tijdstip van eerste waarneming, geschatte positie $[x, y]$ in meters, geschatte grootte, visuele signatuur (voor onderscheid tussen gelijkaardige objecten) en ruimtelijke relaties tot naburige objecten.
   • Dit voorkomt duplicatie en zorgt voor precieze lokalisatie.

Inferentieproces:
Het proces wordt geformaliseerd als een generatietask waarbij het model eerst de tekstuele representatie $G$ (TRACE) genereert op basis van de video $V$ en de vraag $Q$. Vervolgens gebruikt het model deze gegenereerde tekst $G$ samen met de video om het uiteindelijke antwoord $A$ te produceren. Dit fungeert als een gestructureerde "Chain-of-Thought" die de contextvenster vult met een "ruimtelijke cache".

3. Belangrijkste Bijdragen

• Nieuwe Prompting-strategie: TRACE is de eerste prompting-methode die specifiek is ontworpen om MLLM's te laten redeneren via een expliciete, tekstuele allocentrische representatie van 3D-ruimtes, zonder extra geometrische input of modelarchitectuurwijzigingen.
• Gestructureerde Representatie: In tegenstelling tot eerdere methoden zoals "Cognitive Maps" (die vaak een grof 10x10 rooster gebruiken) of simpele tekstbeschrijvingen, biedt TRACE een gedetailleerde, metrische en relationele weergave van de omgeving.
• Breed toepasbaar: De methode werkt met bestaande, kant-en-klare MLLM's (zowel gesloten bron zoals Gemini 3 Pro als open-source zoals Qwen en MiMo) en vereist geen kostbare gesuperviseerde fine-tuning met grote datasets.

4. Resultaten

De auteurs hebben TRACE getest op twee belangrijke benchmarks: VSI-Bench (video-based spatial reasoning) en OST-Bench (online spatio-temporal understanding).

• Prestatieverbetering: TRACE toonde aanzienlijke en consistente verbeteringen ten opzichte van bestaande prompting-strategieën (zoals Direct, Chain-of-Thought, Tree-of-Thoughts, en Cognitive Maps) over verschillende modelgroottes en -architecturen.
  • Op VSI-Bench behaalde TRACE verbeteringen van +7.54% (Gemini 3 Pro), +3.10% (Qwen2.5-VL-72B) en +1.63% (MiMo-VL-7B) ten opzichte van de beste baselines.
  • Op OST-Bench werd een verbetering van +1.2% (Gemini) en +2.4% (MiMo) geboekt.
• Vergelijking met andere methoden: TRACE presteerde significant beter dan de "Cognitive Map" methode (Yang et al., 2025b), vooral bij taken die fijne 3D-granulariteit vereisen (zoals het bepalen van de dichtstbijzijnde fysieke punt van een object).
• Ablatiestudies:
  • Het verwijderen van de trajectorie-informatie leidde tot een daling van ~1.9%, wat aantoont dat het camera-pad cruciaal is voor afstands- en volgorde-redenering.
  • Het verwijderen van het entiteitenregister leidde tot een daling van ~5.2%, wat aantoont dat gedetailleerde objectregistratie essentieel is voor object-gerelateerde taken.
• Token-efficiëntie: Op compactere modellen (zoals MiMo-VL-7B) was TRACE efficiënter in tokens dan complexe methoden zoals Tree-of-Thoughts, terwijl het toch betere resultaten leverde.

5. Betekenis en Impact

• Overbrugging van de Kloof: Het paper toont aan dat MLLM's niet per se meer parameters of complexe 3D-modules nodig hebben om ruimtelijk redeneren te verbeteren; ze hebben een betere intermediaire representatie nodig.
• Cognitieve Inspiratie: De methode valideert het idee dat het expliciet externaliseren van een ruimtelijk model (zoals mensen doen) de prestaties van AI-systemen aanzienlijk verbetert.
• Toekomstperspectief: TRACE biedt een eenvoudige, maar krachtige interface voor het bestuderen van gestructureerd ruimtelijk redeneren in bestaande modellen. Het opent de deur voor verdere onderzoek naar dynamische, streaming-achtige versies van deze representaties voor real-time agenten.

Kortom, dit paper bewijst dat het vertalen van visuele video-invoer naar een gestructureerde, tekstuele "wereldkaart" een game-changer is voor het vermogen van AI-modellen om de 3D-omgeving te begrijpen en er logisch over te redeneren.