Technische Samenvatting: Imaginative Perception Tokens Verbeteren Ruimtelijk Redeneren in Multimodale Taalmodellen

1. Probleemstelling

Vision-Language Models (VLM's) blinken momenteel uit in het herkennen van objecten en attributen, maar worstelen aanzienlijk met ruimtelijk redeneren, met name wanneer de benodigde informatie niet direct waarneembaar is in de input. Veel ruimtelijke taken vereisen imaginatieve perceptie: het simuleren van ongeziene gezichtspunten, het traceren van trajecten door geblokkeerde ruimtes, of het integreren van gedeeltelijke aanzichten in een coherente ruimtelijke kaart.

Bestaande benaderingen proberen deze kloof te overbruggen met behulp van intermediaire visuele representaties (bijv. visuele gedachten, dieptekaarten of bounding box-tokens). Deze methoden verfijnen echter primair structuren die al zichtbaar zijn in de input of extraheren perceptuele attributen. Ze pakken het kernprobleem niet aan van het construeren van ruimtelijke representaties die niet direct worden waargenomen, wat vaak het voorspellen van ontbrekende ruimtelijke structuren vereist die door bewijslast worden gesuggereerd, in plaats van simpelweg te beschrijven wat er te zien is. Bovendien leidt het dwingen van ruimtelijke berekeningen via tekstuele chain-of-thought (CoT) vaak tot een mismatch in modaliteit, aangezien het serialiseren van geometrische beperkingen en gezichtspunttransformaties naar taal foutgevoelig en inefficiënt is.

2. Methodologie

2.1. Kernconcept: Imaginative Perception Tokens (IPT)

De auteurs stellen Imaginative Perception Tokens (IPT) voor, een vorm van intermediaire perceptuele representatie die externaliseert wat een VLM zou waarnemen onder een alternatieve ruimtelijke configuratie, terwijl het consistent blijft met de geobserveerde input. In tegen tegenstelling tot standaard intermediaire vormen die zichtbare structuren beschrijven, representeren IPT's nieuwe ruimtelijke weergaven (bijv. een weergave vanuit een nieuw coördinaat of een bovenaanzicht dat meerdere aanzichten integreert) die moeten worden afgeleid.

2.2. Taken en Datasets

Om deze capaciteit te bestuderen, formuleren de auteurs drie taken die imaginatieve perceptie vereisen, waarbij datasets van ongeveer 20.000 voorbeelden per stuk zijn geconstrueerd, variërend van gesimuleerde (AI2-THOR, Habitat) tot real-world omgevingen:

1. Perspective Taking (PET): Gegeven een eerste-persoonsperspectief en een doelpositie, voorspel de scène vanuit het nieuwe gezichtspunt (bijv. "Na het bewegen naar 'X' en naar links draaien, zit het object aan je linker- of rechterkant?"). De grondwaarheid is een nieuw gezichtspunt beeld.
2. Path Tracing (PT): Gegeven een bovenaanzicht (top-down map) en voorwaartse aanzichten bij tussenpunten, identificeer objecten die zichtbaar zijn op een middelpunt langs een pad. De grondwaarheid is een zij-aanzicht beeld (first-person rendering vanaf het middelpunt).
3. Multiview Counting (MVC): Gegeven meerdere eerste-persoonsframes, bepaal het totale aantal van een specifiek object door aanzichten te integreren om occlusies en duplicaten op te lossen. De grondwaarheid is een top-down Bird's-Eye View (BEV) kaart.

Elke dataset bevat gekoppelde grondwaarheid-imaginaties en definitieve antwoorden, vergezeld van door mensen gefilterde evaluatiebenchmarks.

2.3. Modelarchitectuur en Training

De auteurs maken gebruik van BAGEL, een unificerende decoder-only transformer die van nature ondersteuning biedt voor geïntegreerd multimodale begrip en generatie.

• Architectuur: BAGEL maakt gebruik van een Mixture-of-Transformer-Experts (MoT) ontwerp met aparte experts voor begrip (SigLIP2 ViT tokens) en generatie (FLUX VAE latent tokens).
• Trainingsdoelstelling: Het model wordt getraind met een multi-task loss ($L_{total}$) bestaande uit:
  1. Flow-Matching Loss ($L_{fm}$): Het model leert het snelheidveld te voorspellen om Gaussische ruis te transformeren naar de doel-latente representatie van het ongeziene aanzicht (de IPT).
  2. Language Modeling Loss ($L_{lm}$): Het model minimaliseert de negatieve log-likelihood van de definitieve antwoord-tokens, geconditioneerd op de geobserveerde context en de grondwaarheid-imaginatieve tokens.
• Inference Modus:
  • Imagination Mode: Het model genereert het tussenliggende beeld, encodeert dit opnieuw en gebruikt het als context om het antwoord te voorspellen.
  • Answer-Only Mode: Het model voorspelt het antwoord direct zonder op de tijd van inference een beeld te genereren, vertrouwend op de geleerde interne representaties tijdens de training.

3. Belangrijkste Resultaten

3.1. Prestaties op Ruimtelijke Taken

Met gebruik van de BAGEL-backbone verbetert IPT-supervisie de ruimtelijke redenering aanzienlijk over alle drie de taken vergeleken met baselines:

• Multiview Counting (MVC): IPT verbetert de nauwkeurigheid met 3,4% ten opzichte van alleen label-training (67,3% vs. 63,9%) en presteert beter dan tekstuele CoT (62,3%).
• Perspective Taking (PET): IPT bereikt 96,8% nauwkeurigheid op in-domain AI2-THOR data, waarbij het concurreert met label-only (97,5% is het maximum, maar IPT is competitief) en aanzienlijk beter presteert dan tekstuele CoT (83,1%). Op out-of-domain (Habitat) data bereikt IPT 87,0%, waarmee het label-only (82,0%) verslaat.
• Path Tracing (PT): Gemengde training (IPT + label-only) levert de beste resultaten op, met 66,7% op synthetische data en 58,6% op real-world benchmarks, waarmee zowel label-only als tekstuele CoT wordt overtroffen.

3.2. Vergelijking met Tekstuele Chain-of-Thought

Het onderzoek stelt vast dat tekstuele CoT vaak schadelijk is voor deze taken. Bijvoorbeeld, op PET verlaagt CoT de prestaties naar 83,1% vergeleken met 96,8% voor IPT. De auteurs schrijven dit toe aan een modality mismatch: het dwingen van ruimtelijke berekeningen (verandering van gezichtspunt, occlusies) door taal introduceert ruis en concurreert met de capaciteit voor het voorspellen van antwoorden. In contrast hiermee representeren IPT's deze relaties direct in de visuele modaliteit.

3.3. Inference en Generalisatie

• Interne Representaties: Cruciaal is dat de prestatiewinsten ook aanhouden wanneer het model tijdens de inference geen beeld genereert (Answer-Only mode). Dit suggereert dat trainen met IPT-supervisie hels helpt bij het ontwikkelen van sterkere interne ruimtelijke representaties.
• Transfer Learning: Modellen getraind met IPT's vertonen verbeterde transfer naar externe benchmarks (bijv. SAT, MessyTable) en andere ruimtelijke taken (ScanNet, MindCube), wat aangeeft dat de geleerde ruimtelijke redenering verder generaliseert dan de specifieke token-doelen.
• Resolutie Ablatie: Hogere resolutie latente tokens (Latent-64, 1024x1024) produceren scherpere, meer ruimtelijk getrouwe imaginaties, wat correleert met hogere downstream nauwkeurigheid.

4. Betekenis en Claims

Het artikel claimt dat Imaginative Perception Tokens een principieel supervisiesignaal bieden voor redeneren over ongeziene structuren. De belangrijkste bijdragen en claims zijn:

1. Nieuwe Intermediaire Representatie: IPT's zijn verschillend van eerdere visuele intermediairen omdat ze ongeziene ruimtelijke configuraties voorspellen in plaats van zichtbare te verfijnen.
2. Modality Alignment: Het superviseren van modellen met intermediaire visuele voorspellingen is effectiever dan tekstuele CoT voor ruimtelijke taken, waardoor de bottlenecks van het serialiseren van geometrische beperkingen naar taal worden vermeden.
3. Generalisatie: Training met imaginatieve supervisie levert sterkere ruimtelijke generalisatie op en meer interpreteerbare intermediairen die uitgelijnd zijn met de onderliggende geometrie van de taak, zelfs zonder expliciete beeldgeneratie tijdens de inference.
4. Benchmarking: Het werk introduceert de eerste datasets die expliciet zijn ontworpen om visueel gegronde intermediaire ruimtelijke redenering te trainen en te evalueren, waarbij de "perspectiefkloof" en de noodzaak voor constructieve ruimtelijke imaginatie in VLM's worden benadrukt.

De auteurs concluderen dat hoewel huidige unificerende modellen vaak een afruil maken tussen de robuustheid van begrip en de generatiecapaciteit, het integreren van imaginatieve perceptie-supervisie modellen in staat stelt om prestaties te leveren die competitief zijn met sterke closed-source modellen op complexe ruimtelijke redeneringstaken.