💻 computer science

How and What to Imagine? Visual Thinking in Unified Multimodal Models for Cross-View Spatial Reasoning

Dit artikel stelt "View Dropout" voor, een trainingsinterventie die geünificeerde multimodale modellen dwingt om tussenliggende denkbeelden te gebruiken voor ruimtelijke redenering vanuit verschillende perspectieven, en toont aan dat panoramisch visueel denken, gecombineerd met deze methode, superieure generalisatie buiten het domein bereikt door een evenwicht te vinden tussen leerbaarheid en informatieve waarde.

Oorspronkelijke auteurs: Qian Yang, Ankur Sikarwar, Huy Le, Le Zhang, Zhuan Shi, Perouz Taslakian, Aishwarya Agrawal

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qian Yang, Ankur Sikarwar, Huy Le, Le Zhang, Zhuan Shi, Perouz Taslakian, Aishwarya Agrawal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: "Praten" versus "Zien"

Stel je voor dat je een puzzel probeert op te lossen waarbij je twee foto's van een kamer hebt, genomen vanuit verschillende hoeken. Je moet iemand vertellen waar een specifieke stoel zich bevindt ten opzichte van een raam, zelfs als je beide niet in één foto kunt zien.

Huidige AI-modellen (zogenaamde Vision-Language Modellen) zijn uitstekend in het bekijken van een afbeelding en deze in woorden beschrijven. Maar als het gaat om deze "cross-view" puzzel, hebben ze moeite. Waarom? Omdat ze proberen het op te lossen door te praten over de geometrie in plaats van het te zien. Ze zetten de visuele puzzel om in een lijst met woorden (bijvoorbeeld: "De stoel staat links van de tafel"), en verliezen hierbij de fijnmazige ruimtelijke details die nodig zijn om het antwoord correct te krijgen.

Mensen daarentegen praten niet alleen; we bouwen mentaal een 3D-kaart in ons hoofd. We verbeelden ons dat we door de kamer lopen om het volledige plaatje te zien. Dit artikel vraagt zich af: Kunnen we AI leren om hetzelfde te doen?

De Voorgestelde Oplossing: "Denken in Afbeeldingen"

De onderzoekers probeerden een methode genaamd "Visueel Denken". In plaats van alleen een tekstantwoord te genereren, wordt de AI gedwongen om eerst een tussenliggende afbeelding te genereren – een "denk-afbeelding" – voordat het het definitieve antwoord geeft. Deze afbeelding fungeert als een mentale schets of een blauwdruk die de twee verschillende camerahoeken met elkaar verbindt.

Ze testten drie soorten van deze "denk-afbeeldingen":

Panoramisch: De twee beelden samenvoegen tot één breed, naadloos panorama.
Top-Down: Een "vogelperspectief"-kaart van de kamer maken (zoals een plattegrond).
Punt-Matching: Gekleurde stippen op de twee originele foto's tekenen om aan te geven welke objecten overeenkomen.

De Verrassing: De AI Hield Zich niet aan de Regels

Hier zit de adder onder het gras: toen ze dit voor het eerst probeerden, gebruikte de AI de denk-afbeelding eigenlijk niet. Het genereerde gewoon een mooi plaatje als neveneffect, en negeerde het vervolgens om het antwoord te geven op basis van de originele foto's. Het was alsof een student een diagram in zijn notitieboek tekent, maar het wiskundeprobleem oplost met een rekenmachine die hij verstopt in zijn broekzak. Het diagram was slechts decoratie.

De Oplossing: "View Dropout" (De Blinddoektruc)

Om de AI te dwingen daadwerkelijk zijn "denk-afbeelding" te gebruiken, bedachten de onderzoekers een trainingstruc genaamd View Dropout (VDrop).

De Analogie: Stel je voor dat je een student leert een stad te navigeren met behulp van een kaart.

Normale Training: Je toont ze de stad en de kaart. Ze kijken naar de stad, raden het antwoord en tekenen ook een kaart. Ze hebben de kaart niet nodig om te winnen.
View Dropout Training: Je bedekt de helft van de stad met een blinddoek. Nu kan de student de stad niet direct zien om de vraag te beantwoorden. Ze moeten kijken naar de kaart die ze net hebben getekend om uit te vinden waar de bestemming is.

In technische termen verbergen de onderzoekers tijdens de training een stukje van één van de invoerfoto's voor het deel van de AI dat het antwoord schrijft. De enige manier waarop de AI dat verborgen stukje kan zien, is via de "denk-afbeelding" die het heeft gegenereerd. Dit dwingt de AI om de denk-afbeelding te behandelen als een essentieel hulpmiddel, en niet slechts als decoratie.

De Resultaten: Wat Werkt Het Best?

Zodra ze de AI hadden gedwongen de denk-afbeelding te gebruiken, vergeleken ze de drie soorten opnieuw. Ze vonden een afweging tussen twee dingen:

Informativiteit: Hoeveel nieuwe ruimtelijke informatie biedt de afbeelding?
Leerbaarheid: Hoe makkelijk is het voor de AI om deze afbeelding correct te tekenen?

Top-Down (Vogelperspectief): Zeer informatief (geweldige lay-out), maar moeilijk voor de AI om perfect te tekenen. Vaak zaten de hoeken of objectgroottes er naast.
Punt-Matching: Makkelijk te tekenen, maar niet erg informatief. Het verbindt alleen punten zonder de volledige 3D-ruimte te tonen.
Panoramisch (De Winnaar): Dit was het gouden midden. Het was zeer informatief (het toonde de hele kamer in één beeld) en de AI kon leren om het zeer betrouwbaar te genereren.

De Conclusie

Door View Dropout te gebruiken om de AI te dwingen te vertrouwen op zijn eigen mentale schetsen, en door de Panoramische stijl voor die schetsen te kiezen, creëerden de onderzoekers een model dat veel beter is in ruimtelijk redeneren.

Opmerkelijk genoeg bereikten ze dit met slechts 8.000 trainingsvoorbeelden. Andere methoden probeerden dit op te lossen door de AI honderdduizenden voorbeelden te geven, maar ze slaagden er niet in om de AI te dwingen daadwerkelijk het visuele denken te gebruiken. Dit artikel bewijst dat het geheim niet alleen "meer data" is, maar de juiste trainingstruc om de "verbeelding" van de AI te laten tellen.

Technische Samenvatting: Hoe en Wat te Imagine? Visueel Denken in Gecombineerde Multimodale Modellen voor Ruimtelijke Redenering over Verschillende Weergaven

Probleemstelling

Ruimtelijke redenering over verschillende weergaven – het vermogen om de indeling van een scène, de plaatsing van objecten en de geometrie af te leiden uit afbeeldingen die vanuit verschillende gezichtspunten zijn genomen – blijft een aanzienlijke zwakte in Vision-Language Models (VLM's). Hoewel VLM's uitblinken in taken met één afbeelding, presteren ze bij taken over verschillende weergaven slechts marginaal beter dan toeval. De auteurs stellen dat dit voortkomt uit een representatief mismatch: redenering over verschillende weergaven is inherent visueel, maar VLM's redeneren doorgaans via taal, waarbij observaties worden verbaal gemaakt in tekstuele tussenstappen die de fijnmazige geometrie die voor de taak vereist is, weggooien.

Recente "denk-met-beeld"-benaderingen proberen deze kloof te overbruggen door tussentijdse visuele representaties te genereren (bijvoorbeeld 3D-reconstructies, dieptekaarten of voorspelde cameratrajecten). Eerdere studies geven echter aan dat het visuele bewijsmateriaal in deze gegenereerde sporen grotendeels wordt genegeerd door het antwoordpad van het model. Onder standaard supervised fine-tuning (SFT) genereren modellen plausibele denk-beelden, maar vertrouwen ze voor het antwoord op de originele invoerweergaven, waardoor het visuele denken een decoratief bijproduct wordt in plaats van een functioneel onderdeel van de redenering.

Methodologie

1. Gecombineerde Multimodale Modellen (UMM's)

De studie maakt gebruik van Gecombineerde Multimodale Modellen (specifiek BAGEL), die van nature ondersteuning bieden voor intermitterende generatie van afbeelding-tekst. Deze architectuur stelt het model in staat om een tussentijdse visuele representatie (het "denk-beeld") te genereren als onderdeel van de redeneerketen voordat een tekstueel antwoord wordt geproduceerd, wat end-to-end leren zonder externe tools mogelijk maakt.

2. View Dropout (VDrop)

Om het ondergebruik van visueel denken aan te pakken, stellen de auteurs View Dropout (VDrop) voor, een ingreep tijdens het trainen die is ontworpen om het model te dwingen te vertrouwen op het gegenereerde denk-beeld.

Mechanisme: Tijdens het trainen wordt een aaneengesloten gebied van één invoerweergave ( $V_1$ of $V_2$ ) gemaskeerd uit het aandachtsspectrum van de antwoordtokens. De tokens van het denk-beeld behouden echter volledige toegang tot de niet-gemaskeerde invoerweergaven.
Effect: Dit creëert een blokkering van een "shortcut". Omdat de antwoordtokens het gemaskeerde gebied van de invoerweergave niet kunnen zien, moeten ze hun ruimtelijke redenering routeren via het gegenereerde denk-beeld om de ontbrekende indelingsinformatie te herstellen.
Curriculum: Een warmup-fase stelt het model in staat om te leren het denk-beeld te genereren en te gebruiken met volledige zichtbaarheid van de invoer. De maskeringkans wordt vervolgens lineair afgebouwd naar 100%, zodat het model leert afhankelijk te worden van het denk-beeld voordat de invoerweergaven volledig worden verduisterd.

3. Strategieën voor Visueel Denken

De studie vergelijkt drie onderscheiden typen denk-beelden om te bepalen welke het meest effectief is, waarbij de keuze wordt gepresenteerd als een Leerbaarheid–Informativiteit (L–I) trade-off:

Panoramisch Beeld: Een groothoekweergave vanuit de houding van de waarnemer, die de twee weergaven verenigt in één enkel visueel veld.
Top-down Beeld: Een weergave vanuit een hoge hoek die de globale indeling en de zijkanten van objecten blootlegt.
Puntmatching: De twee invoerweergaven naast elkaar weergegeven met gekleurde markers die overeenkomstige objecten aangeven.

Informativiteit verwijst naar hoeveel ruimtelijke structuur de variant onthult. Leerbaarheid verwijst naar hoe betrouwbaar de UMM trouwe instanties van die variant uit data kan produceren.

4. Training en Evaluatie

Data: Training vond plaats op 8.000 synthetische samples van Infinigen Indoors, met vier soorten vragen over verschillende weergaven: Anker, Tellen, Relatieve Afstand en Relatieve Richting.
Benchmarks: De evaluatie omvatte één in-domein (ID) benchmark (COSMIC) en vijf real-world out-of-domein (OOD) benchmarks (MMSI-Bench, MindCube, OmniSpatial, STARE-Perspective, BLINK-MultiView).
Causale Verificatie: Een "genereer-then-blind"-sonde werd gebruikt bij inferentie. Het model genereert het denk-beeld, maar de aandacht van het antwoordsegment voor het denk-beeld wordt gemaskeerd. Een daling in nauwkeurigheid geeft aan dat het denk-beeld causaal draagend was.

Belangrijkste Resultaten

1. VDrop Maakt Visueel Denken Causaal

Draagend: Zonder VDrop heeft het maskeren van het gegenereerde denk-beeld bij inferentie nauwelijks invloed op de nauwkeurigheid. Met VDrop veroorzaakt het blindstellen van het denk-beeld aanzienlijke dalingen in nauwkeurigheid (bijvoorbeeld +12,8% daling op BLINK), wat bevestigt dat het model echt vertrouwt op het visuele tussengedeelte.
Aandachtverschuiving: Aandachtsanalyse toont aan dat VDrop het aandeel aandacht van de antwoordtokens op het denk-beeld verhoogt van ongeveer 55% (vanilla) naar ongeveer 65%, met name in de vroege en midden-decoderlagen.

2. De Leerbaarheid–Informativiteit Trade-off

Panoramisch: Bereikt de beste balans. Het is zeer informatief (het blootlegt de gezamenlijke scène direct) en zeer leerbaar (het model genereert trouwe weergaven). Het bereikt de hoogste OOD-generalisatie.
Top-down: Zeer informatief maar slechts gedeeltelijk leerbaar. Het model heeft moeite om het onzichtbare gezichtspunt te synthetiseren met perfecte geometrische trouw, wat leidt tot gemengde resultaten.
Puntmatching: Beperkt door lage informativiteit (het creëert geen nieuw gezichtspunt) en matige leerbaarheid (precieze plaatsing van markers is moeilijk). Het levert de kleinste winsten op.

3. Prestatiewinsten

Efficiëntie: De beste configuratie (Panoramisch + VDrop), getraind op slechts 8K samples, bereikt een gemiddelde OOD-nauwkeurigheid van 40,0%.
Vergelijking: Dit presteert beter dan:
- Vanilla BAGEL (33,3%).
- Sterke algemene VLM's zoals Qwen3-VL-8B (37,0%).
- Eerdere visueel-denkmethode getraind op aanzienlijk meer data: ThinkMorph (24K samples, 37,2%) en BAGEL-Zebra-CoT (182K samples, 26,8%).
Niet-visuele Baselines: Visueel denken met VDrop presteert aanzienlijk beter dan niet-visuele baselines (No-Think en Tekst Chain-of-Thought), waarbij Text CoT zelfs slechter presteert dan direct antwoorden, waarschijnlijk vanwege inconsistente tekstuele supervisie.

Betekenis en Claims

Het artikel stelt dat de primaire bottleneck voor visueel denken in UMM's niet de dataschaal is, maar het trainingssignaal.

Ondergebruik is een Falingsmodus: De auteurs identificeren dat standaard SFT leidt tot "decoratief" visueel denken waarbij het model zijn eigen gegenereerde afbeeldingen negeert.
VDrop als Oplossing: View Dropout is een eenvoudige, architectuur-onafhankelijke ingreep die het denk-beeld dwingt een causaal draagend onderdeel van de redenering te worden.
Representatie Maakt Uit: Zodra het model gedwongen wordt het beeld te gebruiken, wordt de keuze van representatie cruciaal. De studie stelt vast dat panoramisch visueel denken de superieure strategie is omdat het tegelijkertijd informatief en leerbaar is, terwijl andere strategieën falen op een of beide assen van de L–I trade-off.
Data-efficiëntie: De resultaten suggereren dat met de juiste trainingingreep (VDrop) en representatie (Panoramisch) hoogwaardige ruimtelijke redenering over verschillende weergaven kan worden bereikt met aanzienlijk minder data (8K samples) dan eerdere methoden vereisten.

Beperkingen

De auteurs merken op dat hun bevindingen zijn gevalideerd op één UMM-architectuur (BAGEL) en mogelijk niet overdragen naar andere architecturen zonder verder onderzoek. Bovendien dwingt VDrop het gebruik van het denk-beeld, maar verbetert het niet inherent de kwaliteit van het gegenereerde beeld; als het gegenereerde beeld van lage kwaliteit is, levert het dwingen van het model om erop te vertrouwen beperkte voordelen op. Toekomstig werk zou VDrop moeten combineren met supervisie die de kwaliteit van de gegenereerde denk-beelden zelf verbetert.