Imagination Helps Visual Reasoning, But Not Yet in Latent Space

Probleemstelling

Multimodale Large Language Models (MLLMs) maken steeds vaker gebruik van Latente Visuele Redenering (LVR) om complexe visuele taken op te lossen. Bij deze aanpak probeert het model te "imagineren" (verbeelden) door door verborgen toestanden (latent tokens) in het model te redeneren, zonder deze expliciet te decoderen naar tekst of afbeeldingen. Het idee is dat dit een meer mensachtig, onbeperkt denkproces simuleert dan het gebruik van externe tools (zoals zoomen of tekenen).

Echter, ondanks de veelbelovende prestaties van LVR-methoden, blijft de onderliggende werkingsmechanisme onduidelijk. De auteurs stellen de vraag of deze latent tokens daadwerkelijk visuele informatie verwerken en causaal bijdragen aan het eindantwoord, of dat ze slechts een passieve rol spelen.

Methodologie

De auteurs hanteren een tweeledige aanpak: eerst een rigoureuze analyse van bestaande LVR-methoden, gevolgd door de ontwikkeling van een alternatieve methode.

1. Causale Mediatie Analyse van Latente Tokens

Om de effectiviteit van latent tokens te testen, modelleren de auteurs het redeneerproces als een causale keten: Input (X) → Latent Tokens (Z) → Antwoord (Y). Ze voeren twee soorten experimenten uit:

• Perturbatie van de Input (X): Ze veranderen de invoer (afbeeldingen/vragen) drastisch en meten de verandering in de latent tokens.
  • Resultaat: De latent tokens vertonen een Input-Latent Disconnectie. Zelfs bij drastische veranderingen in de input blijven de latent tokens opvallend gelijk (hoge cosine-ähnelijkheid), wat suggereert dat ze de input niet effectief verwerken.
• Perturbatie van de Latent Tokens (Z): Ze manipuleren de latent tokens direct (bijv. door ze te vervangen door ruis of een vaste tensor) en kijken naar het effect op het eindantwoord.
  • Resultaat: Er is een Latent-Antwoord Disconnectie. Drastische veranderingen in de latent tokens hebben een verwaarloosbaar effect op het eindantwoord.
• Probing Analyse: Ze testen of de latent tokens op zichzelf voldoende visuele semantiek bevatten om vragen te beantwoorden.
  • Resultaat: De tokens bevatten zeer beperkte visuele informatie en presteren slechter dan een "blind guess" (willekeurig gokken).

Conclusie van de analyse: Latent tokens zijn hoogst homogeen, niet gevoelig voor inputvariaties en hebben een zwakke causale invloed op het eindresultaat. Ze fungeren meer als "placeholders" dan als actieve dragers van visuele verbeelding.

2. CapImagine: Een Alternatieve Aanpak

Gebaseerd op de bevindingen dat expliciete verbeelding nodig is, stellen de auteurs CapImagine voor. In plaats van te redeneren in een verborgen ruimte, vertalen ze visuele manipulaties naar tekst.

• Data Constructie: Ze herschrijven het bestaande Monet-SFT-125K dataset. In plaats van tussenliggende afbeeldingen te genereren, laten ze een model (Qwen3-VL) tekstuele beschrijvingen (captions) genereren van wat er visueel gebeurt (bijv. "Ik teken een rechte lijn op de kaart om het gebied te markeren").
• Training: Het model wordt getraind om deze tekstuele beschrijvingen te gebruiken als een expliciete redeneerketen (Chain-of-Thought) om tot het antwoord te komen. Hierdoor wordt de visuele verbeelding "geforced" in de tekstuele ruimte, wat transparanter en causaler is.

Belangrijkste Bijdragen

1. Systematische Ontmaskering van LVR: De eerste studie die via causale mediatieanalyse aantoont dat latent tokens in huidige LVR-methoden (zoals Monet, LVR, Mirage) weinig bijdragen aan het daadwerkelijke redeneerproces. Ze zijn semantisch arm en causaal inefficiënt.
2. CapImagine: Een eenvoudige maar krachtige methode die visuele verbeelding realiseert via expliciete tekstuele beschrijvingen in plaats van verborgen toestanden.
3. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat tekstuele verbeelding superieur is aan latent ruimte redenering voor visuele taken.

Resultaten

De auteurs evalueren CapImagine op diverse visuele benchmarks en vergelijken het met state-of-the-art methoden (Monet, LVR, tool-based methoden zoals DeepEyes):

• Prestaties: CapImagine overtreft de latent-space baselines significant.
  • +4,0% verbetering op HR-Bench-8K.
  • +4,9% verbetering op MME-RealWorld-Lite.
  • +6,1% verbetering op TableVQA.
• Causaliteit: In tegenstelling tot latent tokens, vertonen de tekstuele "imaginatie"-tokens in CapImagine een sterke causale afhankelijkheid van de input en een direct effect op het eindantwoord. Perturbaties in de tekstuele verbeelding leiden tot een drastische daling in prestaties, wat bewijst dat ze essentieel zijn voor het redeneren.
• Efficiëntie: CapImagine is bijna twee keer zo snel als tool-gebaseerde methoden (zoals DeepEyes) en heeft een vergelijkbare inferentiesnelheid als Monet, ondanks het gebruik van langere tekstsequenties.

Betekenis en Conclusie

Het paper concludeert dat verbeelding essentieel is voor visueel redeneren, maar dat de huidige implementatie in latente ruimtes (hidden states) nog niet werkt. De "black box" van latent tokens faalt om visuele informatie effectief te coderen en te gebruiken.

De studie biedt een belangrijke richting voor de toekomst van MLLM-onderzoek:

• Het is beter om visuele verbeelding expliciet te maken via tekst (verbaaliseren van visuele stappen) dan om te proberen deze te verbergen in latent tokens.
• Dit leidt tot modellen die niet alleen beter presteren, maar ook interpreteerbaarder en causaal robuuster zijn.
• Het paper daagt de gemeenschap uit om te stoppen met het blindelings vertrouwen op latent tokens voor visuele redenering en te focussen op methoden die de visuele semantiek expliciet vastleggen.