Technische Samenvatting: Wat Houdt Latente Visuele Redenering Tegen?

Probleemstelling

Vision-Language Models (VLM's) hebben sterke prestaties geboekt op diverse visuele taken, maar blijven worstelen met scenario's die ruimtelijke en compositieve redenering vereisen, waarbij het oplossen van een probleem afhankelijk is van interne manipulatie van visuele representaties in plaats van puur tekstuele beschrijvingen. Om dit aan te pakken, hebben recente werken Latente Visuele Redenering geïntroduceerd, waarbij continue latente tokens worden gebruikt als tussenstappen van "imagination" om visuele Chain-of-Thought (CoT)-redenering te faciliteren.

Ondanks gerapporteerde prestatieverbeteringen blijft het onduidelijk wat deze latente representaties daadwerkelijk coderen en in welke mate ze causaal invloed hebben op modelvoorspellingen. Dit artikel onderzoekt of huidige VLM's werkelijk vertrouwen op latente tokens voor redenering of dat ze deze simpelweg omzeilen.

Methodologie

De auteurs onderzoeken de causale rol van latente tokens in vier recente kant-en-klare modellen voor latente visuele redenering: LVR, Monet, ILVR en LanteRn. De studie hanteert een veelzijdige aanpak:

1. Interventie-analyse (Causale Testen): De auteurs vervangen gegenereerde latente tokens ($\hat{z}$) door oninformatieve "dummy"-tokens ($z'$) tijdens inferentie. Interventies omvatten:

   • Willekeurig Subgebied: Injecteren van latenten afgeleid van niet-gerelateerde beelduitsneden.
   • Nullen/Ruis: Vervangen van latenten door constante waarden of Gaussische ruis.
   • Latenten Overslaan: Het volledig uitschakelen van het latente pad door direct na het starttoken het eindtoken in te voegen.
   • Orakel-conditionering: Het verstrekken van ground-truth orakel-latente tokens ($z^*$) afgeleid van tussenbeelden om te testen of het model kan gebruikmaken van hoogwaardige informatie indien beschikbaar.

2. Aanmaken van Diagnostische Dataset: Om de impact van trainingsdata te isoleren, construeerden de auteurs specifieke scenario's:

   • Gemaskerde Training: Het maskeren van relevante gebieden in het invoerbeeld zodat de taak alleen kan worden opgelost met informatie uit het tussenbeeld (en dus de latente tokens).
   • Tetris-achtige Rotaties: Een synthetische dataset die vereist dat het model een rotatie toegepast op een bronvorm toepast op een doelvorm. Hier vertegenwoordigen tussenbeelden niet-triviale transformaties (rotaties) in plaats van eenvoudige subgebieden.

3. Latente Ruimte-analyse: De auteurs analyseerden de verdeling van gegenereerde latenten versus orakel-latenten met behulp van cosine-afstandsmetingen, specifiek metend:

   • Retrieval-nauwkeurigheid: Hoe vaak een gegenereerde latent overeenkomt met de bijbehorende orakel-latent.
   • Voorkeur voor Ongerelateerde Zelfgegenereerde Tokens (USP): Of gegenereerde latenten dichter bij andere gegenereerde latenten liggen dan bij hun ground truth.
   • Temporele Collapse: De gelijkenis tussen opeenvolgende latente tokens in de tijd.

Belangrijkste Bijdragen en Resultaten

1. Het Latente Omzeilingsprobleem

De studie onthult dat huidige state-of-the-art modellen grotendeels latente tokens negeren bij het produceren van antwoorden.

• Resultaat: Het vervangen van gegenereerde latenten door oninformatieve dummy-tokens (ruis, nullen of willekeurige subgebieden) resulteerde in weinig tot geen daling in nauwkeurigheid voor alle vier de modellen op benchmarks zoals BLINK en V*Bench. In sommige gevallen verbeterde de prestatie zelfs licht.
• Orakel-beperking: Zelfs toen modellen tijdens inferentie werden geconditioneerd op hoogwaardige orakel-latenten (ground truth), verbeterde de nauwkeurigheid niet significant ten opzichte van standaard inferentie.
• Conclusie: De latente tokens spelen een minimaal causale rol in de uiteindelijke voorspelling. De modellen omzeilen het latente redeneringspad effectief.

2. Trainingsdata als Oorzaak

De auteurs identificeren de trainingsdata als de primaire drijvende kracht achter het omzeilingsprobleem.

• Observatie: In bestaande datasets (bijv. VisCoT, COMT) zijn tussenbeelden doorgaans uitgesneden subgebieden van het originele invoerbeeld. Aangezien de volledige informatie al aanwezig is in het invoerbeeld, bieden de latente tokens geen extra noodzakelijke informatie.
• Bewijs:
  • Pause-token Baseline: Een baseline-model getraind zonder latente tokens (met behulp van placeholder "pause"-tokens) behaalde dezelfde nauwkeurigheid (79%) als het model dat orakel-latenten gebruikte op standaarddata.
  • Gemaskerde Training: Wanneer het invoerbeeld werd gemaskerd om de oplossing te verbergen, waardoor afhankelijkheid van de latente tokens werd afgedwongen, daalde de nauwkeurigheid van het model aanzienlijk als latenten werden vervangen door ruis, maar bleef hoog met orakel-latenten.
  • Tetris-achtige Rotaties: In een taak die een niet-triviale transformatie (rotatie) vereiste die niet direct zichtbaar was in de invoer, leerden modellen getraind op deze data om te vertrouwen op latente tokens. Orakel-latenten leverden 86% nauwkeurigheid op, terwijl interventies de prestaties terugbrachten tot willekeurig niveau (~30%).
• Conclusie: Modellen vertrouwen alleen op latente tokens wanneer de tussenstappen niet-triviale, taakrelevante informatie bieden die niet eenvoudig uit de originele invoer kan worden herwonnen.

3. Collapse van Latente Representaties

Zelfs wanneer modellen in staat zijn om gebruik te maken van latente tokens, slagen ze er niet in om tijdens standaard inferentie hoogwaardige latenten te genereren.

• Observatie: Gegenereerde latente tokens ($\hat{z}$) vertonen extreem hoge gelijkenis met elkaar (cosine-afstand > 0,8–0,98) maar zijn relatief ongelijk aan hun bijbehorende orakel-representaties ($z^*$).
• Retrieval-fout: De modellen slagen er niet in om de juiste orakel-latent binnen de top-10 kandidaten te vinden (retrieval-nauwkeurigheid < 10% voor de meeste modellen).
• Temporele Collapse: Naarmate de redeneerketen vordert, collapse de voorspelde latenten naar een smalle, zeer gelijke regio van de latente ruimte, terwijl orakel-latenten diversiteit behouden.
• Conclusie: Huidige methoden lijden onder collapse van latente representaties, waarbij modellen generieke, laag-informatieve tokens genereren in plaats van diverse, discriminerende visuele abstracties.

Betekenis en Toekomstige Richtingen

Het artikel concludeert dat vooruitgang in latente visuele redenering momenteel wordt geblokkeerd door twee fundamentele problemen:

1. Datasetkwaliteit: Bestaande datasets stimuleren het gebruik van latente tokens niet omdat tussenstappen vaak redundant zijn met het invoerbeeld. Toekomstige datasets moeten tussenstappen bieden die scaffolding bieden voor taken waarbij de oplossing niet triviaal uit de ruwe invoer kan worden gehaald (bijv. geometrische transformaties).
2. Voorspellingsprecisie: Modellen worstelen met het voorspellen van diverse en accurate latente tokens, wat leidt tot representatie-collapse. Toekomstig werk moet zich richten op het verbeteren van de generatie van deze tokens om de kwaliteit van orakel-representaties te benaderen.

De auteurs benadrukken dat hoewel latente visuele redenering veelbelovend is voor ruimtelijke en compositieve taken, huidige implementaties grotendeels inefficiënt zijn door deze trainings- en generatiefouten. Zij leveren de code, modellen en diagnostische datasets (LanteRn) om verder onderzoek in deze richting te faciliteren.