Technische Samenvatting: UniVLR

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker geacht om "met afbeeldingen te denken", met name in scenario's die zwaar zijn op perceptie, zoals het oplossen van meetkundige problemen en het begrijpen van hoge-resolutie visuele informatie. Huidige benaderingen voor visuele redenering vallen over het algemeen in twee categorieën, die beide beperkingen hebben:

1. Tool-gebaseerde visuele redenering: Deze methoden wisselen expliciete tekstuele Chain-of-Thought (CoT) af met extern gegenereerde hulpafbeeldingen (bijvoorbeeld uitsneden, schetsen). Hoewel effectief, lijdt dit paradigma onder de rigiditeit van vooraf gedefinieerde tools, latentie door externe oproepen en instabiliteit in gegenereerde afbeeldingen.
2. Bestaande visuele latente redenering: Om externe tools te vermijden, genereren recente methoden latente visuele tokens autoregressief. De meeste bestaande methoden adopteren echter nog steeds een geweven ontwerp, waarbij expliciete tekst CoT en latente visuele tokens elkaar afwisselen. De auteurs identificeren twee kritieke gebreken in dit ontwerp:
   • Inefficiëntie: Het geweven paradigma vereist nog steeds volledige expliciete tekstsegmenten tussen visuele latente stappen, waardoor de generatiekosten niet substantieel worden verlaagd ten opzichte van standaard tekstgebaseerde CoT.
   • Gefragmenteerde aandacht: Omdat tekst en latente tokens in heterogene vormen voorkomen, vertrouwen modellen vaak op nabijgelegen teksttokens en slagen ze er niet in om consistent aandacht te schenken aan eerdere hulpafbeeldingen. Analyse toont aan dat daaropvolgende CoT-tokens een verspreide en diffuse aandacht voor hulpafbeeldingen vertonen, wat betekent dat het visuele bewijsmateriaal niet volledig is geïntegreerd in het redeneerproces.

De kernvraag is of expliciete tekst CoT een apart redeneerkanaal moet blijven, of dat het kan worden gevisualiseerd en georganiseerd binnen een gedeelde perceptieve werkruimte naast hulpafbeeldingen.

Methodologie: UniVLR

De auteurs stellen UniVLR (Unified Visual Latent Reasoning) voor, een kader dat tekstuele redenering en visueel hulpbewijsmateriaal behandelt als een gedeelde visuele werkruimte. In plaats van tekst CoT te behouden als een onafhankelijk pad tijdens de inferentie, zet UniVLR redeneersporen en hulpafbeeldingen om in een verenigd visueel doek, comprimeert deze representatie tot compacte visuele latente tokens, en redeneert uitsluitend via deze latente tokens tijdens de inferentie.

1. Rendering van een verenigd visueel doek

UniVLR converteert heterogene redeneersporen naar een enkele visuele representatie met behulp van een renderfunctie $\Phi(\cdot)$:

• Constructie: Voor een trainingsinstantie met tekstuele redenering $R$ en hulpafbeeldingen $U, composeert de functie deze tot een verenigd doek $c = \Phi(R, U)$.
• Adaptieve rendering: Het systeem past lichtgewicht strategieën toe om compactheid en leesbaarheid te waarborgen. Tekst wordt gerenderd met adaptieve lettergroottes en tekstafbreking, terwijl hulpafbeeldingen worden herschaald en worden gemarkeerd met visuele aanwijzingen (bijvoorbeeld kaders, pijlen).
• Extractie van doelen: Het verenigde doek wordt verwerkt door de visuele encoder van het basis-MLLM om een 2D-kenmerkkaart te extraheren. Deze kaart wordt vervolgens adaptief gepoold (met behulp van aspectbewuste 2D-pooling) tot een vaste reeks latente doelen $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$.

2. Tweestaps latente uitlijning

Het model wordt getraind via een tweestapscurriculum om zijn interne toestanden uit te lijnen met deze verenigde visuele representaties:

• Fase I: Visuele latente grounding: Het model wordt getraind om autoregressief continue latente tokens te genereren met uitsluitend hulpvisuele afbeeldingen als uitlijningstargets. Dit vestigt een basiscontinu redeneerinterface tussen het MLLM en de visuele inbeddingsruimte.
• Fase II: Tekst-visie verenigde uitlijning: Het model wordt fijn afgestemd met behulp van de verenigde doekdoelen (die zowel gerenderde tekst als hulpafbeeldingen bevatten). Deze fase leert het model om expliciete redeneersporen en visueel bewijsmateriaal weer te geven via hetzelfde latente visuele kanaal.
• Doel: Het trainingsdoel combineert standaard taalmodellering (voor het uiteindelijke antwoord en controletokens) met een genormaliseerde regressieverlies ($L_{align}$) die voorspelde latente tokens uitlijnt met de target visuele inbeddingen. Het verlies omvat zowel MSE- als cosinusgelijkheidscomponenten.

3. Continue autoregressieve inferentie

Tijdens de inferentie worden de renderfunctie, de visuele encoder en de docenttargets verworpen. Het model werkt als volgt:

1. Ontvangt de originele multimodale prompt $(Q, I)$.
2. Zodra het token <|univlr_start|> wordt gegenereerd, schakelt het over naar latente redeneringsmodus.
3. Het genereert autoregressief $K$ continue visuele latente tokens, waarbij elke voorspelde token terug wordt gevoerd als invoer voor de volgende stap.
4. Zodra <|univlr_end|> wordt gegenereerd, schakelt het terug naar het discrete vocabulaire om het uiteindelijke natuurlijke taalantwoord te decoderen.
   Cruciaal is dat er geen expliciete tussenliggende tekst CoT wordt gegenereerd tijdens de redeneringsfase.

Belangrijkste bijdragen

1. Verenigd paradigma: UniVLR introduceert een paradigma waarbij tekstuele redenering en visueel hulpbewijsmateriaal worden verenigd in een enkel visueel latent kanaal, waardoor de noodzaak voor geweven tekst en latente tokens wordt geëlimineerd.
2. Efficiëntie: Door expliciete tekstgeneratie tijdens redenering te verwijderen, vermindert UniVLR het aantal gegenereerde tokens aanzienlijk, terwijl de redeneernauwkeurigheid wordt behouden of verbeterd.
3. Verbeterde aandacht: Het verenigde ontwerp induceert dichte en meer gefocuste aandacht voor hulpafbeeldingen in vergelijking met geweven ontwerpen, aangezien het model alle redeneerbewijsmateriaal via hetzelfde visuele pad verwerkt.
4. Tweestaps training: Het voorgestelde curriculum (grounding gevolgd door unificatie) stabiliseert het leren van continue latente redenering en voorkomt representatie-instorting.

Experimentele resultaten

Experimenten werden uitgevoerd op real-world perceptie- en redeneerbenchmarks (V*, HRBench4K/8K, MME-RealWorld-Lite) met Qwen2.5-VL-7B als basismodel.

• Prestaties: UniVLR presteert beter dan eerdere methoden voor visuele latente redenering (Monet, LVR, SkiLa, CoVT) en tekstuele redeneringsbaselines. Gemiddeld verbetert het de redeneernauwkeurigheid met 5,4% ten opzichte van de beste baselines.
• Efficiëntie: UniVLR bereikt deze winsten terwijl er aanzienlijk minder gegenereerde tokens worden gebruikt. Het vermindert het aantal gegenereerde redeneringstokens met 15,2× ten opzichte van geweven methoden (met slechts 12 latente tokens versus 190–270 teksttokens).
• Analyse van latente representatie:
  • Visuele grounding: De verdeling van de verborgen staten van UniVLR's latente tokens sluit nauwer aan bij afbeelding-tokenrepresentaties dan bij tekst-tokenrepresentaties, wat bevestigt dat het model een visueel geground kanaal gebruikt.
  • Informatie-inhoud: Perturbatie-analyse (nulstellen of ruis toevoegen aan latente toestanden) veroorzaakt aanzienlijke dalingen in nauwkeurigheid, wat bewijst dat de latente tokens taakrelevante redeneringsinformatie dragen en geen loutere placeholders zijn.
• Ablatiestudies:
  • Renderstrategie: Verticale lay-out rendering en adaptieve tekstafbreking bleken cruciaal voor het hanteren van complexe logica.
  • Datafiltering: Rigoureuze filtering van trainingsdata (het verwijderen van samples die zonder visuele redenering oplosbaar zijn of die met ruisachtige targets) was essentieel voor stabiele Fase II-training.
  • Docentforcering: Volledige latente docentforcering tijdens training leverde betere resultaten op dan geplande bemonstering, wat suggereert dat het stabiliseren van het latente manifold belangrijker is dan het verminderen van blootstellingsbias in deze continue setting.
• Generalisatie: UniVLR vertoont geen catastrofaal vergeten op algemene multimodale taken (TextVQA, POPE, MME-translation) en verbetert zelfs de prestaties op objecthallucinatie (POPE) en tekstrijke afbeeldingsbegrip (TextVQA).

Betekenis en claims

Het artikel beweert dat UniVLR visuele latente redenering naar voren duwt naar een meer verenigd en efficiënt paradigma voor multimodaal denken. Door aan te tonen dat expliciete tekst CoT kan worden opgenomen in een verenigd visueel latent kanaal, suggereert het werk dat MLLM's complexe, meerstaps redenering kunnen uitvoeren zonder de overhead van uitgebreide tekstgeneratie of externe tooloproepen.

De auteurs benadrukken dat hoewel de methode de efficiëntie en prestaties verbetert, het gepaard gaat met trade-offs: het latente redeneerproces is minder direct inspecteerbaar dan expliciete tekst CoT, wat het debuggen en auditeren mogelijk moeilijker maakt. Bovendien is de methode afhankelijk van de OCR- en lay-outbegripscapaciteiten van de visuele encoder. Het werk positioneert UniVLR niet als een vervanging voor tool-gebaseerde redenering bij taken die exacte metingen of exhaustieve zoekopdrachten vereisen, maar als een belangrijke stap naar het internaliseren van visuele deliberatie binnen een compacte, verenigde latente ruimte.