Technische Samenvatting: LaViT – Het afstemmen van latente visuele gedachten voor multimodale redenering

1. Probleemstelling: De Perceptiekloof

Huidige multimodale grote taalmodellen (MLLM's) zijn geavanceerd in hun redeneervermogen, waarbij ze vaak gebruikmaken van expliciete chains of thought (CoT) of latente redeneerparadigma's. Echter, bestaande methoden voor het distilleren van visuele redeneervermogen van grote docentmodellen naar compacte studentmodellen lijden aan een kritieke beperking die door de auteurs wordt geïdentificeerd als de Perceptiekloof.

Empirische analyse laat zien dat standaard kennisdistillatiemethoden, die primair de uiteindelijke tekstuele outputs of statische verborgen toestanden afstemmen, er niet in slagen de intrinsieke visuele aandachtsdynamiek van de docent over te dragen. De auteurs observeren dat:

1. Tekstuele Mimicry zonder Visuele Gronding: Studentmodellen kunnen met succes de tekstuele antwoorden van een docent reproduceren (leren wat er gezegd moet worden), terwijl ze focussen op fundamenteel andere, vaak irrelevante visuele regio's (falen in het leren waar naar te kijken).
2. Afhankelijkheid van Taalprioriteiten: Wanneer de visuele aandacht niet is afgestemd, vertrouwen modellen op taalprioriteiten om antwoorden "blind te raden", wat leidt tot hallucinaties of onbetrouwbare reacties bij complexe visuele taken.
3. Ineffectiviteit van Statische Afstemming: Het afstemmen van statische visuele embeddings of uiteindelijke distributies is onvoldoende, omdat het de dynamische trajectorie van visuele aandacht negeert die vereist is voor fijnmazige redenering.

Het kernproblein is dat bestaande distillatieframeworks de student niet dwingen om de interne "visuele gedachten" (semantiek en blikpaden) van de docent te reconstrueren vóór het genereren van een reactie.

2. Methodologie: Het LaViT-framework

Om de Perceptiekloof te overbruggen, stellen de auteurs LaViT (Latent Visual Thoughts) voor, een distillatieframework dat ontworpen is om latente visuele gedachten af te stemmen in plaats van statische embeddings. De methodologie bestaat uit drie primaire componenten:

A. Dataconstructie: LaViT-SFT-15K

De auteurs hebben een hoogwaardige dataset van 14.567 monsters (LaViT-SFT-15K) samengesteld, afgeleid van de Visual-CoT dataset. De data ondergaat een rigoureuze driefasige filteringspipeline:

1. Correctheid: Monsters worden geverifieerd om te garanderen dat de redenering van de docent leidt tot het juiste antwoord.
2. Moeilijkheidsgraad: Monsters die uitsluitend met tekst oplosbaar zijn, worden verwijderd om te waarborgen dat er werkelijke multimodale redenering nodig is.
3. Afstemming: Monsters waarbij de geaggregeerde aandacht van de docent minder dan 20% binnen de grondwaarheids-bounding box valt, worden afgewezen om niet-visueel gegronde hallucinaties uit te sluiten.

De dataset bevat twee white-box signalen geëxtraheerd uit de docent (Qwen2.5-VL-32B):

• Dynamische Visuele Blik ($A_{traj}$): Het aandachtstraject geaggregeerd over lagen en koppen, dat representeert waar het model naar kijkt.
• Visuele Semantiek ($V_{sem}$): Gecontextualiseerde visuele gedachten afgeleid van de laatste transformer-laag van de docent, die representeren wat het model begrijpt over de visuele inhoud in reactie op de query.

B. White-box Trajectie-distillatie

LaViT introduceert een Latent Teacher Forcing mechanisme. In plaats van inputs direct naar tekst te mappen, wordt het studentmodel getraind om autoregressief een sequentie van $K$ continue latente tokens ($V$) te genereren voordat de tekstuele reactie wordt gegenereerd. Deze latente tokens fungeren als "Visual Information Containers" die de hoogdimensionale visuele semantiek en blikpatronen van de docent moeten comprimeren.

De optimalisatie omvat een duaal-stroom distillatieschema:

1. Semantische Reconstructie ($L_{concept}$): Stemt de latente verborgen toestanden van de student af met de holistische visuele concepten van de docent ($V_{sem}$) met behulp van cosinusovereenkomst.
2. Trajectie-afstemming ($L_{traj}$): Gebruikt de Kullback-Leibler (KL) divergentie om de aandachtskaart van de student af te stemmen op het aandachtstraject van de docent ($A_{traj}$). Cruciaal is dat deze supervisie alleen wordt toegepast op de laatste latente token, waardoor de voorgaande tokens worden gedwongen te fungeren als een compressie-bottleneck.

C. Curriculum Sensory Gating

Om "shortcut learning" te voorkomen, waarbij het model de latente bottleneck omzeilt door direct naar beeldpatches te kijken, introduceren de auteurs Curriculum Sensory Gating. Dit mechanisme moduleert het directe visuele perceptiepad via een tijdsafhankelijke scalar $\gamma(t)$:

• Fase 1 (Sensory Warm-up): Het directe visuele pad is sterk beperkt (bijna nul aandachtsbias), wat een strikte latente bottleneck creëert. Het model wordt wiskundig gedwongen om noodzakelijke visuele informatie te comprimeren in de latente tokens $V$.
• Fase 2 (Volledig Observeerbaar): De poort opent geleidelijk, waardoor het model pixels in detail kan observeren als een residuele verbinding, wat overeenkomt met de inferentie-topologie en distributieverschuivingen tussen training en inferentie voorkomt.

3. Belangrijkste Bijdragen

• Identificatie van de Perceptiekloof: Het artikel levert empirisch bewijs dat tekstuele afstemming in distillatie geen visueel begrip garandeert, waarbij een divergentie in aandachtstrajecten tussen docenten en studenten wordt aangetoond.
• Afstemming van Latente Visuele Gedachten: LaViT stelt een nieuw framework voor dat continue latente tokens afstemt die visuele semantiek en aandachtstrajecten representeren, in plaats van statische embeddings.
• Curriculum Sensory Gating: Een nieuwe trainingsstrategie die vroeg in de training een latente bottleneck afdwingt om shortcut learning te voorkomen, waardoor het model vertrouwt op geïnternaliseerde visuele redenering.
• Data-efficiëntie en Kwaliteit: De constructie van LaViT-SFT-15K, een rigoureus gefilterde dataset die een hoge getrouwheid in visuele gronding garandeert, wat aantoont dat latente redenering efficiënt schaalt met datadiversiteit.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op diverse benchmarks, waaronder fijnmazige perceptie (MMVP, V*), complexe redenering (BLINK) en robuustheid (MMStar).

• Prestatiewinst: Het LaViT-3B model behaalt significante verbeteringen ten opzichte van de Qwen2.5-VL-3B baseline, met winsten van +5,0% op MMVP en +16,9% op Relative Depth (BLINK).
• Cross-schaal Concurrentiekracht: Ondanks dat het een compact 3B model is, presteert LaViT beter dan grotere open-source varianten (bijv. Qwen2.5-VL-7B) op vijf van de zeven benchmarks en evenaart of overtreft het propriëtaire modellen zoals GPT-4o op specifieke taken (bijv. Relative Depth: 78,23% vs. 64,52%).
• Aandachtsdynamiek: Analyse toont aan dat LaViT de aandachtsentropie aanzienlijk vermindert, waardoor het model verschuift van een "diffuse" observatiemodus naar een "gefocuste" redeneringsmodus. Het bereikt ook een hogere stabiliteit (lagere variatiecoëfficiënt) dan het docentmodel door laag-betrouwbare aandachtruis weg te filteren via Top-N sparsificatie.
• Ablatie-studies: Het verwijderen van een kerncomponent (Trajectie-afstemming, Semantische Reconstructie of Curriculum Gating) leidt tot een significante prestatievermindering, wat de noodzaak van het volledige framework bevestigt.

5. Betekenis en Claims

Het artikel beweert dat het optimaliseren van latent denken een meer parameterefficiënte strategie is dan simpelweg de modelgrootte opschalen. Door de "visuele gedachten" (semantiek en blik) van een student expliciet af te stemmen met die van een docent, stelt LaViT compacte modellen in staat om redeneervermogen te bereiken dat vergelijkbaar is met veel grotere modellen en propriëtaire systemen.

De auteurs benadrukken dat hun aanpak het fundamentele probleem van "blind raden" in multimodale redenering aanpakt. Door het model te dwingen visueel bewijs te reconstrueren voordat tekst wordt gegenereerd, zorgt LaViT ervoor dat prestatiewinsten voortkomen uit echt visueel begrip in plaats van taalprioriteiten. Het werk suggereert dat toekomstige vooruitgang in MLLM's zich moet richten op de afstemming van interne cognitieve toestanden en aandachtsdynamiek in plaats van enkel op het afstemmen van outputdistributies.