Do Vision Language Models Need to Process Image Tokens?

Probleemstelling

Vision Language Models (VLMs) hebben indrukwekkende prestaties geleverd door visuele encoders te integreren met grote taalmodellen (LLMs). In de standaard pipeline worden afbeeldingen opgedeeld in patches, verwerkt door een visuele encoder en vervolgens als een reeks "image tokens" doorgegeven aan de decoder van het taalmodel. Dit proces vindt plaats over de volledige diepte van de transformer-stack, wat aanzienlijke rekenkosten met zich meebrengt.

Het fundamentele probleem dat dit paper adresseert, is de onduidelijkheid over de noodzaak van deze continue verwerking:

1. Is het echt nodig om image tokens door alle lagen van het model te verwerken?
2. Evolueren visuele representaties betekenisvol van de vroege naar de late lagen, of stabiliseren ze vroeg?
3. Is de huidige architectuur, die alle tokens diep verwerkt, niet inefficiënt omdat visuele informatie mogelijk al vroeg "voltooid" is?

Methodologie

De auteurs nemen een representatie-gecentreerde benadering om de evolutie van image tokens versus tekst-tokens te analyseren. Ze gebruiken drie complementaire meetmethoden om de structurele dynamiek over de lagen van het model te kwantificeren:

1. Matrix Entropie (Spectrale Structuur): Meet hoe de energie van de representatie is verdeeld over de eigenwaarden. Lage entropie duidt op compressie (energie geconcentreerd in enkele richtingen).
2. Intrinsieke Dimensionaliteit (ID): Schat het aantal effectieve vrijheidsgraden van de representatie, onafhankelijk van de embedding-grootte.
3. Trajectkrromming (Trajectory Curvature): Meet de hoekafwijking tussen opeenvolgende update-vectoren van tokens tussen lagen. Dit geeft aan hoe scherp of soepel de representatie verandert.

Experimentele Opzet:

• Modellen: LLaVA-1.5, Qwen2.5-VL en InternVL (variërend van 3B tot 72B parameters).
• Datasets: BLINK, Flickr8k, ChartQA, M3CoT.
• Experimenten:
  • Laag-substitutie: Het vervangen van image tokens uit vroege lagen door tokens uit latere lagen (en vice versa) om functionaliteit te testen.
  • Diepte-truncatie: Het volledig verwijderen van image tokens na een bepaalde laag ($l_c$) en het observeren van de impact op de output.
  • Fine-tuning: Het proberen om de prestaties van een getruncateerd model te herstellen via distillatie (trainen op de output van het volledige model).
  • Redenering: Het analyseren van de impact van truncatie op gestructureerde redeneringsketens (Chain-of-Thought).

Belangrijkste Bevindingen en Resultaten

1. Vroege Stabilisatie van Visuele Representaties (RQ1)

In tegenstelling tot tekst-tokens, die dynamisch blijven evolueren en herstructureren door de diepte van het model, stabiliseren image tokens vroeg:

• De entropie, intrinsieke dimensionaliteit en trajectkrromming bereiken een plateau na een korte aanpassingsfase (meestal rond de eerste 10-15 lagen).
• Dit suggereert dat visuele informatie snel convergeert naar een "bounded-complexity regime" (een begrensd complexiteitsregime) waar latere lagen voornamelijk informatie behouden en verfijnen, in plaats van fundamenteel te herstructureren.

2. Functionele Uitwisselbaarheid (RQ2)

Omdat visuele representaties zo vroeg stabiliseren, blijken ze functioneel uitwisselbaar tussen lagen:

• Het vervangen van image tokens uit diepe lagen door tokens uit vroege lagen resulteert in nauwelijks verlies van semantische consistentie.
• Tekst-tokens vertonen daarentegen een sterke diepte-afhankelijkheid; substitutie leidt tot significante degradatie. Dit bevestigt dat visuele verwerking na een bepaald punt functioneel redundant wordt voor de semantische betekenis.

3. Taak-afhankelijke Noodzaak (RQ3)

Hoewel representaties stabiel zijn, is de noodzaak van verdere verwerking afhankelijk van de taak:

• Single-token predictie (bijv. VQA met meerkeuze): Deze taken zijn relatief robuust tegen vroege truncatie. Een ruwe visuele beslissing is vaak voldoende.
• Multi-token generatie (bijv. Captioning): Deze taken zijn zeer gevoelig voor vroege truncatie. Ze vereisen een aanhoudende toegang tot visuele representaties om lexicaal en semantisch nauwkeurig te blijven.
• Conclusie: De vereiste diepte schaalt met de complexiteit van de output.

4. Herstel via Fine-tuning (RQ4)

Kan een model de verloren visuele informatie compenseren na truncatie?

• Deels mogelijk: Door distillatie-based fine-tuning kan een getruncateerd model de prestaties van het originele model gedeeltelijk herstellen, vooral bij beschrijvende taken (captioning).
• Beperkingen: Bij strikte taken zoals gestructureerde VQA (ChartQA) is herstel beperkt. De fijne visuele afstemming die nodig is voor exacte antwoorden kan niet volledig worden gereconstrueerd als de vroege visuele lagen worden verwijderd.
• Efficiëntie: Fine-tuning verschuift de "compute-performance frontier". Het model bereikt hogere nauwkeurigheid bij lagere rekenkosten (GFLOPs) dan het niet-getrainde getruncateerde model. De meeste rekenwinst komt voort uit de "prefill"-fase (verwerking van de afbeelding).

5. Redenering en Diepte (RQ5)

Verwacht men dat expliciete redenering (Chain-of-Thought) de noodzaak van visuele diepte vermindert?

• Nee, integendeel: Gestructureerde redenering is gevoeliger voor truncatie dan directe single-token antwoorden.
• Redenering vereist herhaalde visuele gronding (grounding) over meerdere decodestappen. Als de visuele input te vroeg wordt verwijderd, degradeert de kwaliteit van de tussenstappen (zoals samenvattingen en redeneringen) en uiteindelijk het eindantwoord.
• Dit onthult een decoupling: visuele stabilisatie betekent niet dat inferentie volledig is; iteratief redeneren vereist nog steeds diepe visuele toegang.

Bijdrage en Significantie

Deze studie biedt een fundamenteel inzicht in de architectuur van multimodale modellen en daagt het huidige paradigma uit:

1. Uitdaging aan het "Deep is Better"-paradigma: Het paper bewijst dat diepere visuele verwerking niet uniform essentieel is voor alle taken. De huidige architectuur is mogelijk over-geoptimaliseerd voor visuele verwerking in de latere lagen.
2. Richtlijnen voor Efficiëntie: Het biedt concrete richtlijnen voor het ontwerpen van efficiëntere VLMs:
   • Voor single-token taken kan visuele verwerking vroeg worden gestopt.
   • Voor complexe generatie en redenering moet visuele gronding behouden blijven, maar kan de verwerking mogelijk worden geoptimaliseerd rond het stabilisatiepunt.
3. Diagnostisch Instrument: De gebruikte metrieken (entropie, ID, kromming) bieden een meetbaar signaal om te bepalen wanneer visuele representaties "voltooid" zijn, wat nuttig is voor het analyseren van andere multimodale architecturen.
4. Computational Trade-offs: Het benadrukt dat de grootste rekenkosten in de "prefill"-fase zitten. Door visuele tokens te trunceren, kan de inferentiekost aanzienlijk worden verlaagd zonder de prestaties voor specifieke, minder complexe taken te verliezen.

Kortom, het paper concludeert dat visuele representaties in VLMs vroeg stabiliseren, maar dat de functionele noodzaak van verdere verwerking sterk afhangt van de complexiteit van de taak en de vereiste nauwkeurigheid van de redenering. Dit opent de deur voor "task-aware" VLM-architecturen die dynamisch aanpassen aan de vereiste visuele diepte.