What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

Deze studie introduceert het analytische framework EmbedLens om aan te tonen dat multimodale grote taalmodellen een aanzienlijke mate van visuele redundantie bevatten, waarbij slechts ongeveer 60% van de visuele tokens daadwerkelijk beeldspecifieke betekenis draagt en dat een directe injectie van deze 'levende' tokens in de middelste lagen van het taalmodel voldoende is voor de meeste taken, wat leidt tot efficiëntere en interpreteerbaarder architecturen.

De kern

De Geheime Levens van Visuele Tokens: Waarom je foto's "dood" en "levend" hebben

Stel je voor dat je een Multimodaal Groot Taalmodel (MLLM) een foto laat zien. Je denkt misschien: "Oké, de computer kijkt naar elke kleine stukje van die foto (een 'token') en probeert het allemaal tegelijk te begrijpen."

Deze paper, getiteld "Wat coderen visuele tokens eigenlijk?", onthult dat dit beeld helemaal niet klopt. Het is alsof je een orkest ziet spelen, maar je merkt dat de helft van de muzikanten eigenlijk alleen maar stilzit, een ander deel speelt dezelfde noot als een andere groep, en slechts een klein groepje echt de melodie draagt.

Hier is wat de onderzoekers ontdekten, vertaald naar alledaagse taal:

1. De Drie Soorten "Visuele Brieven"

Wanneer een foto in het model wordt geladen, worden de stukjes van de foto omgezet in digitale "brieven" (tokens). De onderzoekers ontdekten dat deze brieven in drie duidelijke groepen vallen:

• De "Zinkgaten" (Sink Tokens): Dit zijn de stilzitters. Ze lijken op een anker dat het schip (het model) stabiel houdt, maar ze vertellen je niets over de foto zelf. Het maakt niet uit of je een kat of een auto toont; deze brieven zijn altijd hetzelfde. Ze zijn puur voor de structuur.
• De "Dode" Tokens: Dit zijn de saaiste brieven van allemaal. Ze hebben geen betekenis, ze worden genegeerd door de rest van het model en ze dragen niets bij aan het antwoord. Ze zijn als ruis op de radio.
• De "Levende" Tokens: Dit zijn de helden. Slechts ongeveer 60% van alle tokens valt in deze categorie. Deze dragen de echte informatie: de vorm van een object, de kleur, tekst op een bordje.

De grote verrassing: Je kunt de "zinkgaten" en de "dode" tokens gewoon weggooien. Het model wordt er niet slimmer door, maar soms zelfs slimmer, omdat het niet meer wordt afgeleid door die ruis.

2. De "Levende" Tokens zijn al klaar om te praten

Je zou denken dat de computer eerst de foto moet "lezen" en dan pas kan praten. Maar de onderzoekers ontdekten iets fascinerends:

De "levende" tokens zijn al zo goed omgezet naar taal dat ze niet meer veel nadenken nodig hebben voordat ze de taalcomputer (de LLM) binnenkomen.

• Analogie: Stel je voor dat je een pakketje post krijgt. Je denkt: "Oh, ik moet dit eerst openmaken, sorteren en lezen voordat ik het kan begrijpen." Maar in dit geval is het pakketje al geopend, de inhoud is al in een leesbare taal geschreven en klaar om direct ingelezen te worden. De "levende" tokens bevatten al de informatie over "wat is dit?" en "wat is de kleur?" voordat ze het brein van de AI bereiken.

3. Waarom het brein (de LLM) soms te veel doet

Omdat de tokens al zo goed voorbereid zijn, doet de AI vaak onnodig veel werk.

• Het probleem: Het model probeert de foto's opnieuw te analyseren in de eerste lagen van zijn "brein". Dit is als proberen een recept te lezen terwijl je al weet wat er in de pan zit. Het enige dat dit doet, is soms verwarring creëren (bijvoorbeeld: het model denkt dat een auto geel is omdat de achtergrond geel is, niet omdat de auto zelf geel is).
• De oplossing: De onderzoekers ontdekten dat je de "levende" tokens rechtstreeks in het midden van het brein kunt injecteren. Je hoeft ze niet door de eerste, trage lagen te sturen. Het is alsof je een expert direct naar de vergaderzaal in het midden van het gebouw stuurt, in plaats van hem eerst door de hal en de lift te laten lopen.

4. Wat betekent dit voor de toekomst?

Dit onderzoek is een game-changer voor efficiëntie:

1. Snoeien: We kunnen de "dode" en "zink" tokens weggooien. Dit maakt het model sneller en goedkoper, zonder dat het minder slim wordt.
2. Kortere route: We hoeven de foto's niet door de hele computer te jagen. We kunnen ze direct in het midden van het proces stoppen.
3. Minder hallucinaties: Omdat we de onnodige lagen overslaan, maakt het model minder fouten (zoals het verwarren van kleuren).

Kortom:
Deze paper zegt: "Stop met het behandelen van elke foto als een mysterie dat volledig opnieuw moet worden ontcijferd. De meeste stukjes van de foto zijn ruis of ankers, en de belangrijke stukjes zijn al klaar om te praten. Laten we die ruis weggooien en de belangrijke stukjes direct naar het hart van het systeem sturen."

Dit maakt AI-systemen niet alleen sneller en goedkoper, maar ook begrijpelijker voor ons mensen.

Technische samenvatting

1. Het Probleem

Multimodale Large Language Models (MLLM's) zoals LLaVA en Qwen-VL projecteren visuele tokens (afbeeldingspatches) naar de inbeddingsruimte van een taalkmodel (LLM). Hoewel deze architectuur succesvol is, is de interne structuur en verwerking van visuele semantiek slecht begrepen. Er bestaat een fundamentele spanning: visuele encoders (zoals CLIP) zijn getraind voor globale afbeelding-tekstuitlijning, terwijl MLLM's informatie verwerken als een sequentie van lokale, patch-level tokens.

De kernvragen die dit paper adresseert zijn:

• Zijn alle visuele tokens even waardevol voor de semantische verwerking?
• Bevatten de tokens al "voor-taal" (pre-linguïstische) concepten die direct door de LLM kunnen worden begrepen, of vereisen ze uitgebreide interne verwerking?
• Waar in het diepe netwerk vinden de nuttige visuele verwerkingen plaats?

2. Methodologie

De auteurs introduceren een tweeledig analytisch raamwerk, gecentreerd rond een nieuw proefhulpmiddel genaamd EmbedLens.

• EmbedLens: Een model-onafhankelijk proefhulpmiddel dat de semantische inhoud van visuele representaties direct in de inbeddingsruimte analyseert. Het meet de cosine-afstand tussen een target embedding (bijv. een visuele token na projectie) en alle tokens in de vocabulaire van het model. Hierdoor kan worden vastgesteld welke tekstuele concepten het dichtst bij een visuele token liggen.
• Clustering en Analyse: De auteurs gebruiken op gelijkenis gebaseerde clustering om visuele tokens te categoriseren op basis van hun inbeddingen. Ze analyseren zowel intra-image (binnen één afbeelding) als cross-image (over verschillende afbeeldingen) patronen.
• Experimentele Benaderingen:
  • Pruning (Wegsnijden): Het verwijderen van specifieke token-categorieën (zoals "dead" of "sink" tokens) om de impact op prestaties te meten.
  • Layer Skipping: Het overslaan van bepaalde lagen (zoals de eerste visuele lagen of specifieke sublagen zoals FFN/Attention) om de noodzaak van interne verwerking te testen.
  • Patch-Compressie Benchmark: Een speciaal dataset waarbij objecten of OCR-tekst in één enkele visuele patch worden gedwongen om te testen hoeveel semantische informatie één token kan dragen.

3. Belangrijkste Bijdragen en Resultaten

De studie onthult een opmerkelijke semantische sparsiteit en redundantie in MLLM's. Visuele tokens blijken niet homogeen te zijn, maar vallen in drie functioneel verschillende categorieën:

A. De Drie Categorieën van Visuele Tokens

1. Sink Tokens (≈10-15%):
   • Kenmerken: Deze tokens zijn afbeeldingsagnostisch; hun inbeddingen blijven bijna identiek ongeacht de input. Ze vertonen een hoge activatie-norm en fungeren als structurele "ankers" voor de attention-mechanismen (vergelijkbaar met <bos> tokens in tekst).
   • Resultaat: Ze dragen geen specifieke visuele semantiek. Het verwijderen ervan heeft geen negatief effect op prestaties; de attention wordt simpelweg herverdeeld naar tekstuele sink tokens.
2. Dead Tokens (≈30%):
   • Kenmerken: Deze tokens vormen de grootste cluster, zijn zeer repetitief en hebben een hoge cross-image gelijkenis, maar geen duidelijke semantische koppeling aan tekst. Ze worden zelden geattendeerd en hebben een verwaarloosbare invloed op de berekening.
   • Resultaat: Ze fungeren als "inert residu". Het verwijderen van deze tokens verbetert de prestaties zelfs soms, omdat ze afleiding veroorzaken.
3. Alive Tokens (≈60%):
   • Kenmerken: Deze tokens clusteren dicht bij het semantische centrum van tekst. Ze dragen de daadwerkelijke beeldspecifieke betekenis (objecten, kleuren, tekst).
   • Resultaat: Ze vormen de enige dragers van beeldspecifieke semantiek. Het verwijderen hiervan leidt tot een drastische daling in prestaties.

B. Rijke "Pre-linguïstische" Informatie

De analyse toont aan dat Alive Tokens al voordat ze de LLM binnenkomen, rijke, fijnkorrelige informatie bevatten (zoals objectidentiteit, kleur, vorm en OCR).

• Een enkele "alive" token kan meerdere semantische attributen tegelijk coderen.
• Ze zijn grotendeels "pre-linguïstisch" uitgelijnd, wat betekent dat ze weinig tot geen verdere vertaling door de LLM nodig hebben om begrijpelijk te zijn.

C. Redundantie in Interne Verwerking

De auteurs vinden dat de interne visuele verwerking binnen de LLM (zoals visuele self-attention en Feed-Forward Networks/FFN) voor de meeste standaardtaken overbodig is.

• Bypassing: Het volledig omzeilen van visuele-only FFN en self-attention lagen heeft een verwaarloosbaar effect op algemene VQA, OCR en hallucinatiemodellering. In sommige gevallen verbetert het de prestaties zelfs door het introduceren van minder bias.
• Bias: Verdere interne verwerking kan zelfs schadelijk zijn (bijv. door kleurvoorspellingen te sterk te laten afhangen van de achtergrondcontext in plaats van het object).

D. Optimalisatie van Injectie diepte

Voor de kleine subset van taken die wel baat hebben bij interne verwerking, ontdekten de auteurs dat Alive Tokens van nature uitgelijnd zijn met de middelste lagen van de LLM, niet met de initiële inbeddingsruimte.

• De projectie-laag (projector) is blijkbaar zo getraind dat deze visuele embeddings direct naar representaties in de middenlagen mapt.
• Het forceren van visuele tokens door de eerste (shallow) lagen is niet alleen onnodig, maar kan de prestaties zelfs verslechteren omdat deze lagen weinig transformatie bieden en de structuur kunnen verstoren.

4. Significantie en Implicaties

De bevindingen van dit paper bieden een unificerend mechanistisch inzicht in hoe visuele semantiek wordt verwerkt in MLLM's en leiden tot belangrijke praktische richtlijnen:

1. Efficiëntere Architecturen: Door "dead" en "sink" tokens te verwijderen (token pruning), kan de rekenlast aanzienlijk worden verminderd zonder kwaliteitsverlies.
2. Vereenvoudigde Modellen: De noodzaak van complexe visuele self-attention lagen binnen de LLM kan worden betwist voor veel taken, wat leidt tot lichtere modellen.
3. Mid-Layer Injection: In plaats van visuele tokens aan het begin van de LLM in te voegen, is het mogelijk en efficiënter om ze direct in de middenlagen te injecteren. Dit vermijdt redundante verwerking in de eerste lagen.
4. Interpreteerbaarheid: Het paper biedt een helder kader om te begrijpen welke delen van een MLLM daadwerkelijk visuele informatie verwerken en welke slechts structurele ruis zijn.

Samenvattend stelt het paper dat MLLM's veel inefficiënter werken dan nodig is: ze verwerken een groot aantal redundante tokens en doorvoeren onnodige berekeningen, terwijl de essentiële visuele informatie al zeer dicht bij de tekstuele semantiek ligt en direct in de middenlagen kan worden verwerkt.