When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs

Deze paper introduceert het concept van een "informatiehorizon" in Vision Large Language Models, waarbij visuele tokens in diepere lagen hun relevantie verliezen en willekeurige pruning in deze lagen de inferentie-efficiëntie aanzienlijk verbetert zonder de prestaties te schaden.

De kern

Stel je voor dat een Vision Large Language Model (VLLM) een slimme detective is die foto's bekijkt en vragen daarover beantwoordt. Om een foto te begrijpen, breekt de detective de afbeelding op in honderden kleine stukjes, die we tokens noemen. Het probleem is dat deze detective soms te veel stukjes meeneemt, waardoor hij traag wordt en veel energie verbruikt.

Om dit op te lossen, proberen onderzoekers "token pruning" (het weghalen van onnodige stukjes) toe te passen. De idee is simpel: "Weg met de saaie stukjes, houd alleen de belangrijke dingen over." Maar deze paper ontdekt iets verrassends: in de diepere lagen van het brein van de detective werkt slimme selectie niet beter dan willekeur.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Willekeurige" Oplossing werkt beter dan je denkt

Stel je voor dat je een grote bak met honderden Lego-stenen hebt. Je wilt er maar een paar houden om een model te bouwen.

• Slimme methoden: Ze proberen de stenen te kiezen die het "belangrijkst" zijn (bijvoorbeeld de rode bakstenen die het dak vormen).
• Willekeurige methode: Ze gooien gewoon een handvol stenen weg, zonder na te denken.

De onderzoekers ontdekten dat in de diepere lagen van het model (laten we zeggen, na de 20e stap in het denkproces), de "slimme" methoden net zo goed (of soms zelfs slechter) presteren als het willekeurig weggooien. Het lijkt alsof de detective op dat moment niet meer weet welke stenen belangrijk zijn.

2. De Oorzaak: Het "Informatie-Horizon"

Waarom gebeurt dit? De auteurs noemen dit het "Informatie-Horizon".

Stel je voor dat je door een mistig landschap loopt:

• Dichtbij (de eerste lagen): Je ziet heldere details. Je kunt duidelijk een boom, een auto of een gezicht onderscheiden. Hier is het slim om te kiezen welke details je meeneemt.
• Verder weg (de diepere lagen): De mist wordt dikker. Uiteindelijk zie je niets meer dan een witte waas. Alle objecten lijken op elkaar en hebben geen duidelijkheid meer.

In deze "mist" (de diepere lagen van het model) verliezen alle visuele stukjes hun specifieke waarde. Ze worden allemaal even "saai" en onbelangrijk. Omdat ze allemaal even weinig informatie bevatten, maakt het niet uit welke je weggooit. Willekeurig weggooien werkt dan net zo goed als proberen de "beste" te kiezen.

3. Twee Factoren die de Mist bepalen

De paper laat zien dat de plek waar deze "mist" begint (het horizon), niet altijd op hetzelfde moment gebeurt. Het hangt af van twee dingen:

1. De moeilijkheid van de taak:
   • Vraag: "Is dit een hond?" (Eenvoudig). De mist komt vroeg. Je hebt niet veel diepe lagen nodig.
   • Vraag: "Wat staat er in deze kleine tekst op het bordje?" (OCR, moeilijk). De mist komt veel later. Je hebt diepere lagen nodig om die fijne details te zien.
2. De kracht van de detective (het model):
   • Een zwakke detective (zoals een ouder model) raakt snel in de mist.
   • Een super-detective (zoals een nieuw, krachtig model) kan veel dieper kijken voordat de mist te dik wordt. Hij gebruikt de "diepe" stukjes langer dan een zwakker model.

4. De Oplossing: De "Mix"

In plaats van te proberen slimme keuzes te maken in de diepe lagen (waar het toch niets uitmaakt), doen de onderzoekers het volgende:

• Bovenin (de eerste lagen): Gebruik slimme methoden om de echt belangrijke stukjes te houden.
• Onderin (de diepe lagen): Gooi gewoon willekeurig een deel weg.

Dit klinkt gek, maar het werkt wonderwel. Het bespaart enorm veel rekenkracht en tijd, terwijl de prestaties van de detective zelfs beter worden dan wanneer je alleen maar probeerde slim te zijn.

De vergelijking:
Stel je voor dat je een lange reis maakt met een auto.

• Aan het begin (de stad) moet je heel voorzichtig zijn en elke afslag goed bekijken (slimme selectie).
• Als je eenmaal op de lange, rechte snelweg zit (de diepe lagen), maakt het niet uit of je nu links of rechts rijdt; je komt toch op hetzelfde punt aan. Je kunt dan gewoon de cruise control aanzetten (willekeurige selectie) en je brandstof besparen.

Conclusie

Deze paper leert ons dat we niet hoeven te proberen "slimmer" te zijn dan het model in de diepe lagen. Soms is de beste strategie om simpelweg te stoppen met proberen te kiezen en gewoon wat willekeurig weg te gooien. Dit maakt de AI sneller, goedkoper en soms zelfs slimmer.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs", geschreven in het Nederlands.

Probleemstelling

Vision Large Language Models (VLLMs) zoals LLaVA en Qwen-VL genereren honderden visuele tokens om afbeeldingen te representeren. Dit leidt tot aanzienlijke rekenkosten en vertraagt de inferentie. Hoewel "token pruning" (het verwijderen van minder belangrijke visuele tokens) een veelbelovende oplossing is om de efficiëntie te verhogen, stellen de auteurs vast dat bestaande, trainingsvrije pruning-methoden in de diepere lagen van het taaldecoder-deel van het model niet beter presteren dan willekeurige pruning (random pruning).

De kernvraag is: Waarom falen geavanceerde methoden (gebaseerd op aandachtsgewichten of diversiteit) in diepere lagen, en bevatten de tokens in deze lagen überhaupt nog nuttige informatie voor het genereren van het juiste antwoord?

Methodologie

1. Definitie van Visuele Token-informatie
De auteurs introduceren een nieuwe metric om de "informatie-inhoud" van een visuele token te kwantificeren. In plaats van te vertrouwen op attention-maps, meten ze de verandering in de output-kans (probability) van het model wanneer een specifieke token wordt verwijderd.

• Methode: Op een specifieke laag $i$ van de decoder wordt eerst alle visuele informatie behalve de doel-token verwijderd en de kans op het ground-truth label berekend. Vervolgens wordt ook deze laatste token verwijderd (zodat het model alleen op tekst vertrouwt). Het verschil in kansen tussen deze twee scenario's definieert de informatie-inhoud ($I_i(V_k)$) van die token.

2. Het Concept van de "Information Horizon"
Door de informatie-inhoud van tokens over de verschillende lagen van het model te analyseren, ontdekken de auteurs dat visuele token-informatie niet lineair afneemt, maar een specifiek patroon volgt:

• In de vroege lagen zijn tokens zeer informatief en verschillend.
• Naarmate de lagen dieper worden, wordt de informatie-inhoud uniformer en neemt deze af.
• Er is een punt, de "Information Horizon", waarbij de gemiddelde informatie van alle visuele tokens bijna nul wordt. Na deze horizon zijn de visuele tokens overbodig; het verwijderen ervan heeft geen negatief effect op de prestaties.

3. Dynamische Factoren
De positie van deze horizon is niet statisch; deze wordt beïnvloed door:

• Visuele complexiteit van de taak: Taken die veel visuele details vereisen (zoals OCR of tekstherkenning) hebben een diepere horizon nodig dan algemene vragen (zoals VQA).
• Modelcapaciteit: Sterkere modellen (bijv. Qwen2.5-VL) kunnen nuttige informatie uit diepere lagen halen dan zwakkere modellen (bijv. LLaVA-1.5), waardoor hun horizon verder naar achteren ligt.

4. Oplossing: Geïntegreerde Willekeurige Pruning
Gezien het feit dat tokens na de horizon geen waarde meer toevoegen, maar dat bestaande methoden in deze lagen faalbaar zijn, stellen de auteurs een hybride strategie voor:

• Gebruik bestaande methoden (zoals DivPrune of DART) in de vroege lagen om hoog-informatieve tokens te behouden.
• Pas willekeurige pruning (random pruning) toe in de diepere lagen (na de horizon). Omdat de informatie daar uniform en verwaarloosbaar is, is willekeurige selectie even effectief als complexe berekeningen, maar veel sneller.

Belangrijkste Bijdragen

1. Kwantificering van Token-informatie: Een nieuwe methode om visuele token-informatie te meten op basis van output-probabiliteitsveranderingen, wat aantoont dat het verwijderen van laag-informatieve tokens de prestaties kan verbeteren.
2. Ontdekking van de "Information Horizon": Het vaststellen dat visuele token-informatie in diepere lagen uniform verdwijnt. Dit verklaart waarom geavanceerde pruning-methoden daar niet beter zijn dan random pruning.
3. Dynamisch Inzicht: Het aantonen dat de horizon verschuift afhankelijk van de taakcomplexiteit (OCR vs. VQA) en de sterkte van het model.
4. Efficiënte Strategie: Het bewijzen dat het combineren van bestaande pruning-methoden met random pruning in diepere lagen leidt tot superieure resultaten in termen van snelheid en nauwkeurigheid.

Resultaten

De experimenten werden uitgevoerd op modellen zoals LLaVA-1.5-7B en Qwen2.5-VL-7B over diverse benchmarks (MME, TextVQA, OCRBench, ScienceQA, etc.).

• Prestaties: De geïntegreerde aanpak (bijv. DivPrune + Random pruning) behaalde state-of-the-art resultaten.
  • Bij Qwen2.5-VL-7B werd 96,9% van de originele prestatie behouden terwijl 50% van de visuele tokens werd verwijderd.
  • Bij LLaVA-1.5-7B leidde DivPrune + Random pruning tot een verbetering van 6,7% op de MMBench-benchmark ten opzichte van alleen DivPrune.
• Efficiëntie:
  • De methode reduceert de CUDA-latentie en FLOPs aanzienlijk (bijv. 73% reductie in latentie voor LLaVA-1.5-7B).
  • Het is compatibel met snelle attention-implementaties zoals FlashAttention, wat methoden die afhankelijk zijn van attention-maps (zoals FastV) vaak niet zijn.
• Vergelijking: In diepere lagen presteerde random pruning consistent beter dan of gelijk aan geavanceerde methoden, wat de hypothese van de "information horizon" bevestigt.

Betekenis en Conclusie

Dit paper biedt een fundamenteel nieuw perspectief op token pruning in VLLMs. Het weerlegt de aanname dat geavanceerde selectie-algoritmes altijd nodig zijn. In plaats daarvan toont het aan dat de "waarde" van visuele tokens een natuurlijke grens heeft (de horizon).

De belangrijkste implicatie is dat willekeurige pruning in de diepere lagen niet alleen acceptabel is, maar vaak de optimale strategie is voor het balanceren van efficiëntie en prestatie. Door complexe berekeningen in lagen waar de informatie al verdwenen is, te vermijden, kunnen ontwikkelaars de inferentiesnelheid drastisch verhogen zonder in te leveren op de nauwkeurigheid. Dit biedt een praktische leidraad voor het deployen van snellere en efficiëntere multimodale modellen.