🤖 AI

Rethinking Token Reduction for Large Vision-Language Models

Dit paper introduceert MetaCompress, een leerbaar en prompt-onafhankelijk methode die de tokenreductie voor Large Vision-Language Models optimaliseert om de efficiëntie en nauwkeurigheid in multi-turn visuele vraag-antwoordscenario's te verbeteren.

Oorspronkelijke auteurs: Yi Wang, Haofei Zhang, Qihan Huang, Anda Cao, Gongfan Fang, Wei Wang, Xuan Jin, Jie Song, Mingli Song, Xinchao Wang

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yi Wang, Haofei Zhang, Qihan Huang, Anda Cao, Gongfan Fang, Wei Wang, Xuan Jin, Jie Song, Mingli Song, Xinchao Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "MetaCompress": De Slimme Verkleiner voor Visuele AI

Stel je voor dat een Large Vision-Language Model (LVLM) een superintelligente, maar hongerige kunstcriticus is. Deze AI kan naar een foto kijken en er een heel verhaal over vertellen, of zelfs een gesprek voeren over het beeld. Maar er is een groot probleem: deze AI is extreem gulzig.

Het Probleem: De "Foto-Overload"

Wanneer de AI een foto ziet, breekt hij die op in duizenden kleine stukjes, die we tokens noemen. Het is alsof je een foto niet als één plaatje ziet, maar als een mozaïek van 4.000 steentjes.

Eén vraag: Als je één vraag stelt ("Wat zie je hier?"), kan de AI al die steentjes bekijken.
Meerdere vragen: Maar wat als je een gesprek voert? Eerst vraag je over de voorgrond, dan over de achtergrond, en later over een klein detail in de hoek.

De huidige AI's proberen om tijd en geheugen te besparen door onnodige steentjes weg te gooien voordat ze de vraag beantwoorden. Maar ze doen dit op een slordige manier:

De "Vaste Regel" methode: Ze gooien alles weg wat niet direct relevant lijkt voor de eerste vraag. Het probleem? Als de gebruiker later vraagt: "Wat staat er op de achtergrond?", is die informatie al weggegooid. De AI is dan vergeten wat er op de achtergrond stond.
De "Gok" methode: Ze kijken naar waar de AI momenteel naar "kijkt" (de aandachtsscore) en houden alleen die stukjes vast. Het probleem is dat dit vaak verkeerd is. De AI kijkt misschien naar de verkeerde plek, of de aandachtsscore is een slechte maatstaf voor wat echt belangrijk is voor een volgende vraag.

Het resultaat: De AI wordt sneller, maar hij wordt ook dommer, vooral in lange gesprekken.

De Oplossing: MetaCompress

De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd MetaCompress. In plaats van vaste regels of gokken, hebben ze de AI iets geleerd dat we leren noemen.

Stel je voor dat je een slimme verkleiner hebt die niet kijkt naar de vraag, maar naar de foto zelf. Deze verkleiner is als een kwaliteitscontroleur die weet: "Oké, ik moet dit beeld verkleinen tot 10% van de grootte, maar ik moet zorgen dat de AI later elke mogelijke vraag kan beantwoorden."

Hoe werkt het? (De Analogie van de Reisgids)

Stel je voor dat je een reisgids (de AI) hebt die een stad (de foto) moet beschrijven.

De oude manier: De gids kijkt naar je eerste vraag ("Waar is het station?") en gooit alle informatie over parken, musea en winkels weg. Als je later vraagt: "Waar kan ik een ijsje eten?", heeft de gids geen idee meer waar de winkels zijn.
De MetaCompress manier: De gids krijgt een slimme hulpmethode. Deze methode leert van duizenden voorbeelden welke stukjes van de stad altijd belangrijk zijn, ongeacht wat je later gaat vragen.
- Het houdt niet alleen de "populaire plekken" vast (zoals het station), maar ook de "verborgen juweeltjes" die misschien pas later relevant worden.
- Het leert een compleet nieuwe manier om de stad te samenvatten, in plaats van alleen te kijken naar wat er nu op het scherm staat.

Waarom is dit zo speciaal?

Onafhankelijk van de vraag: De verkleiner werkt zonder te weten wat de volgende vraag is. Hij houdt een evenwichtige selectie van de foto vast, zodat er voor elke mogelijke toekomstige vraag nog informatie overblijft.
Geen "menselijke" regels: Eerdere methoden waren gebaseerd op regels die mensen bedachten (bijvoorbeeld: "houd de stukjes vast waar de AI naar kijkt"). MetaCompress heeft geen regels. Het heeft gewoon gekeken naar duizenden voorbeelden en zelf ontdekt: "Aha, als ik deze specifieke steentjes weglaat, kan de AI later niet meer goed praten."
Snel en Licht: Het is een heel klein, slim moduletje dat je aan de AI plakt. Het kost weinig energie om te trainen en werkt met bijna elke moderne AI.

De Resultaten

In tests met verschillende AI-modellen en moeilijke gesprekken (waarbij je steeds dieper in een afbeelding duikt) bleek MetaCompress:

Sneller: Het vermindert de rekenlast enorm (tot wel 90% minder tokens).
Slimmer: De AI maakt veel minder fouten in lange gesprekken dan met de oude methoden.
Beter dan willekeurig: Zelfs als je willekeurig steentjes zou weglaten, werkt MetaCompress beter. Dat zegt veel over hoe goed de oude "gok-methoden" eigenlijk waren.

Conclusie

MetaCompress is als het vinden van de perfecte samenvatting van een boek, zonder te weten welke hoofdstukken de lezer later nog wil herlezen. In plaats van alleen de eerste hoofdstukken te bewaren, bewaart het een slimme mix van alles, zodat het verhaal altijd compleet blijft, ongeacht welke kant het gesprek opgaat.

Dit maakt het mogelijk om krachtige visuele AI's op kleinere apparaten (zoals telefoons) te laten draaien, zonder dat ze hun "geheugen" verliezen tijdens een lang gesprek.

Titel: Rethinking Token Reduction for Large Vision-Language Models (MetaCompress)

Auteurs: Yi Wang, Haofei Zhang, et al. (Zhejiang University, NUS, Alibaba Group)

1. Het Probleem

Grote Visueel-Taalmodellen (LVLMs) zoals LLaVA en InternLM-XComposer zijn uitstekend in visueel begrijpen en redeneren. Ze coderen echter beelden in duizenden visuele tokens, wat leidt tot een kwadratische toename van de reken- en geheugenkosten ( $O(n^2)$ ) door de attention-mechanismen.

Hoewel er reeds methoden zijn om tokens te reduceren, zijn deze grotendeels gericht op single-turn Visual Question Answering (VQA). De paper identificeert een kritiek gat in de multi-turn VQA (MT-VQA) scenario's (meerdere rondes van gesprek):

Onvoorspelbaarheid: Bij een meervoudig gesprek zijn toekomstige vragen onbekend. Een token dat irrelevant lijkt voor de eerste vraag, kan cruciaal zijn voor een latere vraag (bijv. een eerste vraag over het voorgrond, een tweede over de achtergrond).
Beperkingen van bestaande methoden:
- Prompt-afhankelijke methoden (bijv. FastV): Deze behouden tokens op basis van de initiële tekst-prompt. Dit leidt tot het onbedoeld verwijderen van visuele informatie die nodig is voor latere gesprekswendingen.
- Prompt-onafhankelijke methoden (bijv. PruMerge): Deze gebruiken heuristieken (zoals attention-scores binnen de beeldsequentie) om tokens te verwijderen. De paper stelt vast dat deze heuristieken suboptimaal zijn omdat ze niet theoretisch onderbouwd zijn en vaak slecht presteren in dynamische multi-turn situaties.

2. Methodologie: MetaCompress

De auteurs stellen MetaCompress voor, een leer-gebaseerde, prompt-onafhankelijke methode die de token-reductie ziet als een leerbare compressie-mapping in plaats van een handgemaakte heuristiek.

Kernconcepten:

Formulering als Optimalisatie: Token-reductie (zowel 'pruning' als 'merging') wordt geformuleerd als het vinden van een optimale compressiematrix $P$ die de visuele tokens $X_{IMG}$ projecteert naar een kleinere set $\tilde{X}_{IMG} = P X_{IMG}$ . Het doel is om de discrepantie in de respons van het LLM tussen de gecomprimeerde en ongereduceerde sequentie te minimaliseren.
Ontdekking: Experimenten tonen aan dat tokens die door een geoptimaliseerde matrix worden behouden, geen sterke correlatie hebben met traditionele attention-scores (zoals attention naar de [CLS]-token of prompt-tokens). Dit bevestigt dat heuristische criteria suboptimaal zijn.
MetaCompress Module:
- In plaats van een specifieke matrix per afbeelding te leren (wat onpraktisch is voor wisselende resoluties), leert de methode een generator ( $P_{meta}$ ) die een compressiematrix genereert op basis van de invoer-afbeelding.
- De generator is lichtgewicht en bestaat uit:
  1. Een positie-embedding laag.
  2. Een query-downsample projectie (via average pooling).
  3. Een key-projectie.
  4. Een gewogen inproduct-laag om de matrix $P$ te berekenen.
- De module is resolutie-agnostisch en past zich automatisch aan aan variabele beeldlengtes (cruciaal voor moderne LVLMs met multi-scale vision towers).

Trainingsparadigma:

Data-efficiënt: De methode wordt getraind op een klein subset van data (ongeveer 20k items) zonder dat het hele LVLM opnieuw getraind hoeft te worden.
Verliesfunctie: Het trainingsdoel combineert drie componenten:
1. $L_{pred}$ : Minimaliseer de KL-divergentie tussen de responsverdeling van het originele en gecomprimeerde model.
2. $L_{entropy}$ : Regularisatie om te voorkomen dat de matrix te dicht wordt (behoud van diversiteit).
3. $L_{collapse}$ : Regularisatie om te voorkomen dat alle gecomprimeerde tokens uit één enkele bron komen (vermijden van trivialiteit).

3. Belangrijkste Bijdragen

Analyse van MT-VQA: De paper is de eerste die systematisch token-reductie analyseert in multi-turn dialogen en aantoont dat heuristische methoden gebaseerd op attention-scores suboptimaal presteren in deze setting.
MetaCompress: Introductie van een nieuwe, leer-gebaseerde, prompt-onafhankelijke methode die geen handgemaakte regels gebruikt, maar leert welke tokens behouden moeten worden om de algehele dialoogkwaliteit te maximaliseren.
Efficiëntie en Generalisatie: De methode gebruikt een data-efficiënt trainingsparadigma en toont sterke generalisatie over verschillende LVLM-architecturen (LLaVA-1.5, LLaVA-NeXT, InternLM-XComposer) en datasets, zelfs zonder specifieke training op de doel-dataset.

4. Resultaten

De methode is geëvalueerd op drie MT-VQA benchmarks (MT-VQA-v2, MT-GQA, ConvBench) met vijf verschillende LVLM-architecturen.

Nauwkeurigheidsverlies: MetaCompress behaalt een superieure afweging tussen efficiëntie en nauwkeurigheid. Bij een reductie van 90% van de tokens presteert MetaCompress consistent beter dan bestaande methoden (FastV, PruMerge, Random, Sample).
- Voorbeeld: Op LLaVA-NeXT-7b behaalt MetaCompress een gemiddelde nauwkeurigheid van 75.18% bij 90% reductie, terwijl FastV slechts 58.45% haalt en Random 71.78%.
Efficiëntie: De methode behoudt een hoge inference-snelheid. De tijd tot het eerste token (TTFT) en de totale generatietijd zijn vergelijkbaar met de meest efficiënte baselines (zoals 'Sample'), maar met aanzienlijk betere nauwkeurigheid.
Generalisatie: Zelfs wanneer getraind op MT-GQA en getest op ConvBench (een ander benchmark), presteert MetaCompress aanzienlijk beter dan de baselines, wat aantoont dat het de algemene visuele informatie goed behoudt voor toekomstige vragen.
Video-toepassing: De methode toont ook sterke transferability naar video-VQA taken (MT-Video-MME), zelfs zonder specifieke training op video-data.

5. Betekenis en Impact

De paper biedt een fundamenteel nieuw perspectief op token-reductie voor LVLMs.

Verschuiving van Heuristiek naar Learning: Het bewijst dat handgemaakte regels (zoals "houd tokens vast met hoge attention") niet werken voor complexe, open-ended dialogen. In plaats daarvan moet de compressie dynamisch en data-gedreven worden geleerd.
Praktische Toepasbaarheid: Door de focus op een lichtgewicht generator die werkt met moderne, multi-scale vision towers, maakt MetaCompress het haalbaar om krachtige LVLMs in te zetten in scenario's met beperkte resources (zoals mobiele apparaten of real-time applicaties) zonder in te leveren op de kwaliteit van langdurige interacties.
Toekomstige Richting: Het opent de deur voor verdere research in het leren van optimalisatie-strategieën voor visuele sequenties zonder afhankelijkheid van specifieke prompts of handmatige tuning.

Samenvattend biedt MetaCompress een robuuste, schaalbare oplossing om de rekenkosten van visuele taalmodellen drastisch te verlagen terwijl de capaciteit voor meervoudige, contextuele dialogen behouden blijft.