🤖 machine learning

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM is een efficiënt inferentieframework voor Vision-Language Modellen dat de onderscheidende eigenschappen van visuele en tekstmodi benut door agressieve, adaptieve pruning toe te passen op ruimtelijk redundante visietokens en tijdsgebonden, op drempelwaarden gebaseerde verwijdering op teksttokens, waarmee tot 54% FLOPs-besparing wordt bereikt terwijl het state-of-the-art-methoden overtreft op taken voor document- en grafiekbegrip.

Oorspronkelijke auteurs: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Gepubliceerd 2026-05-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Vision-Language Model (VLM) voor als een zeer intelligente, maar licht overweldigde assistent. Je toont hem een afbeelding (zoals een complex document of een grafiek) en stelt een vraag. Om de afbeelding te begrijpen, breekt de assistent deze op in duizenden kleine puzzelstukjes, zogenaamde "vision tokens". Om je vraag te begrijpen en een antwoord te formuleren, gebruikt hij een kleinere set "text tokens".

Het probleem is dat het "werkgeheugen" van de assistent (zijn GPU-geheugen) verzadigd raakt. Hij probeert elk enkel puzzelstukje en elk woord dat hij genereert vast te houden, waardoor het traag en duur wordt om het model te draaien.

Bestaande methoden proberen dit op te lossen door de afbeeldingsstukjes en de woorden exact op dezelfde manier te behandelen: ze gooien gewoon een vast percentage van alles weg (bijvoorbeeld: "verwijder 50% van de puzzelstukjes en 50% van de woorden"). De auteurs van dit artikel, AsymVLM, betogen dat dit vergelijkbaar is met het proberen een bibliotheek te organiseren door de helft van de boeken en de helft van de bladwijzers weg te gooien zonder na te denken over wat ze eigenlijk doen.

Hieronder wordt uitgelegd hoe AsymVLM werkt, met gebruikmaking van eenvoudige analogieën:

1. De twee verschillende problemen

Het artikel wijst erop dat afbeeldingsstukjes en woorden fundamenteel verschillend zijn:

Vision Tokens (De Puzzelstukjes): Deze zijn allemaal onafhankelijk. Als je een stukje van de lucht uit een foto verwijdert, maakt het stukje van de boom ernaast er niets van uit. Ze zijn "ruimtelijk redundant", wat betekent dat veel stukjes gewoon achtergrondruis zijn.
Text Tokens (Het Verhaal): Dit is een kettingreactie. Woord 2 hangt af van Woord 1, en Woord 3 hangt af van Woord 2. Als je een woord in het midden van een zin verwijdert, kan de rest van het verhaal misschien geen zin meer maken.

2. De oplossing: Een tweeledige strategie

In plaats van één regel voor alles te gebruiken, hanteert AsymVLM twee verschillende strategieën die zijn afgestemd op elk type token.

Strategie A: De "slimme redacteur" voor afbeeldingen (Vision Token Pruning)

Voordat de assistent überhaupt begint na te denken, treedt AsymVLM op als een slimme redacteur die naar de foto kijkt.

De oude manier: "Verwijder 50% van de pixels willekeurig" of "Verwijder degenen die het minst belangrijk lijken voor de vraag."
De AsymVLM-methode: Het maakt gebruik van een Learned Scorer (een geleerde scoregever). Stel je een coach voor die duizenden wedstrijden heeft gezien en precies weet welke spelers (tokens) echt helpen om de wedstrijd te winnen. Deze scorer kijkt niet alleen naar de afbeelding; hij kijkt naar hoe de afbeelding samenhangt met de specifieke vraag die je stelde.
Het "Adaptive Budget" (Aanpassend budget): Dit is het slimste deel. Het artikel merkt op dat sommige vragen een volledige scan van de afbeelding vereisen (bijvoorbeeld: "Hoeveel appels staan er in dit boomgaard?"), terwijl anderen slechts een klein hoekje nodig hebben (bijvoorbeeld: "Wat is de prijs van de rode appel?").
- Als de vraag specifiek is voor één klein gebied, is het "gat" tussen belangrijke en onbelangrijke stukjes enorm. Het systeem zegt: "Geweldig, we kunnen agressief zijn en 75% van de afbeelding weggooien!"
- Als de vraag de hele afbeelding nodig heeft, is het "gat" klein. Het systeem zegt: "Oké, houd 90% van de afbeelding vast, gewoon om op zeker te spelen."
- Analogie: Het is alsof je een koffer inpakt. Als je voor één dag naar het strand gaat, pak je licht in. Als je op een maandlange reis gaat, pak je meer in. AsymVLM past de "inpakking" aan op basis van de specifieke reis, in plaats van voor iedereen dezelfde koffermaat te gebruiken.

Strategie B: De "herinnerings conciërge" voor tekst (Text Token Eviction)

Zodra de assistent begint met het genereren van een antwoord, schrijft hij woorden één voor één. Als het gesprek lang wordt, vult het geheugen zich.

De oude manier: Standaard methoden voor tekst-only AI (zoals H2O of StreamingLLM) proberen de oudste of minst "belangrijke" woorden te verwijderen om ruimte te maken voor nieuwe.
De AsymVLM-methode: De auteurs realiseerden zich dat bij deze visuele assistenten het gesprek meestal kort is en dat de afbeelding de belangrijkste context is.
- Ze stellen een vast budget in. De assistent blijft schrijven totdat hij een limiet bereikt (bijvoorbeeld 500 woorden).
- Zodra hij de limiet bereikt, begint hij de oudst gegenereerde woorden te verwijderen (diegene die niet meer nodig zijn voor de onmiddellijk volgende zin), maar hij verwijdert nooit de originele afbeelding of de originele vraag.
- Analogie: Stel je voor dat je een verhaal vertelt aan een vriend. Je hoeft de eerste zin die je 10 minuten geleden zei niet te onthouden om de huidige zin af te maken. AsymVLM treedt op als een conciërge die de oude, irrelevante concepten van het whiteboard veegt om ruimte te maken voor de nieuwe zin, maar laat de originele prompt en de foto voor altijd aan de muur hangen.

3. De resultaten: Sneller en slimmer

Het artikel beweert dat AsymVLM, door deze twee soorten data verschillend te behandelen, het volgende bereikt:

Enorme snelheidswinst: Het bespaart tot 54% van de rekenkracht (FLOPs) die nodig is om het model te draaien. Dit komt omdat het onnodige afbeeldingsstukjes fysiek verwijdert voordat de zware wiskunde begint, in plaats van ze alleen tijdens de wiskunde te negeren.
Betere nauwkeurigheid: Bij taken zoals het lezen van documenten of het begrijpen van grafieken presteert het 2–3% beter dan eerdere methoden. Dit komt omdat het de specifieke afbeeldingsstukjes die het antwoord op de vraag bevatten, behoudt en de rest weggooit, terwijl andere methoden per ongeluk het cruciale stukje kunnen verwijderen.
Geheugenefficiëntie: Het vermindert het geheugen dat nodig is om het model te draaien, waardoor het past op kleinere, goedkopere computerchips die het volledige, niet-geprunte model niet aankonden.

Samenvatting

AsymVLM is een systeem dat beseft dat "één maat niet voor iedereen past". Het gebruikt een slim, adaptief filter om de overtollige vetrandjes van afbeeldingen te snijden op basis van de specifieke vraag, en een zorgvuldige conciërge om het tekstgeheugen te beheren zonder de originele context te verliezen. Het resultaat is een Vision-Language Model dat sneller is, minder geheugen gebruikt en verrassend nauwkeuriger is in het lezen van documenten en grafieken.

Technische Samenvatting: AsymVLM

Probleemstelling

Visueel-taalmiddelen (VLM's) ondervinden aanzienlijke rekenkundige en geheugenknelpunten tijdens de inferentie. Hoewel bestaande compressiemethoden visuele en tekstuele tokens vaak uniform behandelen, betoogt dit artikel dat een dergelijke aanpak suboptimaal is vanwege fundamentele asymmetrieën tussen de twee modaliteiten:

Structurele en causale verschillen: Visietokens zijn ruimtelijk redundante patches die in één doorloop worden gegenereerd zonder causale afhankelijkheid, waardoor ze onafhankelijk kunnen worden verwijderd. Daarentegen worden teksttokens autoregressief gegenereerd met strikte causale volgorde; het verwijderen van een teksttoken riskeert het corrumperen van alle daaropvolgende representaties.
Verschuivende knelpunten: In typische VLM-configuraties voor één beurt domineren visietokens de invoer (bijvoorbeeld 2.500 visietokens versus ongeveer 30 teksttokens), waardoor ze het primaire knelpunt vormen tijdens de prefill-fase. Echter, bij vrije generatie of meertrapsdialogen accumuleren teksttokens snel, waardoor het knelpunt verschuift naar de decode-fase.
Variabele invoermoeilijkheid: De optimale pruning-ratio is niet uniform over alle voorbeelden. Sommige queries vereisen alleen lokale visuele informatie (wat agressieve pruning toestaat), terwijl andere een globale scan vereisen (wat conservatieve behoud vereist). Bestaande methoden met vaste pruning-ratio's slagen er niet in om dit spectrum te accommoderen.

Methodologie: AsymVLM

De auteurs stellen AsymVLM voor, een asymmetrisch token-pruningkader dat compressiestrategieën voor visuele en teksttokens ontkoppelt op basis van de bovenstaande observaties. Het kader werkt in twee distincte fasen:

1. Visietoken-pruning (Vóór Prefill)

Toegepast vóór de transformerlagen om het prefill-knelpunt aan te pakken, bestaat deze fase uit twee componenten:

Gestudeerde belangrijkheidsscorer: In tegenstelling tot eerdere methoden die vertrouwen op visuele salientie of ruwe cross-modale gelijkenis, hanteert AsymVLM een lichtgewicht, leerbare scorer. Deze scorer schaalt de embedding-dimensies opnieuw met een leerbare gewichtsvector ( $w$ ) om de token-rangschikking beter af te stemmen op het behoud van de uiteindelijke output van het model. Het wordt getraind om de discrepantie tussen de verborgen staten van gepreunde en ongepreunde modellen te minimaliseren.
Per-voorbeeld adaptieve budgettering: Erkennend dat de belangrijkheidskloof varieert per invoer, berekent het systeem een "belangrijkheidskloof" (het verschil tussen de 75e en 25e percentiel belangrijkheidsscores) voor elk voorbeeld. Op basis van deze kloof wordt een dynamische behoudsratio toegewezen: voorbeelden met een grote kloof (duidelijk onderscheid tussen belangrijke en onbelangrijke tokens) krijgen een agressieve pruning-ratio, terwijl voorbeelden met een kleine kloof (uniforme belangrijkheid) een conservatieve ratio krijgen.

2. Teksttoken-verwijdering (Tijdens Decoding)

Alleen toegepast wanneer de gegenereerde sequentie een vast budget overschrijdt, adresseert deze fase het decode-knelpunt:

Op drempel gebaseerde verwijdering: Teksttokens worden behouden totdat de sequentielengte een vooraf gedefinieerde drempel overschrijdt. Zodra dit wordt geactiveerd, verwijdert het systeem de gegenereerde tokens met de laagste belangrijkheid.
VLM-specifieke scoring: In tegenstelling tot standaard LLM-cache-compressiemethoden die cumulatieve aandacht over lange contexten bijhouden, maakt AsymVLM gebruik van het korte-contextkarakter van VLM's. Het scoort tokens op basis van de aandacht die wordt ontvangen in de laatste transformerlaag van de huidige decode-stap. Cruciaal beschermt het alle prefill-tokens (afbeeldingen en prompts) tegen verwijdering, aangezien deze onmisbare context dragen voor daaropvolgende beurten.

Belangrijkste Bijdragen

Systematische Analyse: Het artikel biedt een structurele analyse die de fundamentele asymmetrie tussen visuele en teksttokens in VLM's blootlegt, en betoogt dat modaliteitsbewuste compressie essentieel is voor efficiëntie.
Kader met Dubbele Strategie: AsymVLM introduceert een kader dat query-bewuste visietoken-pruning (vóór de transformer) combineert met budget-beperkte teksttoken-verwijdering (tijdens decoding).
Gestudeerde Scorer met Adaptieve Budgettering: De auteurs introduceren een scorer die optimaliseert voor outputbehoud in plaats van alleen semantische gelijkenis, gekoppeld aan een mechanisme dat pruning-ratio's dynamisch aanpast op basis van de belangrijkheidsverdeling van de invoer.
Uitgebreide Evaluatie: Uitgebreide experimenten tonen aan dat de aanpak superieure efficiëntie en nauwkeurigheid bereikt in vergelijking met state-of-the-art baselines.

Experimentele Resultaten

Het kader werd geëvalueerd op Phi-3.5-Vision (visie-dominant) en Gemma 3 (tekst-dominant in scenario's met lange generatie) over zeven benchmarks (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU).

Efficiëntie: AsymVLM behaalt de hoogste FLOPs-besparing onder vergeleken methoden, tot wel 54% bij 50% visietokenbehoud. Het is de enige methode die fysiek de sequentielengte verkleint vóór de transformer, wat resulteert in evenredige verminderingen van het piekgeheugen en de grootte van de KV-cache (tot 75% piekgeheugenreductie).
Nauwkeurigheid op Gelokaliseerde Taken: Op document- en grafiekbegrijpings taken (DocVQA, ChartQA), waar visuele informatie ruimtelijk gelokaliseerd is, presteert AsymVLM 2–3% beter dan bestaande methoden (FastV, SparseVLM) bij behoudsratio's van 65–75%. Bijvoorbeeld, op DocVQA bij 65% behoud bereikt het 85,07% ANLS in vergelijking met 81,74% voor FastV.
Holistische Taken: Op holistische benchmarks (MME, TextVQA), waar tokenbelangrijkeheid uniformer is, behoudt AsymVLM concurrerende nauwkeurigheid en presteert het vaak iets beter dan baselines.
Prestaties van Tekstverwijdering: In tekst-dominante scenario's (Gemma 3) presteert de op drempel gebaseerde verwijderingsstrategie aanzienlijk beter dan standaard LLM-cache-methoden (H2O, StreamingLLM). Op MMDU (meertrapsdialogen) bereikt AsymVLM een score van 7,03 bij 90% behoud, significant hoger dan de 5,61 die door baselines wordt bereikt. De baselines degraderen ernstig omdat ze visie- en prompt-tokens behandelen als kandidaten voor verwijdering, terwijl AsymVLM deze beschermt.

Betekenis en Claims

Het artikel beweert dat AsymVLM een verschuiving vertegenwoordigt van uniforme compressie naar modaliteitsbewuste strategieën. Door te erkennen dat visietokens een probleem van invoerselectie zijn en teksttokens een probleem van cachebeheer, bereikt het kader de hoogste efficiëntiewinsten (tot 54% FLOPs-reductie) terwijl het de nauwkeurigheid op complexe, query-specifieke taken behoudt of verbetert. De auteurs benadrukken dat hun gestudeerde scorer effectief generaliseert over verschillende visuele lay-outs en vraagtypen zonder taakspecifieke afstemming, en dat hun tekstverwijderingsstrategie specifiek is toegespitst op het korte-context, afbeelding-gegronde karakter van VLM-inferentie, waardoor de valkuilen van het direct toepassen van lange-context LLM-compressietechnieken op VLM's worden vermeden.

Beperkingen: De auteurs merken op dat de evaluatie momenteel beperkt is tot Phi-3.5-Vision en Gemma 3, en dat generalisatie naar andere architecturen (bijvoorbeeld LLaMA-gebaseerde VLM's, Qwen-VL) verdere validatie vereist. Bovendien maakt de tekstverwijderingsstrategie gebruik van een vaste drempel en is deze niet getest op zeer lange meertrapsdialogen (50+ beurten).