🤖 AI

Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin

Dit artikel stelt Middle-layer Attention Prediction (MAP) voor, een methode die dynamisch de samplespecifieke optimale attention-lagen identificeert en deze distilleert naar een lichtgewicht voorspeller om visuele tokens te snoeien vóór de verwerking door het taalmodel, waarbij een end-to-end versnelling van 3,09x wordt bereikt terwijl 97,5% van de prestaties op LLaVA-NeXT-7B behouden blijft.

Oorspronkelijke auteurs: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Gepubliceerd 2026-08-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om tegelijkertijd naar de wereld te kijken en erover te praten. Dit is de wereld van Multimodale Grote Taalmodellen (MLLM's). Denk aan deze modellen als briljante detectives die een afbeelding kunnen bekijken en vragen over die afbeelding kunnen beantwoorden, zoals: "Welke kleur heeft de halsband van de hond?" of "Waarom is de persoon aan het rennen?". Om dit te doen, "kijkt" de robot niet alleen naar de afbeelding; hij breekt de foto af in duizenden kleine digitale puzzelstukjes die visuele tokens worden genoemd. Elke token is een klein brok informatie over een deel van de afbeelding.

Het probleem is dat deze robots ongelooflijk hongerig zijn. Om echt goed naar een plaatje te kijken, moeten ze misschien duizenden van deze tokens verwerken. Het is alsof je een hele encyclopedie probeert te lezen om het antwoord op een simpele vraag over de hoed van een kat te vinden. Het kost veel tijd en energie (rekenkracht), wat de robot traag en duur maakt in gebruik. Wetenschappers hebben geprobeerd uit te vogelen hoe ze deze robots sneller kunnen maken door de nutteloze puzzelstukjes weg te gooien voordat ze überhaupt beginnen met lezen. Dit wordt visuele token pruning genoemd. De truc is om te weten welke stukjes je moet houden en welke je moet weggooien. Als je het verkeerde stukje weggooit, raakt de robot in de war. Als je te veel bewaart, is hij nog steeds traag. De grote vraag is geweest: hoe weten we precies welke stukjes van de afbeelding het belangrijkst zijn voor de specifieke vraag die gesteld wordt?

Het Probleem: Eén maat past niet iedereen

De onderzoekers achter dit artikel, onder leiding van Yuyao Sun en Tao Deng, ontdekten een lastige fout in de manier waarop we momenteel proberen deze robots te helpen beslissen wat ze moeten houden.

Voorheen dachten wetenschappers dat als ze keken naar de "aandacht" (een chique manier om te zeggen: "waar de robot zich op concentreert") van een specifieke, middelste laag in zijn brein, ze de belangrijkste beeldstukjes konden vinden. Het was alsof je zei: "Hé robot, kijk gewoon naar waar je halverwege je denkproces aan aandacht besteedde, en houd die beeldstukjes aan."

Maar de auteurs ontdekten dat deze "one-size-fits-all"-aanpak kapot is. Stel je voor dat je naar een foto van een strand kijkt.

Als iemand vraagt: "Welke kleur heeft het zand?", licht het brein van de robot op bij het zand in het midden van zijn denkproces.
Als iemand vraft: "Welke kleur heeft de lucht?", licht het brein van de robot op bij de lucht, maar misschien op een ander stadium van zijn denken.

De onderzoekers toonden aan dat de "beste" laag van het brein om te controleren volledig afhangt van de specifieke vraag. Soms zit het antwoord in laag 10, soms in laag 20. Een vaste laag gebruiken is als proberen een enkele sleutel voor elke deur in een gebouw te gebruiken; het werkt voor sommigen, maar faalt voor anderen.

Bovendien was er een tweede, groter probleem. Om uit te zoeken welke laag de "beste" was voor een specifieke vraag, moest de robot de gehele afbeelding eerst door al die lagen verwerken. Het is alsof je de beste route naar school probeert te vinden door eerst de hele weg erheen te rijden, alleen maar om te zien welke afslag het beste was. Tegen de tijd dat je hebt uitgezocht welke stukjes je moet houden, heb je al al de tijd en energie verspild die je probeerde te besparen!

De Oplossing: De "Vraagcontrast" Detective

Om dit op te lossen, stelde het team een nieuwe methode voor genaamd MAP (Middle-layer Attention Prediction). In plaats van de robot het zware werk te laten doen tijdens het eigenlijke gesprek, hebben ze een piepkleine, supersnelle assistent geleerd om te raden waar de robot zich zou hebben geconcentreerd.

Zo hebben ze deze assistent getraind:

De "Contrast"-truc (QCTS): Ze bedachten een slimme manier om de juiste "leraar" voor elke vraag te kiezen. Ze namen een afbeelding en stelden de robot twee dingen:
- Vraag A: De echte vraag (bijv. "Welke kleur heeft de boot?").
- Vraag B: Een saaie, algemene vraag (bijv. "Wat is er op deze afbeelding te zien?").
Ze vergeleken vervolgens de aandacht van de robot voor beide vragen. De lagen waar de aandacht van de robot tussen de twee vragen het meest veranderde, waren de lagen die echt om de specifieke details van de boot gaven. Deze methode, genaamd Question Contrastive Teacher Selection (QCTS), werkt als een spotlight die direct identificeert welk deel van het brein van de robot het meest enthousiast is over de specifieke vraag.
De Lichtgewicht Voorspeller: Zodra ze wisten welke laag de "ster" was voor een specifieke vraag, hielden ze die zware laag niet aan. In plaats daarvan leerden ze een piepkleine, lichtgewicht voorspeller om het gedrag van die ster-laag na te bootsen. Deze voorspeller is zo klein en snel dat hij de afbeelding en de vraag kan bekijken voordat de grote robot zelfs maar begint te denken, en onmiddellijk kan zeggen: "Houd deze 5% van de beeldstukjes, gooi de rest weg."

De Resultaten: Snel, Licht en Slim

Het team testte dit nieuwe systeem op verschillende robotbreinen (MLLM's) en een breed scala aan lastige vragen. De resultaten waren indrukwekkend.

Snelheid: Op een van hun testmodellen (LLaVA-NeXT-7B) maakte MAP de robot 3,09 keer sneller van begin tot eind. Dat is alsof je een wandeling van 10 minuten verandert in een jog van 3 minuten.
Efficiëntie: Ze slaagden erin om 94,4% van de visuele tokens weg te gooien (waarbij ze slechts 5,56% behielden) en de robot gaf nog steeds 97,5% van de juiste antwoorden vergeleken met de volledige afbeelding.
Slimme Selectie: In tegen tegenstelling tot andere methoden die gewoon gokken of een vaste regel gebruiken, zorgde de "diversiteitsregel" van MAP ervoor dat, zelfs wanneer er zeer weinig tokens werden behouden, het niet alleen om vergelijkbare stukjes ging. Het koos stukjes die verschillend van elkaar waren maar nog steeds relevant voor de vraag, waardoor de robot geen cruciale details zou missen.

Waarom het ertoe doet

Dit artikel suggereert niet alleen een cool idee; het biedt een werkend hulpmiddel dat een echt knelpunt oplost. Door te bewijzen dat de "beste" laag verandert voor elke vraag en dat we dit kunnen voorspellen zonder eerst het zware werk te doen, stelt MAP deze krachtige AI-modellen in staat om veel sneller op standaardcomputers te draaien. Het is een beetje alsof je een bibliothecaris een magische indexkaart geeft die precies vertelt welk boek hij uit de plank moet trekken voordat hij de bibliotheek überhaupt binnenstapt, wat hem behoedt voor het scannen van elk enkel boek aan de muur.

De auteurs laten zien dat we met deze methode zowel de intelligentie van de robot hoog kunnen houden als de snelheid aanzienlijk kunnen verhogen en de kosten kunnen verlagen. Het suggereert dat de toekomst van AI niet alleen gaat over het maken van grotere, zwaardere breinen, maar over het leren van deze breinen om slimmer om te gaan met waar ze hun aandacht op richten.

Technische Samenvatting: Leren om Middle-Layer Attention te Voorspellen in MLLM's voor Visuele Token Pruning

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben sterke capaciteiten getoond in visuele-taakprestaties, maar lijden onder hoge computationele kosten door de verwerking van een groot aantal visuele tokens. Hoewel visuele token pruning een oplossing biedt voor het verbeteren van de efficiëntie tijdens de inferentie, kampen bestaande methoden met twee kritieke beperkingen:

Suboptimale vaste lagen: Recente studies suggereren dat text-to-vision attention vanuit middle language model layers effectief is voor token pruning. Echter, analyse laat zien dat de specifieke laag die de meest vraag-responsieve attention biedt, significant varieert per verschillende samples. Een strategie met een vaste laag is daarom suboptimaal.
Efficiëntiedilemma bij inferentie: Het extraheren van attention uit de juiste middle layer vereist dat een groot aantal visuele tokens door verschillende language model layers wordt gestuurd voordat pruning kan plaatsvinden. Dit brengt aanzienlijke berekeningen met zich mee voordat er tokens worden verwijderd, wat de potentiële efficiëntiewinst tenietdoet. Daarnaast kan het expliciet materialiseren van attention maps tijdens inferentie de compatibiliteit met geoptimaliseerde attention kernels (bijv. FlashAttention) beperken.

Methodologie: Middle-layer Attention Prediction (MAP)

Om deze problemen aan te pakken, stellen de auteurs MAP voor, een framework dat sample-specifieke middle-layer attention distilleert naar een lichtgewicht voorspeller die opereert vóór de eerste language model layer. MAP bestaat uit twee fasen:

1. Offline Training

Question Contrastive Teacher Selection (QCTS): In plaats van een vaste laag te gebruiken, selecteert MAP dynamisch een "teacher" laag voor elk trainingssample. Het vergelijkt de text-to-vision attention distributie gegenereerd door de invoervraag tegenover een generieke referentievraag ("What is shown in this image?") op dezelfde afbeelding. De laag die de grootste Jensen–Shannon divergentie vertoont tussen deze twee distributies, wordt geselecteerd als de teacher, omdat deze de beste regio's vangt die relevant zijn voor de specifieke invoervraag.
Cross-Modal Attention Distillation: Een lichtgewicht voorspeller wordt getraind om de geselecteerde teacher's attention distributie te reproduceren. De voorspeller neemt multimodale inputrepresentaties (visuele tokens van de vision encoder en tekst tokens van de embedding layer) die beschikbaar zijn vóór LLM-verwerking. Het gebruikt modalitiespecifieke MLPs en projectielagen om attention scores te schatten, waarbij de Kullback-Leibler (KL) divergentie tussen de voorspelde distributie en de teacher's distributie wordt geminimaliseerd. Het originele MLLM blijft tijdens dit proces bevroren.

2. Inferentie-tijd Token Pruning

Voorspelling en Selectie: Tijdens inferentie schat de voorspeller de text-to-vision attention distributie direct in vanuit de multimodale features. Deze scores dienen als visuele token belangrijkheid.
Diversity-Aware Pruning: Om ervoor te zorgen dat de behouden tokens niet alleen relevant maar ook complementair zijn, combineert MAP de voorspelde belangrijkscores met een diversiteitscriterium. Het selecteert tokens greedily, beginnend met de top $K_0$ op basis van belang, en voegt iteratief kandidaten toe die de orthogonale residu maximaliseren ten opzichte van de huidige subspace van de geselecteerde embeddings.
Executie: Pruning vindt plaats vóór de eerste language model layer. De geselecteerde tokens worden hersteld naar hun oorspronkelijke volgorde en gecombineerd met de vraag tokens, waardoor de daaropvolgende verwerking gebruik kan maken van uitsluitend de compacte token set. Deze aanpak vermijdt afhankelijkheid van LLM attention maps, waardoor compatibiliteit met geoptimaliseerde kernels behouden blijft.

Belangrijkste Bijdragen

Analyse van Laagvariabiliteit: De auteurs demonstreren dat hoewel middle-layer text-to-vision attention effectief is voor pruning, de optimale laag sample-afhankelijk is, wat vaste-laag strategieën suboptimaal maakt.
MAP Framework: Ze stellen een methode voor die sample-specifieke attention distilleert naar een voorspeller, wat efficiënte pruning mogelijk maakt vóór LLM-verwerking zonder de kosten van het doorlopen van meerdere layers.
QCTS Mechanisme: Ze introduceren Question Contrastive Teacher Selection, dat de meest vraag-responsieve laag voor elk sample identificeert door de attention distributies te contrasteren met een referentievraag, wat zorgt voor op maat gemaakte supervisie voor de voorspeller.
Empirische Validatie: Uitgebreide experimenten over drie MLLM backbones (LLaVA-1.5-7B, LLaVA-NeXT-7B, Qwen2.5-VL-7B) en tien benchmarks tonen aan dat MAP een superieure accuracy-efficiency trade-off bereikt vergeleken met bestaande pruning methoden.

Experimentele Resultaten

Het paper rapporteert resultaten op LLaVA-NeXT-7B en LLaVA-1.5-7B over tien benchmarks (inclusief GQA, MME, VQA-v2, etc.):

Prestatiebehoud: Op LLaVA-NeXT-7B behoudt MAP 97,5% van de prestaties van het on-geprunde model terwijl het slechts 5,56% van de visuele tokens gebruikt (160 behouden tokens van 2880).
Versnelling: Bij deze retentie ratio behaalt MAP een 7,44× versnelling in de LLM prefill stage en een 3,09× end-to-end versnelling.
Vergelijking: MAP presteert consistent beter dan state-of-the-art methoden (bijv. LearnPruner, CDPruner, ZOO-Prune) over diverse token retentie ratio's. Het prestatieverschil wordt groter naarmate de retentie ratio afneemt, wat duidt op de robuustheid van MAP onder agressieve compressie.
Ablatie Studies:
- Teacher Selectie: QCTS presteert beter dan vaste-laag selectie (bijv. Layer 14) en multi-layer fusie, wat de noodzaak van sample-specifieke teacher selectie bevestigt.
- Diversiteit: Diversity-aware selectie levert marginale winst bij hoge token budgetten, maar verbetert de prestaties aanzienlijk onder agressieve pruning (bijv. 32 tokens), wat redundantie tussen hoog-scorende tokens mitigeert.
- Efficiëntie: MAP vermindert het KV cache gebruik met tot wel 91,39% op LLaVA-NeXT-7B.

Betekenis

Het paper beweert dat MAP de fundamentele trade-off tussen pruning effectiviteit en inferentiekosten aanpakt. Door de optimale attention signal te voorspellen in plaats van te berekenen, maakt MAP vroege token pruning mogelijk die vraag-relevante visuele bewijslast behoudt zonder de computationele overhead van het doorlopen van meerdere LLM layers. De methode wordt gepresenteerd als een generaliseerbare oplossing die de efficiëntie van MLLM's verbetert terwijl een hoge nauwkeurigheid behouden blijft, met name in scenario's die een agressieve reductie van tokens vereisen.