🤖 AI

CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

Dit paper introduceert CATP, een nauwkeurige token-pruningmethode voor multimodale modellen die cross-attention lagen gebruikt om de afweging tussen rekenkundige efficiëntie en modelprecisie te verbeteren.

Oorspronkelijke auteurs: Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

Gepubliceerd 2026-02-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎨 De Kunst van het Slimme Scheren: CATP uitgelegd

Stel je voor dat je een enorm groot team hebt (een AI-model) dat foto's moet bekijken en daar vragen over moet beantwoorden. Dit team bestaat uit twee delen:

Een fotograaf die de foto bekijkt (de beeldencoder).
Een slimme vertaler die de foto beschrijft en vragen beantwoordt (de taalmodel-LLM).

Het probleem? De "slimme vertaler" is zo groot en traag dat hij bijna 90% van de tijd en energie van het hele team opslurpt. Het is alsof je een Formule-1-auto hebt, maar de motor is zo zwaar dat je maar 10 km/u kunt rijden.

Om dit op te lossen, willen we token pruning toepassen. Dat klinkt ingewikkeld, maar het is simpel: we snijden de onbelangrijke stukjes van de foto weg voordat de vertaler ze moet verwerken. Maar hier zit de valkuil: als je te veel wegsnijdt, vergeet de vertaler wat er op de foto stond en geeft hij domme antwoorden.

Tot nu toe waren de methoden om te snijden een beetje als een blinde schaar: ze keken alleen naar hoe "groot" of "luid" een woord was, en sneden de rest weg. Dat werkte niet goed; de AI werd slordig.

🏆 De Oplossing: CATP (Cross-Attention Token Pruning)

De onderzoekers van Harvard, Wisconsin en Stanford hebben een nieuwe methode bedacht genaamd CATP. Laten we dit uitleggen met een vergelijking.

De Vergelijking: De "Gastheer" en de "Gasten"

Stel je voor dat de AI een gastheer is die een feestje geeft.

De foto bestaat uit duizenden kleine stukjes (tokens), zoals gasten die binnenkomen.
De vraag die de AI moet beantwoorden, is de gastheer die een lijstje heeft met namen.

De oude methode (Blind Scheren):
De gastheer kijkt alleen naar hoe luid de gasten zijn (hun volume). Hij denkt: "Die gasten die zacht praten, zijn onbelangrijk, die haal ik van de lijst." Maar wat als die zachte gasten juist de enige zijn die weten waar de toiletten zijn? De gastheer haalt ze weg en raakt de informatie kwijt.

De nieuwe methode (CATP):
CATP is een slimme gastheer. Hij gebruikt een speciale techniek genaamd Cross-Attention.
In plaats van alleen naar de gasten te kijken, kijkt hij naar de interactie tussen de gasten en de gastheer.

Hij vraagt zich af: "Welke gasten hebben het meest contact met mij, de gastheer?"
Als een stukje van de foto (een gast) een sterke connectie heeft met de vraag (de gastheer), dan is dat stukje belangrijk.
Als er geen connectie is, mag die gast weg.

🗳️ Het Stemmingssysteem (De "Voting Strategy")

Hoe weet de gastheer nu precies wie belangrijk is? CATP gebruikt een slim stemmingssysteem.

Stel je voor dat elke laag in het AI-systeem een jurylid is.

Er zijn veel juryleden (de verschillende lagen en hoofden van het model).
Elk jurylid kijkt naar de foto en zegt: "Ik vind dit stukje van de foto belangrijk, ik geef hem 5 stemmen." of "Die is saai, ik geef hem 0 stemmen."
CATP telt alle stemmen bij elkaar op.
De stukjes met de minste stemmen worden verwijderd (gepruned).
De stukjes met de meeste stemmen blijven staan.

Dit zorgt ervoor dat je alleen de allerbelangrijkste informatie overhoudt, precies zoals een goede redacteur alleen de beste zinnen in een krant houdt.

📊 Wat leverde dit op?

De onderzoekers hebben dit getest op een taak waar AI's vaak in falen: Visuele Vraag-Antwoord (VQA).

De concurrenten: De oude methoden (zoals "L2-norm" of "Self-attention") waren als een hamer die alles kapot sloeg. Als ze de helft van de informatie wegnamen, daalde de nauwkeurigheid van 52% naar slechts 9%. Het was alsof je een auto hebt die niet meer rijdt.
CATP: Met hun nieuwe methode hielden ze de nauwkeurigheid veel beter op peil. Zelfs als ze veel informatie weghaalden, bleef de AI slim.
- Ze waren tot 12 keer beter dan de beste bestaande methoden.
- Het is alsof je de auto 12 keer sneller maakt zonder dat hij uit elkaar valt.

🚀 Waarom is dit zo cool?

Snelheid: Omdat er minder stukjes (tokens) zijn om te verwerken, is de AI veel sneller en goedkoper in gebruik.
Slimmer snijden: CATP snijdt niet willekeurig. Het gebruikt de "blik" van het model zelf om te zien wat echt belangrijk is voor de specifieke vraag.
Toekomst: Dit maakt het mogelijk om zulke grote, slimme AI's op kleinere apparaten (zoals je telefoon) te draaien, zonder dat ze dom worden.

Samenvatting in één zin

CATP is een slimme manier om een AI te helpen om alleen naar de belangrijkste details van een foto te kijken, door te laten stemmen welke details het meest relevant zijn voor de vraag, waardoor de AI sneller wordt zonder zijn intelligentie te verliezen.

Titel

CATP: Cross-Attention Token Pruning voor nauwkeurigheidsbehoudende inferentie van multimodale modellen

1. Het Probleem

De opkomst van grote multimodale modellen (zoals BLIP-2) heeft geleid tot complexe systemen die tekst en beelden kunnen verwerken. Echter, er zijn twee belangrijke uitdagingen bij het uitvoeren van inferentie met deze modellen:

Rekenkosten: In BLIP-2 neemt de Large Language Model (LLM) decoder meer dan 87% van de totale parameters in beslag (2,7 miljard van de 3,1 miljard). Dit is de grootste bron van rekentijd.
Verlies van nauwkeurigheid bij pruning: Bestaande state-of-the-art (SOTA) pruning-strategieën, zoals magnitude-based pruning of zelf-attention probability pruning (SpAtten), zijn effectief voor het verminderen van rekenkosten, maar leiden bij multimodale modellen tot een drastische daling van de nauwkeurigheid. Vooral bij taken zoals Visual Question Answering (VQA) presteren deze methoden slecht omdat ze de complexe relatie tussen beeld- en teksttokens niet goed begrijpen.

Het doel is een end-to-end post-training pruning-pipeline te ontwerpen die de rekenkosten verlaagt (door de lengte van de query-tokensequentie te verkorten) zonder de modelnauwkeurigheid te compromitteren.

2. Methodologie: CATP

De auteurs introduceren Cross-Attention Token Pruning (CATP), een nieuwe methode die specifiek is ontworpen voor BLIP-2. In plaats van alleen naar de tokens van de LLM te kijken, gebruikt CATP de cross-attention lagen in de Q-Former (de brug tussen visuele en taalkundige modaliteiten) om de belangrijkheid van query-tokens te bepalen.

Kernprincipes:

Relatie tussen Beeld en Vraag: De belangrijkheid van een query-token (in de LLM) hangt af van de cross-attention-kansen met de beeldtokens (in de Q-Former). Tokens die sterk verbonden zijn met beeldinformatie moeten behouden blijven.
Het Som-probleem: Omdat cross-attention-kansen via een softmax-functie worden berekend, sommeren ze per query-token op tot 1. Het simpelweg optellen van deze kansen geeft geen onderscheidend vermogen.
De Voting-strategie: Om dit op te lossen, introduceert CATP een stemmechanisme:
- Voor elke query-token stemmen alle beeldtokens.
- Een beeldtoken geeft punten aan een query-token op basis van de cross-attention-kans tussen hen.
- Specifiek: Voor een gegeven cross-attention-kaart stemt elk beeldtoken $L_0 - n$ punten toe aan de query-token met de $n$ -de hoogste kans (waarbij $L_0$ het totale aantal query-tokens is).
- De uiteindelijke "importance score" van een query-token wordt berekend door de punten te aggregeren over alle lagen en koppen (heads) van de cross-attention.
Pruning: Query-tokens met de laagste totale scores worden verwijderd op basis van een vooraf bepaald pruning-ratio ( $p$ ).

Varianten en Verfining:

Lagen: De methode kan worden toegepast op alle cross-attention-lagen of alleen op de eerste laag.
Gewogen Stemming (Image-Token Importance): Om de methode verder te verfijnen, krijgen beeldtokens zelf ook een gewicht op basis van hun eigen self-attention scores (gebaseerd op het principe dat tokens met hogere self-attention belangrijker zijn). Dit zorgt voor een gewogen stemmechanisme.
Lagenbelang: Experimenten tonen aan dat niet alle lagen even waardevol zijn; de eerste en laatste cross-attention-lagen bevatten vaak de meest cruciale informatie.

3. Key Contributions (Belangrijkste Bijdragen)

Nieuwe Pruning-Metafoor: CATP is de eerste methode die cross-attention-probabiliteiten gebruikt om query-token-pruning in multimodale modellen te sturen, in plaats van alleen self-attention of magnitude.
Voting-algoritme: Een innovatieve strategie om cross-attention-kansen om te zetten in bruikbare importance scores door middel van een stemproces over koppen en lagen.
Multi-modaliteit Integratie: De methode neemt expliciet informatie uit beide modaliteiten (beeld en tekst) in overweging bij het nemen van pruning-beslissingen, wat leidt tot betere resultaten dan unimodale pruning-methoden.
Post-training aanpak: Het is een end-to-end oplossing die geen hertraining van het model vereist.

4. Resultaten

De methode is geëvalueerd op het BLIP-2 (opt-2.7b) model met een Visual Question Answering (VQA) dataset (10% steekproef).

Vergelijking met Baselines:
- L2-norm Baseline: Bij het behouden van 1/2 van de tokens daalt de nauwkeurigheid naar 9,50% (vanuit 52,14% zonder pruning).
- Self-attention Baseline (SpAtten): Bij 1/2 behouden daalt de nauwkeurigheid naar 44,22%.
- CATP: Bij het behouden van 1/2 van de tokens behoudt CATP een nauwkeurigheid van 41,14% (alle lagen) tot 44,17% (alleen eerste laag).
Verbetering: CATP presteert tot 6,6x beter dan de L2-norm baseline en tot 12,1x beter dan de self-attention baseline in termen van behouden nauwkeurigheid bij agressieve pruning.
Impact van Gewogen Stemming: Het toevoegen van gewichten voor beeldtokens (gebaseerd op self-attention) verbetert de nauwkeurigheid verder, vooral bij agressieve pruning (bijv. 1/8 behouden: stijging van 23,27% naar 29,30%).
Lagenanalyse: Het gebruik van alleen de eerste of laatste cross-attention-laag levert vaak betere resultaten op dan het gebruik van de middelste lagen, wat suggereert dat de randlagen de meest cruciale cross-modale informatie bevatten.

5. Significantie

Dit paper is significant omdat het een oplossing biedt voor het fundamentele compromis tussen rekenefficiëntie en modelnauwkeurigheid in multimodale AI.

Efficiëntie: Het maakt het mogelijk om BLIP-2 en vergelijkbare modellen veel sneller en lichter te laten draaien door de sequentielengte van de query-tokens te reduceren.
Nauwkeurigheidsbehoud: In tegenstelling tot eerdere methoden die multimodale context negeren, behoudt CATP de semantische samenhang tussen beeld en tekst, wat essentieel is voor taken zoals VQA.
Toekomstperspectief: De bevindingen over het belang van specifieke lagen en het gewogen stemmechanisme bieden een blauwdruk voor verdere optimalisatie van grote multimodale modellen zonder dat er zware hertraining nodig is.

Kortom, CATP bewijst dat het slim benutten van de interne cross-attention-mechanismen van multimodale modellen de sleutel is tot effectieve en nauwkeurigheidsbehoudende compressie.