Technische Samenvatting: Decoupled Similarity voor Taakbewuste Token Pruning in Large Vision-Language Models

1. Probleemstelling

Large Vision-Language Models (LVLMs) hebben aanzienlijke vooruitgang geboekt in het overbruggen van visuele en linguïstische modaliteiten, maar lijden onder een substantiële computationele overhead. Deze inefficiëntie komt primair voort uit de verwerking van een groot aantal visuele tokens, die vaak de teksttokens ver overstijgen, vooral bij hoge-resolutie afbeeldingen en multi-frame video's.

Bestaande training-vrije token pruning-methoden proberen dit te verzachten door minder informatieve tokens weg te gooien. Echter, huidige benaderingen vallen over het algemeen uiteen in twee paradigma's die kampen met inherente beperkingen:

• Visueel-centrische Pruning: Vertrouwt op aandachtssignalen van de visuele encoder (bijv. [CLS] aandacht). Deze methoden neigen zich te concentreren op globale semantiek en saillante regio's, waarbij ze vaak fijne lokale details over het hoofd zien en niet aansluiten bij specifieke taakeisen.
• Taak-centrische Pruning: Vertrouwt op cross-modale aandacht van de Large Language Model (LLM) decoder. Deze methoden introduceren taaksturing vaak te laat (tijdens de prefill-fase) en vertonen ruimtelijke biases (bijv. het bevoordelen van onderste regio's van de afbeelding door sequentievolgorde) of globale semantische biases die de token-belangrijkheid niet getrouw reflecteren.

Het kernprobleem dat wordt geïdentificeerd, is dat bestaande methoden vertrouwen op individuele aandachtbronnen die bevooroordeeld en incompleet zijn, wat leidt tot suboptimale pruning-beslissingen die ofwel cruciale visuele details verliezen of er niet in slagen om taakrelevante informatie te behouden onder agressieve pruning-ratio's.

2. Methodologie: DeSAP

De auteurs stellen DeSAP (Decoupled Similarity-Aware Pruning) voor, een nieuwe methode ontworpen om precieze, taakbewuste visuele token pruning uit te voeren vóór LLM-decodering. De methodologie is gebouwd op drie kerncomponenten:

A. Empirische Analyse en Decompositie

Door middel van een empirische studie observeren de auteurs dat:

1. De globale semantische bias in visuele encoders de standaard token-gewijze gelijkenis-schatting corrumpeert, wat leidt tot een mismatch tussen visuele en tekstuele tokens.
2. Het decomponeren van de verborgen toestand (hidden state) van de visuele encoder in residuele en aandachtscomponenten onthult dat de gedecoupleerde aandachtcomponent lokale details en fijnmazige semantiek beter behoudt dan de residuele (globale) component.

Op basis hiervan decomponeert DeSAP de finale-laag visuele verborgen toestand ($S^l_v$) in:

• Decoupled Residual ($S^d$): Legt globale semantische patronen vast.
• Decoupled Attention ($A^d$): Legt gelokaliseerde, fijnmazige semantische details vast.

B. Fijnmazige Cross-Modale Uitlijning

In plaats van standaard cosinus-gelijkenis tussen verborgen toestanden en tekst-embeddings te gebruiken (die de globale bias overneemt), berekent DeSAP een Decoupled Similarity. Dit houdt in dat de cosinus-gelijkenis wordt berekend tussen de gedecoupleerde aandachtcomponent ($A^d$) en tekst-embeddings ($S_q$).
Om dit verder te verfijnen, gebruikt de methode een Fine-Grained Cross-Modal Alignment (FCMA) strategie. Het weegt token-paar gelijkenissen op basis van de relevantie van elk token voor de globale representatie van de complementaire modaliteit (gebruikmakend van [EOS] voor tekst en globale visuele tokens voor visie). Dit creëert een betrouwbare, taakrelevante aandachtskaart ($A_t$) die specifieke regio's accentueert die zijn uitgelijnd met de tekstuele query.

C. Dual-Source Geleide Token Pruning

DeSAP integreert twee informatiebronnen om de belangrijkheid van tokens te beoordelen:

1. Taakrelevante Aandacht ($A_t$): Afgeleid van de gedecoupleerde gelijkenis, die de selectie van tokens stuurt die relevant zijn voor de specifieke query.
2. Saliente Semantische Aandacht ($A_s$): Afgeleid van de zelf-aandacht van de visuele encoder (bijv. [CLS] aandacht), die holistische visuele aanwijzingen biedt.

Het pruning-proces volgt een Rank & Prune strategie:

• Selecteer de top $k_1$ tokens op basis van $A_t$ (taakrelevantie).
• Selecteer de top $k_2$ tokens op basis van $A_s$ (visuele salientie) uit de resterende set.
• De definitieve set combineert zowel taakspecifieke als globale visuele aanwijzingen.
• Token Merging: Weggegooide tokens worden samengevoegd met de meest gelijkaardige behouden tokens via clustering om informatieverlies te beperken zonder het aantal tokens te verhogen.

3. Belangrijkste Bijdragen

• Empirische Analyse: Het artikel biedt een diepgaande analyse van bestaande pruning-paradigma's, waarbij wordt aangetoond dat de aandacht van de visuele encoder bevooroordeeld is naar globale semantiek en dat standaard gelijkenis onvoldoende is voor fijnmazige uitlijning. Het introduceert het perspectief van het decomponeren van visuele kenmerken in residuele en aandachtcomponenten om lokale details te behouden.
• DeSAP Framework: De voorstel van een nieuwe pruning-methode die gebruikmaakt van gedecoupleerde aandacht om precieze taakanwijzingen af te leiden via fijnmazige cross-modale uitlijning. Het integreert deze taakanwijzingen uniek met visuele salientie-signalen om robuuste pruning vóór LLM-decodering mogelijk te maken.
• Prestaties: Uitgebreide experimenten tonen aan dat DeSAP consequent de state-of-the-art (SOTA) methoden overtreft over diverse benchmarks en modelarchitecturen.

4. Experimentele Resultaten

De auteurs evalueerden DeSAP op drie LVLMs (LLaVA-1.5-7B, LLaVA-NeXT-7B en Qwen2.5-VL-7B) over acht benchmarks (waaronder GQA, MME, POPE, VQAv2, etc.).

• Nauwkeurigheid: Op LLaVA-1.5-7B met een agressieve 88,9% pruning-ratio (waarbij slechts 11,1% van de tokens behouden blijft, d.w.z. 64 tokens), bereikte DeSAP 98,1% van de prestaties van het originele model. Opvallend genoeg overtrof het bij een budget van 192 tokens de prestaties van het volledige model licht met 0,3%.
• Vergelijking: DeSAP presteerde beter dan SOTA-methoden zoals HoloV, FlowCut en VisionZip. Bij de 88,9% pruning-ratio overtrof het de op één na beste methode (HoloV) met gemiddeld 2,3% op LLaVA-1.5-7B.
• Efficiëntie: Op de POPE-benchmark bereikte DeSAP een 9,1× reductie in FLOPs en een 2,3× versnelling van de prefill-fase vergeleken met het volledige model, met slechts een daling van 0,1% in nauwkeurigheid. Het demonstreerde ook een superieure efficiëntie-nauwkeurigheid-afweging vergeleken met SparseVLM en HoloV onder gelijke FLOPs.
• Generaliseerbaarheid: De methode behield een robuuste prestatie op LLaVA-NeXT-7B (hoge resolutie) en Qwen2.5-VL-7B, waarbij het de baselines consistent overtrof over verschillende pruning-ratio's.

5. Betekenis en Claims

Het artikel claimt dat DeSAP de kritieke beperking van bestaande pruning-methoden aanpakt door taakbewustzijn eerder in de pijplijn te introduceren (aan de encoder-zijde) zonder te vertrouwen op bevooroordeelde aandachtverdelingen. Door visuele kenmerken te decomponeren en fijnmazige cross-modale uitlijning te benutten, mitigeert DeSAP representatieve instorting vanuit zowel visuele als taakperspectieven.

De auteurs stellen dat hun dual-source geleide aanpak robuuste token pruning zelfs onder agressieve ratio's mogelijk maakt, waarbij cruciale informatie wordt behouden die andere methoden weggooien. Het werk demonstreert dat het integreren van taaksturing met visuele salientie effectiever is dan het corrigeren van bias binnen een enkele aandachtbron, wat een belangrijke stap voorwaarts biedt voor de efficiëntie en schaalbaarheid van LVLMs voor praktische toepassingen.