Technische Samenvatting: COAST – Contrastieve Adaptieve Semantische Token-Pruning voor Vision-Language Modellen

1. Probleemstelling: Visuele Afasie bij Token-Pruning

Grote Vision-Language Modellen (LVLM's) bereiken sterke multimodale redenering door het verwerken van dichte visuele token-sequenties. De kwadratische complexiteit van decoder self-attention vereist echter visuele token-reductie om de inferentie-efficiëntie te verbeteren. Bestaande trainingsvrije pruning-methoden (bijv. FastV, LLaVA-PruMerge) vertrouwen doorgaans op scalar attention-scores uit ondiepe lagen om "low-attention" tokens te rangschikken en te verwijderen.

De auteurs identificeren een kritieke faalwijze in deze aanpak, genaamd Visuele Afasie. Dit fenomeen treedt op wanneer voortijdige pruning op basis van ondiepe attention tokens verwijdert die aanvankelijk een lage score hebben, maar in diepere lagen essentieel worden voor het oplossen van secundaire objecten, ruimtelijke relaties en contextuele aanwijzingen. Wanneer deze tokens worden weggegooid, verliest het model zijn visuele grondslag en grijpt het terug op taalkundige priors, wat leidt tot hallucinaties (bijv. het antwoord "The Camel Cafe" geven op de vraag naar een klein bordje in een afbeelding die wordt gedomineerd door een kameel). Het artikel betoogt dat scalar salientie inherent contextueel opkomend visueel bewijs onderschat dat nodig is voor compositieel redeneren.

2. Methodologie: COAST

Om Visuele Afasie aan te pakken, stellen de auteurs COAST (COntrastive Adaptive Semantic Token Pruning) voor, een trainingsvrij raamwerk dat visuele compressie herformuleert als adaptieve semantische routing. In plaats van een enkele scalar beslissing, splitst COAST het behoudsbudget op in twee complementaire rollen: semantisch bewijs (query-gealigneerd) en ruimtelijke context (complementair).

Het raamwerk werkt in twee hoofdfasen op geplande pruning-lagen:

A. Entropie-gedreven Dynamische Budgettering

COAST hergebruikt native cross-modal attention om de spreiding van visueel bewijs te schatten.

1. Berekening van Attention Entropie: Het berekent de globale tekst-naar-afbeelding attention entropie ($H$) uit de voorgaande laag. Lage entropie wijst op geconcentreerde attention op specifieke regio's, terwijl hoge entropie verspreid bewijs suggereert dat bredere context vereist.
2. Adaptieve Split: Het resterende token-budget (na reservering van query-specifieke ankers) wordt op basis van $H$ opgesplitst in twee delen:
   • $n_1$ (Semantisch Bewijs): Tokens die gealigneerd zijn met de query.
   • $n_2$ (Complementaire Ruimtelijke Context): Tokens die context op sceneniveau bieden.
   • De split is adaptief: naarmate de attention entropie toeneemt, verschuift het budget naar het behoud van meer ruimtelijke context ($n_2$), zodat verspreide aanwijzingen niet verloren gaan.

B. Anker-Referentie Contrastieve Semantische Routing

Zodra het budget is toegewezen, scoort COAST kandidaat-tokens met een contrastieve mechanisme in plaats van een enkele scalar score.

1. Set Constructie:
   • Ankers ($A$): Geselecteerd via last-token attention (hoge relevantie voor de query).
   • Referenties ($R$): Geselecteerd via globale attention als de laagst scorende tokens (context met lage salientie).
   • Kandidaten ($C$): De resterende niet-anker tokens.
2. Contrastieve Scoring: Voor elke kandidaat $c_i$ wordt een score berekend door zijn gelijkenis met de ankers te contrasteren met zijn gelijkenis met de referenties:
   $$\text{Score}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$$
   Waar $\text{Sim}_A$ de maximale cosinus-gelijkheid is met een willekeurige anker, en $\text{Sim}_R$ de gemiddelde cosinus-gelijkheid is met de referentieset.
3. Twee-staart Behoud:
   • Top-$n_1$: Kandidaten met de hoogste scores worden behouden als anker-gealigneerd bewijs.
   • Bodem-$n_2$: Kandidaten met de laagste scores worden behouden als complementaire ruimtelijke context. Deze tokens zijn verschillend van de ankers, maar cruciaal voor het behoud van scenedekking en ruimtelijke relaties die scalar pruning zou verwijderen.
4. Gesorteerde Hercompositie: De behouden tokens (Ankers + Top-$n_1$ + Bodem-$n_2$) worden gesorteerd op hun oorspronkelijke sequentie-indexen om de ruimtelijke lay-out te behouden voor daaropvolgende decoderlagen.

3. Belangrijkste Bijdragen

• Identificatie van Visuele Afasie: Het artikel definieert en demonstreert een specifieke faalwijze waarbij agressieve vroege pruning ertoe leidt dat LVLM's hun visuele grondslag verliezen en in plaats daarvan vertrouwen op taalkundige priors.
• COAST Raamwerk: Een trainingsvrije pruning-methode die compressie behandelt als adaptieve semantische routing, waarbij entropie wordt gebruikt om semantisch bewijs en ruimtelijke context in evenwicht te brengen.
• Contrastieve Routing Mechanisme: Een innovatieve scoringstrategie die zowel hoog-relevante ankers als laag-salientie complementaire context behoudt, en zo "attention collapse" naar het meest saliente object voorkomt.
• Uitgebreide Evaluatie: Uitgebreide experimenten over zeven benchmarks (MME, MMBench, AI2D, GQA, VizWiz, POPE, ScienceQA-IMG) en meerdere LVLM-families (LLaVA-1.5, LLaVA-NeXT, LLaVA-OneVision, Qwen2.5-VL).

4. Experimentele Resultaten

Over zeven benchmarks toont COAST superieure prestatie-efficiëntie trade-offs vergeleken met sterke baselines (FastV, PDrop, SparseVLM, V2Drop, MMTOK):

• Prestatiebehoud: COAST reduceert visuele tokens met 77,8% (behoud van 128 tokens) terwijl 98,64% van de oorspronkelijke gemiddelde prestatie behouden blijft. Onder een 192-token budget leidt het slechts tot een 0,21% prestatiedaling, wat significant beter is dan baselines (bijv. SparseVLM met 1,61% daling).
• Latentie Versnelling: COAST bereikt een 2,15× versnelling van de latentie. Opmerkelijk is dat het een lagere latentie bereikt dan baselines met vergelijkbare FLOPs-reducties, dankzij efficiënte routing en gesorteerde token-hercompositie.
• Generalisatie: De methode presteert consistent beter dan baselines over verschillende modelgroottes (0,5B tot 13B) en architecturen, en toont robuustheid in zowel matige als agressieve compressie-instellingen.
• Ablatiestudies:
  • Twee-staart Behoud: Het verwijderen van ofwel de anker-gealigneerde tak ($n_1$) of de complementaire context-tak ($n_2$) verslechtert de prestaties, wat de noodzaak bevestigt om beide typen bewijs te behouden.
  • Entropie-gedreven Budgettering: Adaptieve splitsing op basis van attention entropie presteert beter dan splitsing met een vast ratio, met name op benchmarks die complex redeneren vereisen (MME, GQA).
  • Contrastieve Scoring: De anker-referentie contrastieve score presteert significant beter dan scalar attention of alleen MaxSim-scoring.

5. Betekenis en Claims

Het artikel beweert dat adaptieve semantische routing een robuust alternatief is voor eenmalige scalar pruning. Door te erkennen dat token-belang dynamisch en context-afhankelijk is, mitigeert COAST de faalwijze "Visuele Afasie", waardoor LVLM's fijne visuele grondslag kunnen behouden zelfs onder agressieve token-reductie. De auteurs benadrukken dat hun methode geen fine-tuning vereist, minimale rekenkundige overhead toevoegt en toepasbaar is op diverse LVLM-architecturen, en zo een praktische oplossing biedt voor het implementeren van efficiënte, hoogwaardige multimodale redeneersystemen.