Technische Samenvatting: CAPA – Bijdrage-bewuste Pruning en FFN-benadering voor Efficiënte Grote Visuele Taalmodellen

1. Probleemstelling

Grote Visuele Taalmodellen (LVLM's) kampen met aanzienlijke computationele knelpunten door de hoge kosten van het verwerken van duizenden visuele tokens, vooral bij het verwerken van afbeeldingen met een hoge resolutie. Hoewel visuele token-pruning een primaire versnellingsstrategie is geworden, vertrouwen bestaande methoden zwaar op ruwe aandachtsscores of heuristische metrieken afgeleid van deze scores om onbelangrijke tokens te identificeren. De auteurs stellen dat aandachtsscores een imperfecte proxy zijn voor werkelijke token-belangrijkheid, omdat ze de magnitude van de geassocieerde waardevectoren negeren.

Bovendien behandelen huidige benaderingen visuele en tekstuele tokens vaak uniform. Recente bewijzen suggereren echter dat de backbones van LVLM's deze modaliteiten verschillend verwerken. Specifiek blijft de redundantie in Feed-Forward Networks (FFN's) met betrekking tot visuele tokens grotendeels onverkend. Eerdere werken in het LLM-domein hebben FFN-benadering onderzocht (bijv. sparse approximatie, MoE), maar deze technieken zijn niet uitgebreid naar de specifieke redundantiepatronen van visuele tokens in LVLM's.

2. Empirische Analyse en Belangrijke Observaties

De auteurs voerden empirische analyses uit op LVLM's (LLaVA-1.5, Qwen2.5-VL, InternVL3) om het gedrag van visuele tokens te deconstrueren, wat leidde tot twee cruciale observaties:

1. Heterogeniteit van Visuele Aandachtszinkplaatsen (Attention Sinks):

   • Traditionele "attention sinks" (tokens met een disproportioneel hoge aandachtsmassa) zijn niet functioneel uniform.
   • Met behulp van een nieuwe metriek, Attention Contribution (Aandachtsbijdrage), maken de auteurs onderscheid tussen twee soorten zinkplaatsen:
     • Type I (Probability Dumps): Tokens met hoge aandachtsgewichten maar lage magnitude van de waardevectoren. Deze fungeren als passieve receptakels voor overtollige waarschijnlijkheidsmassa en dragen nauwelijks bij aan de residustroom. Ze zijn veilig te prunen.
     • Type II (Structural Anchors): Tokens met zowel hoge aandachtsgewichten als enorme magnitude van de waardevectoren. Deze zijn cruciaal voor het behoud van de modelprestaties; hun verwijdering veroorzaakt representatieve instorting.
   • Conclusie: Het uitsluitend vertrouwen op aandachtsscores faalt in het onderscheiden van deze twee typen, wat leidt tot het per ongeluk prunen van essentiële tokens.

2. Modaliteit-afhankelijke FFN-redundantie:

   • De auteurs maten de lineariteit van FFN-transformaties door de cosinusovereenkomst te berekenen tussen de input verborgen toestand $x$ en de residuele output $x + \text{FFN}(x)$.
   • Bevindingen: Afbeeldingstokens vertonen een bijna-identieke mapping (gelijkenis > 0,96) over de meerderheid van de tussenliggende lagen, wat aangeeft dat de FFN-transformaties effectief lineair en redundant zijn voor visuele data. In tegen tegenstelling hiertoe vertonen tekstuele tokens significante niet-lineariteit in de vroege en middelste lagen.
   • Conclusie: De dure $O(d^2)$ FFN-berekeningen voor visuele tokens in tussenliggende lagen kunnen worden vervangen door lichtgewicht lineaire benaderingen zonder de representatieve integriteit in gevaar te brengen.

3. Methodologie: CAPA-framework

Op basis van deze bevindingen stellen de auteurs CAPA voor (Contribution-Aware Pruning and FFN Approximation), een duaal strategie-framework:

A. Bijdrage-bewuste Pruning (Contribution-Aware Pruning)

In plaats van ruwe aandachtsscores gebruikt CAPA een Attention Contribution Score ($C_i$) voor elk visueel token $i$. Deze score weegt de aandachtskans met de magnitude van de waardevector geprojecteerd door de outputmatrix.

• Formule: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• Mechanisme: Tijdens de generatie selecteert het systeem dynamisch de top-$k$ visuele tokens met de hoogste bijdragescores om te behouden in de key-value cache, waarbij tokens met een verwaarloosbare bijdrage worden gepruned. Dit zorgt ervoor dat "Structural Anchors" worden behouden terwijl "Probability Dumps" worden verwijderd.

B. Redundantie-identificatie & FFN-benadering

Voor lagen die geïdentificeerd zijn als zijnde met een hoge redundantie (waar de input-output cosinusovereenkomst een drempelwaarde $\eta$ overschrijdt), vervangt CAPA de standaard dichte FFN door een lichtgewicht Hadamard-product.

• Benadering: De residuele blok $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ wordt benaderd als $\hat{y}^{(l)} = x^{(l)} \odot \alpha$, waarbij $\alpha$ een geleerd element-gewijs schalingvector is.
• Complexiteitsreductie: Dit vermindert de computationele complexiteit van de laag van $O(d^2)$ naar $O(d)$.
• Optimalisatie: De optimale schalingvector $\alpha$ wordt analytisch afgeleid met behulp van een Ordinary Least Squares (OLS) oplossing op een kalibratieset, waardoor iteratieve gradiëntafdaling wordt vermeden.

4. Experimentele Resultaten

Het framework werd geëvalueerd op drie LVLM-backbones (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) over zes benchmarks (VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU).

• Prestaties vs. Baselines: CAPA presteerde consistent beter dan bestaande pruning-baselines (FastV, Feather, Uniform pruning) over alle benchmarks. Met name bij kritieke "transitielagen" waar pruning het meest gevoelig is, behield CAPA prestaties die dicht bij het ongeprunede Vanilla-model lagen, terwijl baselines significante degradatie vertoonden.
• Robuustheid: CAPA toonde superieure robuustheid bij hoge sparsiteitsniveaus. Terwijl baselines een drastische daling in prestaties ervoeren boven de 50% pruning, behield CAPA bijna-vanilla nauwkeurigheid, zelfs bij 75% pruning.
• Efficiëntiewinst:
  • Token Pruning: Verminderde de kwadratische kosten geassocieerd met de sequentielengte.
  • FFN-benadering: Elimineerde de dominante $O(d^2)$ kosten in redundante lagen.
  • Totale Impact: De gecombineerde aanpak bereikte een reductie van 78% in totale FLOPs terwijl de taakprestaties behouden bleven.
• Ablatie-studies:
  • Logit Divergentie: Pruning gebaseerd op Attention Contribution resulteerde in lagere Hellinger-afstanden (dichter bij de outputdistributie van het vanilla-model) vergeleken met op aandachtsscores gebaseerde pruning, vooral bij langere generaties.
  • FFN-vervanging: Het simpelweg overslaan van FFN-lagen veroorzaakte prestatiedalingen, maar het vervangen door het Hadamard-product slaagde erin het merendeel van het verloren prestatievermogen te herstellen, wat de lineariteitshypothese valideert.

5. Betekenis en Claims

Het artikel claimt dat CAPA een kritieke kloof in LVLM-optimalisatie aanpakt door te erkennen dat visuele tokens anders gedragen dan tekstuele tokens in zowel aandachtsmechanismen als FFN-verwerking.

• Verschuiving in het Pruning-paradigma: De auteurs stellen dat aandachtsscores onvoldoende zijn voor tokenselectie. Door Attention Contribution te introduceren, bieden ze een getrouwer signaal voor het identificeren van welke visuele tokens functioneel noodzakelijk zijn.
• Modaliteit-specifieke Optimalisatie: Het werk benadrukt dat efficiëntiewinst in LVLM's onderscheidende strategieën vereist voor visuele en tekstuele modaliteiten. Specifiek staat de identificatie van lineaire redundantie in visuele FFN's toe dat architecturale vereenvoudiging wordt toegepast die niet van toepassing is op tekstverwerking.
• Efficiëntie-Prestatie Afweging: CAPA bereikt een gunstige afweging: het levert substantiële inferentieversnelling (78% FLOP-reductie) zonder de robuustheid of taakprestaties van het model in gevaar te brengen, waarbij het bestaande pruning-only baselines overtreft.

6. Beperkingen

De auteurs erkennen dat CAPA een post-hoc strategie is die opereert op vaste, vooraf getrainde backbones. Bijgevolg kan het niet volledig profiteren van de voordelen van gezamenlijk geleerde tokenselectie en modelberekening. Toekomstig werk wordt gesuggereerd in de richting van:

• Het ontwerpen van geleerde controllers voor adaptieve token-retentie.
• Het ontwikkelen van visuele-taal backbones met native, efficiënte FFN-modules die specifiek zijn afgestemd op visuele tokens.
• Het evalueren van deze strategieën over diverse distributieverschuivingen en het onderzoeken van de interpreteerbaarheid van geleerde beleidregels (policies).