HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

Probleemstelling

Multimodale Large Language Models (MLLM's) zoals Qwen2.5-VL en LLaVA-NeXT hebben een enorme rekenkracht nodig om visuele input (afbeeldingen en video's) te verwerken. Deze input wordt omgezet in een groot aantal "visuele tokens" (vaak honderden tot duizenden), wat veel meer is dan de tekstuele tokens. Omdat de rekencomplexiteit van attention-mechanismen kwadratisch toeneemt met de token-lengte, leidt deze overvloed aan visuele tokens tot:

• Hoge inferentietijden (latency).
• Grote geheugenvraag (GPU-VRAM).
• Onpraktische prestaties voor real-time of hulpbron-beperkte toepassingen.

Bestaande methoden voor het "prunen" (verwijderen) van redundante visuele tokens gaan er vaak ten onrechte van uit dat alle attention heads in het model even belangrijk zijn voor visuele interpretatie. Ze behandelen deze heads als gelijkwaardig, wat kan leiden tot het verwijderen van semantisch waardevolle tokens en het behouden van overbodige informatie.

Methodologie: HAWK

De auteurs stellen HAWK (Head Importance-Aware Visual Token Pruning) voor, een methode die specifiek rekening houdt met het feit dat verschillende attention heads unieke rollen spelen in visuele verwerking. HAWK is volledig training-vrij en vereist slechts één offline berekening.

De methode bestaat uit drie kernstappen:

1. Bepaling van Head-Importance Weights (Statisch):

   • De auteurs hebben experimenten gedaan waarbij ze systematisch elke attention head uitschakelden (ablatie) en de impact op de prestaties maten over meerdere datasets.
   • Hieruit bleek dat het uitschakelen van bepaalde heads een veel grotere daling in prestaties veroorzaakt dan andere.
   • Op basis hiervan wordt een vector van head importance weights ($W$) berekend die de intrinsieke bijdrage van elke head tot visueel begrip kwantificeert.

2. Dynamische Tekst-Gestuurde Attention Scores:

   • De relevantie van een visuele token hangt af van de tekstuele instructie (bijv. "waar is de tafel?").
   • HAWK gebruikt een mechanisme om de attention-scores tussen de tekst-tokens en visuele tokens te berekenen.
   • Belangrijk detail: Om positiebias te elimineren en puur te focussen op semantische relevantie, wordt de Rotary Position Embedding (RoPE) in deze stap bewust weggelaten.
   • Dit resulteert in een matrix ($C$) die de relevantie van elke visuele token voor de huidige tekstuele vraag aangeeft.

3. Geïntegreerd Pruning Mechanisme:

   • De uiteindelijke belangrijkheidsscore ($I_k$) voor elke visuele token $k$ wordt berekend door de statische head-weights te combineren met de dynamische tekst-gestuurde scores:
     $$I_k = \sum_{i=1}^{N_h} w_i \cdot c_{i,k}$$
   • Waarbij $w_i$ de gewicht is van head $i$ en $c_{i,k}$ de attention-score van die head voor token $k$.
   • Tokens met de hoogste scores worden behouden; de rest wordt verwijderd.

Belangrijkste Bijdragen

• Inzicht in Attention Heads: De auteurs tonen aan dat attention heads in MLL's niet gelijkwaardig zijn; ze hebben unieke en verschillende rollen in visuele verwerking.
• HAWK Framework: Een nieuwe, training-vrije methode die head-importance combineert met tekst-gestuurde attention om visuele tokens te selecteren.
• SOTA Prestaties: De methode presteert consistent beter dan bestaande baselines (zoals FastV, DivPrune en CDPruner) op diverse benchmarks, zonder extra training of fine-tuning.
• Brede Toepasbaarheid: De methode werkt naadloos op verschillende MLLM-architecturen (bijv. Qwen2.5-VL, InternVL3) en voor zowel afbeeldingen als video's.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op meerdere benchmarks (zoals MME, TextVQA, ChartQA, VideoMME). De belangrijkste bevindingen zijn:

• Qwen2.5-VL-7B (Vaste Resolutie):

  • Bij het verwijderen van 80,2% van de visuele tokens, behoudt HAWK 96,0% van de oorspronkelijke nauwkeurigheid.
  • Dit is een verbetering van 3,4 procentpunten ten opzichte van de op twee na beste methode.
  • Bij extreme pruning (90,1% verwijderd) behoudt het nog steeds 90,0% van de prestaties.

• InternVL3-8B:

  • HAWK toont uitstekende generalisatie. Bij 80% pruning behoudt het 94,1% van de prestaties, wat 7,0 procentpunten beter is dan concurrenten.

• Video Begrip:

  • Op video-benchmarks (VideoMME, WorldSense) behoudt HAWK bij 80% pruning 96,6% van de prestaties, wat consistent leidt tot de beste resultaten.

• Efficiëntie:

  • Latency: De end-to-end inferentietijd wordt teruggebracht tot 74,4% van het origineel (een snelheidswinst van 1,34x bij 80% pruning).
  • Geheugen: De GPU-geheugenvraag en de grootte van de KV-cache nemen aanzienlijk af (bijv. van 668 MB naar 148 MB KV-cache bij 80% pruning).

Betekenis en Conclusie

HAWK biedt een praktische en efficiënte oplossing voor het schaalprobleem van multimodale modellen. Door te erkennen dat niet alle attention heads even belangrijk zijn, kan de methode visuele tokens selecteren die echt relevant zijn voor de specifieke taak en vraag.

De belangrijkste voordelen zijn:

1. Geen Training: Het vereist geen kostbare end-to-end training of fine-tuning, wat het direct toepasbaar maakt op bestaande modellen.
2. Hoge Efficiëntie: Het verlaagt aanzienlijk de rekenlast en het geheugengebruik zonder significante kwaliteitsverlies.
3. Robuustheid: Het werkt goed op zowel statische afbeeldingen als dynamische video-invoer met variabele resoluties.

Deze bevindingen maken HAWK tot een krachtige techniek voor het mogelijk maken van real-time en hulpbron-efficiënte multimodale AI-toepassingen.