💻 computer science

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

Das Paper stellt HAWK vor, eine trainingfreie Methode zur visuellen Token-Pruning in multimodalen Modellen, die durch die Berücksichtigung der unterschiedlichen Bedeutung von Aufmerksamkeitsköpfen redundanten visuellen Input entfernt und dabei die Genauigkeit sowie die Effizienz erheblich verbessert.

Ursprüngliche Autoren: Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

Veröffentlicht 2026-04-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen extrem intelligenten Assistenten, der sowohl lesen als auch Bilder sehen kann. Das ist ein Multimodales Großes Sprachmodell (MLLM). Wenn du ihm ein Bild zeigst, zerlegt dieses Modell das Bild in tausende kleine Puzzleteile, die es „Visual Tokens" nennt.

Das Problem ist: Ein Bild besteht aus viel mehr Puzzleteilen als ein kurzer Text. Wenn du dem Assistenten ein Bild zeigst, muss er sich alle diese tausenden Teile gleichzeitig merken und verarbeiten. Das ist wie wenn du versuchst, ein ganzes Stadion voller Menschen auf einmal zu beobachten, während du gleichzeitig eine Frage beantwortest. Das kostet viel Zeit, viel Energie und überlastet den Computer.

Hier kommt HAWK ins Spiel – ein neuer, cleverer Trick, um diesen Prozess zu beschleunigen, ohne die Intelligenz des Assistenten zu verlieren.

Das Problem: Alle Köpfe sind nicht gleich wichtig

Früher dachten Forscher, alle „Augen" (in der Technik: Attention Heads) des Assistenten seien gleich wichtig. Sie dachten: „Wenn wir 80 % der Bildteile wegwerfen, nehmen wir einfach die ersten 80 % oder die, die sich am ähnlichsten sehen."

Aber die Forscher von HAWK haben etwas Spannendes entdeckt: Die verschiedenen „Augen" des Assistenten haben unterschiedliche Aufgaben.

Ein „Auge" ist vielleicht ein Experte für Farben.
Ein anderes ist ein Meister darin, Gesichter zu erkennen.
Ein drittes schaut nur auf den Text im Bild.

Wenn man einfach zufällig Teile wegwirft, könnte man versehentlich das „Farb-Auge" ignorieren, obwohl es für deine Frage („Ist der Himmel blau?") entscheidend ist. Das wäre, als würdest du in einem Orchester die Geigen stumm schalten, nur weil sie leiser spielen als die Trompeten, obwohl die Melodie gerade von den Geigen kommt.

Die Lösung: HAWK (Der kluge Gärtner)

HAWK ist wie ein sehr aufmerksamer Gärtner, der weiß, welche Pflanzen (die Bildteile) für das aktuelle Wetter (deine Frage) wichtig sind.

Der Gärtner kennt die Pflanzen (Kopf-Bedeutung):
Zuerst hat HAWK gelernt, welche „Augen" des Assistenten für welche Art von Bild wichtig sind. Es weiß: „Oh, für diese Frage ist das 3. Auge besonders wichtig, das 7. Auge weniger." Das ist wie ein Gärtner, der weiß, welche Blumen viel Sonne brauchen und welche im Schatten gedeihen.
Der Gärtner hört zu (Text-gesteuerte Aufmerksamkeit):
Wenn du eine Frage stellst (z. B. „Wo ist der Picknicktisch?"), schaut HAWK nicht nur auf das Bild, sondern hört genau zu, was du fragst. Es fragt sich: „Welche Bildteile helfen mir, diese spezifische Frage zu beantworten?"
Der Schnitt (Pruning):
Jetzt kommt der magische Moment. HAWK schneidet nur die Bildteile weg, die nicht wichtig sind.
- Es behält die Teile, die den Tisch zeigen (weil du danach gefragt hast).
- Es behält die Teile, die für das „Tisch-Auge" wichtig sind.
- Es wirft den unscharfen Hintergrund und irrelevante Details weg.

Das Ergebnis: Schnell und schlau

Das Tolle an HAWK ist, dass es kein Training braucht. Man muss den Assistenten nicht neu lernen lassen. Es ist wie ein Software-Update, das sofort funktioniert.

Was bringt das?

Geschwindigkeit: Der Assistent muss viel weniger Daten verarbeiten. In Tests war er bis zu 1,34-mal schneller.
Platzersparnis: Er braucht weniger Speicherplatz im Computer (GPU-Speicher), was bedeutet, dass man ihn auch auf schwächeren Geräten nutzen kann.
Genauigkeit: Selbst wenn man 80 % der Bildteile wegwirft, bleibt die Intelligenz des Assistenten fast gleich hoch (96 % der ursprünglichen Leistung).

Zusammenfassung in einer Metapher

Stell dir vor, du hast einen riesigen Koffer voller Kleidung für eine Reise.

Die alten Methoden waren wie: „Wir nehmen einfach die Hälfte der Kleidung weg, egal was drin ist." Ergebnis: Du hast vielleicht keine Schuhe mehr, aber drei identische Socken.
HAWK ist wie ein perfekter Pack-Assistent. Er schaut auf dein Reiseziel (deine Frage), weiß, welche Kleidungsstücke (Bildteile) du wirklich brauchst, und packt nur diese in den Koffer. Der Koffer wird viel leichter und du kommst schneller ans Ziel, ohne dass dir etwas Wichtiges fehlt.

Kurz gesagt: HAWK macht Multimodal-KI schneller, effizienter und günstiger, indem es lernt, genau das zu behalten, was wirklich zählt.

1. Problemstellung

Multimodale Large Language Models (MLLMs) wie Qwen2.5-VL oder LLaVA-NeXT verarbeiten visuelle Eingaben (Bilder, Videos) als Sequenzen von „visuellen Tokens". Aufgrund der hohen räumlichen Auflösung und der Dichte visueller Informationen übersteigt die Anzahl dieser visuellen Tokens oft die der textuellen Tokens um ein Vielfaches. Da die Rechenkomplexität von Attention-Mechanismen quadratisch mit der Token-Länge skaliert, führt dieser Anstieg zu erheblichen Inferenzzeiten und einem hohen Speicherbedarf (GPU-Memory). Dies macht MLLMs für Echtzeitanwendungen oder ressourcenbeschränkte Umgebungen oft unpraktisch.

Bestehende Lösungsansätze zum „Visual Token Pruning" (das Entfernen redundanter Tokens) lassen sich in drei Kategorien einteilen:

Ähnlichkeitsbasierte Methoden: Entfernen redundante Regionen basierend auf Merkmalsähnlichkeit, ignorieren aber oft den Kontext der Benutzeranfrage.
Fine-Tuning-basierte Methoden: Optimieren das Pruning als lernbaren Modul, erfordern jedoch teures End-to-End-Training und leiden unter Generalisierungsproblemen.
Aufmerksamkeit-basierte Methoden: Nutzen Attention-Scores aus frühen Schichten, gehen jedoch fälschlicherweise davon aus, dass alle Attention-Heads gleich wichtig für das visuelle Verständnis sind und mitteln diese einfach.

Das Paper identifiziert eine kritische Lücke: Verschiedene Attention-Heads erfassen unterschiedliche visuelle Semantiken und spielen unterschiedlich wichtige Rollen. Das Gleichsetzen aller Heads führt dazu, dass semantisch wertvolle Tokens fälschlicherweise entfernt werden, während redundante Tokens erhalten bleiben.

2. Methodik: HAWK

HAWK (Head Importance-Aware Visual Token Pruning) ist eine trainingsfreie Methode, die die unterschiedliche Wichtigkeit von Attention-Heads explizit berücksichtigt, um visuelle Tokens selektiv zu entfernen. Der Ansatz besteht aus drei Hauptkomponenten:

A. Statische Gewichtung der Head-Wichtigkeit (Static Visual Head Importance Weights)

Das Paper zeigt durch Ablationsstudien, dass das Deaktivieren einzelner Heads zu unterschiedlich starken Leistungseinbußen führt.

Berechnung: Die Wichtigkeit jedes Heads wird durch eine einmalige Offline-Analyse bestimmt. Dabei wird die Performance-Differenz ( $\Delta S$ ) zwischen dem Baseline-Modell und dem Modell gemessen, bei dem ein spezifischer Head abgedeckt (ablated) wurde.
Gewichtung: Ein Vektor $W$ wird berechnet, der die durchschnittliche, normalisierte Performance-Drop über mehrere Datensätze hinweg für jeden Head darstellt. Dies liefert statische Gewichte, die die intrinsische Bedeutung jedes Heads für das visuelle Verständnis widerspiegeln.

B. Dynamische Text-gesteuerte Attention-Scores (Dynamic Text-Guided Attention)

Da die Relevanz eines visuellen Tokens stark von der textuellen Eingabe (Anfrage) abhängt, wird ein Mechanismus eingeführt, der die semantische Beziehung zwischen Text und Bild dynamisch bewertet.

Mechanismus: Es werden die Query- und Key-Projektionsmatrizen der ersten Attention-Schicht des LLMs genutzt.
Positionsinvarianz: Um Verzerrungen durch Positions-Embeddings (RoPE) zu vermeiden und sich rein auf die semantische Korrespondenz zu konzentrieren, wird die RoPE-Operation in diesem Schritt bewusst weggelassen.
Ergebnis: Es entsteht eine Attention-Matrix, die angibt, wie stark jeder visuelle Token mit den Text-Tokens interagiert.

C. Head-Importance-bewusstes Pruning

Die beiden Komponenten werden kombiniert, um die endgültige Wichtigkeit jedes visuellen Tokens zu berechnen.

Formel: Für jeden visuellen Token $k$ wird ein Importance-Score $I_k$ berechnet, indem die text-gesteuerten Attention-Scores $c_k^i$ für jeden Head $i$ mit dem entsprechenden statischen Head-Gewicht $w_i$ gewichtet und summiert werden:
$I_k = \sum_{i=1}^{N_h} w_i \cdot c_k^i$
Pruning: Basierend auf diesen Scores werden die Top- $k$ Tokens beibehalten, während die restlichen (redundanten) entfernt werden.

3. Schlüsselbeiträge

Erkenntnis der Head-Asymmetrie: Die Autoren zeigen erstmals systematisch, dass Attention-Heads in MLLMs unterschiedliche Rollen im visuellen Prozess haben und ihre Gleichbehandlung zu suboptimalen Pruning-Entscheidungen führt.
Entwicklung von HAWK: Einführung einer vollständig trainingsfreien Methode, die statische Head-Gewichte mit dynamischen Text-Kontexten kombiniert.
Hohe Effizienz und Generalisierung: Die Methode ist plattformunabhängig, erfordert keine Kalibrierung oder Feinabstimmung und funktioniert nahtlos mit verschiedenen MLLM-Architekturen (z. B. Qwen2.5-VL, InternVL3).

4. Ergebnisse

Die Methode wurde auf mehreren Benchmarks (Bild- und Video-Verständnis) und mit verschiedenen Modellen (Qwen2.5-VL-7B, InternVL3-8B) evaluiert.

Genauigkeit: HAWK erreicht State-of-the-Art (SOTA) Ergebnisse.
- Bei Qwen2.5-VL bleibt nach dem Entfernen von 80,2 % der visuellen Tokens noch 96,0 % der ursprünglichen Genauigkeit erhalten.
- Im Vergleich zu Baselines wie FastV, DivPrune und CDPruner übertrifft HAWK diese bei allen Pruning-Raten (60 %, 80 %, 90 %) deutlich.
- Bei extremen Pruning-Raten (90 %) behält HAWK 89,7–90,0 % der Leistung, während andere Methoden stärker einbrechen.
Effizienz:
- Latenz: Die End-to-End-Latenz wird auf 74,4 % der Originalzeit reduziert (entspricht einer Beschleunigung von ca. 1,34x bei 80 % Pruning).
- Speicher: Der GPU-Speicherbedarf (VRAM) und die Größe des KV-Caches werden signifikant gesenkt.
Robustheit: Die Methode funktioniert sowohl bei festen Auflösungen als auch bei nativen, variablen Auflösungen und in Video-Anwendungen (z. B. VideoMME, WorldSense) gleichermaßen gut.

5. Bedeutung und Fazit

HAWK adressiert ein fundamentales Problem der Skalierbarkeit von Multimodal-Modellen. Indem es die inhärente Heterogenität der Attention-Heads nutzt, ermöglicht es eine drastische Reduktion der Rechenlast ohne signifikanten Genauigkeitsverlust.

Die Bedeutung liegt in der Praktikabilität: Da HAWK keine zusätzlichen Trainingsdaten oder Fine-Tuning-Schritte benötigt, kann es sofort in bestehenden Produktions-MLLMs eingesetzt werden. Dies macht Echtzeitanwendungen und den Einsatz auf ressourcenbeschränkter Hardware (z. B. Edge Devices) für komplexe multimodale Aufgaben erst möglich. Die Arbeit legt nahe, dass zukünftige Optimierungen von Transformer-Architekturen die unterschiedlichen Rollen von Attention-Heads stärker berücksichtigen sollten.