🤖 machine learning

CAPA: Contribution-Aware Pruning and FFN Approximation for Efficient Large Vision-Language Models

Dieses Paper stellt CAPA vor, ein effizientes Framework für Large Vision-Language Models, das die Inferenzgeschwindigkeit durch das Pruning von visuellem Token mit geringem Beitrag verbessert, welche mittels Attention-Beitragsmetriken identifiziert wurden, sowie durch die Approximation redundanter Feed-Forward-Network-Berechnungen in Zwischenschichten.

Ursprüngliche Autoren: Samyak Jha, Junho Kim

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Samyak Jha, Junho Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Vision-Language Model (LVLM) als einen hochintelligenten, aber unglaublich beschäftigten Kunstkritiker vor. Wenn Sie ihm ein Bild zeigen und eine Frage dazu stellen, „sieht“ es das Bild nicht einfach nur; es zerlegt das Bild in tausende winzige Puzzleteile (genannt visuelle Token). Es liest diese Teile dann zusammen mit Ihrem Text und versucht zu verstehen, was wichtig ist.

Das Problem ist, dass dieser Kritiker überfordert ist. Er versucht, jedes einzelne Stück des Puzzles mit der gleichen intensiven Konzentration zu verarbeiten, selbst die langweiligen, leeren Hintergrundteile. Das macht den Prozess langsam und teuer, so als würde man versuchen, eine ganze Enzyklopädie zu lesen, nur um einen einzigen spezifischen Fakt zu finden.

Das Paper stellt eine neue Methode namens CAPA (Contribution-Aware Pruning and FFN Approximation) vor, um diesem Kritiker zu helfen, schneller zu arbeiten, ohne verwirrt zu werden. Denken Sie an CAPA als einen klugen Assistenten, der dem Kritiker zwei neue Tricks lehrt:

Trick 1: Der „Echte Auswirkung“-Filter (Contribution-Aware Pruning)

Der alte Weg (Die fehlerhafte Intuition):
Früher entschied der Kritiker, welche Puzzleteile er ignorieren sollte, basierend darauf, wie viel „Aufmerksamkeit“ (Attention) sie erhielten. Wenn ein Teil des Bildes (wie ein Stück blauer Himmel) viel Aufmerksamkeit von dem Text erhielt, behielt der Kritiker es. Wenn es wenig Aufmerksamkeit erhielt, warf er es weg.

Das Problem: Dies ist so, als würde man eine Filmszene nur danach beurteilen, wie laut das Publikum jubelt. Manchmal erhält eine Figur zwar viel Lärm (Aufmerksamkeit), sagt aber eigentlich nichts Wichtiges. In der Fachsprache des Papers nennt man dies „Probability Dumps“. Sie sind laut, aber nutzlos. Umgekehrt können einige leise Teile die ganze schwere Arbeit leisten, werden aber ignoriert, weil sie nicht „laut“ genug waren.

Der CAPA-Weg (Der smarte Filter):
CAPA ändert die Regel. Anstatt nur auf den „Lärm“ (den Attention-Score) zu hören, prüft es die „Echte Auswirkung“ (Attention Contribution).

Die Analogie: Stellen Sie sich eine Baustelle vor. Der „Lärm“ ist, wie viele Menschen auf einen bestimmten Ziegelstein schreien. Die „Auswirkung“ ist, wie viel Gewicht dieser Ziegelstein tatsächlich trägt.
- Typ A (Probability Dumps): Ein Ziegelstein, auf den alle schreien, der aber aus Styropor besteht. Er trägt kein Gewicht. CAPA sagt: „Wirf das weg; das ist nur Lärm.“
- Typ B (Strukturelle Anker): Ein Ziegelstein, auf den niemand schreit, der aber das gesamte Dach trägt. CAPA sagt: „Behalte diesen! Er leistet die eigentliche Arbeit.“
Das Ergebnis: CAPA behält die schwer arbeitenden Ziegelsteine und wirft die Styropor-Steine weg, wodurch sichergestellt wird, dass der Kritiker die wichtigen Details nicht verliert, während er den leeren Raum ignoriert.

Trick 2: Die „Abkürzung“ für langweilige Aufgaben (FFN Approximation)

Der alte Weg (Die schwere Arbeit):
Nachdem das Modell die Puzzleteile betrachtet hat, muss es sie durch einen komplexen Gehirnkreislauf namens Feed-Forward Network (FFN) verarbeiten. Denken Sie an dies als einen sehr teuren, Hochleistungs-Taschenrechner, der komplexe mathematische Operationen an jedem einzelnen Datenstück durchführt.

Das Problem: Das Paper fand heraus, dass dieser komplexe Taschenrechner für Bildteile (visuelle Token) oft übertrieben ist. In den mittleren Schichten des Modells ist die Mathematik, die der Taschenrechner ausführt, fast nur eine gerade Linie (linear). Es ist wie die Verwendung eines Supercomputers, um 2 mal 2 zu rechnen. Es ist eine Verschwendung von Energie.

Der CAPA-Weg (Die Abkürzung):
CAPA identifiziert diese „langweiligen“ Schichten, in denen die komplexe Mathematik eigentlich nicht benötigt wird.

Die Analogie: Stellen Sie sich vor, Sie haben einen Koch, der einen 10.000-Dollar-Industrie-Mixer benutzt, um ein einzelnes Salatblatt zu hacken. Es funktioniert, aber es ist ineffizient. CAPA sagt: „In diesem speziellen Schritt benutze einfach ein einfaches Messer.“
Die Ausführung: Anstatt die teure, komplexe Mathematik auszuführen, ersetzt CAPA diese durch ein einf্যiges, leichtgewichtiges „Hadamard-Produkt“ (ein schicker Begriff für eine einfache, elementweise Multiplikation). Es ist, als würde man den Industrie-Mixer gegen einen schnellen Handhack ersatz.
Das Ergebnis: Das Modell spart eine enorme Menge an Energie (Rechenleistung), weil es aufhört, die schweren Maschinen zu benutzen, wenn ein einfaches Werkzeug denselben Job genauso gut erledigt.

Das große Finale: Wie CAPA gewinnt

Durch die Kombination dieser beiden Tricks schafft CAPA ein super-effizientes System:

Es beschneidet den Müll: Es entfernt die „Styropor-Ziegelsteine“ (nutzlose visuelle Token), die Zeit verschwendet haben.
Es vereinfacht die Mathematik: Es tauscht den „Industrie-Mixer“ (komplexe Berechnungen) gegen ein „einfaches Messer“ (leichtgewichtige Mathematik) aus, wo dies sicher möglich ist.

Das Ergebnis:
Das Paper hat dies an mehreren populären KI-Modellen (wie LLaVA und Qwen) getestet. Die Ergebnisse zeigten, dass CAPA wie ein Marathonläufer ist, der unnötiges Gewicht abwirft und zu einem effizienteren Schritt wechselt.

Es läuft viel schneller (bis zu 78 % weniger Rechenaufwand).
Es stolpert nicht über die Ziellinie (es behält eine hohe Genauigkeit bei).
Es bewältigt komplexe Aufgaben (wie das Lesen von Text in einem Bild oder das Lösen von Rätseln) besser als andere Methoden, die nur raten, welche Teile sie wegwerfen sollen.

Kurz gesagt: CAPa lehrt die KI, aufzuhören, in den leeren Raum zu schreien, und aufzuhören, einen Vorschlaghammer zu benutzen, um eine Nuss zu knacken – was sie schneller und klüger macht, ohne ihre Schlagkraft zu verlieren.

Technisches Resümee: CAPA – Beitragsbewusstes Pruning und FFN-Approximation für effiziente Large Vision-Language Models

1. Problemstellung

Large Vision-Language Models (LVLMs) stehen vor erheblichen Rechenengpässen aufgrund der hohen Kosten bei der Verarbeitung tausender visueller Token, insbesondere beim Umgang mit hochauflösenden Bildern. Während das Pruning von visuellen Token als primäre Beschleunigungsstrategie hervorgetreten ist, verlassen sich bestehende Methoden stark auf rohe Attention-Scores oder aus ihnen abgeleitete heuristische Metriken, um unwichtige Token zu identifizieren. Die Autoren argumentieren, dass Attention-Scores ein unvollkommener Stellvertreter für die tatsächliche Token-Wichtigkeit sind, da sie die Magnitude der zugehörigen Value-Vektoren ignorieren.

Darüber hinaus behandeln aktuelle Ansätze visuelle und textuelle Token oft einheitlich. Jüngste Erkenntnisse deuten jedoch darauf hin, dass LVLM-Backbones diese Modalitäten unterschiedlich verarbeiten. Insbesondere die Redundanz in den Feed-Forward Networks (FFNs) in Bezug auf visuelle Token wurde bisher weitgehend unerforscht. Vorherige Arbeiten im LLM-Bereich haben die FFN-Approximation (z. B. Sparse Approximation, MoE) untersucht, aber diese Techniken wurden nicht auf die spezifischen Redundanzmuster von visuellen Token in LVLMs ausgeweitet.

2. Empirische Analyse und Kernerkenntnisse

Die Autoren führten empirische Analysen an LVLMs (LLaVA-1.5, Qwen2.5-VL, InternVL3) durch, um das Verhalten visueller Token zu dekonstruieren, was zu zwei kritischen Beobachtungen führte:

Heterogenität der visuellen Attention-Sinks:
- Traditionelle „Attention Sinks“ (Token mit überproportional hoher Attention-Masse) sind nicht funktional uniform.
- Unter Verwendung einer neuen Metrik, dem Attention Contribution (Beitrag der Attention), unterscheiden die Autoren zwischen zwei Arten von Sinks:
  - Typ I (Probability Dumps): Token mit hohen Attention-Gewichten, aber geringen Value-Vektor-Magnituden. Diese fungieren als passive Rezeptoren für überschüssige Wahrscheinlichkeitsmasse und tragen vernachlässigbar zum Residualstrom bei. Sie sind sicher zu prunen.
  - Typ II (Structural Anchors): Token mit sowohl hohen Attention-Gewichten als auch massiven Value-Vektor-Magnituden. Diese sind entscheidend für die Aufrechterhaltung der Modellleistung; ihre Entfernung führt zu einem Repräsentationskollaps.
- Fazit: Die alleinige Nutzung von Attention-Scores scheitert daran, zwischen diesen beiden Typen zu unterscheiden, was zur versehentlichen Entfernung essenzieller Token führt.
Modalitätsabhängige FFN-Redundanz:
- Die Autoren maßen die Linearität der FFN-Transformationen, indem sie die Kosinus-Ähnlichkeit zwischen dem Eingangs-Hidden-State $x$ und dem Residual-Output $x + \text{FFN}(x)$ berechneten.
- Ergebnisse: Bild-Token weisen über die Mehrheit der mittleren Schichten eine Near-Identity-Abbildung (Ähnlichkeit > 0,96) auf, was darauf hindeutet, dass die FFN-Transformationen für visuelle Daten effektiv linear und redundant sind. Im Gegensatz dazu zeigen Text-Token in frühen und mittleren Schichten eine signifikante Nichtlinearität.
- Fazit: Die rechenintensiven $O(d^2)$ FFN-Berechnungen für visuelle Token in mittleren Schichten können durch leichtgewichtige lineare Approximationen ersetzt werden, ohne die Repräsentationsintegrität zu gefährden.

3. Methodik: Das CAPA-Framework

Basierend auf diesen Erkenntnissen schlagen die Autoren CAPA (Contribution-Aware Pruning and FFN Approximation) vor, ein duales Strategie-Framework:

A. Beitragsbewusstes Pruning (Contribution-Aware Pruning)

Anstatt rohe Attention-Scores zu verwenden, berechnet CAPA einen Attention Contribution Score ( $C_i$ ) für jeden visuellen Token $i$ . Dieser Score gewichtet die Attention-Wahrscheinlichkeit mit der Magnitude des durch die Output-Matrix projizierten Value-Vektors.

Formel: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
Mechanismus: Während der Generierung wählt das System dynamisch die Top- $k$ visuellen Token mit den höchsten Beitrags-Scores aus, um sie im Key-Value-Cache zu behalten, und entfernt jene mit vernachligbarer Beitragsleistung. Dies stellt sicher, dass „Structural Anchors“ erhalten bleiben, während „Probability Dumps“ entfernt werden.

B. Redundanzidentifikation & FFN-Approximation

Für Schichten, die als hochgradig redundant identifiziert wurden (wo die Input-Output-Kosinus-Ähnlichkeit einen Schwellenwert $\eta$ überschreitet), ersetzt CAPA das standardmäßige dichte FFN durch ein leichtgewichtiges Hadamard-Produkt.

Approximation: Der Residual-Block $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ wird als $\hat{y}^{(l)} = x^{(l)} \odot \alpha$ approximiert, wobei $\alpha$ ein gelernter elementweiser Skalierungsvektor ist.
Komplexitätsreduktion: Dies reduziert die Rechenkomplexität der Schicht von $O(d^2)$ auf $O(d)$ .
Optimierung: Der optimale Skalierungsvektor $\alpha$ wird analytisch unter Verwendung einer Ordinary Least Squares (OLS)-Lösung auf einem Kalibrierungsdatensatz abgeleitet, wodurch iterativer Gradientenabstieg vermieden wird.

4. Experimentelle Ergebnisse

Das Framework wurde auf drei LVLM-Backbones (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) über sechs Benchmarks (VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU) evaluiert.

Performance gegenüber Baselines: CAPA übertraf konsistent bestehende Pruning-Baselines (FastV, Feather, Uniform Pruning) über alle Benchmarks hinweg. Bemerkenswert ist, dass CAPA an kritischen „Transition Layers“, in denen Pruning am empfindlichsten ist, eine Leistung nahe am ungeprunten Vanilla-Modell beibehielt, während Baselines signifikante Degradationen erlitten.
Robustheit: CAPA demonstrierte eine überlegene Robustheit bei hohen Sparsity-Leveln. Während Baselines bei einem Pruning von über 50 % einen drastischen Leistungsabfall erlebten, konnte CAPA selbst bei 75 % Pruning eine nahezu Vanilla-typische Genauigkeit halten.
Effizienzgewinne:
- Token-Pruning: Reduzierte die quadratischen Kosten im Zusammenhang mit der Sequenzlänge.
- FFN-Approximation: Eliminierte die dominante $O(d^2)$ Kosten in redundanten Schichten.
- Gesamteffekt: Der kombinierte Ansatz erreichte eine Reduktion der gesamten FLOPs um 78 %, während die Aufgabenleistung beibehalten wurde.
Ablationsstudien:
- Logit-Divergenz: Das Pruning basierend auf dem Attention Contribution führte zu geringeren Hellinger-Distanzen (näher an der Output-Verteilung des Vanilla-Modells) im Vergleich zum auf Attention-Scores basierenden Pruning, insbesondere bei der Langform-Generierung.
- FFN-Ersetzung: Das bloße Überspringen von FFN-Schichten verursachte Leistungsabfälle, aber das Ersetzen durch das Hadamard-Produkt konnte den Großteil des verlorenen Leistungsanteils erfolgreich wiederherstellen, was die Linearitäts-Hypothese validiert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CAPA eine kritische Lücke in der LVLM-Optimierung schließt, indem es erkennt, dass visuelle Token sowohl in den Attention-Mechanismen als auch in der FFN-Verarbeitung anders agieren als Text-Token.

Paradigmenwechsel im Pruning: Die Autoren argumentieren, dass Attention-Scores unzureichend für die Token-Selektion sind. Durch die Einführung von Attention Contribution liefern sie ein treffsichereseres Signal, um zu identifizieren, welche visuellen Token funktional notwendig sind.
Modalitätsspezifische Optimierung: Die Arbeit hebt hervor, dass Effizienzgewinne in LVLMs unterschiedliche Strategien für visuelle und textuelle Modalitäten erfordern. Insbesondere die Identifizierung der linearen Redundanz in visuellen FFNs ermöglicht eine architektonische Vereinfachung, die für die Textverarbeitung nicht anwendbar ist.
Effizienz-Performance-Trade-off: CAPA erzielt einen günstigen Trade-off, indem es eine substantielle Beschleunigung der Inferenz (78 % FL% Reduktion) liefert, ohne die Robustheit oder die Aufgabenleistung des Modells zu gefährden, und dabei bestehende Token-Pruning-basierte Ansätze übertrifft.

6. Limitationen

Die Autoren räumen ein, dass CAPA eine Post-hoc-Strategie ist, die auf festen, vortrainierten Backbones operiert. Folglich kann sie die Vorteile einer gemeinsam gelernten Token-Selektion und Modellberechnung nicht voll ausschöpfen. Zukünftige Arbeiten werden in folgende Richtungen vorgeschlagen:

Entwicklung gelernter Controller für adaptives Token-Retention.
Entwicklung von Vision-Language-Backbones mit nativen, effizienten FFN-Modulen, die speziell auf visuelle Token zugeschnitten sind.
Evaluierung dieser Strategien über diverse Verteilungsverschiebungen (Distribution Shifts) hinweg und Untersuchung der Interpretierbarkeit gelernter Policies.