🤖 machine learning

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM ist ein effizientes Inferenzframework für Vision-Language-Modelle, das die unterschiedlichen Eigenschaften visueller und textueller Modalitäten nutzt, indem es aggressives, adaptives Pruning auf räumlich redundante Vision-Token und eine zeitbasierte Schwellenwert-Verdrängung auf Text-Token anwendet, wodurch bis zu 54 % FLOPs eingespart werden, während es gleichzeitig die State-of-the-Art-Methoden bei Aufgaben zum Verständnis von Dokumenten und Diagrammen übertrifft.

Ursprüngliche Autoren: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Vision-Language-Modell (VLM) als hochintelligenten, aber leicht überforderten Assistenten vor. Sie zeigen ihm ein Bild (wie ein komplexes Dokument oder eine Grafik) und stellen eine Frage. Um das Bild zu verstehen, zerlegt der Assistent es in Tausende winziger Puzzlestücke, sogenannte „Vision-Tokens". Um Ihre Frage zu verstehen und eine Antwort zu formulieren, verwendet er eine kleinere Menge an „Text-Tokens".

Das Problem ist, dass der „Arbeitsspeicher" des Assistenten (sein GPU-Speicher) überfüllt wird. Er versucht, jedes einzelne Puzzlestück und jedes generierte Wort festzuhalten, was ihn langsam und teuer im Betrieb macht.

Bestehende Methoden versuchen dies zu beheben, indem sie die Bildstücke und die Wörter exakt gleich behandeln: Sie werfen einfach einen festen Prozentsatz von allem weg (z. B. „lösche 50 % der Puzzlestücke und 50 % der Wörter"). Die Autoren dieses Papiers, AsymVLM, argumentieren, dass dies so ist, als würde man versuchen, eine Bibliothek zu organisieren, indem man die Hälfte der Bücher und die Hälfte der Lesezeichen wegwirft, ohne darüber nachzudenken, was sie eigentlich bewirken.

So funktioniert AsymVLM, unter Verwendung einfacher Analogien:

1. Die zwei unterschiedlichen Probleme

Das Papier weist darauf hin, dass Bildstücke und Wörter grundlegend unterschiedlich sind:

Vision-Tokens (Die Puzzlestücke): Diese sind alle unabhängig voneinander. Wenn Sie ein Stück des Himmels aus einem Foto entfernen, ist das benachbarte Stück des Baumes davon unberührt. Sie sind „räumlich redundant", was bedeutet, dass viele Stücke nur Hintergrundrauschen sind.
Text-Tokens (Die Geschichte): Diese bilden eine Kettenreaktion. Wort 2 hängt von Wort 1 ab, und Wort 3 hängt von Wort 2 ab. Wenn Sie ein Wort in der Mitte eines Satzes löschen, kann der Rest der Geschichte sinnlos werden.

2. Die Lösung: Eine zweigleisige Strategie

Anstatt eine einzige Regel für alles zu verwenden, setzt AsymVLM zwei verschiedene Strategien ein, die auf jeden Token-Typ zugeschnitten sind.

Strategie A: Der „intelligente Redakteur" für Bilder (Vision-Token-Pruning)

Bevor der Assistent überhaupt beginnt zu denken, agiert AsymVLM wie ein intelligenter Redakteur, der das Foto betrachtet.

Der alte Weg: „Lösche 50 % der Pixel zufällig" oder „Lösche diejenigen, die für die Frage am wenigsten wichtig erscheinen."
Der AsymVLM-Weg: Er verwendet einen gelernten Scorer. Stellen Sie sich einen Trainer vor, der Tausende von Spielen gesehen hat und genau weiß, welche Spieler (Tokens) tatsächlich zum Sieg beitragen. Dieser Scorer betrachtet nicht nur das Bild; er betrachtet, wie das Bild mit der spezifischen Frage verbunden ist, die Sie gestellt haben.
Das „adaptive Budget": Dies ist der cleverste Teil. Das Papier stellt fest, dass einige Fragen einen vollständigen Scan des Bildes erfordern (z. B. „Wie viele Äpfel sind in diesem Obstgarten?"), während andere nur einen winzigen Bereich benötigen (z. B. „Was ist der Preis des roten Apfels?").
- Wenn die Frage auf einen kleinen Bereich beschränkt ist, ist die „Lücke" zwischen wichtigen und unwichtigen Stücken riesig. Das System sagt: „Großartig, wir können aggressiv vorgehen und 75 % des Bildes wegwerfen!"
- Wenn die Frage das gesamte Bild benötigt, ist die „Lücke" klein. Das System sagt: „Okay, behalten wir 90 % des Bildes, nur um auf der sicheren Seite zu sein."
- Analogie: Es ist wie das Packen eines Koffers. Wenn Sie für einen Tag an den Strand fahren, packen Sie leicht. Wenn Sie eine monatelange Reise antreten, packen Sie mehr. AsymVLM passt das „Packen" an die spezifische Reise an, anstatt für alle die gleiche Koffergröße zu verwenden.

Strategie B: Der „Speicher-Hausmeister" für Text (Text-Token-Eviction)

Sobald der Assistent beginnt, eine Antwort zu generieren, schreibt er Wort für Wort. Wenn das Gespräch lang wird, füllt sich der Speicher.

Der alte Weg: Standardmethoden für rein textbasierte KI (wie H2O oder StreamingLLM) versuchen, die ältesten oder am wenigsten „wichtigen" Wörter zu löschen, um Platz für neue zu schaffen.
Der AsymVLM-Weg: Die Autoren stellten fest, dass in diesen visuellen Assistenten das Gespräch meist kurz ist und das Bild der wichtigste Kontext ist.
- Sie setzen ein festes Budget. Der Assistent schreibt weiter, bis er ein Limit erreicht (z. B. 500 Wörter).
- Sobald er das Limit erreicht, beginnt er, die ältesten generierten Wörter zu löschen (diejenigen, die für den unmittelbar nächsten Satz nicht mehr benötigt werden), aber er löscht niemals das ursprüngliche Bild oder die ursprüngliche Frage.
- Analogie: Stellen Sie sich vor, Sie erzählen einem Freund eine Geschichte. Sie müssen sich nicht an den ersten Satz erinnern, den Sie vor 10 Minuten sagten, um den aktuellen Satz zu beenden. AsymVLM agiert wie ein Hausmeister, der die alten, irrelevanten Entwürfe von der Whiteboard-Tafel wischt, um Platz für den neuen Satz zu schaffen, aber er lässt den ursprünglichen Prompt und das Foto für immer an die Wand geheftet.

3. Die Ergebnisse: Schneller und intelligenter

Das Papier behauptet, dass AsymVLM durch die unterschiedliche Behandlung dieser beiden Datentypen Folgendes erreicht:

Massive Geschwindigkeitssteigerungen: Es spart bis zu 54 % der Rechenleistung (FLOPs) ein, die zum Ausführen des Modells benötigt werden. Dies liegt daran, dass es die unnötigen Bildstücke physisch vor Beginn der schweren Mathematik entfernt, anstatt sie nur während der Mathematik zu ignorieren.
Bessere Genauigkeit: Bei Aufgaben wie dem Lesen von Dokumenten oder dem Verstehen von Grafiken erzielt es tatsächlich 2–3 % bessere Ergebnisse als frühere Methoden. Dies liegt daran, dass es die spezifischen Bildstücke behält, die die Frage beantworten, und den Rest verwirft, während andere Methoden versehentlich das entscheidende Stück löschen könnten.
Speichereffizienz: Es reduziert den Speicherbedarf zum Ausführen des Modells, sodass es auf kleinere, günstigere Computerchips passt, die das vollständige, nicht beschnittene Modell nicht bewältigen könnten.

Zusammenfassung

AsymVLM ist ein System, das erkennt, dass „ein Maß für alle" nicht passt. Es verwendet einen intelligenten, adaptiven Filter, um Bilder basierend auf der spezifischen Frage zu beschneiden, und einen sorgfältigen Hausmeister, um den Textspeicher zu verwalten, ohne den ursprünglichen Kontext zu verlieren. Das Ergebnis ist ein Vision-Language-Modell, das schneller ist, weniger Speicher verbraucht und beim Lesen von Dokumenten und Grafiken überraschend genauer ist.

Technische Zusammenfassung: AsymVLM

Problemstellung

Vision-Language Models (VLMs) stoßen während der Inferenz auf erhebliche Rechen- und Speicherengpässe. Während bestehende Komprimierungsmethoden visuelle und textuelle Token oft einheitlich behandeln, argumentiert diese Arbeit, dass ein solcher Ansatz aufgrund fundamentaler Asymmetrien zwischen den beiden Modalitäten suboptimal ist:

Strukturelle und kausale Unterschiede: Vision-Token sind räumlich redundante Patches, die in einem einzigen Vorwärtsdurchlauf ohne kausale Abhängigkeit erzeugt werden und somit unabhängig entfernt werden können. Im Gegensatz dazu werden Text-Token autoregressiv mit strikter kausaler Reihenfolge generiert; das Entfernen eines Text-Tokens riskiert die Korruption aller nachfolgenden Repräsentationen.
Sich verschiebende Engpässe: In typischen VLM-Konfigurationen für einzelne Interaktionen dominieren Vision-Token die Eingabe (z. B. 2.500 Vision-Token gegenüber ca. 30 Text-Token), was sie zum primären Engpass in der Prefill-Phase macht. Bei freier Generierung oder in mehrstufigen Dialogen häufen sich Text-Token jedoch schnell an, wodurch der Engpass in die Dekodierungsphase verlagert wird.
Variable Eingabeschwierigkeit: Das optimale Pruning-Verhältnis ist nicht über alle Stichproben hinweg einheitlich. Manche Anfragen benötigen nur lokalisierte visuelle Informationen (was ein aggressives Pruning erlaubt), während andere ein globales Scannen erfordern (was eine konservative Beibehaltung erfordert). Bestehende Methoden mit festen Pruning-Verhältnissen vermögen dieses Spektrum nicht abzudecken.

Methodik: AsymVLM

Die Autoren schlagen AsymVLM vor, ein asymmetrisches Token-Pruning-Framework, das die Komprimierungsstrategien für Vision- und Text-Token basierend auf den oben genannten Beobachtungen entkoppelt. Das Framework arbeitet in zwei distincten Stufen:

1. Vision-Token-Pruning (Vor dem Prefill)

Diese Stufe wird vor den Transformer-Schichten angewendet, um den Prefill-Engpass zu adressieren, und besteht aus zwei Komponenten:

Lernbarer Importance Scorer: Im Gegensatz zu früheren Methoden, die auf visueller Salienz oder roher cross-modaler Ähnlichkeit basieren, verwendet AsymVLM einen leichten, lernbaren Scorer. Dieser Scorer skaliert die Embedding-Dimensionen mithilfe eines lernbaren Gewichtvektors ( $w$ ) neu, um die Token-Rangfolge besser mit der Erhaltung der endgültigen Ausgabe des Modells in Einklang zu bringen. Er wird so trainiert, dass die Diskrepanz zwischen den versteckten Zuständen von geprunten und ungeprunten Modellen minimiert wird.
Probenadaptive Budgetierung: Da die Wichtigkeitslücken über die Eingaben hinweg variieren, berechnet das System eine „Wichtigkeitslücke" (die Differenz zwischen dem 75. und dem 25. Perzentil der Wichtigkeitsscores) für jede Probe. Basierend auf dieser Lücke wird ein dynamisches Beibehaltungs-Verhältnis zugewiesen: Proben mit einer großen Lücke (klare Unterscheidung zwischen wichtigen und unwichtigen Token) erhalten ein aggressives Pruning-Verhältnis, während Proben mit einer kleinen Lücke (einheitliche Wichtigkeit) ein konservatives Verhältnis erhalten.

2. Text-Token-Eviction (Während der Dekodierung)

Diese Stufe wird nur angewendet, wenn die generierte Sequenz ein festes Budget überschreitet und adressiert den Dekodierungs-Engpass:

Schwellenwertbasierte Eviction: Text-Token werden beibehalten, bis die Sequenzlänge einen vordefinierten Schwellenwert überschreitet. Sobald dieser ausgelöst ist, werden die Token mit der geringsten Wichtigkeit aus der generierten Sequenz entfernt.
VLM-spezifische Bewertung: Im Gegensatz zu Standard-LLM-Cache-Komprimierungsmethoden, die kumulative Aufmerksamkeit über lange Kontexte verfolgen, nutzt AsymVLM die Kurzkontext-Natur von VLMs. Es bewertet Token basierend auf der Aufmerksamkeit, die sie in der letzten Transformer-Schicht des aktuellen Dekodierungsschritts erhalten. Entscheidend ist, dass alle Prefill-Token (Bilder und Prompts) vor einer Eviction geschützt werden, da sie für nachfolgende Interaktionen einen unersetzlichen Kontext darstellen.

Hauptbeiträge

Systematische Analyse: Die Arbeit liefert eine strukturelle Analyse, die die fundamentale Asymmetrie zwischen Vision- und Text-Token in VLMs aufzeigt und argumentiert, dass modalitätsbewusste Komprimierung für Effizienz unerlässlich ist.
Dual-Strategie-Framework: AsymVLM führt ein Framework ein, das query-bewusstes Vision-Token-Pruning (vor dem Transformer) mit budgetbeschränkter Text-Token-Eviction (während der Dekodierung) kombiniert.
Lernbarer Scorer mit adaptiver Budgetierung: Die Autoren stellen einen Scorer vor, der auf die Erhaltung der Ausgabe optimiert ist und nicht nur auf semantische Ähnlichkeit, gekoppelt mit einem Mechanismus, der die Pruning-Verhältnisse dynamisch an die Wichtigkeitsverteilung der Eingabe anpasst.
Umfassende Evaluation: Zahlreiche Experimente zeigen, dass der Ansatz im Vergleich zu State-of-the-Art-Baselines überlegene Effizienz und Genauigkeit erreicht.

Experimentelle Ergebnisse

Das Framework wurde auf Phi-3.5-Vision (visuell dominiert) und Gemma 3 (in Szenarien langer Generierung textuell dominiert) über sieben Benchmarks hinweg evaluiert (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU).

Effizienz: AsymVLM erzielt die höchsten FLOPs-Einsparungen unter den verglichenen Methoden und erreicht bis zu 54% bei 50% Vision-Token-Beibehaltung. Es ist die einzige Methode, die die Sequenzlänge physikalisch vor dem Transformer reduziert, was zu proportionalen Reduktionen des Spitzen-Speicherbedarfs und der KV-Cache-Größe führt (bis zu 75% Reduktion des Spitzen-Speicherbedarfs).
Genauigkeit bei lokalisierten Aufgaben: Bei Dokumenten- und Diagrammverständnis-Aufgaben (DocVQA, ChartQA), bei denen visuelle Informationen räumlich lokalisiert sind, übertrifft AsymVLM bestehende Methoden (FastV, SparseVLM) um 2–3% bei Beibehaltungs-Verhältnissen von 65–75%. Beispielsweise erzielt es auf DocVQA bei 65% Beibehaltung 85,07% ANLS im Vergleich zu 81,74% für FastV.
Ganzheitliche Aufgaben: Bei ganzheitlichen Benchmarks (MME, TextVQA), bei denen die Token-Wichtigkeit einheitlicher ist, behält AsymVLM eine wettbewerbsfähige Genauigkeit bei und übertrifft Baselines oft leicht.
Text-Eviction-Leistung: In text-dominierten Szenarien (Gemma 3) übertrifft die schwellenwertbasierte Eviction-Strategie Standard-LLM-Cache-Methoden (H2O, StreamingLLM) erheblich. Auf MMDU (mehrstufiger Dialog) erzielt AsymVLM bei 90% Beibehaltung eine Punktzahl von 7,03, deutlich höher als die 5,61 der Baselines. Die Baselines verschlechtern sich stark, da sie Vision- und Prompt-Token als Eviction-Kandidaten behandeln, während AsymVLM sie schützt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AsymVLM einen Wandel von einheitlicher Komprimierung zu modalitätsbewussten Strategien darstellt. Indem anerkannt wird, dass Vision-Token ein Problem der Eingabeselektion und Text-Token ein Problem des Cache-Managements sind, erzielt das Framework die höchsten Effizienzgewinne (bis zu 54% FLOPs-Reduktion), während die Genauigkeit bei komplexen, anfragen-spezifischen Aufgaben erhalten bleibt oder verbessert wird. Die Autoren betonen, dass ihr gelernter Scorer sich effektiv über verschiedene visuelle Layouts und Fragetypen hinweg generalisiert, ohne aufgaben-spezifisches Tuning, und dass ihre Text-Eviction-Strategie speziell auf die Kurzkontext-, bildverankerte Natur der VLM-Inferenz zugeschnitten ist, wodurch die Fallstricke der direkten Anwendung von Long-Context-LLM-Komprimierungstechniken auf VLMs vermieden werden.

Einschränkungen: Die Autoren stellen fest, dass die Evaluation derzeit auf Phi-3.5-Vision und Gemma 3 beschränkt ist und eine Generalisierung auf andere Architekturen (z. B. LLaMA-basierte VLMs, Qwen-VL) weiterer Validierung bedarf. Zudem verwendet die Text-Eviction-Strategie einen festen Schwellenwert und wurde nicht an sehr langen mehrstufigen Dialogen (50+ Interaktionen) getestet.