🤖 AI

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

Die Arbeit stellt DUET-VLM vor, einen dualstufigen, effizienten Token-Reduktionsrahmen für Vision-Language-Modelle, der durch eine redundanzbewusste Kompression im Vision-Encoder und eine salienzgesteuerte, schichtweise Verwerfung im Sprach-Backbone eine drastische Verringerung der Tokenanzahl bei gleichzeitiger Beibehaltung oder sogar Steigerung der Genauigkeit ermöglicht.

Ursprüngliche Autoren: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

Veröffentlicht 2026-03-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🎬 Die Geschichte: Der überfüllte Reisebus und der kluge Reiseleiter

Stell dir vor, ein Vision-Language Model (VLM) ist wie ein sehr intelligenter Reisebus, der Bilder und Texte versteht. Um ein Bild zu „sehen", muss der Bus jeden einzelnen Pixel in kleine Pakete zerlegen, die man Tokens nennt.

Das Problem: Ein einziges Foto kann tausende dieser Pakete produzieren.

Das Problem: Der Bus ist so vollgestopft mit Paketen, dass er langsam wird, viel Kraft (Strom) verbraucht und kaum noch vorankommt. Es ist, als würde man versuchen, einen ganzen Wald in einen kleinen Rucksack zu packen, ohne zu wissen, welche Blätter wirklich wichtig sind.

Bisherige Lösungen waren wie ein grobes Sieb:

Entweder warfen sie einfach viele Pakete weg (und verpassten dabei wichtige Details).
Oder sie versuchten, alle Pakete zu einem großen Klumpen zu verschmelzen (und verloren dabei die Feinheiten).

DUET-VLM ist die neue, clevere Lösung. Es funktioniert wie ein zweistufiger Reiseleiter, der den Bus entlastet, ohne dass die Passagiere (die Informationen) verloren gehen.

🚀 Die zwei Schritte von DUET-VLM

DUET-VLM macht das in zwei Phasen, wie ein gut organisiertes Team:

Schritt 1: Der „Visuelle Sortierer" (Im Bild-Encoder)

Was passiert? Bevor das Bild überhaupt in den Bus (das Sprachmodell) kommt, schaut sich ein Spezialist das Bild an.
Die Analogie: Stell dir vor, du hast einen Haufen Kugeln. Manche sind glänzend und wichtig (z. B. das Gesicht einer Person), andere sind nur langweiliger Hintergrund (z. B. der blaue Himmel).
Die Technik: DUET-VLM behält die glänzenden Kugeln (die „dominanten" Tokens) genau so, wie sie sind. Die langweiligen Kugeln im Hintergrund werden nicht einfach weggeworfen, sondern lokal gruppiert.
- Stell dir vor: Statt 100 kleine Steine im Hintergrund zu tragen, nimmt der Reiseleiter 10 kleine Säckchen, in denen jeweils 10 Steine zusammengepackt sind. Das spart Platz, aber die Information bleibt erhalten.
Ergebnis: Der Bus bekommt schon mal weniger Pakete, aber die wichtigen Details sind noch da.

Schritt 2: Der „Text-geführte Aussteiger" (Im Sprach-Modell)

Was passiert? Jetzt sitzt der Bus im Sprach-Modell. Hier liest der Bus die Frage des Benutzers (z. B. „Welche Nummer steht auf dem Trikot?").
Die Analogie: Der Reiseleiter liest die Frage und sagt: „Okay, wir brauchen nur noch die Pakete, die mit dem Trikot zu tun haben. Alles andere können wir jetzt rauswerfen!"
Die Technik: Das System schaut sich an, welche Textwörter (wie „Trikot" oder „Nummer") am wichtigsten sind. Basierend darauf entscheidet es Schicht für Schicht im Bus, welche Bild-Pakete jetzt überflüssig sind und aus dem Bus geworfen werden können.
Ergebnis: Je tiefer der Bus in die „Denkphase" geht, desto leerer wird er, aber nur von den unnötigen Dingen. Die wichtigen Informationen bleiben sitzen.

🏆 Warum ist das so cool? (Die Ergebnisse)

Die Forscher haben DUET-VLM getestet und es ist ein echter Gewinner:

Extreme Einsparung: Sie konnten die Anzahl der Bild-Pakete um 67 % bis 89 % reduzieren! Das ist, als würde man einen vollen Bus nehmen und 80 % der Passagiere entlassen, aber trotzdem wissen, wer wo sitzt.
Kein Qualitätsverlust: Trotz dieser massiven Reduzierung bleibt die Intelligenz des Busses fast gleich.
- Bei 67 % weniger Paketen war die Genauigkeit 99 % so gut wie beim vollen Bus.
- Selbst bei 89 % weniger Paketen war sie noch 97 % so gut!
Sogar besser bei Videos: Bei Videos (wo noch mehr Daten anfallen) hat DUET-VLM sogar besser abgeschnitten als das Original, weil es die zeitlichen Wiederholungen (z. B. ein Baum, der in jedem Frame gleich aussieht) clever erkennt und entfernt.

💡 Die große Erkenntnis

Früher dachten viele: „Um smarter zu werden, müssen wir mehr Daten und mehr Rechenleistung haben."
DUET-VLM zeigt uns etwas Neues: Es geht nicht darum, mehr zu haben, sondern klüger auszuwählen.

Indem man redundanten Müll frühzeitig aussortiert und sich auf das konzentriert, was die Frage wirklich braucht, wird das System nicht nur schneller und sparsamer, sondern manchmal sogar präziser, weil es nicht mehr von unnötigem „Lärm" abgelenkt wird.

Kurz gesagt: DUET-VLM ist wie ein genialer Reiseleiter, der den Bus leert, damit er schneller fährt, aber sicherstellt, dass niemand Wichtiges zurückbleibt. 🚌💨✨

1. Problemstellung

Vision-Language-Modelle (VLMs) wie LLaVA haben beeindruckende Fähigkeiten im multimodalen Verständnis und im logischen Schlussfolgern entwickelt. Ein Hauptproblem bleibt jedoch ihre hohe Rechenkosten, die durch die dichte Visual-Tokenisierung verursacht werden.

Skalierungsproblem: Während Text-Token linear mit der Länge wachsen, skalieren visuelle Token quadratisch mit der Bildauflösung ( $H \times W$ ). Ein Bild von 672×672 Pixeln kann über 2.800 Token erzeugen, was den Transformer-Aufmerksamkeitsmechanismus (Attention Cost) drastisch erhöht und Modelle speicher- und latenzgebunden macht.
Limitationen bestehender Ansätze:
- Visuelle Seite: Methoden wie VisionZip oder PruMerge fusionieren Token zu früh, was zu Informationsverlust führen kann.
- Sprachseite: Methoden wie PyramidDrop oder FastV werfen Token progressiv ab, tun dies aber oft zu uniform oder ohne semantische Anpassung an den Kontext.
- Fehlende Synergie: Bestehende Methoden optimieren entweder die Redundanzentfernung oder den kontextbewussten Erhalt, aber selten beides gemeinsam über die gesamte Vision-Language-Schnittstelle hinweg.

2. Methodik: DUET-VLM

DUET-VLM ist ein vielseitiges, plug-and-play Framework, das eine zweistufige Kompressionsstrategie („Dual-Stage") einführt, um Redundanz zu entfernen und gleichzeitig kritische Semantik zu bewahren.

Stufe 1: Vision-to-Vision (V2V) Merging (Redundanzbewusste Kompression)

Bevor die visuellen Token mit dem Sprachmodell interagieren, wird eine Kompression im Vision-Encoder durchgeführt:

Dominante Token-Selektion: Basierend auf der Self-Attention-Karte des Vision-Encoders (z. B. CLIP) werden die $k_1$ einflussreichsten („dominanten") Token identifiziert.
Lokale Cluster-Aggregation (Novität): Anstatt alle verbleibenden Token global zu mitteln (was zu Informationsverdünnung führt), werden die restlichen Token in $k_2$ $k_{2}$ lokale Cluster gruppiert.
- Es werden Clusterzentren basierend auf der Attention-Ranking ausgewählt.
- Innerhalb jedes Clusters (mit einer festen Breite $w$ ) werden die Token lokal gemittelt, um kontextuelle Token zu erzeugen.
- Nicht zugeordnete Token werden frühzeitig verworfen.
Ziel: Reduktion der Tokenanzahl bei Erhalt feiner visueller Details und Vermeidung von Rauschen durch Hintergrundinformationen.

Stufe 2: Text-to-Vision (T2V) Pruning (Semantisch geführtes Entfernen)

Die komprimierten visuellen Token werden in das Sprachmodell (LLM) eingespeist, wo eine zweite, adaptive Reduktion stattfindet:

Textgeführte Salienz: Anstatt nur den letzten Text-Token zu nutzen, identifiziert das System saliente Text-Token (basierend auf der Frage/Anweisung).
Layer-weises Pruning: In bestimmten Schichten („Stages") des Sprachmodells werden die visuellen Token basierend auf ihren Cross-Attention-Scores zu den salienten Text-Token bewertet.
Rank-and-Drop: Token mit den niedrigsten Attention-Scores werden schrittweise verworfen. Dies geschieht progressiv über die Schichten hinweg, wobei die visuellen Kontexte verfeinert werden, während das logische Schlussfolgern vertieft wird.
Ziel: Dynamisches Entfernen irrelevanter visueller Informationen, die für die spezifische Textabfrage nicht notwendig sind.

3. Wichtige Beiträge

Gemeinsame Vision-Sprache-Optimierung: Im Gegensatz zu einseitigen Ansätzen koppelt DUET-VLM beide Backbones durch eine differentiable Schnittstelle. Visuelle Repräsentationen und linguistischer Kontext passen sich während der Token-Reduktion gegenseitig an.
Dual-Stage Framework: Die Kombination aus früher struktureller Verschmelzung (V2V) und später semantischer Beschneidung (T2V) ermöglicht eine aggressive Kompression ohne signifikanten Genauigkeitsverlust.
Erhaltung der Genauigkeit: Das System behält über 99 % der Baseline-Genauigkeit bei einer Reduktion der Token um 67 % und über 97 % bei einer Reduktion von 89 %.
Trainingsfähigkeit: Das Framework wurde erfolgreich in das Training integriert (nicht nur Inferenz), was zu robusteren Modellen führt, die sich besser an reduzierte Eingaben anpassen.

4. Ergebnisse

Die Evaluation erfolgte auf mehreren Bild- und Video-Benchmarks (LLaVA-1.5-7B, LLaVA-NeXT, Video-LLaVA, Qwen-2.5-VL).

Inferenz-Ergebnisse (LLaVA-1.5-7B):
- Bei 67 % Token-Reduktion (192 Token): 99,0 % der Baseline-Genauigkeit.
- Bei 89 % Token-Reduktion (64 Token): 95,4 % der Baseline-Genauigkeit.
- Übertrifft State-of-the-Art-Methoden wie VisionZip, PyramidDrop und FitPrune in allen Szenarien.
Trainings-Ergebnisse:
- Bei gleichzeitiger Reduktion der Trainingszeit um 31 % (bei 128 Token) wurde eine Genauigkeit von 99,1 % erreicht.
- Das Modell zeigt, dass Token-Management eine effizientere Alternative zum bloßen Skalieren der Modellgröße sein kann.
Video-Verständnis (Video-LLaVA-7B):
- Bei 53,1 % Reduktion: >100 % der Baseline-Genauigkeit (das Modell performte sogar besser als das unkomprimierte Baseline-Modell).
- Bei extremer Reduktion von 93,4 % (136 Token): 97,6 % Genauigkeit.
Generalisierung: Die Methode funktioniert auch auf neueren Architekturen wie Qwen-2.5-VL-7B und behält dort über 98 % Genauigkeit bei.

5. Bedeutung und Ausblick

DUET-VLM demonstriert, dass intelligentes Token-Management die Notwendigkeit für massive Modellgrößen oder hohe Rechenressourcen reduzieren kann, ohne die Leistungsfähigkeit zu beeinträchtigen.

Effizienz: Deutliche Reduktion von Speicherbedarf und Latenz (bis zu 1,5-fache Beschleunigung).
Robustheit: Das Modell bleibt auch unter extremen Kompressionsbedingungen stabil, was für Echtzeitanwendungen und Edge-Geräte entscheidend ist.
Zukunft: Die Autoren planen, die Methode auf weitere Modalitäten (Audio) und längere Videosequenzen zu erweitern sowie optimierte Kernel für noch schnellere Inferenz zu entwickeln.

Zusammenfassend bietet DUET-VLM einen neuen Paradigmenwechsel weg von reinen Skalierungsansätzen hin zu einer effizienten, dual-stufigen Kompression, die sowohl für Training als auch Inferenz geeignet ist.