💻 computer science

Hybrid Token Compression for Vision-Language Models

Dieses Paper führt HTC-VLM ein, ein hybrides Framework zur visuellen Token-Kompression, das durch die Fusion von kontinuierlichen Patch-Features mit diskreten semantischen Ankern effektiv die Erhaltung feingranularer Erscheinungsdetails und hochgradiger Semantik ausbalanciert und im Vergleich zu bestehenden kontinuierlichen Baselines eine überlegene Leistungsretention sowie Effizienz erzielt.

Ursprüngliche Autoren: Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

Veröffentlicht 2026-08-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große visuelle Überlastung: Warum KI eine bessere Zusammenfassung braucht

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber sehr hungrigen Schüler beizubringen, ein Bild zu verstehen. In der Welt der Künstlichen Intelligenz wird dieser Schüler „Vision-Language Model“ (VLM) genannt. Es ist eine Art Computergehirn, das ein Bild betrachten und Fragen dazu beantworten kann, wie zum Beispiel: „Was trägt der Hund?“ oder „Warum ist der Himmel blau?“ Um dies zu tun, zerlegt der Computer das Bild in hunderte winzige Quadrate, sogenannte „Patches“, und wandelt jedes davon in eine lange Liste von Zahlen (ein Token) um, die er lesen kann.

Das Problem ist, dass der Computer überfordert wird. Wenn man ihm 576 dieser winzigen Quadrate füttert, muss das Gehirn jedes einzelne Quadrat mit jedem anderen vergleichen, um das Bild zu verstehen. Dies erzeugt eine massive Menge an Arbeit, als würde man versuchen, eine ganze Bibliothek an Büchern gleichzeitig zu lesen. Das verlangsamt alles und verbraucht riesige Mengen an Computerspeicher. Wissenschaftler haben versucht, dies zu lösen, indem sie das Bild in nur ein oder wenige „Zusammenfassungs-Token“ zusammenfassen – aber es gibt einen Haken. Wenn man alle Details einfach zu einer einzigen Durchschnittszahl zusammenschmilzt, geht die wichtige Geschichte verloren (wie die Tatsache, dass es ein Hund ist). Wenn man versucht, die Geschichte durch das Auswählen spezifischer „Schlüsselwörter“ zu bewahren, gehen die feinen Details verloren (wie die Textur des Hundefells). Es ist ein frustrierender Kompromiss: Entweder man erhält den groben Überblick, verpasst aber die Details, oder man erhält die Details, vergisst aber den Kern der Sache. Dieses Paper stellt eine einfache Frage: Können wir beides haben?

Der hybride Held: HTC-VLM

Die Forscher hinter diesem Paper, angeführt von Jusheng Zhang und seinem Team, sagen, die Antwort lautet ja – aber nur, wenn wir aufhören, den Computer zu versuchen, alles mit einem einzigen Werkzeug zu erledigen. Sie führen eine neue Methode namens HTC-VLM (Hybrid Token Compression for Vision-Language Models) ein. Betrachten Sie es als eine clevere Art, eine komplexe Geschichte zusammenzufassen, ohne den roten Faden oder die Details der Charaktere zu verlieren.

So funktioniert ihr „hybrider“ Trick, unter Verwendung einer einfachen Analogie:

Stellen Sie sich vor, Sie beschreiben einem Freund eine chaotische Szene in einem Park, der aber nur einen einzigen Satz hören kann.

Der alte Weg (Kontinuierliche Kompression): Sie versuchen, alles in einen einzigen Satz zu pressen: „Es bewegen sich viele Dinge mit Farben und Formen.“ Ihr Freund hört den Lärm, hat aber keine Aente darüber, was eigentlich gerade passiert. Er weiß, dass es geschäftig ist, aber er weiß nicht, was geschäftig ist. Das passiert, wenn eine KI versucht, ein Bild in eine einzige Durchschnittszahl zu quetschen; die „hochgradige Bedeutung“ (wie „es ist ein Hund“) wird durch das „Rauschen“ (wie das Gras und der Himmel) weggespült.
Der andere alte Weg (Diskrete Quantisierung): Sie versuchen präzise zu sein und sagen: „Hund. Gras. Baum.“ Ihr Freund kennt die Hauptakteure, hat aber keine Vorstellung davon, wie der Hund aussieht, ob er rennt oder welche Farbe sein Fell hat. Er verpasst die Textur und die Handlung.
Der HTC-VLM-Weg (Die hybride Lösung): Die Forscher schlagen einen zweistufigen Ansatz vor. Zuerst geben Sie Ihrem Freund vier spezielle „Anker“-Karten, die genau sagen, was die Hauptdinge sind (z. B. „Hund“, „Gras“, „Baum“). Dies sind die diskreten Token. Sie fungieren als Skelett oder Landkarte. Dann geben Sie ihm ein einziges „Zusammenfassungs“-Token, das all die unordentlichen, feinkörnigen Details enthält (die Felltextur, das Windspiel im Gras, die Pose des Hundes).

Die Magie geschieht, weil der Computer darauf trainiert wird, die „Anker-Karten“ zu nutzen, um das „Zusammenfassungs-Token“ zu lesen. Die Anker sagen dem Computer: „Hey, schau hier nach einem Hund!“, damit das Zusammenfassungs-Token nicht durch all die anderen Details verwirrt wird. Auf diese Weise hält die KI das große Ganze (die Semantik) und die winzigen Details (das Erscheinungsbild) bis zum allerletzten Moment getrennt, wo sie perfekt miteinander verschmolzen werden.

Was sie herausgefunden haben

Das Team testete diese Idee in sieben verschiedenen anspruchsvollen Tests, die von der Beantwortung von Fragen zu Bildern bis hin zum Verständnis von wissenschaftlichen Diagrammen reichten. Sie verglichen ihre neue Methode mit den besten bestehenden Wegen zur Bildkompression.

Die Ergebnisse: Als sie das gesamte Bild auf nur ein einziges Token zusammengestaucht haben (die ultimative Kompression), behielt ihre hybride Methode 87,2 % der ursprünglichen Leistung bei. Die bisher beste Methode (die nur den „Durchschnitts-Ansatz“ nutzte) behielt nur 81,0 %. Auch wenn das nach einem kleinen Unterschied klingen mag, ist das Bewahren dieser zusätzlichen 6 % Intelligenz in der Welt der KI, wenn man fast alle Daten weggeworfen hat, eine enorme Leistung.
Warum es funktioniert: Die Forscher analysierten, wie die „Aufmerksamkeit“ (Attention) des Computers funktionierte. Sie fanden heraus, dass das einzelne Zusammenfassungs-Token zuerst aktiv auf die vier „Anker-Karten“ blickte. Es nutzte diese Anker als Leitfaden, um den Rest des Bildes zu verstehen. Dies bewies, dass die Anker die schwere Arbeit leisteten, um die Bedeutung intakt zu halten.
Der Kompromiss: Die Methode erfordert zwar ein wenig zusätzliche Arbeit, um diese vier Anker-Karten zu generieren, aber die Forscher zeigten, dass die Zeitersparnis, die dadurch gewonnen wird, dass man nicht hunderte von Token verarbeiten muss, so massiv ist, dass die Gesamtrate immer noch unglaublich schnell bleibt. Es ist wie die Entscheidung, 5 Sekunden zu investieren, um eine großartige Gliederung zu schreiben, was einem spart, 5 Stunden lang einen schlechten Essay zu schreiben.

Was es nicht ist

Es ist wichtig anzumerken, was dieses Paper nicht behauptet. Die Forscher argumentieren explizit dagegen, dass man einfach alles „mitteln“ kann und erwarten sollte, dass es unter extremer Kompression gut funktioniert. Sie zeigten, dass der Versuch, eine einzige kontinuierliche Zahl dazu zu zwingen, sowohl die „Geschichte“ als auch die „Details“ zu halten, dazu führt, dass die Geschichte kollabiert. Sie zeigten auch, dass das bloße Auswählen zufälliger Teile des Bildes oder die Verwendung älterer „Pruning“-Methoden (das Herausschneiden von Teilen) nicht so gut funktioniert, wenn man auf nur ein oder zwei Token reduziert wird.

Das Paper legt nahe, dass dieser hybride Ansatz eine robuste Lösung für das spezifische Problem der extremen Kompression ist, behauptet aber nicht, jedes Problem in der KI zu lösen. Beispielsweise merken sie an, dass es zwar hervorragend für einzelne Bilder funktioniert, für längere Videos oder komplexe Multi-Bild-Gespräche jedoch Anpassungen benötigt werden könnten.

Das Fazit

Kurz gesagt: HTC-VLM legt nahe, dass wir, um KI intelligent und schnell zu machen, das Bild nicht einfach in einen winzigen Punkt schrumpfen sollten. Stattdessen sollten wir der KI eine Landkarte (die diskreten Anker) und eine Kurzbesprechung (die kontinuierlichen Details) geben und sie zusammenarbeiten lassen. Indem wir das „Was“ vom „Wie“ trennen, kann der Computer ein Bild mit nur einem Token verstehen, wobei die Bedeutung klar und die Details scharf bleiben, ohne im Rauschen verloren zu gehen. Es ist eine Erinnerung daran, dass man beim Platzsparen manchmal nicht die Dinge wegwerfen muss; man muss sie nur besser organisieren.

Technisches Resümee: HTC-VLM – Hybride Token-Kompression für Vision-Language-Modelle

1. Problemstellung

Vision-Language-Modelle (VLMs) verlassen sich typischerweise auf hunderte von visuellen Patch-Token (z. B. $N=576$ von einem ViT-Encoder), um dem Large Language Model (LLM) reichhaltige perzeptive Informationen bereitzustellen. Diese dichte Kopplung verursacht quadratische Rechenkosten von $O((N+L)^2)$ , was den GPU-Speicher und die Kontextfenster schnell erschöpft.

Bestehende Kompressionsstrategien stehen vor einem fundamentalen Trade-off:

Kontinuierliche Kompression: Methoden wie Global Pooling oder Attention-Aggregation komprimieren alle Patches in einen einzigen dichten Vektor. Dies ist zwar effizient, führt jedoch häufig zu einer semantischen Verwässerung, bei der hochgradige Semantik (Objidentitäten, räumliche Beziehungen) verloren geht, da die gegenseitige Information $I(v_c; S)$ durch die Mittelwertbildung diverser Patch-Verteilungen sinkt.
Diskrete Quantisierung: Methoden, die Vektorgestützte Quantisierung (Vector Quantization, VQ) verwenden, bewahren zwar kategorische Semantik, verwerfen aber feingranulare kontinuierliche Merkmale (Texturen, Posen, Deformationen), was eine Granularitätslücke erzeugt, die detailliertes Schließen begrenzt.

Die Kernfrage ist, ob ein VLM in der Lage ist, semantisch nützliche visuelle Informationen zu behalten, wenn das gesamte Bild auf einen einzigen Token komprimiert wird, ohne dabei entweder die hochgradige Struktur oder die niedriggradigen Details zu opfern.

2. Methodik: HTC-VLM

Die Autoren schlagen HTC-VLM (Hybrid Token Compression for Vision-Language Models) vor, ein Framework, das visuelle Informationen in zwei komplementäre Kanäle zerlegt, bevor sie in einen einzigen latenten Token fusioniert werden.

2.1 Dual-Channel-Architektur

Anstatt rohe Patches direkt zu komprimieren, zerlegt HTC-VLM den visuellen Input $I$ in:

Kontinueller Detail-Kanal ( $D$ ): Nutzt einen vortrainierten Vision-Encoder (CLIP ViT-L/14) und einen linearen Projektor, um $N=576$ Patch-Embeddings zu generieren. Dieser Pfad bewahrt niedriggradige Details wie Texturgradienten und Variations in der Pose.
Diskreter Semantik-Kanal ( $S$ ): Nutzt MGVQ (Multi-Group Vector Quantization), um das Bild in einen Feature-Vektor zu quantisieren, welcher dann via MLP in eine kleine Sequenz von 4 diskreten semantischen Anker-Token ( $v_d$ ) projiziert wird. Diese Anker erfassen hochgradige kategorische Semantik (z. B. „Hund“, „Baum“) und räumliche Layouts.

2.2 Hybride Fusion und Disentanglement-Bottleneck

Die diskreten Anker werden der kontinuierlichen Patch-Sequenz vorangestellt, um eine hybride Sequenz $V_{hy} \in \mathbb{R}^{580 \times d}$ (4 Anker + 576 Patches) zu bilden. Diese Sequenz wird in einen trainierbaren <voco>-Token eingespeist.

Eine kritische Komponente ist die Disentanglement Attention Mask ( $M_{hy}$ ):

Text-zu-Vision-Beschränkung: Text-Token sind strikt daran gehindert, auf die rohen hybriden visuellen Token ( $V_{hy}$ ) zu achten (attenden). Sie können nur auf den komprimierten <voco>-Token achten.
Visuelle Selbst-Attention: Die visuellen Token (sowohl diskret als auch kontinuierlich) dürfen vor der Aggregation aufeinander achten. Dies ermöglicht es dem <voco>-Token, kontextualisierte visuelle Evidenz zu integrieren.
Latente Extraktion: Der <voco>-Token komprimiert die 580-Token-Sequenz in einen einzigen latenten Vektor $z$ , der als einziger visueller Input an das LLM dient.

2.3 Theoretische Grundlage

Die Methode basiert auf dem Prinzip der Information Bottleneck (IB). Die Autoren argumentieren, dass ein rein kontinuierlicher Vektor unter Entropie-Dominanz leidet, wobei hochfrequente Details ( $D$ ) die begrenzte Kapazität des Bottlenecks sättigen und dadurch die semantische Information ( $S$ ) verschwinden lässt. Durch die Einführung diskreter Anker als „semantischen Prior“ senkt HTC-VLM die Entropie-Barriere für $S$ , wodurch der Fokus der Kapazität von $z$ darauf gelenkt wird, die residuellen Details $D$ zu kodieren. Dies wird formal über eine engere Evidence Lower Bound (ELBO) im Vergleich zu rein kontinuierlichen Baselines nachgewiesen.

3. Wichtigste Beiträge

Repräsentations-Bottleneck-Analyse: Das Paper identifiziert den „Semantic-Detail Capacity Conflict“ in der Single-Token-Kompression und liefert informationstheoretische Beweise (Theorem 1), die erklären, warum rein kontinuierliche Bottlenecks unter extremer Kompression scheitern.
Hybrides Semantic-Disentanglement-Framework: Eine prinzipielle Architektur, die minimale diskrete semantische Anker vor der Kompression injiziert und so die gemeinsame Optimierung von diskreter Semantik und kontinuierlicher Erscheinung ermöglicht.
Praktische Architektur (HTC-VLM): Eine Instanziierung, die eine durchschnittliche Leistungsretention von 87,2 % über sieben Benchmarks hinweg bei einem One-Token-Budget erreicht und damit die führende kontinuierliche Baseline (VoCo-LLaMA) mit 81,0 % übertrifft.
Erweiterte Validierung: Umfassende Studien zu Token-Budgets (1–576), Cross-Architektur-Generalisierung (Qwen-VL, LLaVA-NeXT), Effizienz im Inferenzbetrieb und Robustheit gegenüber Hyperparametern (Codebook-Größe, Maskierungs-Topologie).

4. Experimentelle Ergebnisse

4.1 Leistungsretention

Auf sieben Benchmarks (GQA, VQAv2, MMBench, MME, POPE, SEED-Bench, ScienceQA-Image) erreichte HTC-VLM eine durchschnittliche Retention von 87,2 % relativ zum vollen 576-Token-Modell. Dies übertrifft signifikant:

VoCo-LLaMA (nur kontinuierlich): 81,0 %
Average Pooling: 64,1 %
Q-Former: 57,2 %

4.2 Robustheit des Token-Budgets

Während strukturierte Pruning-Methoden (z. B. ToMe, PDrop) bei moderater Kompression (64–192 Token) gut abschneiden, degradieren sie im Ultra-Low-Token-Regime ( $<32$ Token) stark. HTC-VLM bleibt bis in das 1-Token-Regime stabil und zeigt damit, dass diskrete Anker den Informationskollaps verhindern, bei dem kontinuierliche Methoden versagen.

4.3 Generalisierung

Der hybride Bottleneck überträgt sich effektiv auf stärkere und strukturell unterschiedliche Backbones:

Qwen-VL-Chat: 94,5 % Retention (gegenüber 86,4 % bei VoCo-LLaMA).
LLaVA-NeXT (Dynamic Resolution): 95,7 % Retention (gegenüber 86,6 % bei VoCo-LLaMA).

4.4 Effizienz und Latenz

Auf einer NVIDIA A100 GPU reduziert HTC-VLM die LLM-Prefill-Latenz im Vergleich zum Standard-576-Token-Modell um 94,3 %. Obwohl die Hinzunahme des MGVQ-Encoders einen geringfügigen Overhead (~6,1 ms) verursacht, bleibt die Gesamtsystemlatenz (61,0 ms) nahe an der kontinuierlichen Baseline (51,9 ms) und ist signifikant schneller als Pruning-basierte Methoden, die mehrere Token beibehalten.

4.5 Ablationsstudien

Diskrete Anker: Das Entfernen der Anker (nur kontinuierlich) senkt die Leistung auf 81,0 %; die Verwendung ausschließlich diskreter Token senkt sie auf ~33 %.
Anker-Anzahl: 4 Token liefern die optimale Leistung; 1 oder 2 sind unzureichend, während 8 Redundanz einführen.
Maskierung: Die Text-Bottleneck-Maske (die visuelle Selbst-Attention erlaubt, aber Text-zu-Roh-Visuell blockiert) ist überlegen gegenüber einer strikten Star-Graph-Maske, was die Notwendigkeit von visuellem Kontext vor der Kompression bestätigt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass HTC-VLM eine praktische Lösung für den Effizienz-Fidelity-Trade-off in VLMs bietet. Durch die explizite Disentanglement von Semantik und Details ermöglicht der hybride Ansatz eine extreme Kompression (1 Token) ohne den bei rein kontinuierlichen Methoden beobachteten semantischen Kollaps.

Die Autoren betonen, dass die Leistungssteigerungen aus dem strukturellen hybriden Design resultieren und nicht auf fragiler Hyperparameter-Optimierung beruhen. Die diskreten Anker fungieren als interpretierbare semantische Leitfäden, die den Kompressionsprozess stabilisieren und es dem LLM ermöglichen, selbst dann effektiv zu schlussfolgern, wenn der visuelle Input auf einen einzigen Token reduziert wurde. Die Arbeit deutet auf eine zukünftige Richtung für multimodale Kompression hin: das Design strukturierter, aufgabenadaptiver Bottlenecks, die die semantische Interpretierbarkeit bewahren und gleichzeitig die Token-Kosten drastisch senken.

Eingeständliche Limitationen: Die Methode führt einen leichtgewichtigen MGVQ-Encoder ein, was bedeutet, dass sie im Vergleich zu rein kontinuierlicher Kompression nicht strikt ohne Overhead ist. Zudem konzentriert sich die aktuelle Evaluierung auf bildbasierte VLMs; eine Erweiterung auf lange Videos oder Aufgaben der dichten Lokalisation könnte eine weitere Anpassung erfordern.