💻 computer science

A Survey of Token Compression for Efficient Multimodal Large Language Models

Diese Arbeit präsentiert die erste systematische Übersicht über Techniken zur Token-Kompression für effiziente multimodale große Sprachmodelle, wobei bestehende Methoden sowohl nach ihren Zielmodalitäten (Bild, Video und Audio) als auch nach ihren zugrunde liegenden Mechanismen kategorisiert werden, um den aktuellen Fortschritt zu konsolidieren und die zukünftige Forschung zu leiten.

Ursprüngliche Autoren: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten Assistenten (ein Multimodales Großes Sprachmodell, oder MLLM), der Text lesen, Bilder betrachten, Videos ansehen und Audio hören kann. Dieser Assistent ist unglaublich talentiert, aber er hat ein großes Problem: Er wird überfordert, wenn man ihm zu viele Informationen auf einmal gibt.

Betrachten Sie die Informationen, die der Assistent erhält, als einen Strom von „Tokens“ (kleinen Datenteilen).

Ein Text-Prompt ist wie ein kurzer Brief.
Ein hochauflösendes Foto ist wie ein Brief, der zu einem riesigen, detaillierten Wandgemälde aufgeblasen wurde.
Ein Video ist wie eine Bibliothek aus tausenden dieser Wandgemälde, die sich jede Sekunde ändern.
Audio ist wie ein kontinuierlicher, Hochgeschwindigkeitsstrom von Schallwellen.

Wenn Sie diesem Assistenten einen 90-minütigen Film füttern, sieht er nicht einfach nur „einen Film“. Er sieht 54 Millionen Tokens. Das ist so, als würde man versuchen, eine ganze Bibliothek von Büchern mit einem einzigen Atemzug zu lesen. Das Gehirn des Assistenten (sein „Self-Attention“-Mechanismus) muss jedes einzelne Token mit jedem anderen Token vergleichen. Die Mathematik dafür wird so schwerfällig und schnell so komplex, dass der Computer entweder den Speicher verbraucht oder ewig braucht, um zu antworten.

Die Lösung: Token-Kompression
Dieses Paper ist ein umfassender Leitfaden (ein Survey), darüber, wie man diesen Assistenten lehrt, effizienter zu werden, ohne seine Intelligenz zu verlieren. Die Autoren nennen dies Token-Kompression.

Stellen Sie sich die Token-Kompression wie das Packen eines Koffers für eine Reise vor.

Das Problem: Sie haben einen Koffer voller Kleidung, aber 80 % davon sind Duplikate (wie 50 identische weiße T-Shirts) oder Dinge, die Sie nicht brauchen (wie ein schwerer Wintermantel für einen Strandtrip).
Das Ziel: Sie wollen alles Wichtige in eine kleinere Tasche packen, damit Sie schneller reisen können, ohne die Dinge zurückzulassen, die Sie tatsächlich benötigen.

Das Paper ordnet alle aktuellen Methoden zum „Packen“ dieser Daten in zwei Hauptwegen der Betrachtung: Welche Art von Daten sind es? und Wie packen wir sie?

1. Packen nach Datentyp (Das „Was“)

Verschiedene Arten von Daten haben unterschiedliche Arten von „Unordnung“ (Redundanz).

Bilder (Das statische Foto):
- Die Unordnung: Ein Foto eines blauen Himmels hat Millionen von blauen Pixeln, die alle exakt gleich sind.
- Die Lösung: Anstatt jeden einzelnen blauen Pixel zu senden, gruppiert der Computer sie zusammen. Er sagt: „Dieser ganze Bereich ist nur blauer Himmel“, und sendet ein Token, um dieses gesamte Feld zu repräsentieren.
Video (Das bewegte Bild):
- Die Unordnung: In einem Video einer sprechenden Person bleibt der Hintergrund (eine Wand oder ein Baum) für 10 Sekunden exakt gleich, während sich die Person leicht bewegt.
- Die Lösung: Der Computer erkennt: „Wir müssen den Hintergrund nicht 30 Mal pro Sekunde senden.“ Er behält den Hintergrund einmal bei und sendet nur Aktualisierungen für die beweglichen Teile. Es ist wie das Versenden eines „Änderungsprotokolls“ (Change Log) anstatt die gesamte Szene jedes Mal neu zu senden.
Audio (Die Schallwelle):
- Die Unordnung: Eine Aufnahme einer Stimme enthält oft lange Pausen, Stille oder ein Hintergrundrauschen, das keine Bedeutung hinzufügt.
- Die Lösung: Der Computer schneidet die Stille heraus und führt ähnliche Klänge zusammen, wobei er nur die Teile behält, in denen tatsächlich gesprochen wird oder sich die Musik verändert.

2. Packen nach Methode (Das „Wie“)

Das Paper gruppiert die Techniken, die zum Packen verwendet werden, in vier Hauptstrategien:

Der „Schrumpfstrahl“ (Transformationsbasiert):
Stellen Sie sich vor, Sie nehmen ein hochauflösendes Foto und schrumpfen es einfach zusammen. Sie verlieren etwas Detail, behalten aber die allgemeine Form und die Farben. Dies geschieht durch das mathematische Quetschen der Daten (wie Pooling oder Mittelwertbildung), um die Token-Liste kürzer zu machen.
Das „Gruppenspiel“ (Ähnlichkeitsbasiert):
Stellen Sie sich vor, Sie haben einen Haufen von 1.000 roten Lego-Steinen. Anstatt alle 1.000 aufzulisten, sagen Sie: „Hier ist ein roter Stein, und es gibt noch 999 weitere genau wie diesen.“ Der Computer findet Tokens, die sich sehr ähnlich sehen oder klingen, und führt sie zu einem einzigen „repräsentativen“ Token zusammen.
Das „Spotlight“ (Attention-basiert):
Stellen Sie sich einen Lehrer vor, der in ein Klassenzimmer blickt. Der Lehrer kümmert sich nur um die Schüler, die die Hand heben (die wichtigen Tokens) und ignoriert diejenigen, die hinten schlafen. Der Computer schaut auf seine eigenen „Attention Scores“ (wie sehr er ein bestimmtes Datenteil beachtet) und wirft die Tokens weg, die er ohnehin ignoriert.
Der „Frage-Leitfaden“ (Query-basiert):
Stellen Sie sich vor, Sie suchen eine bestimmte Nadel im Heuhaufen. Anstatt nach jedem Stück Heu zu suchen, fragen Sie: „Wo ist die Nadel?“ Der Computer nutzt Ihre Frage (den Query), um alles herauszufiltern, das nicht zu dem passt, wonach Sie fragen, und behält nur die relevanten Tokens.

Warum das wichtig ist

Die Autoren erklären, dass es hierbei nicht nur darum geht, Computer schneller zu machen. Es geht darum, sie nutzbar zu machen.

Ohne Kompression ist ein 90-minütiger Film für aktuelle Modelle unmöglich in Echtzeit zu verarbeiten.
Mit Kompression kann das Modell den Film „ansehen“, die Handlung verstehen und Fragen dazu beantworten, während es nur einen Bruchteil des Speichers verwendet.

Der Haken (Herausforderungen)

Das Paper warnt auch davor, dass dies keine Magie ist. Wenn Sie den Koffer zu eng packen:

Sie könnten Details verlieren: Wenn Sie ein Foto zu stark komprimieren, übersehen Sie vielleicht ein winziges, aber wichtiges Schild im Hintergrund.
Es unterbricht den Fluss: In einem Video, wenn Sie zu viele Frames zusammenführen, könnte die Bewegung ruckelig oder verwirrend wirken.
Es ist schwer unterzubringen: Einige dieser „Pack“-Tricks sind schwer mit den schnellsten Computerchips einzusetzen, die heute verfügbar sind, da sie erfordern, dass der Computer stoppt und Dinge anders berechnet.

Zusammenfassend:
Dieses Paper ist eine Landkarte für Forscher. Es sagt: „Wir haben ein Problem: Unsere KI ertrinkt in zu vielen Daten. Hier sind alle verschiedenen Wege, wie wir versuchen, sie zu lehren, diese Daten zu filtern, zu gruppieren und zu schrumpfen, damit sie im echten Leben tatsächlich funktionieren kann.“ Es organisiert diese Methoden danach, ob sie sich auf Bilder, Videos oder Töne beziehen, und nach den spezifischen mathematischen Tricks, die sie zur Erledigung der Aufgabe nutzen.

Technisches Resümee: Eine Übersicht über die Token-Kompression für effiziente multimodale Large Language Models

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben bemerkenswerte Leistungen erzielt, indem sie komplexe Kontexte verarbeiten, einschließlich hochauflösender Bilder, ausgedehnter Videosequenzen und langer Audioeingaben. Diese Fähigkeit führt jedoch zu einem erheblichen Rechenengpass: der quadratischen Komplexität ( $O(N^2)$ ) von Self-Attention-Mechanismen relativ zur Anzahl der Input-Token ( $N$ ).

Im Gegensatz zu Text, wo die Token-Anzahlen handhabbar sind, erzeugen visuelle und auditive Daten Sequenzen, die um Größenordnungen länger sind. Beispielsweise kann ein 90-minütiges Video etwa 54 Millionen Token erzeugen, während ein einzelnes hochauflösendes Bild oder eine 2-stündige Audiodatei zehntausende bis Millionen von Token generiert. Diese Disparität verursacht eine schwere Latenz bei der Inferenz sowie einen hohen Speicherverbrauch, was den praktischen Einsatz von MLLMs behindert. Darüber hinaus enthalten multimodale Daten erhebliche Redundanz (räumlich in Bildern, spatio-temporal in Videos und temporal/spektral in Audio), wobei Studien darauf hindeuten, dass über 50 % der Token in typischen MLLM-Sequenzen während der Inferenz nur minimale Aufmerksamkeit erhalten.

2. Methodik und Taxonomie

Dieses Paper präsentiert die erste systematische Übersicht und Synthese von Token-Kompressionstechniken, die spezifisch für MLLMs entwickelt wurden. Die Autoren definieren Token-Kompression streng als Methoden, die explizit die Anzahl der an nachfolgende Schichten übergebenen Token reduzieren ( $M < N$ ), und grenzen dies von Input-Level-Sampling (z. B. Frame-Extraktion) und Attention-Sparsity-Mechanismen ab, welche die Sequenzlänge beibehalten, aber die Rechenpfade reduzieren.

Die Übersicht kategorisiert bestehende Ansätze durch zwei primäre Perspektiven:

A. Modalitätszentrierte Kategorisierung

In Anerkennung der Tatsache, dass Redundanzmuster über verschiedene Modalitäten hinweg variieren, werden die Methoden nach ihrem primären Datenfokus gruppiert:

Bildzentrierte Kompression: Adressiert die räumliche Redundanz in statischen visuellen Daten. Benachbarte Patches repräsentieren oft ähnliche Texturen oder Farben.
Videozentrierte Kompression: Zielt auf die spatio-temporale Redundanz in dynamischen Sequenzen ab, in denen aufeinanderfolgende Frames umfangreiche Hintergrundelemente und begrenzte Bewegungen teilen.
Audiozentrierte Kompression: Behandelt die temporale und spektrale Redundanz in akustischen Signalen, wobei relevante Informationen oft in spärlichen Segmenten inmitten von Stille oder Rauschen konzentriert sind.

B. Mechanismuszentrierte Kategorierung

Über die Modalität hinaus analysiert das Paper die Methoden basierend auf ihren zugrunde liegenden algorithmischen Prinzipien, die oft Modalitäten übergreifend funktionieren:

Transformationsbasiert: Transformiert Cross-Modality-Informationen direkt, um Token durch Änderung der Skalierung oder Repräsentation zu komprimieren (z. B. Pixel Unshuffle, Spatial/Temporal Pooling, Konvolution). Diese Methoden bewahren oft die strukturelle Repräsentation, bieten aber eine begrenzte Flexibilität bei den Kompressionsraten.
Ähnlichkeitsbasiert: Identifiziert und fusioniert Token basierend auf Distanz oder Ähnlichkeit in einem impliziten Raum (z. B. K-Nearest Neighbors, Clustering). Obwohl effektiv, bergen sie das Risiko, feingliedrige räumliche oder temporale Informationen zu verlieren, wenn Token zu stark generalisiert werden.
Attention-basiert: Nutzt die Sparsity von Attention-Mechanismen aus, um Token mit niedrigen Attention-Scores zu beschneiden (Pruning). Diese können entweder im Encoder (Vision/Audio-Encoder) oder im Decoder (LLM-Backbone) angewendet werden. Trotz ihrer Leistungsfähigkeit stehen sie vor Herausforderungen bei der Bereitstellung aufgrund der Inkompatibilität mit optimierten Beschleunigungsbibliotheken (z. B. FlashAttention), die Attention implizit berechnen.
Query-basiert: Verwendet externe Abfragen (Prompts), um die Kompression zu steuern, entweder durch Token-Distillation (Lernen, visuelle/auditive Informationen mit weniger Token zu repräsentieren) oder Cross-Modal Selection (Filtern von Token basierend auf Relevanz zum Text). Diese sind hochgradig aufgabenrelevant, können aber bei Multi-Turn-Konversationen, in denen sich die Queries ändern, Schwierigkeiten haben.

3. Wichtige Beiträge

Erste strukturierte Übersicht: Diese Arbeit bietet die erste umfassende Taxonomie der Token-Kompression spezifisch für MLLMs und schließt die Lücke zwischen textzentrierter Prompt-Kompression und visuell/audio-spezifischen Techniken.
Vereinheitlichtes Framework: Es zeigt auf, dass trotz modalitätsspezifischer Redundanzen die grundlegenden algorithmischen Prinzipien (Identifikation der Wichtigkeit, Quantifizierung der Redundanz und Token-Fusion/Pruning) über visuelle, temporale und auditive Domänen hinweg konsistent sind.
Kritische Analyse von Trade-offs: Das Paper detailliert die Vor- und Nachteile jedes Mechanismus, wie etwa die parameterfreie Natur von Pooling gegenüber der lernbaren Abstraktion von Konvolutionen sowie die Effizienz von Attention-basiertem Pruning gegenüber dessen Inkompatibilität mit aktuellen Hardware-Beschleunigern.
Identifikation von Herausforderungen: Die Übersicht hebt kritische Hürden hervor, einschließlich der Leistungsdegradation bei hohen Kompressionsraten (insbesondere in größeren Modellen), des Verlusts feingliedriger Details, die für Aufgaben wie OCR oder zeitliche Lokalisierung (Temporal Grounding) erforderlich sind, sowie der Schwierigkeit, dynamisches Pruning in Multi-Turn-Konversationssysteme zu integrieren.

4. Ergebnisse und Beobachtungen

Das Paper synthetisiert Erkenntnisse aus zahlreichen State-of-the-Art-Modellen und Methoden (z. B. InternVL, Qwen2-VL, FastV, ToMe, HoliTom, SpeechPrune):

Effizienz vs. Performance: Eine signifikante Reduktion der Token ist mit minimalem Leistungsverlust möglich. Beispielsweise kann das Behalten von nur 10–25 % der visuellen Token eine wettbewerbsfähige Performance auf Benchmarks wie VQA2 und VideoMME aufrechterhalten. Eine aggressive Kompression führt jedoch zu einem starken Leistungsabfall, insbesondere bei Modellen mit höheren Repräsentationsfähigkeiten (z. B. Qwen2.5-VL, LLaVA-OV-72B).
Aufgabensensitivität: Kompressionsstrategien sind nicht universell anwendbar. Aufgaben, die eine hohe Informationsdichte erfordern (z. B. optische Zeichenerkennung/OCR) oder präzises zeitliches Denken erfordern, leiden stärker unter Token-Fusion oder Pruning als allgemeine visuelle Fragenbeantwortung (VQA).
Deployment-Lücken: Viele Attention-basierte Methoden sind, obwohl theoretisch effizient, in realen Szenarien schwer zu implementieren, da sie auf expliziten Attention-Scores basieren, die in fusionierten, optimierten Inferenz-Pipelines nicht zugänglich sind.

5. Bedeutung und zukünftige Richtungen

Das Paper behauptet, dass Token-Kompression nicht bloß eine Post-Optimierungstechnik ist, sondern ein entscheidender Enabler für die Skalierbarkeit von MLLMs. Seine Bedeutung liegt in:

One-Shot Long-Context Understanding: Durch die Verdichtung von Informationen in dichte Token können MLLMs ganze Code-Repositories oder lange Videos in einem einzigen Durchgang verarbeiten, ohne architektonische Überarbeitungen wie RingAttention zu benötigen.
Verbesserte Modale Ausrichtung (Alignment): Kompressionsmethoden, insbesondere Query-basierte Distillation, können die Ausrichtung zwischen multimodalen Inputs und sprachlichen Repräsentationen verbessern, indem sie informationsarme oder irrelevante Informationen herausfiltern.
Orthogonale Synergie: Das Paper stellt fest, dass Token-Kompression (Reduktion der Sequenzlänge $N$ ) strukturell orthogonal zur Gewichtskompression (Reduktion der Modell-Dimension $D$ ) ist, was darauf hindeutet, dass die Kombination dieser Ansätze (z. B. Quantisierung + Token-Pruning) kumulierte Effizienzgewinne erzielen kann.

Identifizierte zukünftige Richtungen:

Gemeinsame multimodale Kompression: Übergang von unimodalen Strategien zu Frameworks, die die cross-modale Synergie ausnutzen (z. B. Nutzung von Audio-Hinweisen zur Filterung von Video-Tokens) für Omni-LLMs.
Architekturdesign: Wechsel von einer reaktiven Kompression hin zum Design von Modellen, die Redundanz bereits während der Merkmalsextraktion intrinsisch berücksichtigen.
Evaluationsstandards: Das Paper fordert neue Benchmarks, die speziell darauf ausgelegt sind, die Effektivität der Token-Kompression zu bewerten, indem sie über allgemeine VQA-Metriken hinausgehen und Aufgaben erfordern, die eine feingliedrige zeitliche Lokalisierung und hohe Detailtreue verlangen.

Zusammenfassend bildet diese Übersicht eine fundamentale Ressource für Forscher und Entwickler, indem sie den aktuellen Fortschritt konsolidiert und den Weg für effiziente, skalierbare und robuste multimodale Large Language Models aufzeigt.