🤖 machine learning

Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality

Dieses Paper argumentiert, dass die Token-Reduktion in Transformer-basierten generativen Modellen von einer bloßen Effizienzstrategie zu einem grundlegenden Designprinzip evolvieren sollte, das die multimodale Ausrichtung verbessert, Halluzinationen mindert, die Kohärenz bei langen Kontexten sicherstellt und die Trainingsstabilität über Vision-, Sprach- und Multimodal-Systeme hinweg optimiert.

Ursprüngliche Autoren: Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen massiven, 1.000-seitigen Roman zu lesen, um eine einzige Frage zu beantworten: „Welche Farbe hatte die Katze?“

In der Welt moderner KI (speziell „Generativer Modelle“) liest der Computer das Buch nicht einfach nur; er zerlegt jedes einzelne Wort, jeden Satz und jeden Absatz in winzige, gleich große Stücke, die man Tokens nennt. Um Ihre Frage zu beantworten, versucht die KI traditionell, jedem dieser Stücke gleichzeitig Aufmerksamkeit zu schenken.

Das Problem? Je länger das Buch wird, desto exponentieller steigt der Aufwand, jedes Wort mit jedem anderen Wort zu verknüpfen. Es ist wie der Versuch, ein Gespräch zu führen, bei dem 10.000 Menschen in einem Stadion gleichzeitig ihre Gedanken an alle anderen schreien. Das ist langsam, teuer und der Computer wird müde (oder „geht in den Speicherkapazitätsgrenzen auf“).

Der alte Weg: Nur den Ballast abwerfen
Lange Zeit betrachteten Forscher „Token-Reduktion“ wie einen Diätplan für Computer. Das Ziel war simpel: Effizienz. Man betrachtete das 1.000-seitige Buch, fand die langweiligen Teile (wie Beschreibungen des Wetters oder der Hintergrundkulisse) und warf sie weg. Dies machte den Computer schneller und kostengünstiger im Betrieb.

Die neue Idee: Es geht nicht nur um Geschwindigkeit
Dieses Paper argumentiert, dass wir unsere Denkweise ändern müssen. Token-Reduktion sollte nicht nur ein Weg sein, um Geld zu sparen oder die Geschwindigkeit zu erhöhen. Stattdessen sollte sie ein fundamentales Designprinzip sein, das die KI schlauer und zuverlässiger macht.

Hier erklärt das Paper diesen Wandel anhand einfacher Analogien:

1. Das Problem des „Tunnelblicks“ beheben (Visuelle Repräsentation)

Stellen Sie sich vor, Sie betrachten ein Foto einer Katze, die auf einem Sofa sitzt.

Das Problem: Aktuelle KI-Modelle lassen sich manchmal ablenken. Sie starren vielleicht zu intensiv auf die leere Wand hinter der Katze oder auf die untere Ecke des Bildes und übersehen dabei die Katze selbst. Dies wird als „Visuelle Redundanz“ bezeichnet.
Die Lösung: Token-Reduktion wirkt wie ein intelligenter Scheinwerfer. Anstatt den ganzen Raum zu beleuchten, lenkt sie die Aufmerksamkeit der KI automatisch nur auf die Katze. Indem sie das „Rauschen“ (die leere Wand) ausschneidet, versteht die KI das Bild tatsächlich besser, nicht nur schneller.

2. Den „Überdenker“ stoppen (Argumentation/Reasoning)

Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt.

Das Problem: Manchmal wird die KI nervös und fängt an zu „überdenken“. Sie schreibt einen 50-seitigen Essay, um eine einfache Additionsaufgabe zu lösen, schwadroniert endlos vor sich hin, bis sie verwirrt wird und einen Fehler macht. Dies wird als „Overthinking“ bezeichnet.
Die Lösung: Token-Reduktion wirkt wie ein strenger Lektor. Sie schneidet das Geschwätz heraus und zwingt die KI, sich an die wesentlichen Schritte zu halten. Durch das Entfernen der überflüssigen, verwirrenden Wörter wird die KI logischer und neigt weniger dazu, zu halluzinieren (Dinge zu erfinden).

3. Die Geschichte zusammenhängend halten (Langer Kontext)

Stellen Sie sich vor, Sie versuchen, sich an eine Geschichte zu erinnern, die über 10 Stunden erzählt wurde.

Das Problem: Wenn Sie versuchen, sich an jedes einzelne gesprochene Wort zu erinnern, vergessen Sie irgendwann den Anfang. Die KI geht „mitten im Gespräch oder Video verloren“.
Die Lösung: Token-Reduktion wirkt wie ein Zusammenfasser. Anstatt zu versuchen, jedes einzelne Wort im Kopf zu behalten, lernt sie, die Geschichte in ihre wichtigsten „Schlüsselmomente“ zu komprimieren. Dies ermöglicht es der KI, die Haupthandlung eines 10-stündigen Films zu behalten, ohne überfordert zu werden.

4. Training ohne das Rauschen (Stabilität)

Stellen Sie sich einen Lehrer vor, der versucht, eine Klasse zu unterrichten, aber die Schüler ständig irrelevante Fakien dazwischenrufen.

Das Problem: Beim Training von KI kann „verrauschte“ Daten (irrelevante Tokens) das Modell verwirren, was dazu führt, dass es länger braucht, um zu lernen, oder die falschen Dinge lernt.
Die Lösung: Token-Reduktion wirkt wie ein Filter. Sie hilft der KI, das Geschrei zu ignorieren und sich nur auf die klaren, wichtigen Lektionen zu konzentrieren. Dies macht den Lernprozess reibungsloser und stabiler.

Die Zukunft: Schlauer, nicht nur schneller

Das Paper skizziert einen Fahrplan für die Zukunft, in der Token-Reduktion für viel mehr als nur die Einsparung von Akkuleistung genutzt wird:

Für Roboter und selbstfahrende Autos: Anstatt nur einen Videostream zu verarbeiten, wird die KI lernen, nur die fahrenden Autos und Fußgänger (die wichtigen Tokens) herauszufiltern und die statischen Bäume und den Himmel zu ignorieren. Dies ist entscheidend für die Fähigkeit, Entscheidungen in Sekundenbruchteilen zu treffen.
Für Medizinische KI: Stellen Sie sich vor, die Krankenakte eines Patienten ist eine riesige Bibliothek an Unterlagen. Token-Reduktion kann der KI helfen, diese Unterlagen in eine kompakte, klare Zusammenfassung zu organisieren, die nur die Symptome und Behandlungen hervorhebt, die für die aktuelle Diagnose relevant sind, anstatt sich in tausenden Seiten irrelevanter Daten zu verlieren.
Für KI-Agenten: Wenn Sie ein Team von KI-Robotern haben, die zusammenarbeiten, sollten diese keine Zeit damit verschwenden, sich gegenseitig lange, langweilige Nachrichten zu schicken. Token-Reduktion hilft ihnen, nur die essenziellen Informationen zu kommunizieren, wodurch das Team effizienter zusammenarbeitet.

Zusammenfassend
Das Paper behauptet, dass Token-Reduktion nicht länger nur ein „Beschleunigungswerkzeug“ ist. Sie entwickelt sich zu einem Qualitätskontrollwerkzeug. Indem wir KI-Modelle lehren, das Rauschen zu ignorieren und sich auf das zu konzentrieren, was wirklich wichtig ist, machen wir sie nicht nur schneller, sondern auch präziser, logischer und besser darin, die Welt um sie herum zu verstehen.

Technische Zusammenfassung: Token-Reduktion sollte über Effizienz hinausgehen in generativen Modellen

1. Problemstellung

In Transformer-basierten generativen Modellen werden Eingaben in diskrete Token segmentiert (z. B. Subwords, Bild-Patches). Der Self-Attention-Mechanismus in diesen Architekturen verursacht eine quadratische Rechenkomplexität ( $O(N^2)$ relativ zur Sequenzlänge $N$ ). Da generative Modelle skalieren, um ultra-lange Kontexte, multimodale Daten und agentische Workflows zu bewältigen, erzeugen die resultierenden Token-Anzahlen Engpässe in der Speicherauslastung, der Inferenzlatenz und der Trainingsstabilität.

Derzeit wird Token-Reduktion (Pruning, Merging oder Komprimierung von Token) überwiegend als eine Post-hoc-Effizienzoptimierungsstrategie betrachtet. Das Paper argumentiert, dass diese „Effizienz-orientierte“ Denkweise fundamental begrenzt ist. Naive Reduktionsmethoden verwerfen oft informative Token, verschlechtern die semantische Ausrichtung, induzieren „Overthinking“ beim Schlussfolgern und versäumen es, die zentralen architektonischen Herausforderungen in Vision-, Sprach- und multimodalen Domänen anzugehen. Das zentrale Problem besteht darin, die Token-Reduktion von einer bloßen Beschleunigungstechnik zu einem fundamentalen Designprinzip umzuformulieren, das die Robustheit, die semantische Integrität und die Leistungsfähigkeit der Modelle verbessert.

2. Methodik und Framework

Das Paper schlägt keinen einzelnen neuen Algorithmus vor, sondern ein umfassendes konzeptionelles Framework und eine Survey existierender Methoden, die durch eine neue Linse reevaluiert werden.

Kategorisierung der Methoden

Die Autoren kategorisieren Token-Reduktionstechniken in vier funktionale Typen:

Token Pruning: Das vollständige Entfernen unwichtiger Token (z. B. DynamicViT, Power-BERT).
Token Merging: Das Verschmelzen von Informationen aus mehreren Token zu weniger, dichteren Token (z. B. ToMe, SPViT).
Hybride Strategien: Kombination von Pruning und Merging innerhalb eines einheitlichen Frameworks.
Token-Distillation: Integration reichhaltiger Informationen aus langen Sequenzen oder multiplen Modalitäten in komprimierte Token (z. B. AutoCompressors).

Kernherausforderungen und Mechanismen

Das Paper identifiziert fünf Kernherausforderungen in modernen generativen Systemen und zeigt auf, wie eine prinzipielle Token-Reduktion diese adressiert:

Gewinnung informativer visueller Repräsentationen: MLLMs leiden oft unter verrauschten visuellen Eingaben und Attention-Shifts, bei denen Text-Token unverhältnismäßig stark auf irrelevante Bildregionen achten. Token-Reduktion fungiert hier als Optimierung des Repräsentationslernens, indem sie hochwertige Token (z. B. via Clustering oder KL-Divergenz-Kriterien) auswählt, um die visuelle Diversität und aufgabenrelevante Merkmale zu bewahren.
Bessere multimodale Token-Ausrichtung: Standardmäßige, fest dimensionierte Patch-Tokenisierung fragmentiert kohärente visuelle Entitäten. Reduktionsstrategien, die visuelle Merkmale basierend auf ihrer semantischen Wichtigkeit clustern (z. B. SeTok), erzeugen kompakte Token-Sets, die besser mit linguistischen Repräsentationen korrespondieren und so das konzeptionelle Verständnis verbessern.
Reduzierung von „Overthinking“ beim Schlussfolgern: LLMs und MLLMs generieren häufig verbose, redundante oder selbst widersprüchliche Reasoning-Ketten. Token-Reduktionstechniken (z. B. CoT-Influx, Token-Skip) beschneiden unnötige Schritte in den Reasoning-Trajektorien, was die Modelle dazu zwingt, sich auf die wesentlichen Schritte zu konzentrieren und die Akkumulation von Fehlern zu reduzieren.
Verbesserung der Trainingsstabilität: Über die Inferenz hinaus kann Token-Reduktion in das Pre-Training integriert werden. Durch das Filtern von verrauschten oder informationsarmen Token während des Trainings (z. B. Rho-1, UPFT) konvergieren Modelle schneller und lernen robustere Repräsentationen, indem sie den Einfluss fehlerhafter oder komplexer Zwischendaten vermeiden.
Verbesserung des Verständnisses langer Kontexte & Videos: Für lange Sequenzen destillieren Reduktionstechniken umfangreiche Eingaben in kompakte Summary-Vektoren oder repräsentative Token. Dies bewahrt Kernevents und Themen, während es das „Lost-in-the-middle“-Phänomen mildert und die kognitive Last in Agenten-Systemen reduziert.

3. Zentrale Beiträge

Das Paper leistet drei primäre Beiträge:

Taxonomie und Übergang: Es kategorisiert bestehende Token-Reduktionsmethoden nach ihrem funktionalen Ziel und identifiziert einen Paradigmenwechsel von effizenzzentrierten Optimierungen hin zu aufgabenbewussten Verbesserungen über Vision-, Sprach- und multimodale Domänen hinweg.
Minderung von Herausforderungen: Es verknüpft explizit Token-Reduktionsstrategien mit der Minderung kritischer moderner Herausforderungen, einschließlich unzureichender visueller Repräsentation, semantischer Fehlausrichtung, Redundanz im Reasoning und Instabilität im Training.
Zukunftsvision (Roadmap): Es skizziert eine Forschungsagenda für die nächste Generation der Token-Reduktion, die über einfaches Pruning hinausgeht und Folgendes einschließt:
- Algorithmisches Design: Bessere Wichtigkeitsmetriken, konstruktive Komprimierung und kreuzmodale geführte Pruning-Verfahren.
- Reasoning-zentrierte Komprimierung: Wechsel von Prompt-Komprimierung zur Komprimierung von Zwischenschritten im Reasoning, um die logische Klarheit zu verbessern.
- Reinforcement Learning (RL) Steuerung: Nutzung von RL, um Token-Budgets dynamisch bas nach Aufgabenkomplexität zuzuweisen und die hierarchische Token-Selektion zu überwachen.
- Hardware-Algorithmus Co-Design: Integration von Token-Sparsity-Mustern mit spezialisierter Hardware (z. B. Processing-in-Memory), um Speicherengpässe zu überwinden.
- Domänenspezifische Anwendungen: Anpassung der Reduktion für dichte Vorhersagen (autonomes Fahren), langes Video-Verständnis, agentische Systeme und wissenschaftliche KI (biomedizinische Tokenisierung).

4. Ergebnisse und Evidenz

Als Position Paper präsentiert das Paper keine neuen experimentellen Ergebnisse, sondern synthetisiert Evidenz aus einer Vielzahl früherer Arbeiten (z. B. FastV, ToMeSD, Rho-1, S2-MAD), um seine Argumente zu stützen. Die zitierten „Ergebnisse“ sind die demonstrierten Fähigkeiten bestehender Methoden unter dem vorgeschlagenen Framework:

Effizienz: Methoden wie Power-BERT und DynamicViT reduzieren die quadratischen Kosten erfolgreich auf $O(M^2)$ .
Performance: Techniken wie VisPruner und SeTok zeigen, dass selektives Beibehalten von Token die Performance in Downstream-Tasks und die semantische Ausrichtung im Vergleich zu naivem Pruning verbessert.
Stabilität: Ansätze wie Rho-1 demonstrieren, dass das Filtern von Token während des Trainings zu einer schnelleren Konvergenz und verbesserter Modellrobustheit führt.
Reasoning: CoT-Influx und Token-Skip zeigen, dass die Komprimierung von Reasoning-Ketten die Genauigkeit beim mathematischen Schlussfolgern verbessern und den Token-Verbrauch senken kann, ohne die Qualität der Lösung zu opfern.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Token-Reduktion sich von einem „Post-hoc-Effizienzmaß“ zu einem Kern-Designprinzip im generativen Modellieren entwickeln muss. Seine Bedeutung liegt in:

Neuausrichtung des Paradigmas: Es fordert die Community heraus, Token-Selektion nicht nur als Weg zur Rechenersparnis zu sehen, sondern als Mechanismus zur Verbesserung der semantischen Kohärenz, Interpretierbarkeit und Alignment.
Behebung systemischer Mängel: Es postuliert, dass eine durchdachte Token-Selektion essenziell ist, um spezifische Fehlermodi großer Modelle zu lösen, wie etwa Halluzinationen durch „Overthinking“ und semantische Drift in langen Kontexten.
Ermöglichung von Skalierbarkeit: Indem es Token als endliche Ressource behandelt, die dynamisch optimiert werden muss, argumentiert das Paper, dass Token-Reduktion entscheidend für die nachhaltige Skalierung von generativer KI in agentischen Systemen, wissenschaftlicher Entdeckung und Echtzeitanwendungen ist.

Die Autoren kommen zu dem Schluss, dass zukünftige Arbeit sich auf konstruktive Komprimierung (Merging statt bloßem Droppen) und RL-gestützte Selektion konzentrieren sollte, mit dem Ziel, Systeme zu bauen, die ihre Informationsbandbreite autonom optimieren, um die Balance zwischen Skalierbarkeit, Effektivität und Interpretierbarkeit zu halten.