🤖 AI

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

Dieses Paper stellt TOPS vor, eine trainingsfreie und modellagnostische Methode zur visuellen Token-Pruning, die optimale Erhaltungssätze basierend auf Aufgabenrelevanz, Informationsabdeckung und semantischer Diversität konstruiert, um die Inferenz-Effizienz von MLLMs signifikant zu verbessern und gleichzeitig die Leistung beizubehalten oder sogar zu steigern.

Ursprüngliche Autoren: Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige Bibliothek voller Bücher (die visuellen Token), die ein super-intelligenter Roboter (das Multimodale Large Language Model) lesen muss, um eine Frage zu beantworten. Das Problem ist, dass die Bibliothek so gewaltig ist, dass der Roboter überfordert wird, ewig braucht, um zu lesen, und seine gesamte Energie allein beim Umblättern der Seiten verbraucht.

Lange Zeit versuchten die Leute, dem Roboter zu helfen, indem sie ihm sagten: „Überspringe einfach die langweiligen Seiten!“ Aber die alten Methoden waren etwas tollpatschig:

Die „Attention“-Methode war wie ein Roboter, der nur auf Seiten achtete, die die größte, fettgedruckte Schrift hatten. Dabei übersah er oft wichtige Details, nur weil sie in kleiner Schrift geschrieben waren, oder er las denselben Absatz fünfmal hintereinander, weil er ähnlich aussah.
Die „Diversity“-Methode war wie ein Roboter, der versuchte, Seiten auszuwählen, die unterschiedlich aussahen. Er wählte vielleicht eine Seite über eine Katze und eine Seite über ein Auto aus, konnte aber dabei versehentlich die Seite wegwerfen, die tatsächlich die spezifische Frage des Nutzers beantwortete.

Hier kommt TOPS: Der smarte Bibliothekar

Das Paper stellt eine neue Methode namens TOPS (Token Optimal Preservation Sets) vor. Anstatt nur zu raten, welche Seiten man behalten sollte, agiert TOPS wie ein hochgradig organisierter Bibliothekar nach dem Prinzip der ersten Grundsätze, der drei spezifische Fragen stellt, bevor er entscheidet, was im Regal bleibt:

„Ist diese Seite relevant für die Frage?“ (Aufgabenrelevanz)
- Analogie: Wenn der Nutzer fragt: „Welche Farbe hat das Auto?“, weiß der Bibliothekar sofort, dass er die Seite mit dem Auto behalten und die Seite über den Himmel wegwerfen muss.
„Bietet diese Seite neuen Boden?“ (Informationsabdeckung)
- Analogie: Wenn wir bereits eine Seite haben, die die rote Farbe des Autos beschreibt, brauchen wir keine zweite Seite, die genau dasselbe sagt. Wir brauchen eine Seite, die uns etwas Neues verrät, wie zum Beispiel das Nummernschild des Autos.
„Ist diese Seite einzigartig im Vergleich zu den anderen, die wir ausgewählt haben?“ (Semantische Diversität)
- Analogie: Wir wollen keinen Stapel von fünf Seiten, auf denen alle stehen: „Das Auto ist rot.“ Wir wollen eine Seite, die „Rot“ sagt, eine, die „Schnell“ sagt, und eine, die „Alt“ sagt. Dies stellt sicher, dass wir ein vollständiges Bild erhalten, ohne Wiederholungen.

Wie es in der Realität funktioniert

Das Paper zeigt, dass TOPS nicht trainiert werden muss (es ist „training-free“). Es kann in verschiedene Roboter-Gehirne (wie LLaVA, Qwen oder InternVL) eingebaut werden und funktioniert sofort.

Die „Zweistufige“ Bereinigung: Stellen Sie sich vor, der Roboter liest ein langes Video.
- Stufe 1: TOPS macht eine schnelle Durchmusterung und wirft den offensichtlichen Müll (wie leere Frames oder verschwommene Aufnahmen) weg, noch bevor der Roboter anfängt, tiefgründig nachzudenken.
- Stufe 2: Während der Roboter liest, behält TOPS das Gespräch genau im Auge. Wenn der Roboter beginnt, über ein bestimmtes Detail zu sprechen, stellt TOPS sicher, dass die relevantesten visuellen Seiten noch vorhanden sind, und verfeinert die Auswahl perfekt auf diese spezifische Frage hin.

Die Ergebnisse: Weniger ist mehr

Das Paper behauptet, dass TOPS durch diesen smarten, dreifragenbasierten Ansatz bis zu 90 % der visuellen Seiten (Token) wegwerfen kann und der Roboter dennoch genauso gut auf Fragen antwortet, als hätte er alles gelesen.

Die magische Statistik: Bei einem speziellen Modell (LLaVA-NeXT) entfernte TOPS 77,8 % der visuellen Daten, verbesserte aber die Leistung des Roboters sogar leicht (100,6 %).
Warum? Das Paper legt nahe, dass die Tatsache, dass TOPS den Roboter dazu zwingt, den „Füllstoff“ und redundante Seiten zu ignorieren, dazu führt, dass der Roboter weniger verwirrt wird oder Fakten erfindet (Halluzinationen). Es ist wie das Aufräumen eines unordentlichen Schreibtischs; manchmal hilft es, weniger Papiere zu haben, um die richtige Stelle schneller zu finden und klarer zu denken.

Zusammenfassend

TOPS ist eine neue Art, KI-Modelle schneller und intelligenter zu machen, indem es ein strengerer, smarterer Editor ist. Anstatt nur die „lautesten“ oder „unterschiedlichsten“ visuellen Hinweise auszuwählen, erstellt es einen perfekten, kompakten Satz an Hinweisen, die relevant für die Frage sind, alle notwendigen Informationen abdecken und sich nicht wiederholen. Das Ergebnis ist ein Roboter, der schneller denkt, weniger Speicher benötigt und bessere Antworten gibt.

Technisches Resümee: TOPS – Visuelle Token-Pruning nach dem Prinzip der ersten Prinzipien

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben signifikante Fortschritte in Bezug auf Schlussfolgerung und Verständnis erzielt, leiden jedoch unter einem hohen Rechen- und Speicheraufwand. Diese Ineffizienz resultiert aus der großen Anzahl an visuellen Tokens, die während der Tokenisierung generiert werden und durch alle Transformer-Schichten verarbeitet werden müssen. Da Self-Attention-Mechanismen quadratisch mit der Sequenzlänge skalieren, erzeugen hochauflösende Bild- und Videoeingaben erhebliche Engpässe.

Bestehende Methoden zur visuellen Token-Pruning versuchen, dies durch das Entfernen redundanter Tokens zu mildern, verlassen sich jedoch auf heuristische Scoring-Schemata anstatt auf ein fundiertes Ziel. Aktuelle Ansätze lassen sich im Wesentlichen in drei Kategorien unterteilen, die jeweils spezifische Einschränkungen aufweisen:

Aufmerksamkeitsbasierte Methoden: Behalten Tokens mit hohen Attention-Scores bei, bewahren jedoch oft semantisch redundante Tokens.
Diversitätsbasierte Methoden: Fördern eine semantische Dispersion, sind jedoch oft agnostisch gegenüber Benutzeranweisungen und könnten somit aufgabenkritische Evidenz verwerfen.
Kombinierte Methoden: Obwohl sie mehrere Kriterien integrieren, fehlt ihnen eine fundamentale Formulierung des intrinsischen Ziels des Token-Prunings; sie behandeln es lediglich als Ranking-Problem ohne theoretische Rechtfertigung dafür, warum spezifische Kriterien ausreichend sind.

2. Methodik: Formulierung nach dem Prinzip der ersten Prinzipien

Die Autoren schlagen TOPS (Token Optimal Preservation Sets) vor, ein trainingsfreies und modellagnostisches Pruning-Modul, das aus einer Perspektive der ersten Prinzipien unter Verwendung der Informationstheorie abgeleitet wurde.

2.1 Theoretische Grundlage

Das Kernziel des Token-Prunings besteht darin, eine Teilmenge $S \subseteq V$ (wobei $V$ die vollständige Menge der visuellen Tokens ist) zu finden, welche die gegenseitige Information (Mutual Information) zwischen der Teilmenge und der gemeinsamen Verteilung der visuellen Tokens und der Textabfrage $Q$ maximiert:
$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$

Durch Anwendung der Kettenregel der gegenseitigen Information zerlegen die Autoren dieses Ziel in drei fundamentale Prinzipien:

Aufgabenrelevanz ( $I(S; Q)$ ): Die Teilmenge muss informativ in Bezug auf die Benutzerabfrage sein.
Informationsabdeckung ( $I(S; V | Q)$ ): Die Teilmenge muss genügend Information über den ursprünglichen visuellen Satz $V$ unter Berücksichtigung der Abfrage $Q$ bewahren, wodurch die bedingte Entropie $H(V | S, Q)$ minimiert wird.
Semantische Diversität: Abgeleitet aus der oberen Schranke der bedingten gegenseitigen Information, schreibt dieses Prinzip vor, dass Tokens bei einem festen Budget semantisch verschieden von bereits ausgewählten Tokens sein müssen, um den Informationsgewinn zu maximieren.

2.2 Der TOPS-Algorithmus

TOPS konstruiert die optimale Token-Teilmenge gierig (greedy) an jedem Pruning-Punkt. Der Prozess umfasst:

Scoring: Für jeden Kandidaten-Token $i$ $i$ berechnet der Algorithmus:
- Aufgabenrelevanz ( $r_i$ ): Geschätzt via Text-Rater-Attention (oder CLS-Attention in frühen Phasen).
- Informationsabdeckung ( $c_i$ ): Berechnet basierend auf der maximalen Ähnlichkeit zwischen dem Kandidaten und den verbleibenden, noch nicht ausgewählten Tokens, angepasst durch die Ähnlichkeit zu bereits ausgewählten Tokens.
- Semantische Diversität ( $d_i$ ): Gemessen als $1 - \max_{j \in S} \text{sim}(h_i, h_j)$ , um sicherzustellen, dass der neue Token sich vom aktuellen Satz unterscheidet.
Selektion: Der Algorithmus kombiniert diese Scores zu einem Informationserhaltungs-Score:
$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$
wobei $\alpha$ und $\lambda$ Balance-Faktoren sind. Der Token, der diesen Score maximiert, wird zur Teilmenge $S$ hinzugefügt.
Mehrstufige Pipeline: Um eine feingliedrige Reduktion zu handhaben, wird TOPS in zwei Stufen implementiert:
- Stufe I: Wird nach dem Multimodal Projector, aber vor dem LLM angewendet. Sie nutzt CLS-Attention für die Relevanz, um grobe Redundanz zu entfernen.
- Stufe II: Wird innerhalb des LLM in festgelegten Layern angewendet. Sie nutzt die Text-zu-Visual-Attention des LLM zur textbasierten Verfeinerung.

3. Zentrale Beiträge

Perspektive der ersten Prinzipien: Die Arbeit definiert Token-Pruning neu – nicht als heuristisches Ranking-Problem, sondern als optimales Teilmengen-Auswahlproblem, das in der Informationstheorie verwurzelt ist.
Drei fundamentale Prinzipien: Die Identifizierung und Formalisierung von Aufgabenrelevanz, Informationsabdeckung und semantischer Diversität als notwendige Bedingungen für effektives Pruning.
TOPS-Modul: Ein Plug-and-Play, trainingsfreies und modellagnostisches Pruning-Algorithmus, der dynamisch "Token Optimal Preservation Sets" konstruiert.
Umfassende Validierung: Umfangreiche Experimente über 7 MLLM-Backbones (einschließlich LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3 und LLaVA-Video) und 14 diverse Benchmarks.

4. Experimentelle Ergebnisse

Die Autoren berichten, dass TOPS konsistent andere State-of-the-Art-Methoden (z. B. FastV, VisionZip, DivPrune, SCOPE) über verschiedene Kompressionsraten und Modellarchitekturen hinweg übertrifft.

LLaVA-NeXT: Beim 7B-Modell entfernt TOPS 77,8 % der visuellen Tokens bei gleichzeitiger Bewahrung von 100,0 % der ursprünglichen Leistung. Bei höherer Kompression (88,9 % und 94,4 % Reduktion) behält es eine Leistung von 99,1 % bzw. 96,4 % bei.
LLaVA-1.5: Bei 77,8 % Kompression behält TOPS 98,3 % der Leistung bei und übertrifft damit die nächstbeste Methode (SCOPE) um 0,5 %. Selbst bei extremer Kompression (94,4 % Reduktion, 32 verbleibende Tokens) hält es 94,6 % Leistung aufrecht.
Fortgeschrittene Architekturen: Auf Qwen2.5-VL-7B und InternVL3-8B erreicht TOPS die höchste Genauigkeit über alle getesteten Pruning-Verhältnisse hinweg, was die architekturoffene Effektivität demonstriert.
Video-Verständnis: Bei LLaVA-Video mit 64 Frames behält TOPS 98,4 % der Leistung bei einer Reduktion der Tokens um 62,1 % und 92,3 % bei einer Reduktion um 90,5 %, womit es Baselines wie FastV deutlich übertrifft.
Effizienz: TOPS erreicht eine nahezu 10-fache Reduktion der FLOPs und reduziert den GPU-Speicherverbrauch um 1,9 GB im Vergleich zum Baseline-Modell, mit signifikanten Verbesserungen der Prefill-Latenz.
Minderung von Halluzinationen: Bemerkenswerterweise zeigt TOPS auf dem HallusionBench eine stärkere Resistenz gegen Halluzinationen, was darauf hindeutet, dass das Entfernen redundanter Tokens die Argumentationsgenauigkeit (Reasoning Fidelity) sogar verbessern kann.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass effektives Token-Pruning nicht allein auf heuristischen Wichtigkeits-Scores basieren sollte, sondern gemeinsam auf der Bewahrung von aufgabenrelevanten, repräsentativen und nicht-redundanten visuellen Informationen beruhen muss. Durch die Formulierung des Prunings als informationstheoretisches Optimierungsproblem bietet TOPS eine fundierte Basis für effiziente multimodale Inferenz.

Die Autoren legen nahe, dass ihre Arbeit Orientierungshilfe für das Design zukünftiger leichtgewichtiger MLLMs bietet, wobei sie anmerken, dass aggressives Pruning Halluzinationen manchmal abschwächen kann. Sie räumen jedoch Einschränkungen ein, darunter den Rechenaufwand der gierigen Konstruktionsschleife ($O(KN)$), die Abhängigkeit von Attention-Mechanismen für Relevanzsignale sowie die Verwendung fester Hyperparameter über Layer und Aufgaben hinweg. Zudem stellen sie fest, dass das Framework noch nicht systematisch in hochspezialisierten Domänen wie der medizinischen Bildgebung oder dem Dense Captioning evaluiert wurde.