💻 computer science

Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models

Dieses Paper schlägt CLSE vor, ein trainingsfreies Token-Pruning-Framework, das die kreuzschichtspezifische spektrale Evolution im Frequenzbereich quantifiziert, um semantisch aktive visuelle Token zu identifizieren und zu bewahren, wodurch multimodale große Sprachmodelle beschleunigt werden, während die Leistungsfähigkeit des Schließens aufrechterhalten oder verbessert wird.

Ursprüngliche Autoren: Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

Veröffentlicht 2026-06-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle zu lösen, aber der Karton enthält 1.000 Teile, von denen 800 nur Bilder vom blauen Himmel oder dem leeren Tisch sind. Ein Standardcomputer (ein Multimodales Großes Sprachmodell oder MLLM) versucht, jedes einzelne dieser 1.000 Teile anzusehen, um das Bild zu erkennen. Das dauert lange und verbraucht viel Energie, obwohl die meisten dieser Teile gar nicht dabei helfen, das Puzzle zu lösen.

Dieses Paper stellt eine neue, „trainingsfreie“ Methode vor, um die nutzlosen Teile (redundante Token) schnell auszusortieren, damit der Computer sich nur auf die wichtigen konzentrieren kann, ohne neu darauf trainiert werden zu müssen.

So funktioniert die neue Methode der Autoren, genannt CLSE (Cross-Layer Spectral Evolution), unter Verwendung einiger einfacher Analogien:

1. Das Problem: Der „Spotlight“ ist voreingenommen

Aktuelle Methoden versuchen zu entscheiden, welche Puzzleteile wichtig sind, indem sie einen „Spotlight“ (genannt Attention-Scores) im Gehirn des Computers betrachten.

Der Fehler: Das Paper argumentiert, dass dieser Spotlight etwas fehlerhaft ist. Er neigt dazu, heller auf Teile zu leuchten, die später in der Liste erscheinen, einfach weil sie dort sitzen, nicht weil sie tatsächlich wichtig sind. Es ist wie ein Lehrer, der eine Prüfung bewertet und versehentlich den Antworten am Ende der Seite höhere Punktzahlen gibt, unabhängig davon, ob sie korrekt sind oder nicht.
Das Ergebnis: Der Computer könnte nutzlose Hintergrundteile behalten und die entscheidenden Teile wegwerfen.

2. Die Lösung: Den „Tanz“ der Teile beobachten

Anstatt eine einzelne Momentaufnahme der Wichtigkeit zu machen, schlagen die Autoren vor, zu beobachten, wie sich die Teile verändern, während sie durch die Schichten des Computers wandern (wie das Weiterreichen eines Balls bei einem Staffellauf).

Die Analogie: Stellen Sie sich vor, die visuellen Token (Puzzleteile) sind Tänzer.
- Hintergrundteile (wie der Himmel) sind langweilige Tänzer. Sie stehen still und machen von Anfang bis Ende des Liedes exakt dieselbe Bewegung. Sie verändern sich nicht.
- Wichtige Teile (wie ein Motorrad, das einen Trick macht) sind dynamische Tänzer. Sie beginnen mit einer einfachen Pose (niedrige Details) und verwandeln sich im Verlauf des Liedes in eine komplexe, bedeutungsvolle Routine (hohe Bedeutung).
Die Methode: Die Autoren verwenden ein mathematisches Werkzeug namens Spectral Evolution (denken Sie an einen „Veränderungsdetektor“), um zu messen, wie sehr sich die Routine eines Tänzers von einer Schicht zur nächsten verändert.
- Wenn ein Token sich viel verändert (evolviert), wird er behalten, weil er etwas Wichtiges tut.
- Wenn ein Token gleich bleibt (statisch ist), wird er weggeworfen, weil er nur Hintergrundrauschen ist.

3. Warum „Frequenz“ wichtig ist

Das Paper nutzt das Konzept der „Frequenz“ (aus der Musik oder von Radio-Wellen), um dies zu erklären.

Niedrige Frequenz: Denken Sie an ein sanftes, langsames Summen. Dies repräsentiert den langweiligen, unveränderlichen Hintergrund.
Hohe Frequenz: Denken Sie an einen scharfen, schnellen Trommelwirbel. Dies repräsentiert die feinen Details und plötzlichen Veränderungen, die die interessanten Teile des Bildes ausmachen.
Der Trick: Die neue Methode filtert das „sanfte Summen“ (den langweiligen Hintergrund) heraus und konzentriert sich nur auf die „Trommelwirbel“ (die sich entwickelnden, wichtigen Details), während sie durch die Schichten evolvieren.

4. Die Ergebnisse: Schneller und Schlauer

Die Autoren haben dies an vielen verschiedenen Modellen und Aufgaben getestet (wie dem Beantworten von Fragen zu Bildern und Videos).

Das Ergebnis: Indem sie die „langweiligen Tänzer“ aussortierten und die „dynamischen“ behielten, wurde der Computer viel schneller (verbrauchte weniger Energie und Speicher), ohne seine Fähigkeit zu verlieren, das Bild zu verstehen. Tatsächlich war er in vielen Fällen sogar besser als andere Methoden, die versuchten, die Wichtigkeit mittels des fehlerhaften „Spotlights“ (Attention) zu erraten.
Video: Dies funktionierte besonders gut bei Videos, bei denen es noch mehr „langweilige“ Wiederholungen zwischen den Frames gibt. Die Methode konnte die Anzahl der Teile, die der Computer verarbeiten musste, um über 90 % reduzieren, während sie die Handlung immer noch perfekt verstand.

Zusammenfassung

Kurz gesagt: Dieses Paper sagt: Schau nicht nur einmal auf ein Teil, um zu entscheiden, ob es wichtig ist. Beobachte, wie es sich verändert, während es durch das System wandert. Wenn es gleich bleibt, ist es wahrscheinlich nur Hintergrundrauschen. Wenn es sich entwickelt und verwandelt, ist es der Schlüssel zum Verständnis des Bildes. Dies ermöglicht es der KI, viel schneller zu werden, ohne verwirrt zu werden.

Technisches Resümee: Spektrale Evolutionsgesteuerte Token-Pruning in Multimodalen Large Language Models

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben signifikante Fortschritte im visuellen Schließen und im Dialog erzielt, leiden jedoch unter hohen Rechenkosten aufgrund der Verarbeitung von hunderten bis tausenden visuellen Tokens pro Probe. Diese Ineffizienz ist besonders ausgeprägt in Szenarien mit hoher Auflösung von Bildern und Videos.

Bestehende Token-Pruning-Methoden versuchen, dies durch die Reduzierung der visuellen Token-Redundanz zu mildern. Die aktuellen Ansätze verlassen sich jedoch typischerweise auf Signale einer einzelnen Schicht (Single-Layer Signals), wie etwa Attention-Scores, Feature-Magnituden oder Ähnlichkeitsmetriken, die innerhalb einer spezifischen Transformer-Schicht berechnet werden. Die Autoren identifizieren zwei kritische Einschränkungen dieser Methoden:

Positionsbias (Positional Bias): Attention-Scores weisen oft einen Bias hin zu Tokens auf, die später in der flachen Sequenz erscheinen, was auf die Effekte der Positionskodierung zurückzuführen ist, anstatt die wahre semantische Bedeutung widerzuspiegeln.
Statische Repräsentation: Signale einer einzelnen Schicht vernachlässigen die Cross-Layer-Transformation visueller Repräsentationen. In MLLMs durchlaufen visuelle Tokens eine strukturierte Evolution von niedriggradigen räumlichen Details zu hochgradigen semantischen Abstraktionen, während sie die Decoder-Schichten des LLMs passieren. Instantane Signale erfassen diesen dynamischen Übergang nicht, was dazu führen kann, dass semantisch aktive Tokens geprunt werden oder redundante Hintergrund-Tokens beibehalten werden.

2. Methodik: Cross-Layer Spectral Evolution (CLSE)

Um diese Einschränkungen zu adressieren, schlagen die Autoren Cross-Layer Spectral Evolution (CLSE) vor, ein trainingsfreies Token-Pruning-Framework. Anstatt die Wichtigkeit eines Tokens basierend auf der Feature-Magnitude oder der Attention-Intensität an einem einzelnen Punkt zu messen, quantifiziert CLSE, wie sich die Repräsentationen von Tokens über die Transformer-Schichten hinweg im Frequenzbereich entwickeln.

Kernmechanismus

Die Methode basiert auf der Beobachtung, dass semantisch aktive Tokens eine signifikante spektrale Umverteilung (den Übergang von hochfrequenten strukturellen Details zu niederfrequenten semantischen Abstraktionen) über die Schichten hinweg durchlaufen, während redundante Hintergrund-Tokens im Frequenzbereich relativ stationär bleiben.

Die CLSE-Pipeline umfasst die folgenden Schritte:

Frequenzprojektion: Visuelle Tokens einer spezifischen Schicht $\ell$ werden in 2D-räumliche Feature-Maps umgeformt und mittels der Schnellen Fourier-Transformation (FFT) in den Frequenzbereich transformiert.
Hochpassfilterung: Ein Gauß-Hochpassfilter wird auf das Spektrum angewendet, um niederfrequente globale Muster zu unterdrücken und die hochfrequente strukturelle Energie zu isolieren. Dies isoliert die „Residuen“-Strukturinformation.
Berechnung der spektralen Evolution: Die Methode berechnet die normierte Differenz der hochfrequenten Energieverteilungen benachbarter Schichten ( $\ell$ $ℓ$ und $\ell+1$ $ℓ + 1$ ).
- Sei $\mathbf{S}_\ell$ die räumliche Verteilung der hochfrequenten Energie bei Schicht $\ell$ .
- Die Evolutionsintensität $\mathcal{I}^{(\ell)}$ wird berechnet als:
  $\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$
- Hierbei ist $\overline{\mathbf{S}}_{\ell}$ die mittlere Energie über alle Tokens, die als Regularisator dient, um geringfügige Fluktuationen in inaktiven Regionen zu unterdrücken.
Token-Selektion: Tokens mit höheren Evolutionsintensitäts-Scores werden als semantisch aktiv betrachtet und beibehalten. Tokens mit niedrigen Scores (was auf statische, redundante Repräsentationen hindeutet) werden geprunt.

Integration

CLSE wird in die frühen Schichten des LLM-Decoders integriert (speziell zwischen den Input-Embeddings und der Ausgabe der ersten Decoder-Schicht). Es dient als Plug-and-Play-Modul, das die Token-Selektion steuert, bevor nachfolgende Schichten die reduzierte Sequenz verarbeiten. Das Framework ist orthogonal zu Token-Merging-Strategien und kann mit diesen kombiniert werden (z. B. CLSE-M).

3. Hauptbeiträge

Das Paper skizziert drei primäre Beiträge:

Cross-Layer Spectral Evolution Framework (CLSE): Ein neuartiges Prinzip zur Schätzung der Token-Wichtigkeit, das die Evolution visueller Repräsentationen von strukturellen Details zu semantischen Abstraktionen über LLM-Schichten hinweg charakterisiert und damit über statistische Einzel-Schicht-Werte hinausgeht.
Trainingsfreie Pruning-Strategie: Eine praktische Implementierung, die redundante Tokens während der Inferenz identifiziert und entfernt, ohne ein Modell-Retraining oder eine Modifikation der Gewichte zu erfordern. Sie nutzt die spektrale Dynamik, um Tokens zu bewahren, die bedeutsame repräsentative Veränderungen durchlaufen.
Empirische Validierung: Umfangreiche Experimente auf diversen Bild- und Video-Benchmarks zeigen, dass CLSE einen überlegenen Kompromiss zwischen Effizienz und Genauigkeit erreicht, insbesondere unter aggressiven Token-Reduktionsraten.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CLSE auf mehreren MLLMs (LLaVA-1.5, LLaVA-Next, Qwen2-VL) und Benchmarks (GQA, MMB, POPE, SQA, VQAText, etc.).

Bildverständnis

Performance: Auf LLaVA-1.5-7B erreichte CLSE eine durchschnittliche Genauigkeit von 99,4 % im Vergleich zum Full-Token-Modell, während nur 192 Tokens beibehalten wurden (66,7 % Reduktion). Damit übertrifft es State-of-the-Art-Methoden wie FastV (92,1 %) und PDrop (96,9 %).
Aggressive Reduktion: Selbst bei einer Reduktion von 88,9 % (64 Tokens) behielt CLSE eine Performance von 94,8 % bei und übertraf damit signifikant die Konkurrenz, die einen stärkeren Leistungsabfall erlitt.
Generalisierung: Die Methode zeigte konsistente Verbesserungen über verschiedene Modellarchitekturen hinweg (LLaVA-Next-7B, Qwen2-VL-7B/72B) und behielt eine hohe Genauigkeit dort bei, wo attention-basierte Methoden versagten.

Videoverständnis

Extreme Kompression: Bei Video-LLaVA, der Kompression der Tokens von 2048 auf 194 (>90 % Reduktion), erreichte CLSE eine durchschnittliche Genauigkeit von 35,7 % (gemessen mit GPT-4o-mini Evaluation), verglichen mit 26,1 % für FastV.
Token-Merging-Variante (CLSE-M): Durch das Rückrufen der geprunteten Tokens und deren Clustering basierend auf spektralen Scores erreichte CLSE-M die Performance des Vanilla-Modells (38,7 % Genauigkeit), während die FLOPs um ca. 90 % reduziert wurden.

Effizienz

Rechenaufwand: CLSE reduziert die FLOPs und den KV-Cache-Speicher erheblich. Auf LLaVA-1.5-7B erzielte es eine 1,50-fache Beschleunigung der Prefilling-Zeit bei den niedrigsten FLOPs (43,9 %) unter den verglichenen Methoden.
Skalierbarkeit: Im Gegensatz zu Attention-basiertem Pruning, das eine „Eager“ Attention-Berechnung (quadratische Komplexität $O(N^2)$ ) erfordert, um Gewichte zu extrahieren, stützt sich CLSE auf FFT und behält eine nahezu lineare Komplexität $O(N \log N)$ bei. Dies stellt sicher, dass der Overhead des Pruning-Mechanismus selbst selbst bei langen Sequenzen gering bleibt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Cross-Layer Spectral Evolution ein zuverlässigeres Signal für die Token-Wichtigkeit liefert als instantane Attention- oder Magnituden-basierte Metriken.

Milderung von Bias: Durch die Analyse der Veränderung der Repräsentation über die Schichten hinweg anstatt des Zustands in einer einzelnen Schicht mildert CLSE den in Attention-Scores inhärenten Positionsbias.
Semantische Treue: Die Methode steht im Einklang mit dem theoretischen Verständnis, dass das MLLM-Decoding den Übergang von räumlichen Details zu semantischen Abstraktionen beinhaltet. Tokens, die aktiv an diesem Übergang teilnehmen (spektrale Evolution zeigen), werden bewahrt, während statische Hintergrund-Tokens entfernt werden.
Robustheit: Der Ansatz ist robust über verschiedene Kompressionsstufen und Modellskalen hinweg und bietet einen stabilen Weg zur Beschleunigung von MLLMs ohne Retraining.

Die Autoren kommen zu dem Schluss, dass die Modellierung der Repräsentationsdynamik im Frequenzbereich eine vielversprechende Richtung für effizientes multimodales Schließen darstellt und regt zu weiterer Forschung an spektralen Repräsentationen in MLLMs an.