🤖 AI

Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals

Diese Arbeit erklärt das Zusammenbrechen training-freier Token-Reduktionsmethoden bei hoher Kompression durch die inhärente Instabilität paarweiser Signale und stellt mit CATIS eine stabilere Alternative vor, die auf unären Signalen basiert und bei 63 % FLOPs-Reduktion die Genauigkeit von Vision-Transformern erheblich besser erhält als bestehende Ansätze.

Ursprüngliche Autoren: Yang Shanglin

Veröffentlicht 2026-04-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yang Shanglin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Kollaps" der KI

Stell dir vor, ein Vision Transformer (eine Art KI, die Bilder sieht) ist wie ein riesiges Team von 1000 Detektiven, die sich ein Bild ansehen. Jeder Detektiv schaut sich einen kleinen Teil des Bildes an (ein „Token").

Um die KI schneller und effizienter zu machen, wollen Forscher das Team verkleinern. Die Idee ist: „Wir brauchen nicht alle 1000 Detektive. Lasst uns die 500 schwächsten gehen lassen und die 500 besten behalten."

Das Problem ist: Bisherige Methoden haben das falsch gemacht. Wenn sie zu viele Detektive entlassen (hohe Kompression), bricht die Leistung der KI plötzlich und dramatisch zusammen. Es ist, als würde man einem Orchester plötzlich 90% der Musiker wegnehmen – und plötzlich klingt es nicht mehr wie Musik, sondern wie ein lautes Chaos.

Die Forscher haben herausgefunden, warum das passiert, und eine neue Methode namens CATIS entwickelt, die das Problem löst.

Die zwei Gründe für das Chaos

Die Forscher haben zwei Hauptfehler in den alten Methoden identifiziert:

1. Der „Verstärker-Effekt" (Der Fehler, der sich aufschaukelt)

Stell dir vor, du gibst einem Detektiv eine falsche Information. Wenn er dann weiterarbeitet, macht er einen Fehler. Der nächste Detektiv, der auf diesem Fehler aufbaut, macht einen noch größeren Fehler.
In den alten Methoden passiert genau das:

In jeder Schicht des neuronalen Netzwerks werden Token entfernt.
Wenn man einen wichtigen Token versehentlich löscht oder zwei unpassende zusammenwirft, entsteht ein „verunstaltetes" Bild.
Die nächste Schicht sieht dieses verunstaltete Bild und trifft darauf basierend wieder falsche Entscheidungen.
Das Ergebnis: Ein kleiner Fehler in Schicht 1 wird in Schicht 2, 3, 4 usw. immer größer, bis das ganze System zusammenbricht. Das ist wie ein Schneeballeffekt, der einen Lawinenabsturz auslöst.

2. Der „Stress-Test" für die Entscheidung (Warum die alten Methoden scheitern)

Wie entscheiden die alten Methoden, welche Detektive bleiben und welche gehen? Sie nutzen eine Paarweise-Abfrage.

Die alte Methode: „Hey Detektiv A, wie ähnlich bist du Detektiv B? Und wie ähnlich bist du Detektiv C? Und D? Und E?" Sie vergleichen jeden mit jedem.
Das Problem: In den tieferen Schichten der KI werden die Informationen sehr ähnlich (alles sieht fast gleich aus). Wenn man dann versucht, 1000 Dinge miteinander zu vergleichen, wird das System verrückt. Es ist wie ein Raum voller Menschen, die alle genau gleich aussehen. Wenn du fragst: „Wer ist dem anderen am ähnlichsten?", ist die Antwort willkürlich. Das System trifft zufällige Entscheidungen.

Die Forscher nennen das Paarweise-Signale. Sie sind instabil, weil zu viele Variablen gleichzeitig schwanken.

Die Lösung: CATIS (Der neue Ansatz)

Die Forscher haben eine neue Methode namens CATIS entwickelt, die auf drei einfachen Prinzipien basiert. Stell dir das wie einen klugen Manager vor, der das Team neu organisiert:

Prinzip 1: Der „Einzel-Check" statt des „Vergleichs-Stress"

Statt jeden Detektiv mit jedem anderen zu vergleichen (was im Chaos der tiefen Schichten nicht funktioniert), schaut CATIS auf jeden Detektiv einzeln.

Die Analogie: Statt zu fragen: „Wer ist dem anderen am ähnlichsten?", fragt CATIS: „Wie sehr weicht dieser Detektiv vom Durchschnitt des gesamten Teams ab?"
Der Vorteil: Ein einzelner Detektiv, der sich vom Rest unterscheidet, ist oft der, der etwas Wichtiges gesehen hat (z. B. ein seltener Vogel im Bild). Diese Methode ist viel stabiler und macht weniger Fehler, selbst wenn das Team unter Stress steht.

Prinzip 2: Die „Kombi-Strategie" (Alles zusammenfügen)

Manchmal ist ein einzelner Check gut, manchmal ein anderer.

CATIS nutzt zwei verschiedene Arten von Checks gleichzeitig: Einen, der auf den aktuellen Zustand schaut, und einen, der sich die Geschichte der letzten Schichten ansieht (wie ein Momentum-Effekt).
Die Analogie: Ein Manager hört nicht nur auf das, was ein Mitarbeiter jetzt sagt, sondern auch auf den Trend der letzten Woche. So erkennt er, ob jemand gerade nur nervös ist oder wirklich wichtiges Wissen hat.

Prinzip 3: Der „Triage"-Manager (Die richtige Entscheidung treffen)

Das ist der wichtigste Teil. CATIS teilt die Detektive in drei Gruppen ein:

Die Schützenswerten (High Confidence): Diese sind so wichtig, dass sie niemals gelöscht oder verändert werden dürfen. Sie bleiben zu 100% erhalten.
Die Opfer (Low Confidence): Diese sind so unwichtig, dass sie sofort entlassen werden können (Eviction).
Die Mittelmäßigen (Merge): Diese sind okay, aber nicht perfekt. Diese werden zusammengefasst (gemerged).

Warum ist das genial?
In den alten Methoden wurden oft wichtige Detektive versehentlich zusammengefasst oder gelöscht. CATIS schützt die Wichtigen zuerst. Nur die, die wirklich entbehrlich sind, werden entlassen. Und wenn zwei gemerged werden, sind es nur solche, die sich ähnlich sind, aber nicht die, die das Bild retten könnten.

Das Ergebnis: Ein Wunder

Wenn man diese neue Methode auf großen Modellen (wie ViT-Large) anwendet und die Rechenleistung um 63% reduziert (also fast zwei Drittel weniger Arbeit), passiert etwas Magisches:

Die alten Methoden: Die Genauigkeit stürzt von 81% auf 43–65% ab. Das System ist fast unbrauchbar.
CATIS: Die Genauigkeit bleibt bei 81% (fast 97% der ursprünglichen Leistung)!

Es ist, als würde man einem Auto die Hälfte der Motorteile wegnehmen, und es fährt trotzdem genauso schnell und sicher wie vorher.

Zusammenfassung in einem Satz

Die alten Methoden haben versucht, das Team zu verkleinern, indem sie zufällig verglichen haben, was zu einem Lawinen-Effekt von Fehlern führte; die neue Methode (CATIS) schützt die wichtigsten Mitglieder, nutzt stabilere Einzel-Checks und verhindert so, dass das System zusammenbricht.

1. Problemstellung

Vision Transformer (ViT) Modelle sind rechenintensiv. Um die Inferenzgeschwindigkeit zu erhöhen, werden training-freie Token-Reduktionsmethoden (wie ToMe, ToFu, PiToMe, MCTF) eingesetzt, die redundante Token während der Inferenz entfernen oder zusammenführen, ohne die Modellgewichte neu zu trainieren.

Das zentrale Problem, das in diesem Paper identifiziert wird, ist ein katastrophaler Genauigkeitsabfall („Cliff-like Collapse") unter aggressiver Kompression. Obwohl die genannten Methoden unterschiedliche Scoring-Mechanismen verwenden, zeigen alle vier bei hohen Reduktionsraten (z. B. 63% FLOPs-Reduktion) einen fast identischen, plötzlichen Einbruch der Genauigkeit auf ViT-Large-Modellen (von ~81% auf 43–65%). Bisher fehlte eine einheitliche Erklärung für dieses Phänomen.

2. Methodik: Das diagnostische Framework

Die Autoren entwickeln ein analytisches Framework, um die Ursachen des Zusammenbruchs zu dekonstruieren. Sie zerlegen das Problem in zwei gekoppelte Komponenten:

A. Der Fehler-Verstärker (Error Amplifier)

Die schichtweise Reduktion von Token erzeugt einen positiven Feedback-Loop:

Jede Reduktionsoperation (Merging oder Eviction) in einer Schicht verändert den Kontext für die nachfolgenden Schichten.
Suboptimale Entscheidungen führen zu verzerrten Vektoren oder Informationsverlust, was die Qualität der Schätzung in der nächsten Schicht verschlechtert.
Diese Fehler akkumulieren sich exponentiell durch das Netzwerk.
Theoretische Vorhersage: Die kritische Reduktionsrate $r_{crit}$ , bei der der Zusammenbruch eintritt, ist umgekehrt proportional zur Schichttiefe $L$ ( $r_{crit} \propto 1/L$ ). Tiefere Modelle kollabieren also bei geringerer pro-Schicht-Reduktion.

B. Instabilität von Pairwise-Signalen

Alle bestehenden Methoden nutzen Pairwise-Signale (Paarweise Ähnlichkeit zwischen Token, z. B. Cosine-Similarity), um die Wichtigkeit zu bestimmen.

Statistische Instabilität: Pairwise-Signale hängen von $O(N_p^2)$ gemeinsam perturbierten Elementen ab. In tiefen Schichten, wo die Repräsentationen homogenisieren (Representation Homogenization), werden diese Rankings extrem instabil.
Messung: Die Autoren führen eine Metrik namens Ranking Consistency ( $\rho_s$ ) ein. In tiefen Schichten fällt $\rho_s$ bei Pairwise-Signalen von 0,88 (flache Schichten) auf 0,27 (nahezu zufällig).
Vergleich mit Unary-Signalen: Unary-Signale (basierend auf statistischen Eigenschaften der gesamten Population, z. B. Mittelwert/Varianz) hängen nur von $O(N_p)$ perturbierten Elementen ab und sind durch den Zentralen Grenzwertsatz stabiler. Hier bleibt $\rho_s$ in tiefen Schichten bei 0,37–0,48.

C. Diagnose-Metriken

Zwei neue Metriken werden eingeführt, um den Zusammenbruch zu diagnostizieren:

$\rho_s$ (Ranking Consistency): Sagt voraus, wann der Zusammenbruch eintritt (Signalqualität).
$\rho_{off}$ (Off-Diagonal Correlation): Misst die Korrelation zwischen Feature-Dimensionen. Ein hoher Wert deutet auf strukturellen Schaden hin (falsches Merging erzeugt hybride Vektoren), während ein niedriger Wert bei schlechter Genauigkeit auf semantischen Verlust (falsches Triage/Entscheidung, welche Token geschützt werden) hindeutet.

3. Schlüsselbeiträge und Design-Prinzipien

Basierend auf der Diagnose leiten die Autoren drei Design-Prinzipien ab und stellen CATIS (Complementary Activation Triage with Importance Scoring) als konstruktive Validierung vor:

P1 (Signal-Typ): Ersetzen von instabilen Pairwise-Signalen durch stabile Unary-Signale, um die Schwelle des Verstärkers zu erhöhen.
P2 (Signal-Fusion): Kombination komplementärer Unary-Signale (z. B. populationsbasierte Aktivierung für flache Schichten + momentum-basierte CLS-Kontext-Signale für mittlere Schichten), um die Stabilität über alle Schichten hinweg zu maximieren.
P3 (Triage-Mechanismus): Einführung eines Triage-Verfahrens, das Token in drei Gruppen unterteilt:
- Schutz (Protect): Hochkonfidenz-Token werden vor jeglicher Reduktion bewahrt.
- Eviction: Unsichere Token werden entfernt (weniger schädlich als Merging).
- Merge: Mittel-konfidente Token werden zusammengeführt.
  Dies unterdrückt den Verstärkungsfaktor, indem die effektive Reduktionsrate gesenkt und der schädlichere Merging-Prozess auf weniger kritische Token beschränkt wird.

4. Ergebnisse

Die Experimente wurden an 7 ViT-Modellen (ViT-S/B/L, DeiT-3, DINOv3) auf ImageNet-1K und Robustheits-Benchmarks (ImageNet-A, R, Sketch) durchgeführt.

Überwindung des Zusammenbruchs: Auf ViT-Large bei 63% FLOPs-Reduktion behält CATIS 96,9% der Vanilla-Genauigkeit (81,0% vs. 83,64%), während alle Baselines auf 43–65% kollabieren.
Robustheit: CATIS zeigt signifikante Verbesserungen bei Out-of-Distribution-Daten (z. B. +19,21 pp auf ImageNet-A im Vergleich zu PiToMe).
Validierung der Vorhersagen:
- Die Beziehung $r_{crit} \propto 1/L$ wurde mit $R^2 > 0,9$ bestätigt.
- Die Pareto-Kurven zeigen die vorhergesagte konvexe Form.
- Die Analyse von $\rho_{off}$ bestätigt, dass CATIS den strukturellen Schaden (hohe $\rho_{off}$ bei Baselines) verhindert.
Effizienz: CATIS erreicht einen Durchsatz, der mit den schnellsten Baselines (ToFu, ToMe) vergleichbar ist, ohne zusätzliche Latenz bei großen Modellen.

5. Bedeutung und Fazit

Dieses Paper liefert eine fundamentale strukturelle Erklärung dafür, warum training-freie Token-Reduktion bei ViTs an eine harte Grenze stößt. Es zeigt, dass das Problem nicht in der spezifischen Formel liegt, sondern in der kombinatorischen Instabilität von Pairwise-Signalen in Kombination mit einem fehlerverstärkenden Feedback-Loop.

Die Einführung von CATIS beweist, dass durch den Wechsel zu Unary-Signalen und die Implementierung eines intelligenten Triage-Mechanismus diese Grenzen überwunden werden können. Die vorgestellten Diagnose-Tools ( $\rho_s, \rho_{off}$ ) bieten einen allgemeinen Rahmen für die Bewertung zukünftiger Reduktionsmethoden, nicht nur für Bildklassifizierung, sondern potenziell auch für LLMs (KV-Cache-Kompression) und andere Transformer-Architekturen.