🤖 AI

OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning

OccamToken ist ein trainingsfreies, budgetadaptives Framework, das die Inferenzeffizienz von Vision-Language-Modellen verbessert, indem es brüchige absolute Token-Rankings durch register-verankerte relative Evidenztests ersetzt, was eine extreme Token-Komprimierung (z. B. Reduktion von 2.880 auf ~40 Token) bei Beibehaltung von über 93 % der ursprünglichen Genauigkeit ermöglicht.

Ursprüngliche Autoren: Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zu viel Lärm in der Küche

Stellen Sie sich vor, Sie sind ein Koch (die KI), der versucht, eine Mahlzeit basierend auf der Bestellung eines Kunden (der Textfrage) und einem massiven Haufen an Zutaten (dem Bild) zuzubereiten.

In der modernen KI zerlegt der Computer, wenn Sie ein Bild zeigen, dieses in Tausende von winzigen Teilen, die „Tokens" genannt werden. Wenn Sie ein hochauflösendes Foto haben, ist das wie ein Haufen von 2.880 Zutaten. Der Koch muss sich jeden einzelnen davon ansehen, bevor er mit dem Kochen beginnt. Das erfordert eine enorme Menge an Zeit und Energie (Rechenleistung), selbst wenn die meisten dieser Zutaten nur Hintergrundlärm sind, wie ein Staubkorn auf der Arbeitsplatte oder ein unscharfer Fleck am Himmel.

Der alte Weg: Die „Top 10"-Regel

Früher versuchte man, Zeit zu sparen, indem man die „am wenigsten wichtigen" Zutaten wegwurf. Man benutzte eine Regel wie: „Behalte die 100 interessantesten Zutaten und wirf den Rest weg."

Das Papier argumentiert, dass diese Regel aus zwei Gründen kaputt ist:

Der „Schreiendes Baby"-Effekt: Manchmal erhält eine langweilige Zutat (wie eine leere Wand) versehentlich eine sehr laute „Bewertung der Wichtigkeit", einfach nur wegen der Art und Weise, wie der Computer die Dinge berechnet. Dieser laute Lärm übertönt die leisen, wichtigen Zutaten (wie ein winziges Detail auf einem Foto), sodass der Computer denkt, dass der langweilige Teil eigentlich der wichtigste ist.
Das Problem „Ein Modell passt allen": Eine feste Regel (wie „Behalte 100") funktioniert nicht für jedes Bild.
- Wenn Sie fragen: „Ist eine Katze da?" auf einem Foto eines Waldes, müssen Sie nur ein paar Stellen überprüfen. 100 Stellen zu behalten, ist verschwenderisch.
- Wenn Sie fragen: „Wie ist die Textur des Stoffes?" auf einem Foto eines Pullovers, müssen Sie vielleicht viele mehr Stellen ansehen. Nur 100 zu behalten, könnte bedeuten, dass Sie die Antwort verpassen.

Die neue Lösung: OccamToken

Die Autoren entwickelten eine neue Methode namens OccamToken. Anstatt zu fragen: „Welche sind die Top 100?", fragen sie: „Ist diese Zutat nützlicher als unser 'Referenzglas'?"

So funktioniert es, Schritt für Schritt:

1. Das „Referenzglas" (Das Register-Token)

Stellen Sie sich vor, Sie haben ein spezielles Glas auf der Arbeitsplatte, das eine generische, durchschnittliche Probe von „allem in der Küche" enthält. Es weiß nichts über spezifische Katzen oder Pullover; es hält einfach nur die „Hintergrundstimmung" des Raums.

Warum es hilft: Im alten System würde das „Schreiende Baby" (der langweilige Lärm) die ganze Aufmerksamkeit stehlen. Aber in diesem neuen System saugt das „Referenzglas" diesen Lärm auf. Es fungiert als Schwamm für die nutzlosen, lauten Signale.
Das Ergebnis: Jetzt kann der Computer klar erkennen, welche Zutaten tatsächlich besonders sind, weil der Lärm gedämpft wurde.

2. Stufe 1: Die „Bildbereinigung" (Redundanz-Beschneidung)

Bevor der Koch überhaupt die Bestellung des Kunden liest, führt das Küchenpersonal einen schnellen Durchgang durch.

Sie vergleichen jede Zutat mit dem Referenzglas.
Wenn eine Zutat genau wie der generische Hintergrund im Glas aussieht, wird sie weggeworfen.
Analogie: Wenn das Foto eine belebte Straße zeigt, wirft das Personal die 2.000 Tokens weg, die nur „Himmel" oder „unscharfer Asphalt" sind, weil das Referenzglas bereits weiß, wie das aussieht. Sie behalten die Tokens, die sich vom Glas unterscheiden (die Autos, die Menschen).
Vorteil: Dies geschieht automatisch für jedes Bild. Ein einfaches Foto wird stark bereinigt; ein komplexes Foto wird weniger stark bereinigt.

3. Stufe 2: Der „Kundenbestellung"-Check (Relevanz-Beschneidung)

Jetzt liest der Koch die spezifische Frage: „Steht der Mann links?"

Der Koch betrachtet die verbleibenden Zutaten.
Sie vergleichen sie erneut mit dem Referenzglas, aber diesmal fragen sie: „Hilft diese Zutat, die spezifische Frage besser zu beantworten als der generische Hintergrund?"
Analogie: Wenn die Frage einen Mann betrifft, behält der Koch die Tokens, die den Mann und den Boden zeigen, auf dem er steht. Wenn die Frage eine Katze in der Ecke betrifft, behält der Koch diese Tokens und wirft den Mann weg.
Vorteil: Die Anzahl der behaltenen Zutaten ändert sich je nach Frage. Eine einfache Frage benötigt vielleicht nur 10 Tokens; eine schwierige Frage benötigt vielleicht 50.

Die Ergebnisse: Weniger Arbeit, gleicher Geschmack

Das Papier testete dies an mehreren KI-Modellen (wie LLaVA und Qwen).

Die Behauptung: Sie schafften es, 98,6 % der Zutaten wegzuwerfen (von 2.880 Tokens auf etwa 40) und erhielten trotzdem 93 % der Zeit die richtige Antwort.
Die Analogie: Es ist wie zu erkennen, dass man nicht jeden einzelnen Reiskorn in einem Topf schmecken muss, um zu wissen, dass er salzig ist. Man muss nur die richtigen Löffel voll schmecken.
Kein Training erforderlich: Das Beste ist, dass sie den Koch nicht neu lehren mussten, wie man kocht. Sie änderten nur die Regeln, nach denen der Koch Zutaten auswählt. Es funktioniert „out of the box" (sofort einsatzbereit).

Zusammenfassung

OccamToken ist ein intelligenter Filter, der verhindert, dass KI Zeit damit verschwendet, sich langweiligen Hintergrundlärm anzusehen. Anstatt eine starre „Behalte die Top 100"-Regel zu verwenden, nutzt es ein „Referenzglas", um herauszufinden, was für die spezifisch gestellte Frage tatsächlich neu und nützlich ist. Dies macht die KI schneller und günstiger im Betrieb, ohne sie „dümmer" zu machen.

Technische Zusammenfassung: OccamToken

Problemstellung

Vision-Language-Modelle (VLMs) verlassen sich zur Kodierung von Bildern auf lange Sequenzen visueller Tokens, was während der Prefill-Phase und der autoregressiven Dekodierung zu erheblichem Rechenaufwand und Speicherverbrauch führt. Bestehende Methoden zur Kompression visueller Tokens folgen überwiegend einem Paradigma der absoluten Rangfolge: Sie weisen Tokens Wichtigkeitswerte zu und behalten eine feste Top- $K$ -Teilmenge bei. Die Autoren argumentieren, dass dieses Paradigma aus zwei Gründen fundamental brüchig ist:

Attention Sinks: Tokens mit geringem Informationsgehalt (oft Ausreißer mit hohen Normen) können übermäßige Aufmerksamkeit absorbieren, was die Wichtigkeitsrangfolge tatsächlich informativer Tokens verzerrt und die Verteilung der Scores komprimiert.
Fehlende Anpassungsfähigkeit des statischen Budgets: Ein fester Top- $K$ -Cutoff kann sich nicht an die pro-Probe-Variation in den Verteilungen der Aufmerksamkeitsscores anpassen. Er berücksichtigt weder Bildredundanz noch query-abhängige Anforderungen an Beweise, behält oft in einfachen Fällen redundante Tokens bei und verwirft in komplexen Fällen kritische Beweise.

Darüber hinaus erfordern bestehende adaptive Methoden häufig zusätzliches Training oder verlassen sich auf schwach reagierende, training-freie Statistiken, die die query-konditionierten Beweisbedürfnisse nicht vollständig erfassen.

Methodik: OccamToken

Die Autoren schlagen OccamToken vor, ein training-freies, budget-adaptives Framework, das die absolute Token-Rangfolge durch register-verankerte relative Evidenztests ersetzt. Der Kerngedanke besteht darin, dass Register-Tokens (die in jüngeren Transformer-Studien eingeführt wurden, um Attention Sinks zu absorbieren) Muster mit geringem Informationsgehalt natürlicherweise absorbieren, wodurch sie zu einem stabilen, nicht-diskriminierenden Referenzpunkt für die Identifizierung tatsächlich informativer visueller Beweise werden.

Das Framework arbeitet in zwei Stufen:

1. Kernmechanismus: Relativer Vergleich

Anstatt zu fragen „Ist dieser Token in den Top- $K$ ?", fragt OccamToken: „Bietet dieser Token stärkere Evidenz als der Register-Token?"
Die Pruning-Regel ist definiert als:
$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$
Wobei $r(x)$ ein pro-Probe-abhängiger Referenz-Token (der Register-Token) ist, $s_x$ die Scoring-Funktion darstellt und $\lambda$ die Pruning-Intensität steuert. Dies ermöglicht es, dass das beibehaltene Token-Budget dynamisch basierend auf der Score-Verteilung des Eingangsvariiert.

2. Zwei-Stufen-Pruning-Pipeline

Stufe I: Bild-adaptive Redundanz-Pruning (AdapRP)
- Ort: Ausgang des Vision-Encoders.
- Mechanismus: Ein Testzeit-Register-Token wird konstruiert, indem hochnormierte „Sink"-Aktivierungen von spärlichen Neuronen auf einen dedizierten Register-Token umgeleitet werden. Der [CLS]-Token (oder ein gegenseitiges Scoring-Schema für Architekturen ohne [CLS]) bewertet gemeinsam alle visuellen Tokens und den Register-Token.
- Aktion: Tokens, die unter $\lambda_1 \cdot s_1(r)$ liegen, werden entfernt. Dies beseitigt Redundanz auf Bildebene, bevor die Tokens in das Large Language Model (LLM) eintreten, und erzeugt ein bild-adaptives Zwischenbudget.
Stufe II: Register-verankerte Relevanz-Pruning (RegRP)
- Ort: Innerhalb des Language Models (an einer spezifischen Decoder-Schicht, z. B. Schicht 11).
- Mechanismus: Text-Tokens fungieren als query-konditionierte Bewerter. Für jeden überlebenden visuellen Token wird das Maximum der von Text-Tokens erhaltenen Aufmerksamkeit als sein Score verwendet (um lokalisierte Relevanz zu erfassen). Der Mittelwert der vom Register-Token von Text erhaltenen Aufmerksamkeit dient als dynamische Schwelle.
- Aktion: Tokens, die unter $\lambda_2 \cdot s_2(r)$ liegen, werden entfernt. Dies erzeugt ein query-adaptives Endbudget, bei dem dasselbe Bild je nach gestellter Frage unterschiedliche Token-Anzahlen liefern kann.

Hauptbeiträge

Register-verankerte dynamische Schwellenwertbildung: Ein training-freier Mechanismus, der die Abschwächung von Attention Sinks mit adaptivem Pruning verknüpft. Durch das Einfügen eines Register-Tokens in den Aufmerksamkeitswettbewerb absorbiert er durch Sinks verursachte Verzerrungen und dient als an die Verteilung angepasste Schwelle.
OccamToken-Framework: Ein zweistufiges, Plug-and-Play-Pruning-System, das eine Redundanzbeseitigung auf Bildebene gefolgt von einer Relevanzauswahl auf Query-Ebene durchführt und eine adaptive Token-Allokation ohne gelernte Prädiktoren oder zusätzliche Trainingsdaten ermöglicht.
Empirische Validierung: Umfassende Experimente zeigen, dass OccamToken state-of-the-art training-freie und training-basierte Baselines über verschiedene Architekturen (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) und Benchmarks (GQA, POPE, MME usw.) hinweg übertrifft.

Experimentelle Ergebnisse

Trade-off zwischen Genauigkeit und Effizienz: OccamToken verbessert den Trade-off im Vergleich zu festen Budgets und anderen adaptiven Methoden konsistent.
Extreme Kompression: Auf LLaVA-NeXT (Verarbeitung von 2.880 visuellen Tokens) reduziert OccamToken die Token-Anzahl auf ungefähr 40 Tokens (ein 1,4%iges Beibehaltungsregime), während über 93% der ursprünglichen Genauigkeit mit vollständigen Tokens erhalten bleiben.
Robustheit: Die Methode behält eine hohe relative Genauigkeit bei (z. B. 97,2% auf LLaVA-v1.5 mit 32 Tokens) und übertrifft feste Budget-Baselines in Budget-armen Regimen, in denen die Bewahrung aufgabenrelevanter Beweise kritisch ist, deutlich.
Effizienz: Durch die Verkürzung der visuellen Sequenzlänge senkt OccamToken den KV-Cache-Speicherbedarf erheblich (z. B. Reduktion von 313 MB auf 47 MB auf LLaVA-v1.5) und die Prefill-Latenz, führt jedoch einen geringen Overhead für die adaptive Scoring-Logik ein.
Generalisierung: Die Methode überträgt sich effektiv auf nicht-LLaVA-Architekturen (z. B. Qwen3-VL, Mini-Gemini) und Video-VLMs, was zeigt, dass das register-verankerte Prinzip nicht an spezifische Token-Schnittstellen gebunden ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass referenzbasiertes adaptives Pruning eine einfache, aber effektive Richtung für skalierbare multimodale Inferenz ist. Durch den Wechsel von der absoluten Rangfolge zum relativen Vergleich gegen einen Register-Anker adressiert OccamToken die strukturellen Mängel von Attention Sinks und statischen Budgets ohne erneutes Training des Modells. Die Autoren heben hervor, dass dieser Ansatz eine stabile visuelle Token-Kompression auch in extremen Regimen (1,4% Beibehaltung) ermöglicht, während die für multimodales Schlussfolgern erforderlichen Beweise erhalten bleiben.

Die Arbeit positioniert OccamToken nicht nur als Werkzeug zur Latenzreduktion, sondern als praktische Lösung für den Ausgleich von Genauigkeit und Effizienz, insbesondere in ressourcenbeschränkten Einsatzszenarien, in denen die Bewahrung kritischer visueller Beweise von größter Bedeutung ist. Die Autoren räumen Einschränkungen hinsichtlich der Abhängigkeit von der Konstruktion zuverlässiger Testzeit-Register-Tokens für spezifische Transformer-basierte Backbones ein und schlagen vor, dass zukünftige Arbeiten dies auf breitere multimodale Architekturen erweitern könnten.