🤖 AI

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

Dieser Beitrag stellt F^3A vor, einen trainingsfreien Router zum Beschneiden visueller Token, der ein festes Token-Budget dynamisch zuweist, indem das Beschneiden als evidenzbasierte Suche unter Aufgabenbedingungen behandelt wird, wodurch die Inferenzkosten in multimodalen Modellen gesenkt werden, ohne dass zusätzliches Training erforderlich ist oder die ursprüngliche Dekodierungspipeline unterbrochen wird.

Ursprüngliche Autoren: YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Wie viel vom Bild brauchen wir eigentlich?

Stellen Sie sich vor, Sie versuchen ein Rätsel zu lösen, und jemand gibt Ihnen ein riesiges, hochauflösendes Foto, um Ihnen bei der Antwort zu helfen. Das Foto ist so detailliert, dass es Millionen winziger Pixel enthält.

In der Welt der KI werden diese „Pixel" visuelle Tokens genannt. Aktuelle KI-Modelle (Multimodale Große Sprachmodelle) sind wie brillante Detektive, die sich jeden einzelnen Pixel auf diesem Foto ansehen wollen, um sicherzustellen, dass sie keine Spur verpassen. Doch das Ansehen von Millionen Pixeln dauert lange und verbraucht viel Batterieleistung (Rechenressourcen).

Die Forscher stellten eine einfache Frage: Wenn wir eine begrenzte Menge an Zeit und Energie haben, wie viele dieser Pixel müssen wir tatsächlich behalten, um die richtige Antwort zu erhalten?

Das Problem mit aktuellen Methoden: Die „One-Shot"-Vermutung

Derzeit versuchen die meisten KI-Systeme, die Anzahl der Pixel zu reduzieren, indem sie eine „One-Shot"-Regel anwenden. Sie schauen sich das Foto einmal an und sagen: „Oh, dieser Teil ist hell, also ist er wichtig" oder „Dieser Teil ist unscharf, also werfen wir ihn weg."

Die Autoren argumentieren, dass dies so ist, als würde man versuchen, eine spezifische Nadel im Heuhaufen zu finden, indem man nur die oberste Schicht des Heus betrachtet. Wenn die Nadel tief unten versteckt ist oder eine matte Farbe hat, wird eine einfache „Helligkeits"-Kontrolle sie übersehen. Sie nennen dies statisches Ranking. Es kümmert sich nicht darum, was die spezifische Frage ist; es rät einfach basierend auf allgemeinen Regeln.

Die Lösung: F3A (Die Fruchtfliegen-Strategie)

Das Paper stellt eine neue Methode namens F3A (Fruit-Fly-Foraging Algorithmus) vor. Um sie zu verstehen, stellen Sie sich eine Fruchtfliege vor, die nach einem Stück verrottender Frucht sucht.

Der Geruch (Geruchsfeld): Eine Fruchtfliege schaut nicht nur auf die Frucht; sie riecht die Luft. Sie erstellt eine „Karte", wo der Geruch am stärksten ist.
- In der KI: Anstatt nur das Bild anzusehen, liest die KI zuerst die Frage. Sie erstellt eine „Geruchskarte" basierend darauf, wonach die Frage fragt. Wenn die Frage lautet „Welche Farbe hat der Hut?", weiß die KI, dass sie nach Hüten „riechen" muss, nicht nur nach hellen Stellen.
Die dreistufige Jagd: Die Fruchtfliege landet nicht einfach zufällig. Sie nutzt eine intelligente Strategie:
- Schritt 1: Grobe Suche (Das weite Netz): Die Fliege fliegt hoch und sucht nach dem allgemeinen Bereich, in dem der Geruch stark ist. Sie wählt noch kein einzelnes Blatt aus; sie wählt einen ganzen Ast.
  - In der KI: Das System betrachtet große Abschnitte des Bildes, um allgemeine Bereiche zu finden, die für die Frage relevant sind.
- Schritt 2: Visuelles Einrasten (Der Zoom): Sobald sie einen vielversprechenden Ast gefunden hat, landet sie und schaut genau hin, um zu bestätigen, dass die Frucht tatsächlich dort ist und nicht nur ein Blatt, das nach Frucht riecht. Sie vermeidet es, zwei Blätter direkt nebeneinander auszuwählen (Redundanz).
  - In der KI: Das System zoomt auf diese spezifischen Bereiche, um die genau besten Tokens auszuwählen, und stellt sicher, dass es nicht zweimal dasselbe auswählt.
- Schritt 3: Rettungsprung (Das Sicherheitsnetz): Manchmal ist die Frucht an einer seltsamen Stelle versteckt, die die Fliege übersehen hat. Die Fliege hat eine Regel: „Wenn ich noch nicht genug Frucht gefunden habe, springe ich zu einem zufälligen Ort, nur für den Fall."
  - In der KI: Wenn das System erkennt, dass es ein kleines, aber entscheidendes Detail verpasst hat (wie eine winzige Textbeschriftung oder ein kleines Objekt), „rettet" es diese Tokens, damit sie nicht verloren gehen.

Warum das wichtig ist: Die Ergebnisse

Die Forscher testeten diese „Fruchtfliegen"-Strategie an vielen verschiedenen KI-Modellen, von kleinen (2 Milliarden Parameter) bis zu riesigen (235 Milliarden Parameter).

Der „Festes Budget"-Test: Sie sagten der KI: „Sie dürfen nur 20 % des Bildes ansehen."
- Ergebnis: Die Fruchtfliegen-KI (F3A) erhielt 93,86 % der Zeit die richtige Antwort im Vergleich zum Ansehen des gesamten Bildes. Andere Methoden (wie die „One-Shot"-Vermuter) erhielten viel seltener die richtige Antwort.
Der „Festes Ziel"-Test: Sie sagten der KI: „Sie müssen 97 % der Antworten richtig haben, aber verwenden Sie so wenige Pixel wie möglich."
- Ergebnis: Die Fruchtfliegen-KI benötigte nur 39,9 % der Pixel, um dieses Ziel zu erreichen. Die nächstbeste Methode benötigte 50,1 % der Pixel.

Das Fazit

Das Paper behauptet, dass wie Sie Ihre Aufmerksamkeit verteilen, wichtiger ist als nur wie groß Ihr Modell ist.

Anstatt das Bild blind nach allgemeinen Regeln zu beschneiden, behandelt F3A das Bild wie eine Schatzkarte. Es nutzt die Frage, um eine intelligente, dreistufige Suche zu leiten (Geruch, Einrasten, Rettung), um die genau benötigten Hinweise zu finden. Dies ermöglicht es der KI, viel schneller zu sein und weniger Speicher zu verbrauchen, ohne ihre Fähigkeit zu verlieren, die Welt zu verstehen.

Kurz gesagt: Werfen Sie nicht einfach die Hälfte des Bildes weg, nur weil es „redundant" aussieht. Nutzen Sie die Frage, um nach dem spezifischen Beweis zu suchen, den Sie benötigen, genau wie eine Fruchtfliege, die nach Frucht jagt.

Technische Zusammenfassung: Wie viele visuelle Token benötigen multimodale Sprachmodelle? Skalierung der visuellen Token-Pruning mit F3A

1. Problemstellung

Da Vision-Language-Modelle (VLMs) in Größe und Leistungsfähigkeit skalieren, sind sie zunehmend auf lange Sequenzen visueller Token angewiesen, um eine feinkörnige Wahrnehmung zu erreichen (z. B. OCR, Diagrammverständnis, Videoanalyse). Diese erweiterten Sequenzen verursachen jedoch erhebliche Rechenkosten, dominieren die Prefill-Berechnung, vergrößern die KV-Caches und erhöhen die End-to-End-Latenz.

Die zentrale Frage, die diese Arbeit adressiert, lautet: Wie viele visuelle Token werden tatsächlich benötigt, wenn multimodale Modelle wachsen, und wie sollten sie unter einem festen Budget an visuellen Token zugewiesen werden?

Bestehende trainingsfreie Pruning-Methoden (z. B. FastV, VisionZip, DivPrune, CDPruner) behandeln Token-Pruning typischerweise als statisches Ranking- oder Teilmengenauswahlproblem, das auf einmaligen Proxy-Signalen wie Decoder-Aufmerksamkeit, visueller Ähnlichkeit oder bedingter Diversität basiert. Die Autoren argumentieren, dass diese Ansätze unvollständig sind, insbesondere unter aggressiver Kompression. Der Wert eines Tokens ist nicht lediglich eine Funktion seiner Salienz oder Redundanz, sondern hängt von seinem Beweis für die aktuelle Abfrage ab. Standardmethoden scheitern oft daran, Token dynamisch über ein Bild hinweg basierend auf der spezifischen Aufgabe zuzuweisen, was zu suboptimaler Leistung führt, wenn Token-Budgets knapp sind.

2. Methodik: Fruit-Fly-Foraging-Algorithmus (F3A)

Die Arbeit schlägt F3A vor, einen trainingsfreien Router, der visuelles Token-Pruning als aufgabenbedingte Beweissuche neu definiert. Inspiriert von Optimierungsalgorithmen für Fruchtfliegen operiert F3A nach dem Vision-Tower, aber bevor das Sprachmodell Bild-Token konsumiert. Es erfordert kein Modelltraining, keine zusätzlichen Vorwärtsdurchläufe des LLM und keine Änderungen an der Decodier-Pipeline.

Die Methode besteht aus drei sequenziellen Phasen:

A. Aufbau des Aufgaben-Geruchsfelds

F3A erstellt eine kostengünstige globale Beweiskarte (das „Geruchsfeld") über visuelle Token.

Geruchssignale: Anstelle von gelernter Aufmerksamkeit verwendet F3A deterministische Vorlagen und die eingefrorene Tokenizer-/Embedding-Schicht des Basis-MLLM, um leichte Beweisabfragen zu generieren. Dazu gehören ein globales Signal (vollständiger Fragenkontext), ein Zielsignal (abgefragte Entität) und ein Aufgabensignal (z. B. OCR, Zählen, räumliche Beziehungen).
Sparsame Erfassung: Die Signale werden mittels eingefrorener sparsamer Erfassungsköpfe (zufällige Projektionen) mit visuellen Gitter-Token abgeglichen. Dies erzeugt einen skalaren Beweiswert ( $a_i$ ) für jeden Token, der aufgabenrelevante Beweise darstellt, ohne Gradienten-Updates zu erfordern.

B. Drei-Phasen-Foraging-Prozess

F3A weist ein festes Token-Budget ( $K$ ) über drei Operatoren zu:

Grobe Suche (Exploration):
Das visuelle Gitter wird in nicht überlappende Fenster unterteilt. Fenster werden anhand ihres durchschnittlichen Geruchswerts bewertet. Die besten Fenster werden ausgewählt, um einen Kandidatenpool ( $P_1$ ) zu bilden, und eine „Gerüst"-Teilmenge ( $S_1$ ) wird beibehalten, um eine räumliche Abdeckung sicherzustellen. Dies verhindert eine zu frühe Überbindung an isolierte Hochwert-Token.
Visuelles Einrasten (lokale Ausbeutung):
Innerhalb des groben Pools verfeinert F3A die Auswahl, um lokale Beweise zu bestätigen und Redundanz zu unterdrücken.
- Lokale Unterstützung: Token werden basierend auf der Nachbarschaftsunterstützung und der Übereinstimmung mit Aufgabensignalen bewertet.
- Hemmung der Rückkehr: Eine Redundanzstrafe wird basierend auf visueller Ähnlichkeit und räumlicher Nähe zu bereits ausgewählten Token angewendet. Dies fördert die Auswahl vielfältiger, lokal unterstützter Beweise anstelle von gruppierten redundanten Patches.
Rettungssprung (Exploration/Wiederherstellung):
Um zu verhindern, dass kleine Objekte, peripherer Text oder Gegenbeweise außerhalb der ausgewählten Fenster übersehen werden, wird ein Teil des Budgets ( $\alpha_{jump}$ ) reserviert.
- Unsicherheit/Abdeckung: Token werden basierend auf hoher Unsicherheit (z. B. kleine Margen zwischen Optionswerten bei Multiple-Choice-Aufgaben) oder geringer Abdeckung durch die aktuelle Teilmenge ausgewählt.
- Dieser Schritt stellt sicher, dass unterabgedeckte Regionen wiederhergestellt werden und verhindert, dass das Modell auf enge Hochwert-Bereiche kollabiert.

C. Sequenz-Rekonstruktion

Der final ausgewählte Token-Satz ersetzt den vollständigen visuellen Block vor dem LLM-Prefill. Das ursprüngliche Textpräfix, die Prompt-Vorlage und die Modellgewichte bleiben unverändert. Bei gitterbewussten Modellen werden Token-Indizes zurück auf die ursprünglichen Gitterkoordinaten gemappt, um Positionsinformationen zu erhalten.

3. Hauptbeiträge

Neudefinition des Pruning: Die Autoren definieren trainingsfreies visuelles Token-Pruning als aufgabenübergreifendes Token-Zuweisungsproblem neu und nicht als einfache Kompression. Sie bewerten die Token-Nachfrage über dichte und MoE-multimodale Modelle hinweg, um zu bestimmen, wie viele Token erforderlich sind, um das Verhalten bei vollständigen Token zu erhalten.
F3A-Router: Sie stellen F3A vor, einen einphasigen, trainingsfreien Router, der eine aufgabenbedingte Beweissuche mittels fragenbedingter Signale, sparsamer Erfassung und eines von der Nahrungssuche inspirierten Drei-Phasen-Prozesses (grobe Suche, Einrasten, Rettung) durchführt.
Großangelegte Evaluation: Die Methode wird an Qwen3-VL-Modellen im Bereich von 2B bis 235B Parametern (abdeckend sowohl dichte als auch MoE-Architekturen) über 11 multimodale Benchmarks hinweg evaluiert. Sie wird zudem an Qwen2.5-VL- und InternVL3.5-Rückgraten getestet, um Übertragbarkeit zu demonstrieren.

4. Experimentelle Ergebnisse

Die Evaluation umfasst 10 Modelle und 3 Beibehaltungsraten (60 %, 40 %, 20 %).

Leistungserhalt: Über alle Modellskalen hinweg übertrifft F3A konsistent die Baselines (FastV, VisionZip, DivPrune, CDPruner).
- Bei 20 % visuellem Token-Erhalt behält F3A im Durchschnitt 93,86 % der Leistung bei vollständigen Token.
- Beim größten Modell (Qwen3-VL-235B-A22B) behält F3A 93,86 % der Leistung bei, selbst nach Entfernung von 80 % der visuellen Token.
Feste Fidelität Token-Nachfrage: Bei Zielsetzung von 97 % der Leistung bei vollständigen Token benötigt F3A im Durchschnitt nur 39,9 % visuelle Token, verglichen mit 50,1 % für die stärkste konkurrierende Baseline. Beim 235B-Modell erreicht F3A dies mit 41,2 % Token.
Skalierungsverhalten: Im Gegensatz zu anderen Methoden bleibt der Vorteil von F3A bestehen und wächst oft, wenn das Modell skaliert. Der durchschnittliche Genauigkeitsgewinn gegenüber der stärksten Baseline ist über alle 18 getesteten Modell-Erhaltungs-Einstellungen hinweg positiv.
Effizienz: F3A verbessert den Genauigkeits-Latenz-Kompromiss. Bei Qwen3-VL-8B mit 20 % Erhaltung reduziert es die End-to-End-Latenz von 354,7 ms auf 274,3 ms und den KV-Cache-Footprint von 117,7 MB auf 29,0 MB, während es die höchste Genauigkeit unter den Pruning-Methoden beibehält.
Statistische Signifikanz: Ein gepaarter Vorzeichen-Test über 30 Modell-Erhaltungs-Einstellungen ergibt einen p-Wert von $1,9 \times 10^{-9}$ , was bestätigt, dass F3A konsistent die stärkste nicht-F3A-Baseline übertrifft.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass skalierbare multimodale Inferenz nicht nur von der Modellgröße abhängt, sondern auch von der suchstrukturierten Zuweisung aufgabenrelevanter visueller Beweise.

Aufgabenbedingte vs. statische Ansätze: Die Ergebnisse deuten darauf hin, dass die Behandlung von Pruning als statisches Rankingproblem für aggressive Kompression unzureichend ist. Der „Foraging"-Ansatz, der Beweise dynamisch basierend auf der spezifischen Abfrage lokalisiert, verfeinert und wiederherstellt, ist notwendig, um die Kapazität größerer Modelle unter knappen Token-Budgets zu erhalten.
Perspektive fester Fidelität: Die Arbeit argumentiert, dass die Antwort auf die Frage „Wie viele Token werden benötigt?" kein universelles Beibehaltungsverhältnis ist, sondern ein skalierungsabhängiges Zuweisungsproblem. F3A zeigt, dass effektives Pruning größeren Modellen ermöglicht, ihre volle Kapazität mit deutlich weniger Token zu realisieren, als bisher für möglich gehalten wurde.
Generalisierbarkeit: Die Methode erweist sich als robust über verschiedene Modellfamilien (Qwen3, Qwen2.5, InternVL) und Architekturen (Dicht vs. MoE) hinweg, was darauf hindeutet, dass das Prinzip der aufgabenbedingten Beweissuche eine allgemeine Lösung für multimodales Token-Pruning darstellt.

Die Autoren schließen, dass F3A einen praktischen Weg bietet, die Inferenzkosten für multimodale Modelle zu senken, ohne die feinkörnigen Wahrnehmungsfähigkeiten zu beeinträchtigen, die ihre Leistung vorantreiben.