What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

Diese Studie stellt mit dem Werkzeug EmbedLens fest, dass Multimodale Large Language Models (MLLMs) eine ausgeprägte semantische Spärlichkeit aufweisen, bei der nur etwa 60 % der visuellen Tokens („alive") relevante Bildinformationen tragen, wodurch die meisten internen visuellen Berechnungen als redundant entlarvt werden und eine effizientere Architektur durch Token-Pruning sowie die direkte Injektion in mittlere LLM-Schichten ermöglicht wird.

Das Wesentliche

Stell dir vor, ein Multimodales Großes Sprachmodell (MLLM) ist wie ein hochintelligenter Übersetzer, der Bilder in Worte verwandeln soll. Normalerweise denkt man, dass dieser Übersetzer jedes einzelne Pixel eines Bildes genau betrachtet und dann langsam versteht, was er sieht.

Aber diese Studie, die von Yingqi Fan und seinem Team durchgeführt wurde, enthüllt ein ganz anderes Geheimnis: Das Bild, das dem Übersetzer gegeben wird, ist voller „Lärm" und unnötiger Füllsel.

Hier ist die einfache Erklärung, was die Forscher herausgefunden haben, mit ein paar anschaulichen Vergleichen:

1. Das Bild ist wie ein überfüllter Bus mit drei Arten von Passagieren

Wenn ein Bild in das Modell eingespeist wird, wird es in viele kleine Stücke zerlegt (sogenannte „Tokens"). Die Forscher haben entdeckt, dass diese Passagiere in drei völlig unterschiedliche Gruppen fallen:

• Die „Toten" (Dead Tokens): Das sind etwa 30 % der Passagiere. Sie sind wie leere Sitzplätze oder Leute, die nur dumm in die Gegend starren. Sie tragen keine Information über das Bild bei. Sie sind einfach da, weil das System sie so programmiert hat. Wenn man sie aus dem Bus wirft, passiert gar nichts – das Modell versteht das Bild sogar noch besser, weil es nicht mehr von diesen leeren Plätzen abgelenkt wird.
• Die „Sink-Passagiere" (Sink Tokens): Das sind etwa 10 % der Passagiere. Stell dir sie wie Stammgäste vor, die immer auf demselben Platz sitzen, egal ob im Bus ein Sonnenuntergang oder ein Unfall abgebildet ist. Sie sind für die Struktur des Busses wichtig (damit der Motor läuft), aber sie erzählen nichts über das Bild. Auch sie kann man entfernen, ohne dass das Verständnis leidet.
• Die „Lebenden" (Alive Tokens): Das sind die restlichen 60 %. Nur diese Passagiere tragen wirklich wichtige Informationen. Sie sind die einzigen, die sagen: „Hier ist ein Hund", „Das ist rot" oder „Hier steht 'Stop'".

Die große Erkenntnis: Das Bild ist zu 80 % mit unnötigem Ballast gefüllt! Das Modell braucht eigentlich nur die Hälfte der Daten, um alles zu verstehen.

2. Die lebenden Passagiere sind schon fast fertig

Man dachte bisher, das Sprachmodell müsse erst hart arbeiten, um aus den Bildstücken Sinn zu machen. Aber die Forscher fanden heraus: Die lebenden Passagiere sind bereits perfekt vorbereitet.

• Der Vergleich: Stell dir vor, du schickst einen Brief an einen Freund. Normalerweise denkst du, der Freund muss den Brief erst lesen, entschlüsseln und verstehen.
• Die Realität: In diesem Fall ist der Brief aber schon so perfekt formuliert, dass der Freund ihn sofort versteht, noch bevor er ihn richtig liest. Die Bild-Stücke enthalten die Informationen (Objekte, Farben, Text) bereits so klar, dass das Sprachmodell sie fast sofort „lesen" kann. Es muss nicht erst lange darüber nachdenken.

3. Der unnötige Umweg durch die ersten Etagen

Das Sprachmodell besteht aus vielen Schichten (wie Stockwerke in einem Wolkenkratzer). Früher dachte man, die Bild-Informationen müssen durch alle Stockwerke wandern, um verstanden zu werden.

• Die Entdeckung: Die lebenden Passagiere sind so gut vorbereitet, dass sie die ersten Stockwerke (die unteren Schichten) gar nicht brauchen. Wenn sie dort hineingezwungen werden, verwirrt es sie nur.
• Die Lösung: Es ist viel effizienter, diese Passagiere direkt in die mittleren Stockwerke zu bringen. Dort angekommen, können sie sofort mit dem Text-Teil des Modells reden. Die unteren Stockwerke sind für Bilder eigentlich nur Zeitverschwendung.

4. Ein neues Werkzeug: „EmbedLens"

Um das alles zu sehen, haben die Forscher ein neues Werkzeug namens EmbedLens entwickelt.

• Der Vergleich: Stell dir vor, du hast einen Haufen verschlüsselter Daten. EmbedLens ist wie ein super-schneller Scanner, der sofort sagt: „Aha, dieses Stück gehört zu 'Hund', dieses hier ist nur Rauschen, und das hier ist ein leeres Sitzkissen."
• Mit diesem Werkzeug konnten sie die drei Gruppen (Tot, Sink, Lebendig) genau identifizieren und zeigen, wie viel Platz man sparen kann.

Warum ist das wichtig?

Diese Entdeckungen sind wie ein großes Aufräumprojekt für KI-Modelle:

1. Schneller: Wenn man die „toten" und „sink"-Passagiere weglässt, muss das Modell weniger rechnen. Das macht es schneller und spart Energie.
2. Besser: Weniger Ablenkung durch unnötige Daten bedeutet, dass das Modell seltener Halluzinationen hat (also Dinge erfindet, die nicht da sind).
3. Einfacher: Man kann die Architektur von KI-Modellen vereinfachen, indem man die Bild-Informationen direkt in die Mitte des Modells injiziert, statt sie durch einen langen, unnötigen Tunnel zu schicken.

Zusammenfassend:
Die Forscher haben gezeigt, dass unsere KI-Bild-Versteher bisher wie ein Student waren, der versucht, ein Buch zu lesen, das zu 80 % aus leeren Seiten besteht. Wenn man diese leeren Seiten einfach weglässt und den Studenten direkt zum wichtigsten Kapitel führt, lernt er schneller, macht weniger Fehler und braucht weniger Energie.

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) projizieren visuelle Merkmale (aus Vision-Encodern wie CLIP) in den Embedding-Raum von Sprachmodellen (LLMs). Obwohl dies zu beeindruckenden Leistungen führt, bleibt die interne Strukturierung und Verarbeitung visueller Semantik unklar. Es besteht eine fundamentale Diskrepanz: Vision-Encoder sind oft auf globale Bild-Text-Ausrichtung trainiert (kontrastives Lernen), während MLLMs Informationen als Sequenz lokaler, patch-basierter Tokens verarbeiten.
Die zentralen offenen Fragen sind:

• Wie ist globale semantische Information über lokale Tokens verteilt?
• Tragen alle Bild-Patches bedeutungsvolle Semantik?
• Enthalten die Embeddings bereits diskrete, sprachähnliche Konzepte („prä-linguistisch"), oder benötigen sie eine intensive Weiterverarbeitung durch das LLM?

2. Methodik: Das EmbedLens-Framework

Die Autoren stellen ein zweistufiges analytisches Framework vor, das auf einem neuartigen Probing-Tool namens EmbedLens basiert.

• EmbedLens: Ein modellagnostisches Werkzeug, das die semantische Bedeutung von Visual Tokens direkt im Eingabe-Embedding-Raum untersucht. Anstatt die Tokens durch das gesamte Modell zu schicken, misst EmbedLens die Ähnlichkeit eines Ziel-Embeddings (z. B. eines projizierten visuellen Tokens) mit allen Token-Embeddings im Vokabular des Modells. Es rekonstruiert die Top-K-Tokens, die dem visuellen Input am nächsten kommen.
• Clustering-Analyse: Die Autoren wenden similarity-basiertes Clustering auf die Eingabe-Tokens an, um makroskopische Strukturen zu identifizieren.
• Experimentelle Validierung:
  • Pruning (Beschneiden): Systematisches Entfernen von Token-Kategorien (Sink, Dead, Alive) am Eingang, um den Einfluss auf die Leistung zu testen.
  • Patch-Compression-Benchmark: Ein neuartiger Test, bei dem Objekte oder OCR-Texte so stark skaliert werden, dass sie in genau einen visuellen Patch passen, um die Informationsdichte zu messen.
  • Layer-Skipping & Decoupling: Das Überspringen bestimmter Schichten (z. B. FFN oder Self-Attention) oder das Deaktivieren von visuellen Subschichten, um die Notwendigkeit interner Berechnungen zu prüfen.

3. Wichtige Beiträge und Entdeckungen

Die Analyse offenbart eine starke semantische Sparsamkeit und Redundanz in MLLMs. Die visuellen Tokens lassen sich in drei funktionell distincte Kategorien einteilen:

A. Die Dreiteilung der Tokens

1. Sink Tokens (Senken):
   • Eigenschaften: Bildagnostische Tokens, deren Embeddings über verschiedene Bilder hinweg nahezu identisch sind (hohe Cross-Image-Similarität). Sie dienen rein strukturellen Zwecken (z. B. Stabilisierung der Aufmerksamkeitsverteilung).
   • Ursprung: Sie entstehen sowohl im Vision-Encoder (ViT-Sinks) als auch im LLM (LLM-Sinks, ähnlich dem <bos>-Token).
   • Bedeutung: Sie tragen keine bildspezifische Semantik.
2. Dead Tokens (Tote Tokens):
   • Eigenschaften: Ähnlich wie Sink-Tokens bildunabhängig, aber sie ziehen minimale Aufmerksamkeit auf sich und haben keinen strukturellen oder kontextuellen Zweck. Sie entsprechen oft fragmentierten Subwörtern oder nicht-semantischen Mustern.
   • Bedeutung: Sie sind semantisch leer und redundant.
3. Alive Tokens (Lebende Tokens):
   • Eigenschaften: Diese Tokens clustern nahe am semantischen Zentrum des Textes. Sie tragen die eigentliche bildspezifische Bedeutung.
   • Anteil: Sie machen nur ca. 60% der Eingabe-Tokens aus.

B. Semantische Sparsamkeit und Informationsdichte

• Redundanz: Ca. 40% der visuellen Tokens (Sink + Dead) können sicher entfernt werden, ohne die Leistung zu beeinträchtigen; in einigen Fällen verbessert das Entfernen sogar die Leistung, da Ablenkungen reduziert werden.
• Prä-linguistische Kodierung: Die verbleibenden 60% „Alive Tokens" kodieren bereits vor dem Eintritt in das LLM reichhaltige, feingranulare Informationen (Objekte, Farben, OCR-Zeichen). Sie sind hochverdichtete Informationseinheiten, die kaum weiterer Übersetzung bedürfen.

C. Redundanz der internen Verarbeitung

• Überflüssige Schichten: Für die meisten Standardaufgaben (allgemeine VQA, OCR, Halluzinationsreduktion) ist die interne visuelle Verarbeitung (visuelle Self-Attention und Feed-Forward-Netzwerke) im LLM überflüssig. Das Überspringen dieser Schichten hat kaum negative Auswirkungen.
• Schädliche Effekte: Eine zu tiefe Verarbeitung in den frühen Schichten kann sogar schädlich sein, da sie Bias einführt (z. B. werden Farbvorhersagen zu stark vom Hintergrundkontext beeinflusst).
• Alignment mit Mittelschichten: Die Vektornormen der „Alive Tokens" alignieren sich natürlicherweise mit den mittleren Schichten des LLM, nicht mit dem initialen Embedding-Raum. Die Projektionsschicht (Projector) amplifiziert die Normen der visuellen Tokens absichtlich, um redundante frühe Verarbeitung zu umgehen und direkt in die mittlere Ebene einzuspeisen.

4. Ergebnisse und Experimente

• Performance nach Pruning: Das Entfernen von Sink- und Dead-Tokens führt bei Modellen wie LLaVA-1.5, Qwen-VL und InternVL zu stabilen oder sogar leicht verbesserten Ergebnissen auf Benchmarks wie GQA, MME, OCRBench und RefCOCO.
• Layer-Skipping: Das Überspringen der ersten 6 visuellen Schichten (Shallow-Layer Skipping) erhält oder verbessert die allgemeine Leistung, bestätigt aber, dass frühe Schichten für die semantische Verfeinerung kaum beitragen.
• Multi-Trajectory Benchmark: Ein einzelner „Alive Token" kann mehrere semantische Attribute (Objekt, Farbe, Anzahl) gleichzeitig kodieren und korrekt entschlüsseln. Allerdings zeigen Modelle eine Tendenz zu kontextuellen Farb-Bias (Farben werden eher dem Hintergrund als dem Objekt zugeordnet).
• Sparsamkeit der Grounding: Nur ein kleiner Bruchteil der Tokens (ca. 2–10%) trägt tatsächlich gegroundete Objektssemantik, was erklärt, warum Token-Pruning und Bild-Downsampling oft effektiv sind.

5. Bedeutung und Ausblick

Die Arbeit liefert ein einheitliches mechanistisches Verständnis der visuellen Token-Verarbeitung in MLLMs und widerlegt die Annahme, dass alle visuellen Patches gleichwertig und tiefgehend verarbeitet werden müssen.

Praktische Implikationen:

1. Effiziente Architekturen: Durch selektives Pruning von Sink- und Dead-Tokens können Modelle beschleunigt und Speicherbedarf reduziert werden.
2. Optimierte Injection: Da visuelle Tokens bereits gut mit den mittleren Schichten aligniert sind, ist eine direkte Injektion in diese Schichten (Late Injection) effizienter als der Durchlauf durch alle frühen Schichten.
3. Interpretierbarkeit: Das Framework bietet neue Werkzeuge, um zu verstehen, wie visuelle Informationen in Sprachmodelle integriert werden, und hilft, Halluzinationen durch Reduktion redundanter Berechnungen zu minimieren.

Zusammenfassend zeigen die Autoren, dass MLLMs derzeit ineffizient arbeiten, indem sie eine große Menge an redundanten visuellen Daten verarbeiten, die keine semantischen Informationen enthalten, und dass eine gezielte Reduktion und Umstrukturierung der Architektur zu leistungsfähigeren und effizienteren Systemen führen kann.