Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

1. Problemstellung

Multimodale Large Language Models (MLLMs) erzeugen eine enorme Anzahl visueller Token, was zu erheblichen Rechen- und Speicherkosten führt. Um dies zu adressieren, wurde Visuelles Token-Pruning entwickelt, um redundante visuelle Informationen bereits in der Prefill-Phase (bevor die Generierung beginnt) zu entfernen und nur die relevantesten Token für die Inferenz zu behalten.

Die Autoren identifizieren jedoch ein kritisches Defizit bestehender Methoden:

• Erfolg bei einfachem Verständnis: Pruning-Methoden funktionieren gut bei einfachen visuellen Verständnisaufgaben (Visual Understanding, z. B. Objekterkennung, einfache VQA), da die relevanten visuellen Hinweise oft statisch sind und bereits zu Beginn identifiziert werden können.
• Versagen bei komplexem Reasoning: Bei komplexen visuellen Reasoning-Aufgaben (z. B. Mathematik, logische Rätsel, STEM) leiden diese Methoden unter massiven Leistungseinbußen.
• Die Ursache: Herkömmliche Pruning-Methoden gehen davon aus, dass die während der Prefill-Phase als relevant erkannten visuellen Token für den gesamten Generierungsprozess ausreichen. Diese Annahme ist jedoch bei mehrstufigem logischem Schlussfolgern falsch.

2. Kernkonzept: Relevant Visual Information Shift (RVIS)

Durch systematische Analyse der Aufmerksamkeitskarten (Attention Heatmaps) während des Decodierungsprozesses stellen die Autoren fest, dass sich der Fokus des Modells dynamisch verschiebt.

• Definition: Relevant Visual Information Shift (RVIS) beschreibt das Phänomen, dass die für die Lösung einer Aufgabe notwendigen visuellen Informationen während des Decodierungsprozesses wechseln.
• Unterschied zu VQA: Bei Visual Question Answering (VQA) bleibt der Fokus meist statisch auf einem Bildbereich. Bei visuellem Reasoning (VMR) muss das Modell jedoch schrittweise verschiedene Bildbereiche inspizieren, um logische Schlüsse zu ziehen (z. B. erst die Formel lesen, dann die Zahlen im Diagramm prüfen, dann die Achsen beschriften).
• Folge für Pruning: Da statische Pruning-Methoden Token bereits in der Prefill-Phase dauerhaft verwerfen, gehen bei RVIS genau die visuellen Informationen verloren, die das Modell später für den nächsten logischen Schritt benötigt. Dies führt zu Fehlern im Reasoning.

3. Methodik: DSTP (Decoding-stage Shift-aware Token Pruning)

Um dieses Problem zu lösen, schlagen die Autoren DSTP vor, ein training-freies Add-on-Framework, das mit bestehenden Pruning-Methoden kombiniert werden kann. DSTP passt den Satz visueller Token dynamisch während des Decodierungsprozesses an.

Das Framework besteht aus zwei modularen Komponenten:

1. RISD (Relevant Visual Information Shift Detect):

   • Überwacht die visuelle Aufmerksamkeit des Modells während des Decodierings.
   • Berechnet die Kosinus-Ähnlichkeit zwischen der initialen Aufmerksamkeitsverteilung (Prefill) und der aktuellen Verteilung in jedem Decodierungsschritt.
   • Wenn die Ähnlichkeit einen Schwellenwert ($\tau$) unterschreitet, wird ein RVIS-Ereignis erkannt. Dies signalisiert, dass sich der Fokus des Modells auf einen neuen Bildbereich verschoben hat.

2. CPTS (Context-Preserving Visual Token Swap):

   • Wird ausgelöst, sobald RISD ein RVIS-Ereignis detektiert.
   • Re-Evaluation: Das Modell bewertet alle ursprünglichen visuellen Token (einschließlich der zuvor verworfenen) erneut basierend auf dem aktuellen Text-Kontext.
   • Swap & Merge: Es werden neue, relevante Token ausgewählt. Anstatt die alten Token komplett zu ersetzen (was den Kontext zerstören würde), werden die neuen Token mit den ursprünglichen, behaltenen Token vereinigt (Union-Operation).
   • Kontextbewahrung: Dieser erweiterte Token-Satz wird für eine bestimmte Anzahl von Schritten ($L$) beibehalten, um die logische Kontinuität zu gewährleisten, bevor das System wieder zum ursprünglichen Pruning-Satz zurückkehrt, falls kein neuer Shift erkannt wird.

4. Wichtige Beiträge

1. Identifikation von RVIS: Die Autoren identifizieren erstmals den „Relevant Visual Information Shift" als primäre Ursache für das Versagen statischer Pruning-Methoden bei komplexen Reasoning-Aufgaben.
2. DSTP-Framework: Entwicklung eines effizienten, training-freien Mechanismus, der die Dynamik des Decodierings nutzt, um verlorene visuelle Informationen gezielt wiederherzustellen.
3. Umfassende Evaluation: Demonstration der Wirksamkeit auf verschiedenen State-of-the-Art-Architekturen (Qwen3-VL, InternVL3.5) und Benchmarks.

5. Ergebnisse

Die Experimente zeigen deutliche Verbesserungen:

• Visuelles Reasoning (VMR): Auf Benchmarks wie MathVerse, WeMath und MMMU-Pro konnte DSTP die Leistungseinbußen durch Pruning drastisch reduzieren.
  • Beispiel: Bei Qwen3-VL-4B mit 33,3% Token-Retention stieg die Genauigkeit auf MathVerse von 32,23% (FastV allein) auf 52,54% (FastV + DSTP).
  • DSTP erreicht bei komplexen Aufgaben oft Leistungen, die nahe an denen des unpruned Modells (100% Token) liegen.
• Visuelles Verständnis (VQA): Auch bei einfachen Aufgaben (SQA, GQA) bleibt die Leistung stabil oder verbessert sich leicht, da DSTP nur bei Bedarf eingreift und keine unnötigen Token hinzufügt.
• Effizienz:
  • Der zusätzliche Rechenaufwand ist minimal (geringer Overhead bei TFLOPs und Latenz).
  • DSTP ist deutlich effizienter als das Verwenden von 100% der Token, liefert aber eine viel höhere Genauigkeit als statisches Pruning bei gleicher Token-Rate.
  • Interessanterweise erreicht DSTP mit 33,3% Token oft bessere Ergebnisse als FastV mit 66,6% Token, da die Relevanz der Token wichtiger ist als die reine Anzahl.

6. Signifikanz und Ausblick

Dieses Paper liefert einen wichtigen Paradigmenwechsel für die Effizienzsteigerung von MLLMs:

• Dynamik statt Statik: Es widerlegt die Annahme, dass visuelles Pruning nur eine einmalige Entscheidung in der Prefill-Phase sein muss. Für Reasoning-Aufgaben ist eine adaptive, decodierungszeitbasierte Anpassung unerlässlich.
• Praktische Anwendbarkeit: Da DSTP training-frei ist und als Plug-in funktioniert, kann es sofort in bestehende MLLMs integriert werden, um deren Einsatzbarkeit in ressourcenbeschränkten Umgebungen (z. B. Edge Devices) bei komplexen Aufgaben zu ermöglichen.
• Zukunft: Die Arbeit legt den Grundstein für zukünftige Forschung, die sich mit dynamischen Token-Strategien über den gesamten Inferenzprozess hinweg befasst, anstatt sich nur auf die Eingabeseite zu konzentrieren.

Zusammenfassend beweist DSTP, dass man die Effizienz von Token-Pruning nicht auf Kosten der Reasoning-Fähigkeit opfern muss, solange man den dynamischen Informationsbedarf des Modells während der Generierung berücksichtigt.