Rethinking Visual Token Reduction in LVLMs Under Cross-Modal Misalignment

Die Arbeit stellt VisionDrop vor, ein trainingsfreies Framework zur visuellen Token-Reduktion in Large Vision-Language Models, das durch die Vermeidung von textbasierten Annahmen und die Nutzung einer fortschrittlichen, rein visuellen Selektion sowie schrittweisen Pruning-Prozesse die Rechenkosten erheblich senkt, ohne dabei die Modellleistung signifikant zu beeinträchtigen.

Das Wesentliche

Stell dir vor, du hast einen extrem klugen, aber sehr hungrigen Assistenten. Dieser Assistent ist ein Large Vision-Language Model (LVLM). Er kann Bilder sehen und Fragen dazu beantworten. Aber er hat ein großes Problem: Er ist so gierig nach Informationen, dass er jedes Bild in tausende winzige Puzzleteile zerlegt, um es zu verstehen.

Das ist wie wenn du ein Foto von einem Wald nicht einfach anschaust, sondern jeden einzelnen Baum, jedes Blatt und jeden Stein als separates Detail in einem riesigen Stapel Papier bearbeitest. Das macht ihn zwar sehr genau, aber es kostet enorm viel Zeit und Energie (Rechenleistung), um diesen riesigen Stapel durchzuarbeiten.

Die Forscher in diesem Papier haben sich gefragt: Müssen wir wirklich alle diese Puzzleteile behalten?

Das Problem: Der falsche Kompass

Bisherige Methoden, um diesen Stapel zu verkleinern, funktionierten wie ein Kompass, der von der Frage geleitet wird.

• Die alte Idee: Wenn du fragst: "Wo ist der Hund?", schaut der Assistent auf die Frage und versucht, die Bildteile zu finden, die mit dem Wort "Hund" zusammenhängen.
• Das Problem: In der Realität sind Bilder und Sprache nicht immer perfekt synchron. Manchmal ist die Frage etwas vage, oder das Bild hat viele Details, die die Frage nicht erwähnt, aber trotzdem wichtig sind (z. B. der Hintergrund oder die Stimmung). Wenn der Assistent nur auf die Frage hört, wirft er wichtige Teile des Bildes weg, weil sie nicht direkt im Text erwähnt wurden. Das ist, als würdest du einen Koch anleiten, nur die Zutaten zu kaufen, die im Rezept stehen, und dabei das frische Gemüse im Kühlschrank zu ignorieren, das den Geschmack verbessert.

Die Forscher nennen das "Cross-Modal Misalignment" (Fehlende Ausrichtung zwischen den Welten). Die Sprache und das Bild "verstehen" sich im Inneren des Assistenten nicht immer richtig.

Die Lösung: VisionDrop – Der Bild-selbst-Verstehende

Die Autoren stellen eine neue Methode vor, die sie VisionDrop nennen. Sie ist clever, weil sie keine zusätzlichen Trainings braucht und nur auf das Bild selbst schaut, nicht auf die Frage.

Hier ist die Analogie:
Stell dir vor, du hast einen riesigen Haufen Fotos von einer Party.

• Die alte Methode: Jemand ruft "Wer ist der DJ?" und du wirfst alle Fotos weg, auf denen kein DJ zu sehen ist. Aber vielleicht ist auf dem Foto ohne DJ auch ein lustiger Moment zu sehen, der wichtig ist.
• Die neue Methode (VisionDrop): Du schaust dir die Fotos untereinander an. Du fragst: "Welche Fotos sehen sich ähnlich? Welche Fotos sind die wichtigsten?"
  • Du behältst die "Hauptdarsteller" (die wichtigsten Bildteile).
  • Du fasst die "Zuschauer" (die weniger wichtigen, aber ähnlichen Teile) zusammen, damit sie nicht den Platz wegnehmen, aber ihre Information trotzdem erhalten bleibt.

Wie funktioniert das genau?

1. Kein Text-Kompass: VisionDrop ignoriert die Frage, um zu entscheiden, was wichtig ist. Stattdessen schaut es nur auf das Bild selbst. Es nutzt die "Selbstaufmerksamkeit" des Bildes (wie stark hängen die Bildteile untereinander zusammen?). Das ist stabiler, weil Bilder oft ihre eigene Geschichte erzählen, unabhängig davon, was man fragt.
2. Stufenweises Ausmisten: Statt alles auf einmal zu löschen, macht VisionDrop das schrittweise.
   • Zuerst wird im "Kamera-Modul" (Visual Encoder) schon etwas aussortiert.
   • Dann wird es im "Gehirn-Modul" (LLM) weiter verfeinert.
   • Es ist wie beim Packen eines Koffers: Zuerst legst du die großen Dinge (Hauptdarsteller) hinein, und dann füllst du die Lücken mit kleinen, ähnlichen Dingen zusammengefasst, damit nichts Wichtiges verloren geht.
3. Zusammenfassen statt Wegwerfen: Wenn ein Bildteil nicht ganz so wichtig ist, wird er nicht einfach gelöscht. Er wird mit ähnlichen Teilen "verschmolzen" (merged). So bleibt die Information erhalten, aber der Stapel wird kleiner.

Das Ergebnis: Schneller und schlauer

Das Ergebnis ist beeindruckend:

• Der Assistent wird viel schneller (bis zu 2,7-mal schneller).
• Er braucht viel weniger Energie (bis zu 6-mal weniger Rechenleistung).
• Und das Wichtigste: Er verliert kaum an Qualität. Selbst wenn man 95% der Bildteile wegwirft, versteht er das Bild fast genauso gut wie vorher.

Zusammenfassend:
Statt blind auf die Frage zu hören und dabei wichtige Bildteile zu verlieren, schaut VisionDrop intelligent auf das Bild selbst, behält die wichtigsten Teile und fasst den Rest geschickt zusammen. Es ist wie ein erfahrener Kurator, der eine Ausstellung organisiert: Er weiß genau, welche Bilder die Besucher sehen müssen, und packt den Rest so effizient zusammen, dass die Galerie nicht überfüllt ist, aber die Essenz der Kunst erhalten bleibt.

Technische Zusammenfassung

1. Problemstellung

Große Vision-Language-Modelle (LVLMs) kodieren visuelle Eingaben als dichte Sequenzen von Patch-Level-Tokens, um feinkörnige Semantik zu erfassen. Dies führt jedoch zu einem massiven Ungleichgewicht: Visuelle Tokens überwiegen textuelle Tokens oft um ein Vielfaches, was zu erheblichem Rechenaufwand und Skalierbarkeitsproblemen führt.

Bisherige Ansätze zur Reduzierung der Anzahl visueller Tokens (Pruning) innerhalb der Large Language Models (LLMs) verlassen sich meist auf textgesteuerte Interaktionen. Sie gehen implizit davon aus, dass textuelle Tokens die Wichtigkeit visueller Tokens zuverlässig erfassen können. Die Autoren dieses Papers widerlegen diese Annahme und identifizieren drei Formen von Cross-Modal-Fehlausrichtung (Cross-Modal Misalignment), die die Effektivität textgesteuerter Pruning-Strategien untergraben:

1. Kausale Fehlausrichtung: Aufgrund der autoregressiven Natur von LLMs konzentriert sich das letzte Text-Token oft unverhältnismäßig stark auf nachfolgende Tokens in der Eingabesequenz (Lokalitätsbias), anstatt eine globale visuelle Relevanz zu bewerten.
2. Semantische Fehlausrichtung: Während Tokens durch die LLM-Schichten wandern, vermischen sich visuelle und textuelle Repräsentationen stark. Das finale Instruktions-Token verliert seine klare semantische Ausrichtung zu einzelnen visuellen Regionen, was die Bewertung der visuellen Wichtigkeit durch Text unzuverlässig macht.
3. Räumliche Fehlausrichtung: Textuelle Eingaben besitzen keine inhärente räumliche Wahrnehmung. Durch das Flattening von Positionseinbettungen in LLMs werden räumliche Priors visueller Tokens verwässert. Textgesteuertes Pruning kann daher visuell wichtige Regionen entfernen, die nicht explizit im Text erwähnt werden.

2. Methodik: VisionDrop

Um diese Probleme zu lösen, stellen die Autoren VisionDrop vor, ein training-freies Framework, das ausschließlich auf visuellen Signalen basiert und keine textuellen Hinweise zur Token-Auswahl benötigt.

Kernkomponenten:

• Visueller-only Scoring (Dominant Token Selection): Anstatt Text-Visual-Aufmerksamkeit zu nutzen, berechnet VisionDrop die Wichtigkeit von Tokens basierend auf Intra-Modal-Aufmerksamkeit (Visual-to-Visual).

  • Im LLM werden die Self-Attention-Maps der visuellen Subspace genutzt, um zu messen, wie häufig ein visueller Token von anderen visuellen Query-Tokens beachtet wird.
  • Im Visual Encoder wird entweder die Aufmerksamkeit eines [CLS]-Tokens (falls vorhanden) oder der Durchschnitt der Aufmerksamkeit aller visuellen Tokens genutzt.
  • Dies vermeidet die Störung durch fehlgeleitete textuelle Signale.

• Progressives Pruning über die gesamte Architektur: Das Framework behandelt den Visual Encoder und das LLM als ein einheitliches System. Es führt das Pruning in mehreren Stufen durch:

  1. Auswahl: Wichtige (dominante) Tokens werden basierend auf den visuellen Importance-Scores ausgewählt.
  2. Kontextuelles Merging: Um feinkörnige Details nicht zu verlieren, werden die verbleibenden, weniger wichtigen Tokens nicht einfach verworfen, sondern basierend auf Ähnlichkeitsmetriken (Key-Embeddings) zu kontextuellen Tokens zusammengeführt. Dies erhält komplementäre Informationen.

Dieser progressive Ansatz ermöglicht es, auch unter aggressiven Token-Budgets feinkörnige visuelle Informationen zu bewahren.

3. Hauptbeiträge

• Empirische Analyse: Die Autoren belegen experimentell, dass visuelle und textuelle Repräsentationen innerhalb von LLM-Schichten nicht gut ausgerichtet sind, was die Zuverlässigkeit textgesteuerter Pruning-Methoden infrage stellt.
• VisionDrop Framework: Einführung eines training-freien, rein visuellen Pruning-Systems, das sowohl im Encoder als auch im LLM progressiv arbeitet.
• Neue Scoring-Strategie: Entwicklung einer Methode zur Auswahl dominanter Tokens basierend auf visueller Selbst-Aufmerksamkeit und deren Kombination mit kontextuellem Merging zur Erhaltung komplementärer Informationen.

4. Ergebnisse

Die Methode wurde auf verschiedenen Benchmarks (GQA, MMBench, POPE, VQAv2, etc.) und mit verschiedenen Basismodellen (LLaVA-1.5-7B, LLaVA-NeXT-7B, Video-LLaVA) evaluiert.

• Leistung: VisionDrop übertrifft konsistent den State-of-the-Art (z. B. FastV, PyramidDrop, SparseVLM).
  • Bei LLaVA-1.5-7B mit nur 5,6 % Token-Retention (32 Tokens) erreicht VisionDrop 91,46 % der Originalleistung (Verbesserung von +0,96 % gegenüber dem besten Baseline).
  • Bei LLaVA-NeXT-7B erreicht VisionDrop bei 160 Tokens (94,4 % Reduktion) eine durchschnittliche Leistung von 92,06 %, was 1,71 % besser ist als die zweitbeste Methode.
• Effizienz:
  • Integration mit LLaVA-NeXT-7B führt zu einer 2,7-fachen Reduktion der Inferenz-Latenz und einer 6-fachen Reduktion der FLOPs.
  • Die Leistung bleibt dabei bei 95,71 % des Originals erhalten.
• Video-Verständnis: Auch bei Video-LLaVA zeigt VisionDrop die beste durchschnittliche Leistung bei stark reduzierter Token-Anzahl.

5. Bedeutung und Fazit

VisionDrop adressiert ein fundamentales Problem in der Effizienzsteigerung von LVLMs: Die Annahme, dass Text die visuelle Aufmerksamkeit zuverlässig steuern kann, ist in tiefen Schichten von LLMs oft falsch. Durch den Verzicht auf textgesteuerte Signale und die Nutzung rein visueller Aufmerksamkeitssignale bietet VisionDrop eine robustere und stabilere Lösung, insbesondere bei aggressiver Kompression.

Die Methode ist besonders wertvoll für Anwendungen, bei denen sprachliche Hinweise spärlich oder schlecht mit visuellen Inhalten abgestimmt sind (z. B. hochauflösende medizinische Bilder oder Fernerkundungsdaten). Da VisionDrop kein zusätzliches Training erfordert und keine komplexen Modifikationen der Architektur benötigt, ist es eine leicht integrierbare Lösung zur Skalierung von LVLMs.