VisionZip: Longer is Better but Not Necessary in Vision Language Models

Das Paper stellt VisionZip vor, eine effiziente Methode zur Reduzierung redundanter visueller Token in Vision-Language-Modellen, die durch die Auswahl informativer Tokens sowohl die Inferenzgeschwindigkeit drastisch steigert als auch die Leistung in verschiedenen Aufgaben verbessert, ohne auf längere Token-Sequenzen angewiesen zu sein.

Das Wesentliche

Das Problem: Der überfüllte Rucksack

Stell dir vor, du möchtest einem sehr intelligenten Freund (dem KI-Modell) ein Foto zeigen, damit er dir erzählt, was darauf zu sehen ist.

Bisherige Methoden haben dieses Foto in Tausende von winzigen Puzzleteilen (sogenannten „Tokens") zerlegt. Wenn das Foto hochauflösend ist, sind das schnell 2.000 oder gar 3.000 Teile. Der Freund muss sich also jeden einzelnen dieser Teile ansehen, bevor er antworten kann.

Das Problem dabei: Die meisten dieser Teile sind langweilig!

• Ein Foto von einem Hund im Park besteht vielleicht zu 90 % aus langweiligem Gras und blauem Himmel.
• Die KI schaut sich aber trotzdem jedes einzelne Grashalm-Teilchen an.
• Das kostet viel Zeit, viel Energie und überlastet den Speicher des Computers. Es ist, als würde man einen riesigen Rucksack voller leeren Steine tragen, nur um ein paar wichtige Fotos darin zu transportieren.

Die Lösung: VisionZip – Der intelligente Pack-Assistent

Die Forscher haben eine Methode namens VisionZip entwickelt. Man kann sich das wie einen sehr effizienten Pack-Assistenten vorstellen, der den Rucksack bevor er zum Freund geht, durchsucht und entleert.

VisionZip macht zwei Dinge:

1. Die „Sternen-Teile" finden (Dominante Tokens):
   Der Assistent schaut sich an, welche Teile des Bildes die Aufmerksamkeit auf sich ziehen. Er sagt: „Aha! Hier ist der Hund, hier ist das rote Fahrrad, hier ist das Gesicht." Diese Teile sind wichtig. Er behält sie.

   • Analogie: Er filtert die leeren Steine heraus und behält nur die wertvollen Juwelen.

2. Die „Langeweile" zusammenfassen (Token Merging):
   Was ist mit dem riesigen Stück blauer Himmel oder dem langen Gras? Statt jedes einzelne Grashalm-Teilchen zu behalten, sagt Visionzip: „Das ist alles nur 'Gras'. Ich nehme ein paar repräsentative Teile davon und fasse sie zu einem einzigen, informativen Klotz zusammen."

   • Analogie: Statt 100 kleine Steine für den Rasen zu tragen, nimmt er nur einen großen, kompakten Block, der genau das Gleiche aussagt, aber viel weniger Platz wegnimmt.

Das Ergebnis: Schneller, schlanker, klüger

Durch diesen Prozess passiert Magie:

• Der Rucksack wird leicht: Statt 2.000 Teile hat der Freund jetzt vielleicht nur noch 160 oder 320 Teile zu bearbeiten.
• Die Geschwindigkeit explodiert: Da der Freund weniger Teile lesen muss, antwortet er 8-mal schneller.
• Die Qualität bleibt (oder wird sogar besser): Da der Assistent nur die wichtigen Informationen behalten hat und den „Lärm" (die redundanten Teile) entfernt hat, wird der Freund nicht durch unnötige Details verwirrt. Er kann sich besser konzentrieren.

Ein lustiges Beispiel aus dem Papier

Stell dir vor, du hast eine Videokamera, die eine 3-Minuten-Szene aus einem Cartoon aufnimmt.

• Die alte Methode: Sie schaut sich nur 8 Bilder pro Sekunde an, aber jedes Bild wird in 256 Teile zerlegt. Das ist wie ein Stottern; sie verpasst viele Details, weil sie zu sehr mit dem Zerlegen beschäftigt ist.
• Mit VisionZip: Da die Teile so stark komprimiert sind, kann die Kamera 10-mal mehr Bilder pro Sekunde aufnehmen, ohne den Speicher zu sprengen. Das Ergebnis? Der Freund sieht die ganze Geschichte flüssig und detailliert, nicht nur ein paar statische Bilder.

Warum ist das revolutionär?

Früher dachten alle: „Je mehr Teile wir dem Computer geben, desto besser versteht er."
VisionZip zeigt uns: Nein, Qualität ist wichtiger als Quantität.

Es ist wie beim Essen: Wenn du einen riesigen Teller mit 100 Scheiben Brot und nur einem winzigen Stück Käse bekommst, bist du satt, aber du hast den Käse kaum geschmeckt. VisionZip gibt dir einen kleinen Teller, aber mit dem perfekten Verhältnis aus Brot und Käse – du bist schneller satt und schmeckst den Käse viel besser.

Zusammenfassend: VisionZip ist ein cleverer Filter, der KI-Modellen hilft, Bilder nicht wie einen blinden Stapel Papier, sondern wie ein geordnetes, informatives Buch zu lesen. Das macht sie schneller, günstiger und besser für echte Anwendungen wie Roboter oder Videogespräche.

Technische Zusammenfassung

1. Problemstellung

Vision-Language-Modelle (VLMs) wie LLaVA oder Mini-Gemini haben durch die Integration von visuellen Token in Large Language Models (LLMs) erhebliche Fortschritte erzielt. Ein zentrales Problem besteht jedoch darin, dass aktuelle State-of-the-Art-Modelle eine enorme Anzahl visueller Token verwenden, um Bilder darzustellen (z. B. 576 Token bei LLaVA-1.5 oder über 2.880 Token bei LLaVA-NeXT für hochauflösende Bilder).

Die Autoren identifizieren zwei Hauptprobleme:

• Hohe Rechenkosten: Die Länge der visuellen Token-Sequenz ist oft um ein Vielfaches höher als die der Text-Token. Da die Komplexität von Transformer-Modellen quadratisch mit der Sequenzlänge skaliert (insbesondere im Self-Attention-Mechanismus), führt dies zu einem massiven Anstieg von Speicherbedarf (VRAM) und Inferenzzeit.
• Signifikante Redundanz: Eine vorläufige Studie zeigt, dass die von gängigen Vision-Encodern (wie CLIP und SigLIP) generierten Token eine hohe Redundanz aufweisen. Die Aufmerksamkeitsmechanismen (Attention) konzentrieren sich stark auf nur wenige „dominante" Token, während die meisten anderen Token kaum Informationen enthalten und kaum Aufmerksamkeit erhalten. Herkömmliche Methoden zur Beschleunigung, die auf der Textrelevanz basieren (d. h. Token werden basierend auf ihrer Beziehung zum Text im LLM ausgewählt), ignorieren oft diese inhärente Redundanz im visuellen Encoder und führen zu einer Fehlausrichtung (Misalignment).

2. Methodik: VisionZip

VisionZip ist eine einfache, aber effektive Methode zur Reduzierung visueller Token-Redundanz, bevor die Daten in das LLM eingespeist werden. Der Ansatz ist textagnostisch (unabhängig vom Text) und kann in drei Modi angewendet werden: Training-free, Feinabstimmung (Fine-tuning) und Training von Grund auf.

Die Architektur besteht aus zwei Hauptschritten:

A. Selektion dominanter Token (Dominant Token Selection)

Anstatt alle Token zu verarbeiten, identifiziert VisionZip die informativsten Token basierend auf den Aufmerksamkeitswerten des Vision-Encoders:

• Bei Modellen mit CLS-Token (z. B. CLIP): Es werden die Token ausgewählt, die vom CLS-Token am stärksten beachtet werden, da diese die gesamte Bildinformation aggregieren.
• Bei Modellen ohne CLS-Token (z. B. SigLIP): Es wird die durchschnittliche Aufmerksamkeit berechnet, die jeder Token von allen anderen Token im Sequenz erhält. Token mit hoher durchschnittlicher Aufmerksamkeit werden als dominant ausgewählt.
• Ergebnis: Nur ein kleiner Bruchteil der ursprünglichen Token (z. B. 10–20 %) wird beibehalten, die den Großteil der Bildinformation tragen.

B. Zusammenführung kontextueller Token (Contextual Token Merging)

Um sicherzustellen, dass auch kleine, aber wichtige Details nicht verloren gehen, werden die verbleibenden (nicht-dominanten) Token nicht einfach verworfen, sondern zusammengeführt:

• Die nicht-dominanten Token werden in „Ziel-Token" und „Zu-zusammenführende Token" aufgeteilt.
• Basierend auf der Ähnlichkeit der Key-Werte (K) im Self-Attention-Mechanismus werden Token mit ähnlicher semantischer Information gruppiert.
• Diese Gruppen werden gemittelt, um neue „kontextuelle Token" zu erzeugen, die die Information der ursprünglichen Gruppe kompakt repräsentieren.

C. Effiziente Feinabstimmung (Efficient Tuning)

Da die Reduzierung der Token-Anzahl zu einer Diskrepanz zwischen dem Eingaberaum des Vision-Encoders und dem des LLM führen kann, wird eine schnelle Feinabstimmung der Projektionsschicht (Projector) vorgeschlagen.

• Dies erfordert nur sehr wenig Daten (1/10 des LLaVA-1.5-Datensatzes) und wenig Zeit (ca. 30 Minuten auf 8 GPUs).
• Ziel ist es, die Ausrichtung zwischen dem reduzierten visuellen Input und dem LLM-Raum wiederherzustellen, ohne das gesamte Modell neu zu trainieren.

3. Wichtige Beiträge

• Analyse der Redundanz: Der Nachweis, dass visuelle Token in modernen Encodern stark redundant sind und dass die Information in wenigen dominanten Token konzentriert ist.
• Textagnostischer Ansatz: Im Gegensatz zu vorherigen Methoden (wie FastV oder SparseVLM), die Token basierend auf der Interaktion mit Text-Token im LLM auswählen, reduziert VisionZip die Redundanz vor dem LLM. Dies vermeidet unnötige Berechnungen in den frühen LLM-Schichten und verhindert die Fehlausrichtung, die entsteht, wenn Text-relevante Token nicht die informativsten visuellen Token sind.
• Plug-and-Play Kompatibilität: Die Methode ist unabhängig vom LLM und kann mit beliebigen Architekturen und Quantisierungstechniken (8-bit, 4-bit) kombiniert werden.
• Skalierbarkeit: VisionZip ermöglicht es, größere Modelle (z. B. 13B) schneller und effizienter laufen zu lassen als kleinere Modelle (7B), was bisher aufgrund der Token-Länge nicht möglich war.

4. Ergebnisse

Die Autoren evaluieren VisionZip auf mehreren Benchmarks für Bild- und Videoverständnis (LLaVA-1.5, LLaVA-NeXT, Mini-Gemini, Video-LLaVA):

• Leistungssteigerung:

  • VisionZip übertrifft den State-of-the-Art (SOTA) in fast allen Szenarien.
  • Bei LLaVA-1.5 (Reduktion auf 192 Token) erreicht VisionZip eine Leistung von 98,5 % des Originalmodells, während SOTA-Methoden nur ca. 88–96 % erreichen.
  • Bei extremer Reduktion (nur 64 Token) bleibt VisionZip mit 94,2 % der Leistung deutlich über den Konkurrenzmethoden (FastV: ~69 %, SparseVLM: ~86 %).
  • Mit der leichten Feinabstimmung (VisionZip‡) wird die Leistung auf 95,2 % (bei 64 Token) gesteigert.

• Effizienzgewinne:

  • Inferenzgeschwindigkeit: Die Vorfüllzeit (Prefilling Time) wird um den Faktor 8x reduziert.
  • Durchsatz: Das 13B-Modell mit VisionZip ist schneller als das 7B-Modell im Vanilla-Modus, erzielt aber gleichzeitig bessere Ergebnisse.
  • Speicher: Deutliche Reduktion des CUDA-Speicherverbrauchs, was den Einsatz auf Edge-Geräten oder mit weniger VRAM ermöglicht.

• Video-Verständnis:

  • Da Token reduziert werden, kann das Modell bei gleicher Token-Budget mehr Frames pro Video verarbeiten (Faktor 5–10). Dies führt zu einem besseren Verständnis längerer Videos im Vergleich zu Methoden, die nur wenige Frames codieren.

• Multi-Turn-Dialoge:

  • VisionZip ist besonders gut für mehrstufige Dialoge geeignet, da die ausgewählten Token informativ und textunabhängig sind. Herkömmliche Methoden speichern oft nur Token, die für die erste Frage relevant waren, was bei Folgefragen zu Leistungsabfall führt.

5. Bedeutung und Ausblick

Die Arbeit stellt einen Paradigmenwechsel dar: Statt die Länge der visuellen Token weiter zu erhöhen (was zu mehr Redundanz führt), sollte der Fokus auf der Extraktion hochwertiger, nicht-redundanter Merkmale liegen.

• Praktische Relevanz: VisionZip macht VLMs für reale Anwendungen wie autonomes Fahren, Robotik und Edge-Computing praktikabler, wo Latenz und Speicher kritisch sind.
• Zukünftige Forschung: Die Autoren regen die Community an, Vision-Encoder zu entwickeln, die von Natur aus weniger redundante Token generieren, anstatt nur die Token-Anzahl zu erhöhen.
• Verfügbarkeit: Der Code ist als Open-Source verfügbar, was eine breite Adoption und Integration in bestehende VLM-Pipelines erleichtert.

Zusammenfassend beweist VisionZip, dass „Länger ist besser" für VLMs ein Irrglaube ist und dass eine intelligente Token-Selektion sowohl die Effizienz drastisch steigert als auch die Modellleistung erhält oder sogar verbessert.