iLLaVA: An Image is Worth Fewer Than 1/3 Input Tokens in Large Multimodal Models

Die Arbeit stellt iLLaVA vor, eine Methode zur umfassenden Beschleunigung von Large Multimodal Models durch die gemeinsame Optimierung des Bildencoders und des LLM mittels einer neuartigen Token-Merging-Strategie, die nicht nur die Rechenzeit drastisch reduziert, sondern auch die Genauigkeit größerer Modelle im Vergleich zu kleineren verbessert.

Das Wesentliche

🚀 iLLaVA: Wie man riesige KI-Modelle auf ein „Kleingewicht" reduziert

Stell dir vor, du hast einen Super-Intelligenz-Roboter (ein sogenanntes „Large Vision-Language Model" oder LVLM). Dieser Roboter ist unglaublich schlau und kann Bilder, Videos und Texte verstehen. Aber er hat ein riesiges Problem: Er ist extrem schwer und langsam.

Wenn dieser Roboter ein Bild sieht, zerlegt er es in tausende winzige Puzzleteile (genannt „Tokens"). Er betrachtet jedes einzelne Teil, analysiert es und schreibt dann einen Text dazu. Das ist wie wenn ein Detektiv bei einem Verbrechen jeden einzelnen Staubkorn auf dem Tatort untersucht, bevor er einen Fall löst. Das dauert ewig und verbraucht viel Energie.

Bisherige Methoden haben versucht, diesen Roboter schneller zu machen, indem sie ihm sagten: „Hey, ignoriere einfach 80 % der Puzzleteile!"
Das Problem dabei: Der Roboter schaut sich das Bild erst in einer Fotostudio-Kamera (dem Bild-Encoder) an, bevor er es überhaupt verarbeitet. Diese Kamera ist auch sehr langsam und schwer. Die alten Methoden haben nur den Roboter selbst beschleunigt, aber die langsame Kamera ignoriert. Das ist, als würdest du einen Ferrari bauen, aber ihn mit einem alten Traktor-Anhänger schleppen lassen.

iLLaVA (die neue Methode aus dem Papier) löst das Problem auf zwei clevere Arten:

1. Der „Zwei-Stationen-Express" 🚂

Statt nur den Roboter zu beschleunigen, beschleunigt iLLaVA beide Stationen:

• Station A (Die Kamera): Sie filtert das Bild schon beim Aufnehmen. Statt 10.000 Puzzleteile zu produzieren, produziert sie nur noch die wichtigsten.
• Station B (Der Roboter): Auch der Roboter selbst schaut sich nur noch die wichtigsten Teile an.

Die Analogie: Stell dir vor, du willst ein Buch lesen.

• Alt: Jemand kopiert das ganze Buch (1000 Seiten), schickt es dir, und du liest es.
• iLLaVA: Jemand liest das Buch zuerst, markiert nur die 100 wichtigsten Sätze, schickt dir nur diese und du liest sie.
  Das Ergebnis? Du bist viel schneller fertig, aber du verpasst nichts Wichtiges.

2. Der „Recycling-Müllwagen" ♻️

Das größte Risiko beim Wegwerfen von Puzzleteilen ist, dass man versehentlich wichtige Informationen wegwirft.

• Andere Methoden: Sie werfen die „langweiligen" Teile einfach in den Müll.
• iLLaVA: Es ist wie ein cleverer Müllwagen. Wenn ein Teil aussieht, als wäre es unnötig, schaut es sich trotzdem kurz an. Wenn es ein winziges, nützliches Detail enthält (z. B. eine Farbe oder eine Form), schmilzt es dieses Detail in ein anderes, wichtiges Teil hinein.

Die Analogie: Stell dir vor, du hast eine Suppe mit vielen Zutaten.

• Wenn du Gemüse wegwirfst, verlierst du den Geschmack.
• iLLaVA nimmt das weggeworfene Gemüse, kocht es zu einer kleinen, konzentrierten Brühe und gibt diese Brühe in die Hauptsuppe zurück. So behältst du den Geschmack (die Information), aber du musst nicht mehr so viel Gemüse herumtragen.

🏆 Was bringt das alles?

Die Forscher haben iLLaVA getestet und erstaunliche Ergebnisse erzielt:

1. Geschwindigkeit: Das System ist bis zu 2-mal schneller und startet 4-mal schneller als vorherige Methoden.
2. Qualität: Selbst wenn man 88 % der Bildinformationen wegwirft, bleibt die Intelligenz des Roboters fast gleich hoch (über 95 % der ursprünglichen Leistung).
3. Der „Riese schlägt den Kleinen": Das ist der coolste Teil. Ein riesiges, schweres Modell (z. B. InternVL-2.5 mit 26 Milliarden Parametern), das mit iLLaVA beschleunigt wird, ist schneller UND klüger als ein kleines, leichtes Modell (z. B. InternVL-2.5 mit 8 Milliarden Parametern).

Zusammenfassend:
iLLaVA ist wie ein Turbo-Modus für KI. Es schaut sich an, wo die „Luftlöcher" (unnötige Daten) sind, entfernt sie geschickt und fängt die wertvollen Tropfen auf, die sonst verloren gegangen wären. So können wir riesige, superkluge KIs auch auf normalen Computern laufen lassen, ohne dass sie ewig brauchen.

Das Papier wurde für die renommierte Konferenz ICLR 2026 eingereicht und zeigt, wie wir KI effizienter und umweltfreundlicher machen können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „iLLaVA: An Image Is Worth Fewer Than 1/3 Input Tokens in Large Multimodal Models" auf Deutsch:

1. Problemstellung

Large Vision-Language Models (LVLMs) haben in den letzten Jahren erhebliche Fortschritte erzielt, leiden jedoch unter hohen rechnerischen Kosten und Ressourcenanforderungen.

• Ineffizienz der Token-Verarbeitung: LVLMs wandeln Bilder in Tausende von Tokens um, die dann in einem Large Language Model (LLM) verarbeitet werden. Da die Aufmerksamkeit (Attention) eine quadratische Komplexität von $O(n^2)$ aufweist, skaliert der Rechenaufwand exponentiell mit der Anzahl der Tokens.
• Vernachlässigung des Bildencoders: Bisherige Beschleunigungsmethoden konzentrieren sich fast ausschließlich darauf, Tokens innerhalb oder vor dem LLM zu reduzieren (Pruning oder Komprimierung). Dies ignoriert jedoch den Bildencoder (z. B. Vision Transformer), der einen erheblichen Teil der Gesamtrechenzeit verbraucht und die Hauptquelle für die Eingabetokens des LLM ist.
• Verlust von Informationen: Aggressives Entfernen von Tokens führt oft zu einem signifikanten Leistungsabfall, da wichtige visuelle Informationen verloren gehen.

2. Methodik: iLLaVA

Die Autoren schlagen iLLaVA vor, eine Methode zur ganzheitlichen Beschleunigung von LVLMs durch eine gemeinsame Optimierung des Bildencoders und des LLM. Der Ansatz basiert auf zwei Hauptinnovationen:

A. Zwei-Stage Token Merging (Zweistufiges Token-Merging)

Im Gegensatz zu früheren Ansätzen, die nur das LLM optimieren, führt iLLaVA eine Reduktion der Tokens in zwei Phasen durch:

1. Im Bildencoder: Es werden Token-Merging-Module in die Zwischenlayer des Encoders (zwischen Attention-Modul und Feed-Forward-Netzwerk) eingefügt. Dies reduziert die Anzahl der visuellen Tokens bereits früh im Netzwerk.
2. Im LLM: Es werden weitere Merging-Operationen in spezifischen LLM-Blöcken durchgeführt, um die verbleibenden visuellen Tokens weiter zu komprimieren.

• Effekt: Durch die Reduktion im Encoder wird nicht nur der Encoder selbst beschleunigt, sondern auch die Eingabelast für das nachfolgende LLM drastisch verringert, was zu einer kaskadierenden Effizienzsteigerung führt.

B. Intelligente Token-Merging-Strategie mit Informationsrecycling

Um den Leistungsabfall durch das Entfernen von Tokens zu vermeiden, entwickelt iLLaVA eine Strategie, die nützliche Informationen aus „verworfenen" Tokens rettet:

• Selektion informativer Tokens: Basierend auf den Attention-Scores werden die wichtigsten Tokens (die meisten Informationen tragend) identifiziert und behalten.
• Recycling (Wiederverwertung): Anstatt die weniger wichtigen Tokens einfach zu löschen, werden sie zu repräsentativen „Recycling-Tokens" zusammengefasst.
  • Es werden Cluster von Tokens gebildet, die auf Ähnlichkeit basieren.
  • Nützliche Informationen aus den verworfenen Tokens werden durch gewichtete Summierung in diese Cluster-Tokens integriert.
  • Dies stellt sicher, dass kritische Informationen erhalten bleiben, auch wenn die Token-Anzahl stark reduziert wird.

3. Schlüsselbeiträge

• Ganzheitliche Beschleunigung: iLLaVA ist einer der ersten Ansätze, der den Bildencoder aktiv in den Beschleunigungsprozess einbezieht, anstatt sich nur auf das LLM zu beschränken.
• Neue Merging-Strategie: Die vorgeschlagene Methode zum „Recycling" von Informationen aus verworfenen Tokens verhindert den typischen Leistungsabfall bei starker Token-Reduktion.
• Training-Frei: Die Methode erfordert kein erneutes Training des Modells und kann auf bestehende State-of-the-Art-Modelle (wie Qwen2.5-VL, InternVL-2.5) angewendet werden.
• Skalierbarkeit: iLLaVA ermöglicht es, größere Modelle (z. B. 26B Parameter) effizienter und genauer laufen zu lassen als kleinere Modelle (z. B. 8B Parameter).

4. Ergebnisse

Die Methode wurde auf über 10 Bild- und Video-Verständnis-Benchmarks getestet (z. B. MMMU, MMBench, VideoMME).

• Leistungserhaltung: iLLaVA behält bei einer Reduktion von ca. 88,9 % der Bild-Tokens noch 95,2 % der ursprünglichen Genauigkeit bei. Im Vergleich dazu verlieren andere Methoden (wie PyramidDrop, SparseVLM) bei gleicher Reduktion deutlich mehr an Genauigkeit.
• Durchsatz und Latenz:
  • Durchsatz: Bis zu 2-fache Steigerung (2× Throughput).
  • Prefilling-Zeit: Bis zu 4-fache Reduktion (4× schnelleres Generieren des ersten Tokens).
  • Speichernutzung: Reduktion um den Faktor 1,59.
• Vergleich mit kleineren Modellen: Ein mit iLLaVA optimiertes InternVL-2.5 (26B) übertrifft das unoptimierte InternVL-2.5 (8B) sowohl in der Genauigkeit als auch im Durchsatz.
• Robustheit: Die Methode funktioniert konsistent über verschiedene Reduktionsraten (66,7 % bis 88,9 %) und für verschiedene Architekturen (Qwen, InternVL, MiniCPM).

5. Bedeutung und Fazit

iLLaVA adressiert eine kritische Lücke in der aktuellen Forschung zur Effizienzsteigerung von Multimodalen Modellen. Indem es die Redundanz nicht nur im LLM, sondern auch im Bildencoder nutzt, erreicht es eine end-to-end Beschleunigung, die bisherige Methoden nicht leisten konnten.

Die zentrale Erkenntnis ist, dass eine moderate Reduktion der Tokens im Encoder (ca. 40 % der Reduktion) einen großen Effizienzgewinn bei minimalem Genauigkeitsverlust bringt, während eine zu aggressive Reduktion die feinräumlichen Informationen zerstört. Durch das intelligente „Recycling" von Informationen ermöglicht iLLaVA den praktischen Einsatz großer LVLMs in Echtzeitanwendungen, die bisher aufgrund von Latenz und Speicherverbrauch nicht möglich waren. Die Arbeit zeigt, dass „ein Bild weniger als 1/3 der Eingabetokens wert ist", wenn die Redundanz intelligent verwaltet wird.