🤖 AI

Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines

Die Arbeit schlägt einen sequenziellen Eingabekompressionsmechanismus vor, der durch strukturbewusste Komprimierung des Key-Value-Caches während der Prefill-Phase den Spitzen-Speicherbedarf multimodaler Large-Language-Modelle reduziert, ohne die Generierungsleistung signifikant zu beeinträchtigen.

Ursprüngliche Autoren: Junwan Kim, Hyunkyung Bae

Veröffentlicht 2026-04-21

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junwan Kim, Hyunkyung Bae

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein genialer Detektiv (das ist dein KI-Modell), der gerade einen riesigen Fall lösen muss. Dieser Fall besteht aus Tausenden von Fotos und Stunden an Videomaterial.

Das Problem ist: Dein Gehirn (der Arbeitsspeicher des Computers) ist begrenzt. Wenn du versuchst, alle Fotos und Videoframes auf einmal auf deinen Schreibtisch zu legen, um sie zu analysieren, wird der Tisch sofort überladen. Die Stühle kippen um, und der Fall kann nicht gelöst werden. Das nennt man im Fachjargon einen „Speicherüberlauf" (Out-of-Memory).

Bisherige Methoden waren so: „Wir legen erst alles auf den Tisch, schauen uns alles an, und wenn der Tisch zu voll ist, werfen wir dann schnell ein paar Dinge weg." Das Problem dabei ist, dass der Tisch in dem Moment, in dem du alles auflegst, schon explodiert ist, bevor du überhaupt anfangen kannst zu denken.

Diese neue Arbeit schlägt einen cleveren Trick vor:

Stell dir vor, dein Schreibtisch hat eine feste Größe (ein „Budget"). Anstatt alles auf einmal auf den Tisch zu legen, bringst du die Fotos in kleinen Stapeln (Blöcken) herein.

Der Stapel-Prinzip: Du nimmst einen Stapel Fotos, legst sie auf den Tisch und analysierst sie sofort.
Der Wächter: Sobald der Stapel zu groß wird, schaut ein cleverer Assistent (die neue Software) sofort hin. Er fragt: „Welche dieser Fotos sind für den aktuellen Fall wirklich wichtig? Und welche sind nur Hintergrundrauschen?"
Das Entfernen: Er wirft die unwichtigen Fotos sofort wieder weg, bevor du den nächsten Stapel holst. So bleibt der Tisch immer voll, aber nie überladen.

Die zwei Arten des Assistenten

Die Forscher haben zwei verschiedene Strategien für diesen Assistenten entwickelt:

Der „Fragen-orientierte" Assistent (Query-Aware):
Wenn du dem Detektiv eine spezifische Frage stellst (z. B. „Wo ist der rote Ball?"), kann der Assistent sofort erkennen, welche Fotos den Ball zeigen. Er behält nur diese und wirft den Rest des Bildes weg. Das ist sehr effizient, wenn man weiß, wonach man sucht.
Der „Struktur-orientierte" Assistent (Query-Agnostic):
Manchmal hast du noch keine Frage, oder es geht um ein langes Video, bei dem sich Szenen wiederholen. Dann schaut der Assistent auf die Struktur: „Diese 10 Bilder sehen alle fast gleich aus (z. B. ein blauer Himmel). Ich behalte nur eines davon und werfe die anderen weg, weil sie redundant sind." So spart er Platz, ohne eine spezifische Frage zu brauchen.

Warum ist das so wichtig?

Keine Explosion mehr: Früher musste der Computer warten, bis alles geladen war, und dann kollabierte er. Jetzt bleibt die Auslastung des Speichers konstant niedrig, egal ob du 10 Bilder oder 10.000 Bilder hast.
Qualität bleibt erhalten: Das Tolle ist, dass der Detektiv trotzdem die hochauflösenden Details sieht. Es wird nicht einfach die Bildqualität heruntergefahren (wie wenn man ein 4K-Foto auf ein kleines Handybild verkleinern würde). Stattdessen werden nur die doppelten Informationen entfernt.
Der Preis: Der einzige Nachteil ist, dass es ein bisschen länger dauert, bis der erste Gedanke kommt (die Latenz), weil man die Bilder stapelweise verarbeitet und nicht alles auf einmal. Aber das ist ein fairer Tausch: Lieber etwas langsamer, aber überhaupt lösbar, als gar nicht lösbar.

Zusammengefasst:
Die Forscher haben eine Methode entwickelt, die KI-Modelle wie einen klugen Bibliothekar behandelt, der Bücher nicht alle auf einmal auf den Boden wirft, sondern sie in kleinen, überschaubaren Gruppen sortiert und sofort die doppelten Exemplare aussortiert. Dadurch können wir riesige Mengen an Bildern und Videos analysieren, ohne dass der Computer an Speicherplatz scheitert.

1. Problemstellung

Moderne Multimodale Large Language Models (MLLMs) skalieren zunehmend auf hochauflösende Bilder und lange Videosequenzen, um komplexe visuell-textuelle Schlussfolgerungen zu ermöglichen. Diese Skalierbarkeit führt jedoch zu einem massiven Speicherbedarf während der Inferenz, insbesondere durch das Wachstum des Key-Value (KV) Caches.

Der Engpass: Während herkömmliche Transformer-Modelle den KV-Cache nutzen, um die Dekodierungskomplexität von $O(N^2)$ auf $O(N)$ zu senken, wächst der Cache linear mit der Anzahl der Tokens. Bei MLLMs explodiert die Anzahl der Tokens bereits vor der eigentlichen Generierung (Prefill-Phase), da hochauflösende Bilder in viele visuelle Tokens zerlegt werden (z. B. erzeugt ein 4K-Bild über 42.000 Tokens).
Das spezifische Problem: Der Prefill-Schritt (die Verarbeitung des gesamten Eingabe-Präfixes) stellt den Punkt des Peak Memory Usage (Spitzen-Speicherverbrauchs) dar. Bestehende Komprimierungsmethoden für KV-Caches arbeiten meist erst nach Abschluss der Prefill-Phase („first process, then compress"). Dadurch bleibt der Spitzenverbrauch während der Eingabeverarbeitung ungelöst, was bei großen Eingaben häufig zu „Out-of-Memory" (OOM) Fehlern führt.
Limitationen bestehender Ansätze: Token-Pruning-Methoden, die Eingabetokens verwerfen, ignorieren oft die heterogene Rolle von Tokens in verschiedenen Schichten und Attention-Heads und können strukturell wichtige Informationen entfernen.

2. Methodik

Die Autoren schlagen ein prefill-bewusstes, struktur-bewusstes KV-Cache-Komprimierungsframework vor, das den Speicherbedarf während der gesamten Eingabeverarbeitung durch ein festes Budget begrenzt.

Kernkonzept: Blockweises Prefill mit KV-Eviction

Anstatt den gesamten KV-Cache erst vollständig aufzubauen und dann zu komprimieren, wird die Eingabesequenz in Blöcke unterteilt, die sequenziell verarbeitet werden.

Algorithmus: Nach der Kodierung jedes Blocks werden die neuen Key-Value-Paare zum Cache hinzugefügt.
Budgetierung: Sobald der Cache das festgelegte Speicherbudget $M$ überschreitet, wird sofort eine Eviction (Verwerfung) durchgeführt, um den Cache wieder auf das Budget zu reduzieren.
Struktur-Awareness: Da visuelle Eingaben (Bilder/Videos) starke strukturelle Regularitäten aufweisen (räumliche Kohärenz bei Bildern, zeitliche Redundanz bei Videos), werden die Blockgrenzen an diese Strukturen angepasst, um semantisch sinnvolle Granularität zu gewährleisten.

Evictions-Strategien

Es werden zwei Strategien zur Auswahl der zu verwerfenden Tokens implementiert:

Query-Aware Eviction (SnapKV-basiert):
- Für Single-Turn-Szenarien.
- Nutzt die Text-Prompt als „Proxy-Query", um die Wichtigkeit der gespeicherten Keys über Cross-Attention zu berechnen.
- Tokens mit geringer Wichtigkeit für die aktuelle Frage werden frühzeitig verworfen, während visuell saliente Regionen erhalten bleiben.
Query-Agnostic Eviction (KeyDiff-basiert):
- Für Multi-Turn-Szenarien oder wenn keine Query-Signale verfügbar sind.
- Basiert auf der Erhaltung der repräsentativen Vielfalt.
- Es werden Keys bevorzugt, die stark vom Durchschnittsvektor (Anker) abweichen (Outlier-Erkennung). Dies vermeidet $O(N^2)$ Vergleiche und bewahrt seltene visuelle Merkmale ohne Query-Information.

3. Wichtige Beiträge

Shift im Paradigma: Wechsel von „Komprimierung nach dem Prefill" zu „Komprimierung während des Prefills". Dies verhindert den Peak-Speicheranstieg fundamental.
Feste Speichergrenze: Das Framework erzwingt ein konstantes KV-Cache-Budget während der gesamten Eingabeverarbeitung, was OOM-Fehler bei hochauflösenden Eingaben verhindert.
Strukturelle Ausrichtung: Die Methode nutzt die inhärente Struktur visueller Daten (räumliche/zeitliche Blöcke), um die Komprimierung robuster zu gestalten als rein zufälliges oder rein datengetriebenes Pruning.
Flexibilität: Unterstützung sowohl von query-abhängigen als auch query-unabhängigen Szenarien, was die Anwendbarkeit auf verschiedene Interaktionsmuster erweitert.

4. Ergebnisse

Die Experimente wurden mit den Modellen InternVL3.5-8B/14B und Qwen2.5-VL-7B/32B auf Benchmarks wie ImageNeedleInHaystack, V*, MLVU und Video-MME durchgeführt.

Speichereffizienz: Die Methode reduziert den Peak-Speicherbedarf drastisch (bis zu 90% Komprimierung), während der Baseline-Ansatz bei steigender Anzahl an Bild-Tiles (z. B. >36 Tiles) in OOM-Fehler läuft. Der Peak-Speicher bleibt bei der neuen Methode nahezu konstant, unabhängig von der Eingabegröße.
Leistungsstabilität: Trotz aggressiver Komprimierung (Budget von 1024 Tokens) bleibt die Genauigkeit stabil.
- Bei InternVL3.5-8B betrug der Genauigkeitsverlust im Durchschnitt nur 0,78 Punkte bei einem Budget von 1024.
- Interessanterweise zeigte sich bei Video-Aufgaben (MLVU, Video-MME) bei bestimmten Budgets eine nicht-monotone Verbesserung, da redundante temporale Informationen unterdrückt wurden.
Skalierbarkeit: Die Methode funktioniert robust über verschiedene Modellgrößen (bis zu 32B Parameter) hinweg.
Trade-offs:
- Latenz: Durch die sequenzielle Blockverarbeitung steigt die Inferenz-Latenz (Time-to-First-Token) leicht an. Dies kann jedoch durch hybride Strategien (Bulk Forward für den ersten Teil, dann Block-Processing) gemildert werden.
- Blockgröße: Die Leistung hängt stark von der Ausrichtung der Blockgröße an der nativen Visual-Tokenisierung des Modells ab (z. B. 784 Tokens für Qwen2.5-VL-7B), was die Bedeutung struktureller Ausrichtung unterstreicht.

5. Bedeutung und Fazit

Dieses Paper adressiert eine kritische Hürde für den praktischen Einsatz von MLLMs: den Speicherbedarf bei hochauflösenden visuellen Eingaben.

Praktische Relevanz: Die Methode ermöglicht die Inferenz von MLLMs auf Hardware mit begrenztem VRAM (z. B. einzelne Consumer-GPUs), wo bisher nur kleine Eingaben möglich waren.
Systemdesign: Sie zeigt auf, dass Speichereffizienz nicht nur von der finalen Cache-Größe abhängt, sondern maßgeblich davon, wie der visuelle Kontext während des Prefills verarbeitet wird.
Zukunftsperspektive: Die Arbeit legt den Grundstein für skalierbare, speichereffiziente Multimodal-Inferenz und deutet darauf hin, dass zukünftige Modelle explizit für solche Prefill-Komprimierungsstrategien trainiert werden könnten, um die Robustheit weiter zu erhöhen.

Zusammenfassend bietet der vorgeschlagene Ansatz einen Weg, um die „Vision Token Explosion" zu beherrschen, ohne dabei die Qualität der generativen Leistung signifikant zu beeinträchtigen.