💻 computer science

HeatKV: Head-tuned KV-cache Compression for Visual Autoregressive Modeling

HeatKV ist eine neuartige KV-Cache-Kompressionsmethode für visuelle autoregressive Modelle, die einen kopfangepassten, statischen Beschneidungsplan auf Basis einer Offline-Aufmerksamkeitsrangfolge einsetzt, um eine um den Faktor 2 höhere Speicherkompressionsrate zu erreichen, während die Bildgenerierungsqualität erhalten bleibt oder verbessert wird.

Ursprüngliche Autoren: Jonathan Cederlund, Axel Berg, Durmus Alp Emre Acar, Chuteng Zhou, Pontus Giselsson

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jonathan Cederlund, Axel Berg, Durmus Alp Emre Acar, Chuteng Zhou, Pontus Giselsson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Meisterwerk zu malen, arbeiten aber in einem winzigen Raum mit sehr begrenztem Regalplatz. Während Sie malen, müssen Sie immer wieder auf Ihre früheren Pinselstriche zurückblicken, um sicherzustellen, dass die neuen perfekt passen. In der Welt der KI-Bildgenerierung werden diese „früheren Pinselstriche" als KV-Caches (Key-Value-Caches) bezeichnet. Sie sind das Kurzzeitgedächtnis der KI für das, was sie bereits generiert hat.

Das Problem ist, dass für moderne KI-Modelle (speziell Visual Autoregressive oder VAR-Modelle) dieses Gedächtnis unglaublich schnell wächst. Die Generierung eines einzigen hochwertigen Bildes kann ein Regal erfordern, das so riesig ist (Gigabyte an Speicher), dass es die KI zwingt, auf teurer, spezialisierter Hardware zu laufen, was die Anzahl der Personen, die sie gleichzeitig nutzen können, begrenzt.

Da kommt HeatKV ins Spiel, eine neue Methode, die von Forschern der Lund University und von Arm entwickelt wurde. Betrachten Sie HeatKV als einen intelligenten, platzsparenden Organizer für das Speicherregal dieser KI.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Das „Einheits-Regal"

Frühere Methoden versuchten, Platz zu sparen, indem sie alle Teile des KI-Gehirns gleich behandelten. Stellen Sie sich einen Bibliothekar vor, der entscheidet: „Okay, wir haben nur Platz für 50 % der Bücher, also werfen wir die Hälfte der Bücher aus jedem Bereich der Bibliothek weg."

Das Problem: Das ist verschwenderisch. Manche Bereiche (wie der Bereich „Geschichte") werden vielleicht selten genutzt, während andere (wie „Kochen") ständig nachgefragt werden. Wenn Sie 50 % der „Koch"-Bücher wegwerfen, beeinträchtigt das die Funktionsfähigkeit der Bibliothek, selbst wenn Sie Platz sparen.

2. Die Lösung: HeatKVs „personalisierte" Organisation

HeatKV ändert die Regeln. Anstatt jeden Bereich der Bibliothek gleich zu behandeln, betrachtet es genau, welche Bücher am häufigsten gelesen werden, und behält diese im Regal, während es die wegwirft, die niemand berührt.

Das Konzept der „Köpfe": Das KI-Modell hat viele „Aufmerksamkeitsköpfe" (denken Sie an sie als verschiedene spezialisierte Bibliothekare). Manche Bibliothekare kümmern sich intensiv um die frühen Stadien des Gemäldes (die grobe Skizze), während andere sich um die finalen Details kümmern.
Das Konzept der „Skalierung": VAR-Modelle bauen Bilder in Schichten auf, beginnend klein und werdend größer (wie beim Hineinzoomen).
Die HeatKV-Magie: HeatKV analysiert, wie sehr jeder Bibliothekar sich für jede spezifische Schicht des Gemäldes interessiert. Es erstellt ein individuelles „Speicherbudget" für jeden einzelnen Bibliothekar.
- Bibliothekar A muss vielleicht die ersten 3 Schichten im Gedächtnis behalten, kann aber die 4. vergessen.
- Bibliothekar B muss vielleicht die 2. und 5. Schicht behalten, kann aber den Rest vergessen.

3. Wie es entscheidet, was weggeworfen wird

Bevor die KI beginnt, ein Bild für einen Benutzer zu generieren, führt HeatKV eine schnelle „Probe" mit einem kleinen Satz von Übungsbildern durch (eine sogenannte Kalibrierungsmenge).

Es beobachtet, wie die Bibliothekare die verschiedenen Schichten beachten.
Es ordnet sie: „Diese Schicht ist für diesen Bibliothekar super wichtig; diese Schicht ist langweilig."
Basierend auf dieser Rangliste erstellt es einen statischen Zeitplan (einen festen Plan) für das Behalten und Löschen, um innerhalb eines bestimmten Speicherverbrauchs zu bleiben (z. B. „Wir haben nur Platz für 10 % des gesamten Speichers").

4. Die „gierige" Aufräumaktion

Während die KI das Bild generiert, füllt sich der Speicher. HeatKV verwendet eine clevere „gierige" Strategie, um unter der Grenze zu bleiben:

Es wartet nicht, bis das Regal voll ist, um mit dem Aufräumen zu beginnen.
Es prüft ständig: „Wenn wir dieses neue Speicherstück hinzufügen, werden wir das Budget sprengen?"
Wenn ja, entfernt es sofort das unwichtigste Speicherstück (das, um das sich der Bibliothekar am wenigsten kümmert), um Platz zu schaffen. Es tut dies so präzise, dass es nie versehentlich den Platz verliert.

Die Ergebnisse: Mehr Bilder, gleiche Qualität

Die Forscher testeten dies an einem massiven KI-Modell namens Infinity-2B.

Der alte Weg: Um ein Bild zu generieren, benötigte das Modell etwa 42 GB Speicher.
Der HeatKV-Weg: Es erzielte die gleichen hochwertigen Ergebnisse mit nur 2,1 GB Speicher.
Der Gewinn: Dies ist eine 20-fache Komprimierung. Es gelang ihnen, die Speichernutzung auf 10 % (oder sogar 4 %) der ursprünglichen Größe zu drücken, ohne dass die KI vergaß, wie man gute Bilder malt. Die Bilder sahen genauso scharf aus, und die KI folgte den Anweisungen genauso gut wie die Vollspeicher-Version.

Warum das wichtig ist

Die Studie behauptet, dass HeatKV es diesen leistungsstarken Bildgeneratoren ermöglicht, auf Hardware mit viel weniger Speicher zu laufen. Das bedeutet:

Günstigere Hardware: Sie benötigen vielleicht nicht die teuersten, riesigen Server, um diese Modelle laufen zu lassen.
Mehr Benutzer: Ein einzelner Server könnte viel mehr Personen gleichzeitig bedienen, die Bilder generieren, da jede Person weniger „Regalplatz" benötigt.

Kurz gesagt: HeatKV ist wie ein Meister-Organizer, der genau weiß, welche Erinnerungen lebenswichtig sind und welche losgelassen werden können, wodurch die KI in einem viel kleineren Raum wunderschöne Bilder malen kann.

Technische Zusammenfassung: HeatKV – Head-tuned KV-Cache-Kompression für visuelle autoregressive Modellierung

Problemstellung

Visuelle autoregressive (VAR) Modelle haben sich als konkurrenzfähige Alternative zu Diffusionsmodellen für die Bildgenerierung etabliert und bieten schnelle Inferenzgeschwindigkeiten sowie günstige Skalierungseigenschaften, indem sie Bilder als Sequenz von Multi-Scale-Token-Karten generieren. Diese Modelle stoßen jedoch aufgrund der Natur ihres KV-Caches auf starke Speicherbeschränkungen. Im Gegensatz zu Large Language Models (LLMs), die typischerweise pro Schritt ein Token generieren, erzeugen VAR-Modelle gesamte Token-Karten mit zunehmenden Auflösungen. Folglich wächst die Anzahl der Tokens im KV-Cache superlinear mit dem Generierungsskalenmaßstab.

State-of-the-Art-VAR-Modelle wie Infinity-2B und Infinity-8B können bis zu 10 GB KV-Cache-Speicher benötigen, um ein einzelnes 1024 × 1024-Bild zu generieren. Dieser hohe Speicherbedarf begrenzt die maximale Batch-Größe und die Anzahl gleichzeitiger Benutzer, die ein Dienstleister auf spezialisierten Hardware-Beschleunigern unterstützen kann. Bestehende Kompressionsmethoden für VARs, wie ScaleKV und HACK, verlassen sich oft auf grobgranulare Strategien, etwa die Klassifizierung von Attention-Heads oder -Schichten in binäre Kategorien (z. B. „High-Budget" vs. „Low-Budget"). Die Autoren argumentieren, dass diese binären Klassifizierungen zu restriktiv sind, da Attention-Muster innerhalb derselben Schicht zwischen verschiedenen Heads oft erheblich variieren, was zu verschwendetem Speicher oder suboptimaler Pruning führt.

Methodik: HeatKV

Die Autoren schlagen HeatKV (Head-tuned KV-Cache-Kompression) vor, eine neuartige Strategie, die die Cache-Allokation auf der Granularität einzelner Attention-Heads und spezifischer Bildskalen anpasst. Die Methode besteht aus drei Hauptkomponenten:

1. Head-Scale-Wichtigkeit (Offline-Kalibrierung)

Im Gegensatz zu früheren Methoden, die varianzbewusste Metriken verwenden, stuft HeatKV Attention-Heads basierend auf ihrem Skalenabhängigen Kumulativen Attention-Score (S-CAS) ein.

Mechanismus: Mithilfe eines kleinen Offline-Kalibrierungsdatensatzes aggregiert die Methode Attention-Wahrscheinlichkeiten von Tokens zukünftiger Skalen zurück zu Tokens vorheriger Skalen.
Metrik: Für eine gegebene Schicht $\ell$ , einen Head $h$ und eine Quellskala $k$ misst der S-CAS die durchschnittliche Attention-Masse aller zukünftigen Skalen ( $\tau > k$ ) auf die Tokens der Skala $k$ .
Ergebnis: Dies erzeugt eine spezifische Rangfolge von „Head-Scale"-Paaren für jede Quellskala, die angibt, wie kritisch der Cache eines bestimmten Heads einer bestimmten vorherigen Skala für die zukünftige Token-Generierung ist. Dies ermöglicht dem System zu erkennen, dass ein bestimmter Head Scale 1 beibehalten, aber Scale 2 verwerfen muss – ein Granularitätsniveau, das binäre Methoden nicht erreichen können.

2. Budget-Allokation

HeatKV berechnet die Anzahl der Heads ( $N_k$ ), die nach der Generierung jeder Skala $k$ entfernt werden müssen, um sicherzustellen, dass die gesamte Cache-Größe innerhalb eines benutzerdefinierten Speicherbudgets $b$ bleibt.

Einschränkung: Die Methode hält sich an das „Streaming-LLM"-Prinzip, die ersten $s$ Skalen als „Attention-Senke" (essenziell für Stabilität) zu behalten und niemals die aktuell generierte Skala zu cachen.
Berechnung: Der Algorithmus bestimmt die minimale Anzahl zu entfernender Heads, um die Budgetbeschränkung zu erfüllen, und ermöglicht so eine dynamische Reduzierung des Caches im Verlauf der Generierung.

3. Optimierung der Entfernungsreihenfolge (Greedy Early Pruning)

Eine kritische Herausforderung bei VARs besteht darin, dass die Cache-Größe innerhalb eines einzelnen Generierungsschritts (über Transformer-Schichten hinweg) superlinear wächst. Standardmethoden, die nur zwischen Skalen prunen, können zu transienten Speicherüberallokationen führen, die Hardwaregrenzen überschreiten.

Lösung: HeatKV führt einen Greedy Early Pruning-Algorithmus (Algorithmus 1) ein. Er erzwingt die Budgetbeschränkung nach jeder Transformer-Schicht, nicht nur zwischen Skalen.
Strategie: Wenn die Cache-Größe nach einer bestimmten Schicht das Budget überschreitet, wählt der Algorithmus gierig zusätzliche Head-Skalen aus dieser Schicht oder früheren Schichten zur Entfernung aus. Er priorisiert das Entfernen von Heads mit niedrigeren S-CAS-Rankings und priorisiert im Falle von Gleichstand das Entfernen aus späteren Schichten oder späteren Quellskalen, um die Speicherentlastung zu maximieren.
Optimalität: Die Autoren beweisen (Proposition 1), dass dieser gierige Ansatz eine Menge mit minimaler Kardinalität frühzeitig entfernter Heads liefert, wodurch sichergestellt wird, dass das Budget niemals verletzt wird, während die Nutzung des verfügbaren Speichers maximiert wird.

Hauptbeiträge

Feingranulare Beobachtung: Die Autoren zeigen, dass Attention-Muster in VAR-Modellen zwischen verschiedenen Skalen innerhalb desselben Attention-Heads erheblich variieren, aber über verschiedene Eingabe-Prompts hinweg relativ stabil bleiben. Dies motiviert einen Wechsel von der binären Head-Klassifizierung hin zu einer kontinuierlichen, skalenabhängigen Budget-Allokation.
S-CAS-Metrik: Die Einführung des Skalenabhängigen Kumulativen Attention-Scores ermöglicht die Erstellung eines statischen Pruning-Plans, der auf ein spezifisches Speicherbudget zugeschnitten ist, sodass jeder Head nicht-essentielle Skalen verwerfen und kritische beibehalten kann.
Optimierter Pruning-Algorithmus: Die Entwicklung eines gierigen Evictions-Algorithmus, der Budgetbeschränkungen auf Schichtebene (statt nur auf Skalenebene) durchsetzt, verhindert transienten Speicherüberlauf, was für das superlineare Wachstum, das für VARs charakteristisch ist, entscheidend ist.
State-of-the-Art-Leistung: Die Methode erreicht einen neuen State-of-the-Art für die KV-Cache-Kompression von VAR-Modellen und zeigt, dass feingranulare Allokation grobgranularen Ansätzen deutlich überlegen ist.

Experimentelle Ergebnisse

Die Autoren evaluierten HeatKV an den Modellen Infinity-2B und Infinity-8B unter Verwendung des MS-COCO 2017-Validierungsdatensatzes. Sie verglichen HeatKV mit Baselines wie StreamingLLM, SnapKV, HACK und ScaleKV über Speicherbudgets von 4 %, 10 % und 20 %.

Fidelität: HeatKV schnitt bei allen Baselines konsistent besser ab. Bemerkenswert ist, dass HeatKV beim Infinity-2B-Modell bei einem 10 %-Budget bessere FID-, LPIPS- und PSNR-Werte erzielte als ScaleKV bei einem 20 %-Budget. Bei einem 4 %-Budget behielt HeatKV einen FID-Wert von 2,70 (Infinity-2B) bei, was signifikant niedriger ist als bei der nächstbesten Methode (ScaleKV bei 4,92).
Prompt-Alignment: Mittels GenEval behielt HeatKV auch bei niedrigen Budgets eine starke Prompt-Übereinstimmung bei, mit Werten, die mit der Full-Cache-Baseline vergleichbar waren.
Wahrnehmungsgüte: Ergebnisse des Human Preference Score (HPSv2.1) zeigten, dass HeatKV eine hohe wahrnehmungsgüte bewahrte und bei einem 4 %-Budget auf Infinity-2B andere Methoden übertraf.
Effizienz: HeatKV erreichte im Vergleich zu bestehenden Methoden eine 2-fach höhere Kompressionsrate bei der Speicherzuweisung, während eine ähnliche oder bessere Bildfidelität erhalten blieb. Die Methode ermöglichte zudem größere Batch-Größen und reduzierte die Generierungs-Latenz im Vergleich zur Full-Cache-Inferenz effektiv.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass HeatKV einen bedeutenden Fortschritt darstellt, um VAR-Modelle für den Einsatz auf Hardware mit begrenzter Speicherkapazität, wie Consumer-GPUs, oder für die Bedienung einer größeren Anzahl gleichzeitiger Benutzer auf bestehender Infrastruktur praktikabel zu machen.

Die Autoren betonen, dass ihre Methode keine Änderungen an der Modellarchitektur oder dem Trainingsprozess erfordert; sie stützt sich auf einen kleinen Offline-Kalibrierungsdatensatz (so wenig wie 1–10 Prompts), um einen statischen Pruning-Plan zu generieren. Die Ergebnisse deuten darauf hin, dass eine feingranulare, head-spezifische Cache-Allokation entscheidend ist, um die semantische Struktur und Generierungsqualität von VAR-Modellen unter aggressiven Speicherbeschränkungen zu bewahren und Methoden zu übertreffen, die auf groben binären Klassifizierungen von Attention-Heads oder -Schichten basieren.

Die Arbeit schließt mit der Feststellung, dass, obwohl HeatKV den Speicher optimiert, zukünftige Arbeiten untersuchen könnten, es mit anderen Optimierungstechniken zu kombinieren, wie z. B. der Ausnutzung von Attention-Sparsity oder Modellquantisierung, um die Effizienz weiter zu steigern.