💻 computer science

Head-Aware Key-Value Compression for Efficient Autoregressive Image Generation

Dieser Artikel schlägt HeadKV vor, ein neuartiges Framework für die autoregressive Bildgenerierung, das die Speichereffizienz und den Durchsatz verbessert, indem es den Attention-Heads basierend auf ihren unterschiedlichen lokalen oder globalen Aufmerksamkeitsmustern dynamisch variable Key-Value-Cache-Budgets zuweist, die frühzeitig identifiziert und während des gesamten Generierungsprozesses wiederverwendet werden, ohne dass zusätzliches Training erforderlich ist.

Ursprüngliche Autoren: Guotao Liang, Baoquan Zhang, Zhiyuan Wen, Yunming Ye

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guotao Liang, Baoquan Zhang, Zhiyuan Wen, Yunming Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Wandgemälde zu malen, aber Sie haben nur einen sehr kleinen Schreibtisch, auf dem Sie arbeiten können. Jedes Mal, wenn Sie einen neuen Pinselstrich hinzufügen, müssen Sie eine Referenz jedes einzelnen vorherigen Strichs aufbewahren, den Sie gemacht haben, damit Sie den Kontext des Bildes nicht verlieren. Irgendwann ist Ihr Schreibtisch so mit diesen Referenzen überfüllt, dass Sie Ihre Hände nicht mehr bewegen können, und das Malen verlangsamt sich bis zum Stillstand.

Genau das passiert bei der autoregressiven Bildgenerierung. Diese KI-Modelle erstellen Bilder ein winziges Stück (Token) nach dem anderen. Um sicherzustellen, dass das neue Stück zu den alten passt, muss der Computer jedes einzelne bereits generierte Stück merken (cachen). Für hochauflösende Bilder wird dieser „Gedächtnisschreibtisch" riesig, frisst alle Ressourcen des Computers auf und macht die Generierung schmerzhaft langsam.

Der alte Weg: Ein Modell passt für alle

Früher versuchten Forscher, den Schreibtisch zu räumen, indem sie einige alte Referenzen wegwarfen. Aber sie machten dies auf die gleiche Weise für jeden Teil des Malprozesses. Sie gingen davon aus, dass jede „Gehirnzelle" (Attention Head) in der KI die gleiche Menge an Geschichte benötigte.

Die Autoren des Papers erkannten, dass dies so ist, als würde man jemandem eine Karte der ganzen Stadt geben, der nur die nächste Straßenecke kennen muss, während man jemandem, der versucht, das ganze Land zu navigieren, ein winziges Straßenschild gibt. Das ist ineffizient.

Die neue Entdeckung: Zwei Arten von „Gehirnzellen"

Indem die Autoren genau untersuchten, wie diese KI-Modelle denken, stellten sie fest, dass die „Gehirnzellen" der KI tatsächlich in zwei unterschiedliche Persönlichkeitstypen fallen:

Die „lokalen" Nachbarn: Einige Gehirnzellen interessieren sich nur für das, was direkt neben ihnen passiert. Sie sind wie eine Person, die einen einzelnen Ziegel in einer Mauer betrachtet; sie müssen nur die Ziegel sehen, die ihn unmittelbar berühren, um ihre Arbeit zu erledigen.
Die „globalen" Architekten: Andere Gehirnzellen interessieren sich für das große Ganze. Sie sind wie ein Architekt, der das ganze Gebäude betrachtet; sie müssen Details von der anderen Seite des Raums im Gedächtnis behalten, um sicherzustellen, dass das Dach nicht einstürzt.

Die Lösung: HeadKV (Der intelligente Schreibtischmanager)

Die Autoren entwickelten ein neues System namens HeadKV. Anstatt alle Gehirnzellen gleich zu behandeln, agiert HeadKV wie ein intelligenter Schreibtischmanager, der je nach Tätigkeit unterschiedlich viel Platz zuweist:

Für die „lokalen" Nachbarn: HeadKV sagt: „Sie müssen nur die letzten paar Dinge sehen." Es hält ein winziges, gleitendes Fenster der jüngsten Geschichte und wirft den Rest sofort weg. Das spart eine enorme Menge an Platz.
Für die „globalen" Architekten: HeadKV sagt: „Sie müssen das große Ganze im Gedächtnis behalten." Es behält eine größere Geschichte bei, verwendet jedoch einen speziellen Trick namens Stratified Token Eviction (gestaffelte Token-Eviction).

Der Trick der „Stratified Token Eviction":
Stellen Sie sich vor, Sie räumen ein Bücherregal auf. Wenn Sie einfach die „wichtigsten" Bücher auswählen, werfen Sie möglicherweise versehentlich alle Bücher aus den 1990er-Jahren weg, weil die Bücher aus den 2020er-Jahren lauter und beliebter sind. Aber Sie brauchen die Bücher aus den 1990er-Jahren immer noch für den Kontext!

HeadKV teilt die Geschichte in zwei Stapel auf: „In der Nähe" und „Weit entfernt". Es stellt sicher, dass einige wichtige Bücher aus beiden Stapeln erhalten bleiben. Dies stellt sicher, dass die KI die fernen, entscheidenden Details (wie die Form eines ganzen Vogels oder die Farbe des Himmels) nicht vergisst, nur weil sie sich auf die unmittelbaren Details (wie die Textur einer Feder) konzentriert.

Wie sie das ohne Training schaffen

Normalerweise erfordert es Jahre zusätzlichen Trainings, einem Computer beizubringen, welche Gehirnzelle welche ist. HeadKV ist schlau: Es klärt dies im laufenden Betrieb.

Stellen Sie es sich wie das Kennenlernen einer neuen Person vor. Sie müssen nicht die ganze Lebensgeschichte dieser Person kennen, um zu wissen, ob sie ein „lokaler" oder „globaler" Denker ist. Sie beobachten sie einfach die ersten paar Minuten. Wenn sie nur über das sprechen, was gerade passiert, sind sie ein „lokaler" Denker. Wenn sie beginnen, Dinge aus der Ferne zu erwähnen, sind sie „global".

HeadKV beobachtet die KI für einen winzigen Moment am Anfang der Bildgenerierung, entscheidet, welche Gehirnzellen welche sind, und wendet dann die richtigen Speicherregeln für den Rest des Prozesses an. Es erfordert kein zusätzliches Training und funktioniert bei jedem Bild, das die KI zu erstellen versucht.

Das Ergebnis

Durch die Anwendung dieses „intelligenten Schreibtisch"-Ansatzes zeigten die Autoren, dass sie:

Die Speichernutzung reduzieren konnten: Sie konnten nur noch 1/4, 1/6 oder sogar 1/8 des ursprünglich benötigten Speichers behalten.
Die Geschwindigkeit erhöhten: Die KI generiert Bilder viel schneller, weil sie nicht in unnötigen Daten ertrinkt.
Die Qualität beibehielten: Die Bilder sehen immer noch genauso gut aus wie die, die mit dem vollen, überfüllten Speicher erstellt wurden.

Kurz gesagt: HeadKV verhindert, dass die KI nutzlose Informationen hortet, und ermöglicht ihr, schneller und mit weniger Aufwand schöne Bilder zu malen.

Technische Zusammenfassung: Head-Aware Key-Value-Komprimierung für effiziente autoregressive Bildgenerierung

Problemstellung

Autoregressive (AR) Modelle zur visuellen Generierung, die Bilder als Sequenzen visueller Tokens darstellen, haben durch Skalierung der Modellgröße und der Tokenanzahl hochauflösende und fotorealistische Ergebnisse erzielt. Diese Skalierung führt jedoch aufgrund des während der autoregressiven Dekodierung erforderlichen Key-Value (KV)-Caches zu erheblichem Speicher-Overhead und einer geringen Inferenz-Durchsatzrate. Während neuere Arbeiten im Bereich der Verarbeitung natürlicher Sprache (NLP) KV-Cache-Management (z. B. Tokenauswahl, Verwerfung und Quantisierung) untersucht haben, ist die direkte Anwendung dieser Techniken auf den visuellen Bereich aufgrund der inhärenten räumlichen Struktur von Bildern herausfordernd.

Bestehende, spezifisch für visuelle Anwendungen entwickelte Methoden wie LineAR versuchen, die Cache-Nutzung zu reduzieren, indem sie nur eine Teilmenge von Tokens basierend auf der Beobachtung beibehalten, dass Tokens primär räumlich benachbarte Nachbarn beachten. Diese Ansätze weisen jedoch jedem Attention-Head ein festes, einheitliches Budget zu. Diese Strategie ignoriert die Heterogenität zwischen den Attention-Heads und führt zu einer suboptimalen Speicherallokation. Konkret konzentrieren sich einige Heads auf lokale Nachbarschaften (was kleine Budgets erfordert), während andere langreichweitige Abhängigkeiten wie Objektstrukturen und Hintergrundbereiche erfassen (was größere Budgets erfordert). Eine einheitliche Allokation kann sich nicht an diese unterschiedlichen Muster anpassen, was entweder zu verschwendetem Speicher oder zu einer verschlechterten Generierungsqualität führt.

Methodik: HeadKV

Die Autoren schlagen HeadKV vor, ein neuartiges, trainingsfreies Framework, das eine head-spezifische KV-Cache-Komprimierung durchführt. Die zentrale Erkenntnis besteht darin, dass Attention-Heads in AR-Modellen zur Bildgenerierung zwei unterschiedliche Muster aufweisen – Lokal und Global – und dass das Verhalten eines Heads über die Tokenpositionen hinweg innerhalb derselben Schicht für einen gegebenen Input konsistent ist.

Die HeadKV-Pipeline besteht aus drei Schlüsselschritten:

Cache-Vorbelegung (Cache Prefilling): Das Modell kodiert konditionale Eingaben und generiert eine initiale Sequenz visueller Tokens ohne Komprimierung. In diesem Stadium wird ausreichend Kontext akkumuliert, um attention-spezifische Verteilungen pro Head zu schätzen.
Head-Gruppierung (Klassifizierung): Sobald der Cache eine vordefinierte Länge erreicht, klassifiziert das Framework jeden Attention-Head mittels eines schwellenwertbasierten Kriteriums zur Attention-Akkumulation als entweder „Lokal" oder „Global".
- Für jeden Head werden Attention-Werte rückwärts von der aktuellen Tokenposition akkumuliert, bis ein Schwellenwert ( $\tau = 0,9$ ) erreicht ist.
- Ist die Anzahl der Tokens, die benötigt wird, um den Schwellenwert zu erreichen, kleiner als eine vordefinierte lokale Fenstergröße, wird der Head als Lokal klassifiziert. Andernfalls wird er als Global klassifiziert.
- Diese Klassifizierung erfolgt einmalig im frühen Generierungsstadium und wird für den gesamten Dekodierungsprozess wiederverwendet; es sind keine zusätzlichen Trainingsdaten oder datensatzspezifischen Statistiken erforderlich.
Head-spezifische Cache-Komprimierung: Je nach Head-Typ werden unterschiedliche Komprimierungsstrategien angewendet:
- Lokale Heads: Diese Heads beachten primär den nahen Kontext. Das Framework weist ein kompaktes Budget zu und behält nur die jüngsten Tokens mittels eines Schiebefenster-Mechanismus (sliding-window mechanism). Historische Tokens werden vollständig weggelassen.
- Globale Heads: Diese Heads erfassen langreichweitige Abhängigkeiten. Um informative entfernte Tokens zu erhalten, ohne ein lineares Speicherwachstum zu verursachen, entwerfen die Autoren eine Stratifizierte Token-Verwerfungsstrategie (Stratified Token Eviction, STE).
  - Stratifizierte Token-Verwerfung: Kandidaten für historische Tokens werden basierend auf ihrer Distanz zur aktuellen Position in zwei disjunkte Teilmengen unterteilt: Nahbereichs- und Langreichweit-Tokens.
  - Wichtigkeitswerte werden für jede Teilmenge unabhängig unter Verwendung vergangener Query-Features berechnet.
  - Tokens mit den niedrigsten Werten werden aus jeder Teilmenge verworfen (z. B. $M/2$ aus dem Nahbereich und $M/2$ aus dem Langreichweitbereich). Dies verhindert, dass lokal dominante Tokens semantisch relevante entfernte Tokens überlagern, und gewährleistet eine ausgewogene Erhaltung sowohl lokaler Details als auch der globalen Struktur.

Hauptbeiträge

Analyse der Attention-Heterogenität: Die Arbeit bietet eine tiefgehende Analyse von AR-Modellen zur Bildgenerierung, identifiziert zwei unterschiedliche Attention-Muster (Lokal und Global) und zeigt auf, dass das Verhalten von Heads über die Tokenpositionen hinweg innerhalb einer Schicht für einen festen Input invariant ist.
HeadKV-Framework: Ein neuartiges, trainingsfreies Komprimierungsframework, das asymmetrische Budgets über die Attention-Heads hinweg zuweist. Es weist lokalen Heads kompakte Budgets und globalen Heads größere Budgets zu, gesteuert durch einen Klassifizierungsmechanismus im frühen Stadium.
Stratifizierte Token-Verwerfung (STE): Eine spezifische Strategie für globale Heads, die Tokens nach Distanz partitioniert, um die Erhaltung informativer langreichweitiger Abhängigkeiten sicherzustellen. Dies adressiert die Einschränkung herkömmlicher Wichtigkeitsbewertungsmethoden, die oft lokale Tokens bevorzugen.
Empirische Validierung: Umfangreiche Experimente zeigen, dass HeadKV den KV-Cache-Speicherbedarf erheblich reduziert und die Inferenz-Durchsatzrate über mehrere Modelle hinweg (Janus-Pro, Lumina-mGPT, LlamaGen-XL) verbessert, während gleichzeitig eine hohe Bildqualität beibehalten wird.

Ergebnisse

Die Autoren bewerteten HeadKV auf vier autoregressiven Backbones zur Bildgenerierung: Janus-Pro-1B, Janus-Pro-7B, Lumina-mGPT-768 und LlamaGen-XL.

Bildqualität: HeadKV erzielt auf Benchmarks wie GenEval und DPG eine Leistung, die mit der des Full-Cache-Baselines vergleichbar ist. Beispielsweise behält HeadKV auf Janus-Pro-7B bei einem Kompressionsverhältnis ( $\rho$ ) von 1/8 einen GenEval-Score von 0,99 (vs. 0,99 für Full) und einen DPG-Score von 83,78 (vs. 84,20 für Full) bei.
Vergleich mit LineAR: Im Vergleich zur einheitlichen Allokationsmethode LineAR zeigt HeadKV bei steigenden Kompressionsverhältnissen (z. B. bei $\rho=1/8$ ) eine geringere Leistungsverschlechterung. Auf LlamaGen-XL erzielt HeadKV unter extremen Kompressionsbedingungen einen besseren FID-50K-Score (2,75) als LineAR (2,95).
Effizienz: HeadKV reduziert den Speicherverbrauch erheblich und verbessert die Durchsatzrate.
- Auf LlamaGen-XL ( $\rho=1/6$ ) reduziert HeadKV den Speicherbedarf um 63,60 % und erzielt im Vergleich zur Vollkonfiguration eine 3,00-fache Beschleunigung, was LineAR (2,93-fach) übertrifft.
- Auf Janus-Pro-7B ( $\rho=1/6$ ) wird eine 3,68-fache Beschleunigung bei einer Speichereinsparung von 52,08 % erreicht.
- Auf Lumina-mGPT-768 ist die Latenz aufgrund von Implementierungsaufwänden bei der Gruppierung zwar leicht höher als bei LineAR, dennoch wird eine 1,35-fache Beschleunigung bei erheblichen Speichereinsparungen erreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass HeadKV eine praktische Lösung für den Speicherengpass in der autoregressiven Bildgenerierung bietet, ohne dass zusätzliches Training oder externe Überwachung erforderlich sind. Durch die Anerkennung und Ausnutzung der inhärenten Heterogenität von Attention-Heads geht die Methode über die „Einheitslösung" (one-size-fits-all) der Cache-Allokation früherer Arbeiten hinaus.

Die Autoren betonen, dass ihr Ansatz aufgrund der Abhängigkeit von intrinsischen Attention-Mustern, die in den frühen Generierungsstadien beobachtet werden, auf verschiedene Eingaben und Modellarchitekturen übertragbar ist. Die Stratifizierte Token-Verwerfungsstrategie wird als kritische Komponente für die Aufrechterhaltung der Qualität generierter Bilder unter engen Speicherbudgets hervorgehoben, insbesondere durch die Erhaltung langreichweitiger struktureller Informationen, die bei standardmäßigen Verwerfungsmethoden häufig verloren gehen. Die Arbeit legt nahe, dass eine adaptive, head-spezifische Ressourcenallokation ein effizienteres Paradigma für die visuelle Generierung darstellt als eine einheitliche Tokenbeibehaltung.