🤖 AI

KVpop -- Key-Value Cache Compression with Predictive Online Pruning

KVpop adressiert den Speicherengpass beim autoregressiven Decoding durch die Einführung einer gelernten, prädiktiven Online-Pruning-Policy, die ein neuartiges Future-Attention-Target und Delayed Scoring verwendet, um hohe Kompressionsraten zu erzielen und gleichzeitig eine nahezu vollständige Attention-Leistung bei mathematischen Aufgabenstellungen beizubehalten.

Ursprüngliche Autoren: Lukas Hauzenberger, Niklas Schmidinger, Anamaria-Roberta Hartl, David Stap, Thomas Schmied, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Veröffentlicht 2026-07-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lukas Hauzenberger, Niklas Schmidinger, Anamaria-Roberta Hartl, David Stap, Thomas Schmied, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an eine sehr lange Geschichte zu erinnern, um sie Wort für Wort weiterzuschreiben. Um dies effizient zu tun, behält Ihr Gehirn (oder in diesem Fall eine Computer-KI) einen „Notizblock“ mit den wichtigsten Wörtern, die Sie bereits gesagt haben. Dieser Notizblock wird als KV-Cache bezeichnet.

Das Problem ist: Wenn die Geschichte länger wird, wird dieser Notizblock riesig. Schließlich wird er zu groß, um in Ihren Speicher zu passen, und der Computer wird extrem langsam, weil er jedes Mal, wenn er das nächste Wort sagen möchte, durch all diese Daten wühlen muss.

Der alte Weg: Die „Wegwerf“-Vermutung
Frühere Methoden versuchten, dieses Problem zu lösen, indem sie ratierten, welche Wörter man wegwerfen sollte. Einige behielten einfach die allerersten Wörter und die letzten paar Wörter. Andere schauten darauf, welche Wörter gerade jetzt die meiste Aufmerksamkeit erhielten, und warfen die „leisen“ Wörter weg.

Die Arbeit argumentiert, dass diese Methoden wie ein Bibliothekar sind, der Bücher danach entscheidet, wie staubig sie heute aussehen, ohne zu merken, dass ein staubiges Buch der Schlüssel zur Lösung eines Rätsels drei Kapitel später sein könnte. Sie werfen oft die falschen Dinge weg, was dazu führt, dass die KI verwirrt wird oder Fehler macht.

Die neue Lösung: KVpop (Der Bibliothekar mit der „Zukunftssicht“)
Die Autoren stellen ein neues System namens KVpop vor. Stellen Sie sich KVpop als einen superintelligenten Bibliothekar vor, der nicht nur sieht, welches Buch gerade aktuell ist, sondern über eine spezielle „Zukunftssicht“-Fähigkeit verfügt.

So funktioniert es, unterteilt in einfache Analogien:

1. Das „Geschützte Fenster“ (Der VIP-Bereich)

KVpop hält immer zwei Dinge sicher auf:

Die „Sink“-Token: Die allerersten Wörter der Geschichte (wie der Titel oder der Eröffnungssatz).
Das „Geschützte Fenster“: Die jüngsten Wörter, die Sie gerade eben gesagt haben.

Diese werden niemals weggeworfen. Sie sind die „VIPs“, die in der ersten Reihe bleiben.

2. Das „Zukunfts-Aufmerksamkeits“-Ziel (Die Kristallkugel)

Die wahre Magie geschieht bei den älteren Wörtern in der Mitte der Geschichte.

Alter Weg: Der Bibliothekar rät: „Dieses Wort sieht gerade langweilig aus, also werfe ich es weg.“
KVpop-Weg: Der Bibliothekar fragt sich: „Wenn ich dieses Wort behalte, wird es später nützlich sein, wenn die Geschichte einen komplexen Teil erreicht?“

Um dies zu beantworten, nutzt das System einen Trainings-Trick. Es simuliert die Zukunft. Es betrachtet ein Token (ein Wort) und fragt: „Wenn wir warten, bis dieses Wort nicht mehr im ‚Geschützten Fenster‘ ist, wie sehr wird die Geschichte es dann tatsächlich brauchen?“ Es berechnet einen Wert basierend auf diesem zukünftigen Nutzen, nicht nur auf der aktuellen Popularität.

3. Die „Verzögerte Entscheidung“ (Warten auf mehr Hinweise)

Dies ist der zweite clevere Trick.
Stellen Sie sich vor, Sie entscheiden, ob Sie ein bestimmtes Werkzeug in Ihrem Werkzeugkasten behalten wollen.

Sofortige Entscheidung: Sie schauen sich das Werkzeug in dem Moment an, in dem Sie es aufheben, und entscheiden sofort.
KVpops Verzögerte Entscheidung: Sie legen das Werkzeug in eine „Aufbewahrungszone“ (das Geschützte Fenster). Sie warten ein paar Schritte ab und beobachten, wie sich die Geschichte entfaltet. Wenn die Geschichte beginnt, dieses Werkzeug zu benutzen, behalten Sie es. Wenn die Geschichte daran vorbeizieht, ohne es zu benötigen, treffen Sie schließlich die Entscheidung, es wegzuwerfen.

Diese „Wartezeit“ ermöglicht es dem System, den Nahzukunftskontext zu erfassen. Es sammelt mehr Beweise, bevor es die endgültige Entscheidung trifft, wodurch verhindert wird, dass es versehentlich etwas Wichtiges löscht, nur weil es noch nicht gebraucht wurde.

4. Das Ergebnis: Ein kleinerer, klügerer Kasten

Durch die Nutzung dieser „Zukunftssicht“ und der „Verzögerten Entscheidung“ kann KVpop den Notizblock (den KV-Cache) um 75 % bis 88 % verkleinern.

Die Analogie: Stellen Sie sich vor, Sie haben einen Rucksack, der nur 10 Gegenstände halten kann. Anstatt ihn mit wahllosem Müll zu füllen, füllt KVpop ihn mit genau den 10 Dingen, die Sie für den Rest Ihrer Wanderung benötigen werden.
Die Leistung: Die Arbeit zeigt, dass selbst mit diesem winzigen Rucksack die KI (speziell Qwen3-Modelle) fast exakt so gut abschneidet, als hätte sie den vollen, massiven Rucksack. Sie löst komplexe mathematische Probleme (wie AIME und HMMT) mit nahezu 100 % der ursprünglichen Genauigkeit, während sie viel weniger Speicher benötigt und schneller läuft.

Zusammenfassung

KVpop ist wie ein Bibliothekar, der aufhört zu raten, welche Bücher er wegwerfen soll. Stattdessen:

Hält den Anfang und die unmittelbare Gegenwart sicher.
Nutzt eine „Kristallkugel“, um vorherzusagen, welche alten Bücher später benötigt werden.
Wartet einen Moment ab, um mehr Hinweise zu sammeln, bevor es die endgültige Entscheidung über das Löschen trifft.

Das Ergebnis ist ein System, das eine massive Bibliothek in einen kleinen Kasten passt, ohne die Fähigkeit zu verlieren, eine großartige Geschichte zu erzählen.

Technisches Resümee: KVpop — Key-Value-Cache-Kompression mit prädiktiver Online-Pruning

1. Problemstellung

Die autoregressive Dekodierung in Transformer-basierten Large Language Models (LLMs) stützt sich auf einen Key-Value (KV) Cache, um die Neuverrechnung vergangener Token-Repräsentationen zu vermeiden. Der KV-Cache wächst jedoch linear mit der Kontextlänge, was während der Inferenz bei langen Kontexten einen erheblichen Engpass für Speicher und Bandbreite darstellt.

Bestehende Lösungen zur Reduzierung dieser Kosten fallen im Allgemeinen in zwei Kategorien:

Statische/Heuristische Eviktierung: Methoden wie das Sliding Window oder die Bewahrung von Sink-Tokens (z. B. StreamingLLM) verlassen sich auf feste Regeln, während score-basierte Methoden auf Online-Proxys beruhen (z. B. kumulative Attention). Diese scheitern oft daran, die zukünftige Nützlichkeit von Tokens zu verfolgen, was zu einer brüchigen Eviktierung führt, wenn sich die Relevanz verschiebt.
Gelernte Eviktierung: Ansätze wie Dynamic Memory Compression (DMC) oder Dynamic Memory Sparsification (DMS) trainieren Policies zum Zusammenführen oder Verwerfen von Tokens. Viele dieser Methoden treffen Eviktierungsentscheidungen jedoch zum Zeitpunkt des Token-Einfügens oder verlassen sich auf differenzierbare Relaxationen, die nicht direkt die spezifische „Behalten-oder-Verwerfen“-Entscheidung basierend auf zukünftiger Nützlichkeit überwachen. Zudem verzögern Methoden mit geschützten Fenstern das Entfernen von Tokens, entscheiden aber oft bereits beim Eintritt des Tokens über dessen Schicksal und ignorieren dabei die Evidenz, die sich sammelt, während der Token im geschützten Fenster verbleibt.

Die zentrale Herausforderung besteht darin, vorherzusagen, welche Tokens für zukünftige Queries nützlich sein werden, da lokal signifikante Tokens irrelevant werden können, während Tokens mit geringer unmittelbarer Attention später kritisch werden können (z. B. in Reasoning-Traces).

2. Methodik: KVpop

KVpop (KV compression with Predictive Online Pruning) ist ein Sparse-Attention-Retrofit, das darauf ausgelegt ist, ein festes pro-Head-KV-Budget durchzusetzen, ohne die Basismodell-Architektur zu verändern. Es adressiert die Limitationen vorangegangener Arbeiten durch zwei primäre Mechanismen: Future-Attention-Supervision und Delayed Stateful Scoring.

2.1 Architektur und Budget

KVpop unterhält einen begrenzten Cache pro KV-Head, definiert durch das Budget $B = s + w + k$ :

$s$ Sink Tokens: Die ersten paar Tokens werden immer behalten.
$w$ Protected Window: Die jüngsten $w$ Tokens sind vor der Eviktierung geschützt.
$k$ Long-Range Top-K: Ältere Tokens konkurrieren um ein festes Budget von $k$ Slots basierend auf gelernten Wichtigkeits-Scores.

2.2 Future-Attention Target Supervision

Im Gegensatz zu Methoden, die Tokens basierend auf vergangener Attention oder lokalen Statistiken bewerten, nutzt KVpop die zukünftige Attention-Masse, die ein Token nach dem Verlassen des geschützten Fensters erhält, zur Supervision des Scorers.

Zieldefinition: Für einen Token $t$ ist das Ziel die aggregierte Log-Masse der Attention, die er von zukünftigen Queries (Positionen $d \ge t + w$ ) erhält.
Effiziente Berechnung: Um die $O(S^2)$ -Kosten der Materialisierung dichter Attention-Maps während des Trainings zu vermeiden, verwendet KVpop einen transponierten Attention-Pass. Durch den Tausch der Rollen von Queries und Keys und die Wiederverwendung der Log-Sum-Exp (LSE) Normalisatoren, die von Sparse-Attention-Kerneln zurückgegeben werden, berechnet das System das Future-Attention-Target effizient, ohne eine dichte Matrix zu materialisieren.
Loss-Funktion: Das Trainingsziel ist ein grenzwertbewusster paarweiser logistischer Loss. Er vergleicht den vorhergesagten Score eines neu berechtigten Tokens ( $t_{new}$ ) mit dem Score des Teacher-Cutoff-Tokens ( $t_{bnd}$ ). Der Loss treibt den Studenten dazu, $t_{new}$ relativ zur Grenze korrekt zu ranken, um sicherzustellen, dass die Top- $k$ -Selektion der Future-Utility-Rangfolge des Teachers entspricht.

2.3 Stateful Scoring mit verzögerter Entscheidung

KVpop führt einen verzögerten memory-basierten Scorer ein (implementiert via mLSTM), der die Scoring-Entscheidung aufschiebt, bis der Token die Eviktierungs-Grenze erreicht.

Mechanismus: Anstatt einen Token unmittelbar bei der Einfügung zu bewerten, aktualisiert der Scorer seinen internen Zustand mit der Repräsentation des Tokens und dem nachfolgenden Kontext. Wenn der Token das geschützte Fenster verlässt ( $q - w$ ), liest der Scorer den akkumulierten Speicher aus, um den Wichtigkeits-Score zu generieren.
Vorteil: Dies ermöglicht es dem Scorer, den „nahe-Zukunft“-Kontext (Evidenz, die sich sammelt, während der Token im geschützten Fenster ist) einzubeziehen, bevor die Behalten-oder-Verwerfen-Entscheidung getroffen wird, was die Einschränkung des Insertion-Time-Scoring adressiert.

2.4 Inferenz-Effizienz

Während der Inferenz erzwingt KVpop das feste Budget $B$ . Die Auswahl der Top- $k$ Long-Range-Tokens wird mittels eines laufenden Schwellenwerts über statische Token-Prioritäten und eines Fenwick-Baums optimiert, was es ermöglicht, die Sparse-Mask on-the-fly innerhalb des Attention-Kernels (z. B. FlexAttention) zu generieren, ohne dichte $S \times S$ Masken zu speichern.

3. Zentrale Beiträge

Supervised Eviction Policy: Die Autoren formulieren die KV-Eviktierung mit festem Budget als ein überwachtes Vorhersageproblem an der Eviktierungs-Grenze, unter Verwendung eines Future-Attention-Targets, um Long-Range Top- $k$ Entscheidungen zu trainieren.
Effiziente Target-Berechnung: Sie führen einen trainingsspezifischen transponierten Attention-Pass ein, um Future-Attention-Targets zu berechnen, ohne dichte Attention-Maps zu materialisieren, was sicherstellt, dass kein Overhead bei der Inferenz entsteht.
Delayed Scoring: Sie zeigen, dass ein stateful Scorer den Vorteil des „Nahe-Zukunft“-Kontexts nutzen kann, indem er die Scoring-Entscheidung verzögert, bis der Token eviktierbar wird, was die Leistung gegenüber unmittelbaren Scoring-Methoden steigert.
Empirische Validierung: Die Methode wird auf mathematischen Reasoning-Aufgaben (AIME, HMMT) und Out-of-Domain-Aufgaben (GPQA-D, LiveCodeBench) evaluiert, wobei sie zeigt, dass gelernte Eviktierungs-Policies eine hohe Performance unter aggressiver Kompression aufrechterhalten können.

4. Experimentelle Ergebnisse

Die Autoren evaluierten KVpop auf Qwen3-4B und Qwen3-8B Modellen, trainiert auf dem Nemotron-Math v2 Datensatz mit einer Sequenzlänge von 16.384.

4.1 Mathematisches Reasoning (AIME & HMMT)

Kompressionsrate 75% (Budget 2048):
- Qwen3-4B: KVpop behielt 98% der Performance des Full-Attention-Teachers bei.
- Qwen3-8B: KVpop behielt 100% (nahezu volle Teacher-Performance) bei.
- Vergleich: KVpop übertraf die trainingsfreien Baselines (StreamingLLM, TOVA) und die gelernte Baseline DMS signifikant. Beispielsweise fiel StreamingLLM bei 75% Kompression auf ca. 76% relative Performance bei Qwen3-4B ab, während KVpop 98% hielt.
Kompressionsrate 88% (Budget 4096):
- Qwen3-4B: KVpop behielt 97% der Teacher-Performance bei.
- Qwen3-8B: KVpop behielt 100% der Teacher-Performance bei.
- Vergleich: Trainingsfreie Methoden brachen signifikant ein (z. B. fiel StreamingLLM auf ~47% relative Performance bei Qwen3-4B), während KVpop robust blieb.

4.2 Out-of-Domain Generalisierung

Evaluierung auf GPQA-Diamond (wissenschaftliches Reasoning) und LiveCodeBench (Code-Generierung):

KVpop-Modelle, die ausschließlich auf mathematischen Reasoning-Daten trainiert wurden, generalisierten gut auf diese Domänen.
Bei einer Kompressionsrate von 75% erreichte KVpop auf Qwen3-4B eine Genauigkeit, die vergleichbar mit dem dichten Teacher auf GPQA-D (0.59 vs. 0.59) ist, sowie kompetitive Ergebnisse auf LCB.

4.3 Inferenz-Effizienz

Speicher: Im Gegensatz zu dichter Attention, bei der der VRAM-Verbrauch linear mit der Generierungslänge skaliert (erreicht ~~36GB bei 131k Tokens), hielten KVpop und DMS einen nahezu konstanten Speicher-Footprint (~~19GB) unabhängig von der Sequenzlänge ein.
Latenz: KVpop demonstrierte eine geringere End-to-End-Dekodierlatenz im Vergleich zu DMS und dichter Attention bei langen Generierungslängen (bis zu 131k Tokens). Die Autoren führen dies auf das feste pro-Head-Budget von KVpop zurück, welches die „ragged“ Cache-Strukturen von DMS vermeidet, die Kompilierung und Ausführung erschweren.

4.4 Ablationsstudien

Delayed Scoring: Das Entfernen der Verzögerung (sofortiges Scoring bei der Einfügung) führte zu einem Rückgang der Token-Genauigkeit um 0,2 Punkte, was den Nutzen der Integration des Nahe-Zukunft-Kontexts bestätigt.
Stateless vs. Stateful: Die stateful Variante (KVpop) war generell vergleichbar mit oder leicht besser als die stateless Variante (KVpopmlp), insbesondere bei höheren Kompressionsraten.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Supervision der Eviktierung mit Future-Attention-Signalen eine überlegene Strategie für die KV-Cache-Kompression gegenüber statischen Heuristiken oder Proxy-Scores ist. Durch das direkte Training einer Policy, die vorhersagt, welche Tokens für zukünftige Queries wichtig sein werden, erreicht KVpop:

Hohe Treue: Es hält eine nahezu volle Teacher-Performance selbst bei hohen Kompressionsraten (bis zu 88%) aufrecht, einem Bereich, in dem andere Methoden versagen.
Robustheit: Die gelernte Policy überträgt sich effektiv auf Out-of-Domain-Aufgaben, was darauf hindeutet, dass das Modell allgemeine Prinzipien der Token-Nützlichkeit lernt und nicht nur auf spezifische Trainingsverteilungen überfittet.
Effizienz: Es erzwingt eine harte Speicherbegrenzung, was eine stabile Dekodierung mit langem Kontext bei konstantem Speicherverbrauch und verbesserem Durchsatz im Vergleich zu dynamischen Gating-Methoden wie DMS ermöglicht.

Die Autoren kommen zu dem Schluss, dass KVpop zeigt, dass gelernte Eviktierungs-Policies, wenn sie korrekt durch Future-Utility-Signale supervidiert werden und den Nahe-Zukunft-Kontext nutzen dürfen, den Speicherengpass in der autoregressiven Generierung effektiv lösen können, ohne die Modellqualität zu opfern.