💬 NLP

KVzap: Fast, Adaptive, and Faithful KV Cache Pruning

KVzap ist eine schnelle, eingabeadaptive KV-Cache-Pruning-Methode, die eine marktführende Kompression bei vernachlässigbarem Genauigkeitsverlust über verschiedene große Sprachmodelle und Aufgaben hinweg erreicht und damit den kritischen Inferenzengpass adressiert, der durch wachsende Kontextlängen verursacht wird.

Ursprüngliche Autoren: Simon Jegou, Maximilian Jeblick

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Simon Jegou, Maximilian Jeblick

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen ein sehr langes Buch, und jedes Mal, wenn Sie eine Seite umblättern, müssen Sie sich mental an jedes einzelne Wort erinnern, das Sie bisher gelesen haben, um die Geschichte zu verstehen. Während das Buch länger wird, wird Ihr Gehirn (oder in diesem Fall der Speicher des Computers) überfordert, den Versuch zu unternehmen, sich an jedes einzelne Wort zu erinnern. Dies ist das Problem mit modernen KI-Modellen: Wenn sie immer längere Texte lesen, geht ihnen der „mentale Raum“ (der Speicher) aus, um die wichtigen Teile im Gedächtnis zu behalten.

Dieses Paper stellt ein neues Werkzeug namens KVzap vor, das wie ein super-effizienter Bibliothekar für diese KI-Modelle fungiert. So funktioniert es, auf einfache Konzepte heruntergebrochen:

Das Problem: Der „mentale Unfug“

Wenn eine KI einen Satz liest, erstellt sie für jedes Wort ein „Key-Value“-Paar (KV-Paar). Denken Sie an diese als Klebezettel, auf denen das Wort geschrieben steht und die in einem riesigen Stapel aufbewahrt werden.

Der Engpass: Wenn die KI ein 100.000-Wörter-Dokument liest, hat sie 100.000 Klebezettel. Das Aufbewahren all dieser Zettel verbraucht eine enorme Menge an Speicher, was die KI verlangsamt und teuer im Betrieb macht.
Die alte Methode: Frühere Methoden versuchten, Klebezettel basierend auf einfachen Regeln wegzuwerfen (wie „behalte nur die letzten 100 Wörter“ oder „behalte die Wörter, die am häufigsten vorkamen“). Aber diese Regeln waren oft zu grob und warfen versehentlich wichtige Informationen weg, was dazu führte, dass die KI Fehler machte.

Die Lösung: KVzap (Der smarte Bibliothekar)

KVzap ist eine neue Methode, die entscheidet, welche Klebezettel man behält und welche man wegwirft, aber sie tut dies schnell, intelligent und getreu (ohsich dabei die Geschichte zu verlieren).

Hier ist die Analogie, wie KVzap funktioniert:

1. Das „Doppel-Check“-Problem (Die alte Methode)
Eine vorherige Top-Methode namens KVzip war sehr genau. Sie funktionierte so: Um zu entscheiden, ob ein Wort wichtig war, würde die KI so tun, als würde sie das ganze Buch noch einmal lesen, um zu sehen, auf welche Wörter sie achtete.

Der Makel: Dies ist so, als würde man einen Schüler bitten, ein Kapitel zu lesen und dann das Kapitel ein zweites Mal zu lesen, nur um zu entscheiden, welche Sätze wichtig waren. Das ist zu langsam und verbraucht zu viel Energie. Zudem konnte es nicht funktionieren, während die KI eine Geschichte schrieb (Decoding), sondern nur während des Lesens (Prefilling).

2. Der KVzap-Shortcut
KVzap löst dies, indem es einen winzigen, super-schnellen „Assistenten“ trainiert (ein kleines neuronales Netzwerk), der errät, welche Wörter wichtig sind, ohne den Text erneut lesen zu müssen.

Die Analogie: Stellen Sie sich einen erfahrenen Bibliothekar vor, der schon tausende Bücher gelesen hat. Anstatt ein neues Buch erneut zu lesen, um die wichtigen Teile zu finden, wirft der Bibliothekar einen kurzen Blick auf die Seite und weiß sofort: „Dieser Absatz ist entscheidend, behalte ihn. Dieser dort ist nur Füllmaterial, wirf ihn weg.“
Wie es lernt: Das Team hat diesen „Assistenten“ trainiert, indem es ihm die internen Gedanken (Hidden States) der KI zeigte und ihn bat, vorherzusagen, was die langsame „Doppel-Check“-Methode gesagt hätte. Der Assistent lernte, den Experten perfekt nachzuahmen, aber in einem Bruchteil einer Sekunde.

3. Das „Sliding Window“-Sicherheitsnetz
Um sicherzustellen, dass die KI den unmittelbaren Kontext (wie die letzten paar Sätze, die sie gerade geschrieben hat) nicht vergisst, behält KVzap ein „Sliding Window“ (ein gleitendes Fenster) der letzten 128 Wörter bei.

Die Analogie: Selbst wenn Sie die Zusammenfassung eines ganzen Romans schreiben, halten Sie immer die letzten paar Seiten in der Hand, damit Sie nicht den Anschluss verlieren. KVzap hält diese aktuellen Wörter sicher fest und wirft sie niemals weg.

Warum ist das eine große Sache?

Das Paper behauptet, dass KVzap aus drei Hauptgründen ein Gamechanger ist:

Es ist schnell: Es fügt dem Prozess fast keine zusätzliche Zeit hinzu. Es ist, als hätte man einen Bibliothekar, der die Bücher sortiert, während man noch in die Bibliothek hineingeht.
Es ist anpassungsfähig: Es verwendet keine feste Regel (wie „behalte 50 % der Notizen“). Stattdessen schaut es sich den Text an. Wenn der Text komplex und dicht ist, behält es mehr Notizen. Wenn der Text repetitiv ist, wirft es mehr weg. Es passt sich automatisch an.
Es ist präzise: In Tests bei langen Lesemissions (wie das Beantworten von Fragen zu einem 4.000-Wörter-Dokument) und Denkaufgaben (wie das Lösen von Matheaufgaben) gelang es KVzap, den Speicherverbrauch um das 2- bis 4-fache zu senken, während die Genauigkeit der KI fast exakt so hoch blieb, als hätte sie alle Notizen behalten.

Die Ergebnisse

Die Forscher haben dies auf populären KI-Modellen (wie Qwen und Llama) getestet. Sie fanden heraus:

KVzap schlug 15 andere bestehende Methoden.
Es erreichte die besten Ergebnisse auf einer Bestenliste für Long-Context-Aufgaben.
Es funktioniert sowohl beim Lesen langer Dokumente (Prefilling) als auch beim Schreiben langer Geschichten oder beim schrittweisen Lösen von Problemen (Decoding).

Zusammenfassend

KVzap ist wie ein „smarter Filter“ für eine KI, der sofort weiß, welche Teile eines langen Gesprächs oder Dokuments essenziell sind und welche nur Rauschen darstellen. Es ermöglicht der KI, viel längere Texte zu verarbeiten, ohne dass ihr der Speicher ausgeht oder sie verwirrt wird – und das, ohne den Prozess zu verlangsamen. Die Autoren glauben, dass es damit bereit für den Einsatz in großen KI-Systemen ist.

Technische Zusammenfassung: KVzap – Schnelles, adaptives und treues KV-Cache-Pruning

1. Problemstellung

Da die Kontextlängen in Transformer-basierten Sprachmodellen auf zehntausende oder hunderttausende Token anwachsen, ist der Key-Value (KV)-Cache zu einem dominierenden Flaschenhals für die effiziente Inferenz von Large Language Models (LLMs) geworden. Der KV-Cache, der die intermediären Attention-Zustände speichert, verbraucht erheblichen GPU-Speicher (z. B. 335 GB für ein 65B-Modell bei einer 128k-Sequenzlänge) und erhöht die Time-to-First-Token, während er den Decoding-Durchsatz reduziert.

Obwohl architektonische Modifikationen (z. B. Grouped Query Attention, Multi-head Latent Attention) und Sparse-Attention-Mechanismen die Kompression entlang der Kopf- ( $H$ ), Dimensions- ( $D$ ) und Layer-Achse ( $L$ ) adressiert haben, bleibt die Sequenzlängen-Achse ( $T$ ) durch weit verbreitete Methoden weitgehend unberücksichtigt. Bestehende Ad-hoc-Pruning-Methoden erfüllen oft nicht die vier kritischen Kriterien für den Produktionseinsatz:

Schnell und leichtgewichtig: Vernachlässigbarer Overhead.
Phasenagnostisch: Anwendbar sowohl beim Prefilling (langer Kontext) als auch beim Decoding (Reasoning).
Optimierungsfreundlich: Kompatibel mit Kerneln wie FlashAttention2 und PagedAttention.
Treue (Faithful): Minimale Genauigkeitsverluste.

Aktuelle State-of-the-Art-Methoden wie KVzip erreichen eine hohe Kompression, erfordern jedoch einen rechenintensiven Double-Forward-Pass auf erweiterten Prompts, was sie für die Online-Inferenz und Decoding-Aufgaben ungeeignet macht.

2. Methodik

Die Autoren führen KVzap ein, eine schnelle, input-adaptive Approximation von KVzip, die sowohl während des Prefillings als auch des Decodings operiert. Die Methodik besteht aus drei Kernkomponenten:

2.1. Verbesserte Scoring-Policy (KVzip+)

Die Autoren verfeinern zunächst den Scoring-Mechanismus von KVzip. KVzip bewertet Token basierend auf der „Kontext-Rekonstruktion“, indem gemessen wird, welches maximale Attention-Gewicht ein Token erhält, wenn der Prompt wiederholt wird. Die Autoren verbessern dies durch die Einbeziehung eines Normalisierungsterms, der von Devoto et al. (2025) inspiriert ist und berücksichtigt, wie sehr der Value-Vektor eines Tokens zum Residual Stream beiträgt.
Der KVzip+ Score ( $s^+_i$ ) ist definiert als:
$s^+_i = \max_{j \in \text{<prompt>}} \frac{a_{ji}}{\|W_O v_i\| / \|h_j\|}$
wobei $a_{ji}$ das Attention-Gewicht, $W_O$ die Output-Projektionsmatrix, $v_i$ der Value-Vektor und $h_j$ der Hidden State ist.

2.2. Surrogat-Modellierung

Um die prohibitiven Kosten des KVzip+ Double-Forward-Pass zu vermeiden, trainiert KVzap leichtgewichtige Surrogat-Modelle (entweder eine lineare Schicht oder ein Zwei-Layer-MLP), um die Log-Scores ( $\log(s^+)$ ) direkt aus den Eingangs-Hidden-States des Modells ( $h$ ) vorherzusagen.

Input: Hidden States $h_t \in \mathbb{R}^{D_h}$ .
Output: Scores für jeden KV-Head in $\mathbb{R}^H$ .
Training: Die Modelle werden auf 1,2 Millionen Paaren von (Hidden State, Log-Score) trainiert, die aus dem Nemotron-Pretraining-Dataset stammen. Die MLP-Variante verwendet eine verborgene Breite von $D_h/8$ mit GELU-Aktivierung.
Performance: Die Surrogate erreichen eine durchschnittliche $R^2$ -Korrelation von 0,60–0,80 mit dem KVzip+ Oracle, was zeigt, dass teure Scores effektiv aus den Hidden States approximiert werden können.

2.3. Adaptives Pruning und Eviction

Im Gegensatz zu KVzip, das ein festes Budget erzwingt (z. B. genau 50 % der Token beizubehalten), verwendet KVzap schwellenwertbasiertes Pruning:

Schwellenwertbildung (Thresholding): Token mit vorhergesagten Scores unter einem festen Schwellenwert $\tau$ werden verworfen. Dies ermöglicht es dem Kompressionsverhältnis, sich dynamisch an die Informationsdichte des Input-Prompts anzupassen.
Sliding Window: Um den lokalen Kontext zu bewahren, werden die letzten $w=128$ Token immer beibehalten, analog zum StreamingLLM-Ansatz.
Implementierung: Das Pruning erfolgt nach der Attention-Operation. Der Prozess ist recheneffizient und verursacht einen vernachlässigbaren Overhead (begrenzt auf 1,1 % für MLP und 0,02 % für lineare Modelle).

3. Zentrale Beiträge

KVzip+: Eine verbesserte Scoring-Metrik für die Wichtigkeit des KV-Caches, die die Hidden-State-Normalisierung einbezieht.
Surrogat-Approximation: Der Nachweis, dass KVzip+ Scores effektiv durch leichte Modelle approximiert werden können, die auf Hidden States trainiert wurden, wodurch der Bedarf an Double-Forward-Passes entfällt.
KVzap: Eine neue Pruning-Technik, die diese Surrogate mit schwellenwertbasierter Eviction und Sliding Windows kombiniert und so State-of-the-Art-Performance erreicht, während sie alle vier praktischen Kriterien (Geschwindigkeit, Phasenagnostik, Optimierungsfreundlichkeit und Treue) erfüllt.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Qwen3-8B, Llama-3.1-8B-Instruct und Qwen3-32B über drei Benchmarks durchgeführt: RULER (Long-Context Retrieval/Aggregation), LongBench (Multi-Task Long-Context) und AIME25 (Mathematisches Reasoning).

Kompression vs. Genauigkeit: KVzap erreicht eine 2–4-fache KV-Cache-Kompression bei vernachlässigbarem Genauigkeitsverlust.
- Auf RULER 4k erreicht KVzap die Leistung des KVzip+ Oracles oder übertrifft sie sogar und schneidet besser ab als 15 andere Pruning-Methoden (einschließlich Expected Attention und Duo Attention).
- Auf LongBench behält KVzap eine nahezu perfekte Genauigkeit bis zu einer 2–3-fachen Kompression bei.
- Auf AIME25 bewahrt KVzap-MLP die Reasoning-Genauigkeit selbst dann, wenn über 50 % des KV-Caches verworfen werden.
Adaptivität: Der schwellenwertbasierte Ansatz passt das Kompressionsverhältnis automatisch an die Schwierigkeit der Aufgabe an. Beispielsweise erzielt es eine höhere Kompression bei synthetischen RULER-Daten im Vergleich zu den dichteren, realweltlichen LongBench-Daten.
Effizienz: Die Methode fügt vernachlässigbare Rechen- und Speicher-Overheads hinzu. Während des Decodings nutzen die zusätzlichen FLOPs GPU-Zyklen, die andernfalls durch Speicherbandbreite blockiert wären.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass KVzap die Lücke zwischen akademischer Pruning-Forschung und realen Inferenz-Engines schließt. Seine Bedeutung liegt in:

Praktikabilität: Es ist die erste Methode, die eine State-of-the-Art-Kompression erreicht, ohne die Geschwindigkeit zu opfern oder architektonische Änderungen zu erfordern, was die Kompatibilität mit großen Inferenz-Engines (vLLM, SGLang, TRT-LLM) sicherstellt.
Treue (Faithfulness): Es demonstriert, dass LLMs den KV-Cache nicht voll ausschöpfen und dass ungenutzte Paare über Hidden States identifiziert werden können, ohne das Basismodell end-to-end neu zu trainieren.
Skalierbarkeit: Der Ansatz wird über Modelle von 8B bis 32B Parametern validiert und ist darauf ausgelegt, mit zukünftigen Sparse-Attention-Architekturen kompatibel zu sein.

Die Autoren räumen Einschränkungen ein und merken an, dass KVzap eine Post-hoc-Erweiterung und kein End-to-End-trainiertes Ziel ist und dass weiteres Engineering erforderlich ist, um Kompressionsraten über optimierte Kernel (z. B. PagedAttention) in tatsächliche Laufzeit-Geschwindigkeitsgewinne zu übersetzen. Sie postulieren jedoch, dass die Kombination aus Einfachheit, hoher Kompression und robuster Performance von KVzap es zu einem primären Kandidaten für den Produktionseinsatz macht.