🤖 machine learning

CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation

CompilerKV führt eine offline-kompilierte KV-Retention-Policy ein, die die Regularität über verschiedene Prompts hinweg nutzt, um eine verrauschte Online-Schätzung durch effiziente $O(1)$ -Nachschlagevorgänge zu ersetzen, und erreicht im Vergleich zu bestehenden reinen Prefill-Komprimierungsmethoden unter extremen Speicherbeschränkungen eine State-of-the-Art-Leistung sowie eine überlegene Skalierbarkeit.

Ursprüngliche Autoren: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an eine sehr lange Geschichte zu erinnern, um später Fragen dazu beantworten zu können. Ihr Gehirn (das KI-Modell) verfügt nur über einen begrenzten „mentalen Notizblock"-Platz (der KV-Cache genannt wird), um die wichtigsten Teile dieser Geschichte während des Gesprächs festzuhalten.

Wenn die Geschichte kurz ist, können Sie sich an alles erinnern. Aber wenn die Geschichte 100.000 Wörter lang ist, läuft Ihr Notizblock über. Sie müssen einige Teile wegwerfen, um Platz zu schaffen. Das Problem ist: Sobald Sie etwas wegwerfen, können Sie es nie wieder zurückbekommen. Wenn Sie versehentlich den Teil wegwerfen, in dem der Bösewicht seinen geheimen Plan offenbart, bricht Ihre gesamte Geschichte zusammen.

Der alte Weg: Raten im Moment

Frühere Methoden versuchten, zu entscheiden, was behalten werden soll, indem sie sich die Geschichte im Moment, in Echtzeit, ansahen. Sie würden sagen: „Dieses Wort hat eine hohe Aufmerksamkeitsscore, also muss es wichtig sein!" oder „Dieser Satz scheint komplex zu sein, behalten Sie ihn!"

Die Autoren dieses Papiers argumentieren, dass dies wie der Versuch ist, einen ganzen Film anhand eines einzigen, verrauschten Bildes zu beurteilen. Da die Geschichte so lang und die Daten unordentlich sind, führt das Betrachten nur eines Prompts (einer Geschichte) zu schlechten Vermutungen. Sie könnten ein auffälliges, aber nutzloses Wort behalten und einen leisen, aber entscheidenden Hinweis wegwerfen.

Der neue Weg: COMPILERKV (Die „Vorbereitungsstrategie")

Die Autoren stellen COMPILERKV vor. Anstatt im Flug zu raten, „kompilieren" sie im Voraus eine Strategie, wie ein Trainer, der vor dem großen Spiel Filmmaterial studiert.

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Der „Rauschfilter" (Stabilisierte Nützlichkeit)

Stellen Sie sich vor, Sie hören einem vollen Raum zu. Manche Leute schreien (transiente Spitzen), und manche Mikrofone sind einfach lauter als andere (Skalenverzerrung).

Die Lösung: COMPILERKV hört nicht nur zu, wer am lautesten schreit. Es glättet das Rauschen und normalisiert die Lautstärke. Es fragt: „Sagt diese Person tatsächlich etwas Wichtiges, oder ist sie nur laut?" Dies verhindert, dass die KI durch vorübergehendes Rauschen getäuscht wird.

2. Die „Spezialistenkarte" (Tabelle für Kopf-Heterogenität)

Innerhalb der KI gibt es viele verschiedene „Gehirnzellen" (die sogenannten Attention-Heads). Manche sind Experten beim Finden von Fakten (wie ein Bibliothekar), während andere nur lärmendes Rauschen sind.

Die Lösung: Die Autoren haben Tausende von Geschichten offline untersucht und festgestellt: Bestimmte Gehirnzellen sind immer zuverlässig, andere sind immer verrauscht. Sie erstellten eine permanente „Karte der Spezialisten".
Die Analogie: Anstatt das gesamte Team nach einer Meinung zu fragen, weiß das System: „Wenn die ‚Bibliothekar'-Zelle sagt, ein Wort sei wichtig, behalten wir es, selbst wenn die ‚Plaudertasche'-Zellen sagen, es sei Müll." Dies gibt den zuverlässigen Experten ein „Veto-Recht", um entscheidende Informationen zu retten.

3. Der „Risikomesser" (Risikoadaptiver Schwellenwert)

Nicht alle Geschichten sind gleich. Manche sind einfach (ein Rezept); andere sind komplex und verwirrend (ein Krimi).

Die Lösung: Das System prüft, wie „riskant" die aktuelle Geschichte ist.
- Niedriges Risiko (Einfache Geschichte): „Wir können aggressiv sein. Werfen Sie 90 % des Textes weg; es wird schon gut gehen."
- Hohes Risiko (Verwirrende Geschichte): „Das ist gefährlich! Seien Sie konservativ. Behalten Sie 95 % des Textes für alle Fälle."
Die Analogie: Es ist wie das Packen für eine Reise. Wenn Sie wissen, dass das Wetter perfekt ist, packen Sie leicht. Wenn eine Sturmwarnung vorliegt, packen Sie zusätzliche Ausrüstung ein. COMPILERKV passt automatisch an, wie viel es behält, basierend darauf, wie „stürmisch" der aktuelle Prompt ist.

Warum das eine große Sache ist

Das Papier behauptet, dass durch diese „Vorbereitung" (offline-Kompilierung) anstatt des „Ratens im Moment" (online-Heuristiken) viel bessere Ergebnisse erzielt werden:

Es ist portabel: Die von ihnen erstellte „Karte der Spezialisten" funktioniert über verschiedene KI-Modelle hinweg. Es ist wie ein universelles Regelbuch, das auf verschiedene Arten von Gehirnen anwendbar ist.
Es spart Speicher: Sie können die KI mit einem winzigen Speicherbudget (nur 1,5 % des ursprünglichen Textes) am Laufen halten und trotzdem Fragen korrekt beantworten.
Es bewältigt das Lange: Bei Tests mit massiven Kontexten (bis zu 128.000 Wörter) blieb COMPILERKV stark, während andere Methoden zusammenbrachen. Zum Beispiel fand COMPILERKV in einem „Nadel-im-Heuhaufen"-Test (eine spezifische Tatsache in einem riesigen Text finden) die Nadel in 89 % der Fälle, während die zweitbeste Methode sie nur in 42 % der Fälle fand.

Das Fazit

COMPILERKV hört auf, in einer Sekunde perfekte Entscheidungen zu treffen. Stattdessen verwendet es eine vorab berechnete, risikobewusste Strategie, um zu entscheiden, was behalten werden soll. Es ist der Unterschied zwischen einem Spieler, der eine wilde Wette abschließt, und einem Schachgroßmeister, der die besten Züge bereits basierend auf jahrelanger Erfahrung berechnet hat. Das Ergebnis ist eine KI, die riesige Textmengen im Gedächtnis behalten kann, ohne den Speicher zu erschöpfen oder die wichtigen Teile zu vergessen.

Technische Zusammenfassung: COMPILERKV

1. Problemstellung

Large Language Models (LLMs) sehen sich aufgrund des linearen Wachstums des Key-Value (KV)-Caches mit der Kontextlänge einem Speicher-Engpass gegenüber. Nur-Prefill-KV-Kompression hat sich als eine für den Einsatz geeignete Lösung etabliert, bei der am Ende der Prefill-Phase eine Teilmenge von Tokens ausgewählt und für den gesamten Decoding-Vorgang eingefroren wird. Dieser Ansatz wandelt die Speichernutzung zur Laufzeit in eine feste Kostenposition um, ohne Eingriffe während des Decodierens zu erfordern.

Das Papier identifiziert jedoch eine fundamentale statistische Diskrepanz in bestehenden Nur-Prefill-Methoden (z. B. SnapKV, PyramidKV, HeadKV). Diese Methoden versuchen, korrigierende Signale – spezifisch Head-spezifische Zuverlässigkeit (welche Attention-Heads für die Retrieval-Aufgabe kritisch sind) und Prompt-Level-Kompressions-Sensitivität (wie stark ein bestimmter Prompt komprimiert werden kann) – online unter Verwendung von Statistiken eines einzelnen, verrauschten Prompts zu schätzen. Die Autoren argumentieren, dass dies die falsche statistische Einheit ist:

E1 (Einzel-Prompt-Rauschen): Prompt-spezifische Attention-Scores sind heavy-tailed und skalenverzerrt; große Beträge garantieren keine semantische Wichtigkeit, und kleine Schätzfehler führen zu irreversiblen Selektionsfehlern.
E2 (Head-Heterogenität): Attention-Heads sind funktionell spezialisiert. Einige sind „retrieval-kritisch", während andere konsistent verrauscht sind. Eine naive Aggregation erlaubt es verrauschten Heads, Scores zu dominieren.
E3 (Prompt-Level-Risikovarianz): Unterschiedliche Prompts haben unterschiedliche Kompressionsgrenzen. Eine feste Beibehaltungsregel versagt bei Prompts mit hoher Entropie oder hoher Perplexität und führt zu katastrophalem Informationsverlust.

Bestehende Methoden schätzen diese Signale für jeden Prompt online neu, ohne die Tatsache zu nutzen, dass diese Signale eine hohe Cross-Prompt-Regularität aufweisen, anstatt innerhalb eines Prompts stabil zu sein.

2. Methodik: COMPILERKV

Die Autoren schlagen COMPILERKV vor, eine KV-Beibehaltungspolitik, die korrigierende Tabellen offline aus einem Kalibrierungskorpus kompiliert, anstatt sie online zu schätzen. Die Kernidee besteht darin, dass Head-Zuverlässigkeitsrankings und die Abbildung von Risikomerkmale auf sichere Schwellenwerte stabile architektonische Priors sind, die einmal gelernt und wiederverwendet werden können.

Das Framework besteht aus drei gekoppelten Komponenten, die während der Prefill-Phase operieren:

A. Stabilisierte Token-Nützlichkeit (Adressierung von E1)

Um transienten Attention-Spitzen und inter-Head-Skalenverzerrungen ohne Lernen zu begegnen, berechnet die Methode einen parameterfreien Nützlichkeits-Score:

Fenster-aggregierte Attention: Glättet transienten Spitzen durch Aggregation der Attention über ein Beobachtungsfenster $\Omega$ am Prompt-Ende.
Head-relative Normalisierung: Normalisiert Token-Scores durch die mittlere Wertnorm des Heads und entfernt Skalierungsverzerrungen.
Formel: $u^{(l,h)}_t = \alpha_t \cdot \rho^{(l,h)}_t$ , wobei $\alpha_t$ die Fenstermasse und $\rho$ die normalisierte Wertnorm ist.

B. Head-Heterogenitätstabelle (Adressierung von E2)

Anstatt alle Heads gleich zu behandeln oder online Wichtigkeit neu zu schätzen, kompiliert COMPILERKV eine eingefrorene Tabelle $W_{head}[l, h]$ kontinuierlicher Zuverlässigkeitsgewichte.

Offline-Kompilierung: Erlernt via Conservative Q-Learning (CQL) auf einem Kalibrierungskorpus. Der Zustand ist $(l, h, B_l)$ , und die Aktion ist ein diskretisierter Zuverlässigkeitsgewicht.
Mechanismus: Während der Inferenz wird die Nützlichkeit eines Tokens durch die Zuverlässigkeit seines Heads neu skaliert. Entscheidend ist, dass die Aggregation gewichtete Max-Pooling verwendet ( $\hat{u}^{(l)}_t = \max_h (u^{(l,h)}_t \cdot W_{head}[l, h])$ ). Dies verleiht retrieval-kritischen Heads ein „Vetorecht": Wenn ein einzelner kritischer Head stark auf ein Token achtet, wird dieses beibehalten, unabhängig vom Konsens verrauschter Heads.

C. Risikoadaptives Schwellenwert-Gate (Adressierung von E3)

Um Prompts mit variierenden Kompressionsgrenzen zu handhaben, bildet ein Risikoadaptives Schwellenwert-Gate Prompt-Level-Risikomerkmale auf einen Beibehaltungsschwellenwert ab.

Risikesignale: Verwendet Attention-Entropie (strukturelles Risiko) und Lokale Perplexität (semantisches Risiko), berechnet über das Beobachtungsfenster.
Offline-Kompilierung: Eine Lookup-Tabelle (LUT) bildet diskretisierte Risikobins $(b_{ent}, b_{ppl})$ auf einen Beibehaltungsschwellenwert $\tau^{(l)}$ ab. Dies wird ebenfalls via CQL kompiliert.
Konservative Verzerrung: Das CQL-Ziel bestraft aggressive Schwellenwerte bei seltenen, hochriskanten Zuständen (hohe Entropie/Perplexität) und verzerrt die Tabelle hin zu sicherer Beibehaltung, wo Online-Heuristiken typischerweise versagen.
Elastische Selektion: Die finale Selektion behält alle Tokens mit einer Nützlichkeit über dem Schwellenwert $\tau^{(l)}$ bei. Wenn die Kandidatenmenge das Budget $B_l$ überschreitet, wird sie auf die Top- $B_l$ -Tokens begrenzt. Liegt sie darunter, werden alle Kandidaten behalten (elastische Unterbeibehaltung).

D. Theoretische Fundierung

Das Papier liefert eine formale Analyse, die zeigt, dass der Approximationsfehler durch die verworfene Tail-Masse kontrolliert wird (Proposition 4.1). Es wird argumentiert, dass der Fehler der endlichen Tabellenkalibrierung auf Prompt-Ebene (über unabhängige Prompts hinweg) kontrolliert wird, anstatt Unabhängigkeit innerhalb der Attention-Reihen eines einzelnen Prompts vorauszusetzen, wodurch die Varianz reduziert wird.

3. Hauptbeiträge

Neudefinition des Problems: Identifiziert, dass die statistische Einheit für die Korrektur in der Nur-Prefill-Kompression der Cross-Prompt-Maßstab sein sollte, nicht der einzelne Prompt.
Offline-Kompilierung: Führt eine Methode ein, um Head-Zuverlässigkeit und risikoadaptive Schwellenwerte offline zu kompilieren und sie in portable architektonische Priors zu verwandeln.
Gekoppelte Politik: Schlägt eine gemeinsame Optimierung vor, bei der Head-Zuverlässigkeitsgewichte und Risikoschwellenwerte gegen dieselbe nachgelagerte Belohnung kalibriert werden, anstatt unabhängige Module zu sein.
Portabilität: Zeigt, dass kompilierte Tabellen über disjunkte Korpora hinweg und sogar zwischen verschiedenen Modellfamilien (z. B. LLaMA zu Mistral) mit minimaler Leistungsverschlechterung übertragen werden können.

4. Experimentelle Ergebnisse

Die Methode wurde an vier 7B–8B-Backbones (LLaMA-3, Mistral, Qwen2, InternLM) über die Benchmarks LongBench, RULER und Needle-in-a-Haystack (NIAH) evaluiert.

LongBench (512-Token-Budget): COMPILERKV erreicht auf allen vier Backbones komprimiertes-SOTA und übertrifft die stärkste Baseline (z. B. ChunkKV, HeadKV) im Durchschnitt um +1,67 Punkte (95% KI [+1,08, +2,37]). Bei einigen Backbones übertrifft es leicht die FullKV-Leistung, was die Autoren auf Rauschunterdrückung statt Informationsgewinn zurückführen.
Druckregime:
- RULER (128k Kontext): Unter einem festen 512/32k-Cache-Verhältnis behält COMPILERKV einen Score von ~~73 bei und übertrifft SnapKV (~~38) und KVZip (~~66,5) signifikant, bleibt jedoch unter FullKV (~~79).
- NIAH (32k): Erreicht 0,89 Genauigkeit gegenüber SnapKVs 0,42.
- Batching: Bei 32k Eingabe mit einer Batch-Größe von 16 bleibt COMPILERKV machbar, während FullKV den Speicher erschöpft (OOM).
Übertragbarkeit:
- Cross-Corpus: Head-Zuverlässigkeitsrankings zeigen eine hohe Spearman-Korrelation ( $\bar{\rho} \approx 0,90$ ) über disjunkte Kalibrierungskorpora hinweg.
- Cross-Model: Die direkte Tabellenübertragung zwischen Modellen (z. B. LLaMA-3 zu Mistral) führt zu einem Verlust von nur 0,4–0,8 LongBench-Punkten im Vergleich zur ziel-spezifischen Kompilierung.
Effizienz: Der Online-Overhead ist minimal: $O(1)$ -Tabellennachschlagen pro Schicht und ein einzelnes Sortieren über den Kandidatenpool. Es wird eine Decoding-Durchsatzrate von bis zu 2,45× im Vergleich zu FullKV bei 32k Kontext erreicht.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass COMPILERKV die Lücke zu FullKV bei festen Budgets schließt, indem es die statistische Diskrepanz bei der Berechnung von Beibehaltungspolitiken korrigiert. Durch die Verlagerung der Berechnung korrigierender Signale von einer online, verrauschten, einzel-Prompt-Schätzung hin zu einem offline, kompilierten, Cross-Prompt-Prior stabilisiert die Methode den Selektionsprozess gegen Rauschen und Heterogenität.

Die Autoren betonen, dass die Neuheit nicht lediglich „Head-Bewusstsein" ist (das frühere Methoden wie HeadKV besitzen), sondern die gemeinsame Offline-Kompilierung kontinuierlicher Head-Zuverlässigkeit und Prompt-Risiko-Schwellenwerte. Dies verwandelt Head-Zuverlässigkeit von einem Tuning-Trick in ein wiederverwendbares wissenschaftliches Objekt, das einmal kompiliert und mit $O(1)$ Online-Overhead über Modelle und Kontexte hinweg eingesetzt werden kann. Die Arbeit legt nahe, dass für Nur-Prefill-Kompression die „richtigen" Signale architektonische Eigenschaften des Modells sind und keine transienten Merkmale des Eingabe-Prompts.