🤖 machine learning

PolyKV: Heterogeneous Retention and Allocation for KV Cache Compression

PolyKV ist ein schichtweises KV-Cache-Optimierungsframework, das die Inferenz von Long-Context-LLMs verbessert, indem es jede Transformer-Schicht dynamisch der am besten geeigneten Kompressionsstrategie zuordnet und nicht-uniforme Cache-Budgets zuweist, wodurch es bestehende uniforme Single-Policy-Baselines signifikant übertrifft.

Ursprüngliche Autoren: Chao Fei, Panos Kalnis

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chao Fei, Panos Kalnis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich eine sehr lange Geschichte zu merken, um später Fragen dazu beantworten zu können. In der Welt der Künstlichen Intelligenz (KI) wird dieses „Gedächtnis“ als KV-Cache bezeichnet. Wenn die Geschichte länger wird, nimmt dieses Gedächtnis eine riesige Menge Speicherplatz auf der Festplatte des Computers ein, was alles verlangsamt.

Um dies zu beheben, nutzen Wissenschaftler normalerweise eine „Mülleimer-Strategie“: Sie werfen Teile der Geschichte weg, von denen sie glauben, dass sie nicht wichtig sind, um Platz zu sparen. Die meisten KI-Modelle verwenden jedoch dieselbe „Mülleimer-Regel“ für jeden einzelnen Teil ihres Gehirns. Sie gehen davon aus, dass der Teil des Gehirns, der den Anfang der Geschichte verarbeitet, genau gleich behandelt werden muss wie der Teil, der die Mitte oder das Ende verarbeitet.

Das Paper „PolyKV“ argumentiert, dass dies so ist, als würde man versuchen, einen Koffer zu packen, indem man aus jedem einzelnen Fach die gleiche Art von Gegenstand wegwirft (z. B. alle Socken), ungeachtet dessen, was sich tatsächlich in dem jeweiligen Fach befindet. Das ist zu starr.

So verändert PolyKV die Spielregeln, unter Verwendung einfacher Analogien:

1. Das Problem: Einheitsgröße passt nicht immer (One Size Does Not Fit All)

Stellen Sie sich ein KI-Modell wie ein Team aus 30 verschiedenen Spezialisten vor, die zusammenarbeiten, um eine Geschichte zu verstehen.

Spezialist A (Schicht 1) ist vielleicht großartig darin, sich die Namen von Charakteren zu merken.
Spezialist B (Schicht 15) ist vielleicht großartig darin, den emotionalen Ton zu verstehen.
Spezialist C (Schicht 30) ist vielleicht großartig darin, das nächste Wort vorherzusagen.

Derzeit sagen die meisten KI-Modelle allen 30 Spezialisten: „Ihr dürft nur 5 Notizen in eurem Notizbuch behalten.“ Dies ist das „Einheitsbudget“ (Uniform Budget).

Spezialist A benötigt vielleicht 20 Notizen, um seine Aufgabe gut zu erfüllen.
Spezialist C benötigt vielleicht nur 2 Notizen.
Indem man alle dazu zwingt, 5 zu haben, wird Spezialist A überfordert (und macht Fehler), während Spezialist C freien Platz hat, den er nicht nutzt.

2. Die Lösung: PolyKV (Der kluge Manager)

PolyKV führt einen klugen Manager ein, der sich jeden Spezialisten einzeln ansieht, bevor die eigentliche Arbeit beginnt. Er trifft zwei spezifische Entscheidungen für jeden Spezialisten:

Entscheidung A: Was soll weggeworfen werden? (Das Eviktionsmuster)
- Spezialist A muss vielleicht die ersten paar Sätze (den Anfang) und die letzten paar (das Ende) behalten.
- Spezialist B muss vielleicht die beliebtesten Sätze behalten (die „Heavy Hitter“).
- PolyKV fragt jeden Spezialisten: „Auf welche Art von Notizen verlässt du dich am meisten?“ und gibt ihm eine maßgeschneiderte Regel, was zu behalten ist.
Entscheidung B: Wie viel Platz soll gegeben werden? (Das Budget)
- Wenn Spezialist A sehr empfindlich auf Informationsverlust reagt, gibt PolyKV ihm ein großes Notizbuch.
- Wenn Spezialist C robust ist und nicht viel braucht, gibt er ihm ein kleines Notizblock.
- Die Gesamtgröße aller Notizbücher kombiniert bleibt gleich, aber die Verteilung erfolgt fair basierend auf dem Bedarf.

3. Wie es funktioniert: Die „Probezeit“ (Offline-Kalibrierung)

Sie fragen sich vielleicht: „Woher weiß der Manager, was jeder Spezialist braucht, ohne die eigentliche Arbeit zu verlangsamen?“

PolyKV führt eine kurze Probezeit (genannt „Offline-Kalibrierung“) mit einer kleinen Textprobe durch, bevor die eigentliche Arbeit beginnt.

Es beobachtet, wie jeder Spezialist reagiert, wenn Informationen entfernt werden.
Es lernt: „Oh, Spezialist A wird verwirrt, wenn wir den Anfang entfernen, aber Spezialist B kümmert das nicht.“
Es schreibt einen festen Plan basierend auf dieser Probezeit auf.
Wenn die eigentliche Arbeit beginnt, folgt der Manager einfach dem Plan. Es ist kein Nachdenken während des eigentlichen Gesprächs erforderlich, sodass es schnell bleibt.

4. Die Ergebnisse: Besseres Gedächtnis, gleicher Platz

Die Forscher haben dies an zwei populären KI-Modellen (LLaMA und Qwen) unter einem Standard-Speicherlimit getestet.

Der alte Weg: Mit einer einzigen Regel für alle erhielt die KI bei einem Test zu langen Geschichten einen Wert von etwa 36,35.
Der PolyKV-Weg: Durch die Anpassung der Regeln und Notizbuchgrößen für jeden Spezialisten stieg der Wert auf 37,79.

Das mag klein klingen, aber in der Welt der KI ist es ein riesiger Sieg. Es bedeutet, dass PolyKV 54,5 % der Leistungsdifferenz zwischen der „Mülleimer-Methode“ und der „perfekten Gedächtnis-Methode“ (die zu viel Platz beansprucht, um praktisch zu sein) ausgeglichen hat.

5. Wo es glänzt und wo es kämpft

Der Gewinn: PolyKV ist fantastisch bei Aufgaben, die das Verständnis des Gesamtbildes oder des Kontexts erfordern, wie zum Beispiel das Beantworten von Fragen zu einem langen Dokument oder das Zusammenfassen einer Geschichte. Es weiß, wie man die „wichtigen“ Teile für jeden Teil des Gehirns bewahrt.
Die Grenze: Es hat manchmal Schwierigkeiten mit „Needle in a Haystack“-Aufgaben (das Finden eines spezifischen, winzigen Faktums in einem riesigen Text) oder Programmieraufgaben. Dies deutet darauf hin, dass PolyKV zwar gut im allgemeinen Verständnis ist, aber manchmal eine spezifische „Nadel“ wegwirft, die ein Spezialist während der Probezeit für unwichtig hielt, die aber später entscheidend wurde.

Zusammenfassung

PolyKV ist wie der Übergang von einer Fließbandfertigung, bei der jeder Arbeiter exakt dieselben Werkzeuge und denselben Arbeitsplatz erhält, zu einer maßgeschneiderten Werkstatt, in der jeder Arbeiter die spezifischen Werkzeuge und den Schreibtisch bekommt, die er für seine spezifische Aufgabe benötigt. Dadurch arbeitet das gesamte Team besser, erinnert sich mehr und passt in denselben Raum.

Technisches Resümee: PolyKV: Heterogene Retention und Allokation für KV-Cache-Kompression

Problemstellung

Die Inferenz mit langen Kontexten in Large Language Models (LLMs) steht vor einem erheblichen Speicherengpass durch das Wachstum des Key-Value (KV)-Caches. Bestehende Methoden zur Eviction (Verwerfung) des KV-Caches reduzieren zwar effektiv den Speicherverbrauch, indem sie spezifische Teilmengen von Token behalten, wenden jedoch typischerweise eine einheitliche Kompressionspolitik und ein einheitliches Cache-Budget über alle Transformer-Schichten hinweg an.

Dieses uniforme Design übersieht die inhärente Heterogenität der Transformer-Schichten. Die bisherige Forschung zeigt, dass sich verschiedene Schichten in ihren Attention-Mustern, abstrakten Repräsentationen, kontextuellen Rollen und der Sensitivität gegenüber Pruning unterscheiden. Folglich ist eine einzige globale Eviction-Regel eine grobe Abstraktion, die nicht berücksichtigt, dass:

Verschiedene Schichten unterschiedliche Eviction-Muster bevorzugen können (z. B. Heavy Hitters vs. Attention Sinks).
Verschiedene Schichten eine unterschiedliche Sensitivität gegenüber der KV-Cache-Reduktion aufweisen, was impliziert, dass sie unterschiedliche Cache-Kapazitäten benötigen.

Aktuelle adaptive Methoden haben begonnen, nicht-uniforme Budgets zu untersuchen, versäumen es jedoch oft, das Eviction-Muster und das Cache-Budget als gekoppelte, schichtweise Designentscheidungen zu behandeln.

Methodik: PolyKV

Die Autoren schlagen PolyKV vor, ein Framework, das die KV-Cache-Eviction als einen schichtweisen Designraum neu formuliert. PolyKV koppelt explizit zwei Entscheidungen für jede Schicht und jede Inferenzphase (Prefill und Decoding):

Was zu verwerfen ist: Auswahl eines spezifischen Eviction-Musters (z. B. H2O, TOVA, PyramidKV), das für diese Schicht geeignet ist.
Wie viel zu behalten ist: Zuweisung eines spezifischen Cache-Budgets an diese Schicht.

Kernkomponenten

Formulierung des Designraums: PolyKV definiert eine Strategie $\Pi$ , bei der jeder Schicht $l$ ein Eviction-Muster $r_{l,\phi}$ und ein Budget $b_{l,\phi}$ für jede Phase $\phi$ zugewiesen wird. Das Gesamtbudget ist durch ein festes globales Limit $B$ begrenzt.
Offline-Kalibrierung: Um eine erschöpfende Online-Suche zu vermeiden, nutzt PolyKV einen kleinen Kalibrierungsdatensatz, um eine feste, statische Strategie zu generieren. Es sammelt zwei Kategorien von schichtspezifischen Signalen:
- Eviction-Präferenz-Signale: Misst, welches Eviction-Muster die FullKV-Berechnung einer Schicht am besten bewahrt. Zu den Metriken gehören die Kosinus-Ähnlichkeit zwischen perturbierten und FullKV-Aktivierungen sowie die Perplexity (PPL)-Sensitivität (die durch ein spezifisches Muster verursachte Degradierung).
- Cache-Budget-Sensitivitäts-Signale: Schätzt, wie stark eine Schicht durch die Reduktion des KV-Caches beeinflusst wird. Zu den Metriken gehören die Attention-Entropie (diffuse Attention erfordert größere Budgets) und die PPL-Sensitivität (aggregierte Worst-Case-Degradierung).
Strategiekonstruktion:
- Musterwahl: Für jedes Schicht-Phasen-Paar wird das Eviction-Muster mit dem höchsten Präferenzwert (z. B. höchste Kosinus-Ähnlichkeit oder geringste PPL-Degradierung) ausgewählt.
- Budget-Allokation: Budgets werden proportional basierend auf den Sensitivitäts-Signalen zugewiesen. Schichten mit höherer Sensitivität (oder Entropie) erhalten größere Budgets, unter Berücksichtigung einer Mindestbudget-Beschränkung ( $b_{min}$ ).
Implementierung: PolyKV ist als Hook-basiertes Framework implementiert. Es injiziert Logik an gängigen Punkten in der Generation-Pipeline (Pre-Kernel, Post-Kernel, Cache-Update), um die modulare Integration verschiedener Eviction-Methoden ohne Modifikation des zugrunde liegenden Modells zu unterstützen.

Zentrale Beiträge

Neuformulierung der KV-Eviction: Die Arbeit definiert die KV-Cache-Eviction als einen schichtweisen Designraum neu, der die Wahl des Eviction-Musters mit der Allokation der Cache-Kapazität unter einem gemeinsamen Speicherlimit koppelt.
Das PolyKV-Framework: Ein System, das diesen Designraum durch die Komposition von Eviction-Mustern und Budgets auf Schichtebene operationalisiert. Es integriert mehrere Eviction-Primitive über eine einheitliche Schnittstelle und nutzt Offline-Kalibrierungssignale zur Steuerung der Strategiekonstruktion.
Empirische Validierung: Die Autoren zeigen, dass heterogene, schichtweise Strategien einheitliche Single-Policy-Baselines unter festen Speicherbudgets übertreffen.

Experimentelle Ergebnisse

Die Experimente wurden auf LLaMA-3.1-8B und Qwen3-8B unter Verwendung der LongBench- und RULER-Benchmarks durchgeführt.

Performance auf LongBench (durchschnittliches Budget von 512 Tokens):
- LLaMA-3.1-8B: PolyKV stellte 54,5 % der Performance-Lücke zwischen der stärksten Single-Policy-Baseline und FullKV wieder her.
- Qwen3-8B: PolyKV stellte 25,7 % der Lücke wieder her.
- PolyKV übertraf konsistent die stärkste Baseline über einen Budget-Sweep (128–1024 Tokens) hinweg, mit Verbesserungen im Bereich von 1,7 % bis 6,4 %.
Performance auf RULER:
- Die Ergebnisse waren gemischt. PolyKV übertraf die Baseline auf LLaMA leicht, schnitt aber auf Qwen schlechter ab (um 3,98 Punkte). Die Autoren führen dies auf die Natur der RULER-Aufgaben zurück, die auf spärlichen Evidence-Tokens beruhen, welche durch heterogene Policys verworfen werden könnten, falls die Kalibrierungssignale diese nicht perfekt identifizieren.
Ablationsstudien:
- Eviction-Muster vs. Budget: Der primäre Performance-Gewinn resultiert aus der Zuweisung unterschiedlicher Eviction-Muster an verschiedene Schichten, insbesondere während der Prefill-Phase.
- Budget-Allokation: Nicht-uniforme Budget-Allokation liefert zusätzliche Gewinne, ist jedoch modellabhängiger und weniger robust als die Musterwahl. Sie ist am effektivsten, wenn das Gesamtbudget ausreicht, um sensible Schichten nicht zu "verhungern".
Aufgabenanalyse: Die Gewinne waren am deutlichsten bei Aufgaben, die ein breites kontextuelles Verständnis erfordern (z. B. QA, Few-Shot Learning). Die Performance sank bei Aufgaben, die eine exakte Extraktion spärlicher Tokens erfordern (z. B. NIAH in RULER) oder eine strikte Einhaltung lokaler Formen (z. B. Code-Generierung).

Bedeutung und Ansprüche

Die Arbeit behauptet, dass die Behandlung der KV-Cache-Eviction als ein kompositionelles, schichtbewusstes Optimierungsproblem statt als eine einzige globale Retention-Policy überlegene Ergebnisse liefert.

Heterogenität ist entscheidend: Die Studie validiert, dass Transformer-Schichten nicht homogen sind; eine "Einheitsstrategie" für die Eviction ist suboptimal.
Statische Effizienz: Durch die Nutzung der Offline-Kalibrierung erzielt PolyKV diese heterogenen Vorteile ohne den Runtime-Overhead einer Online-Policy-Suche, was es für den Einsatz praktikabel macht.
Limitierungen: Die Autoren merken bescheiden an, dass aktuelle Kalibrierungssignale nicht immer die "spärlichen, aber entscheidenden" Evidence-Tokens bewahren können, die für exakte Retrieval-Aufgaben erforderlich sind, was auf eine Richtung für zukünftige Verfeinerungen im Design der Signale hindeutet.

Zusammenfassend lässt sich sagen, dass PolyKV demonstriert, dass durch die Abstimmung von Eviction-Strategien und Cache-Kapazitäten auf die spezifischen Charakteristika jeder Transformer-Schicht der Trade-off zwischen Speicher und Qualität bei der Long-Context-LLM-Inferenz signifikant verbessert werden kann.