🤖 machine learning

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

CONF-KV ist eine neuartige Strategie zur Eviction von KV-Caches, die die Cache-Budgets dynamisch auf Basis der schrittweisen Vorhersagekonfidenz des Modells anpasst und gemischte Präzisionsspeicherung einsetzt, um den Speicherverbrauch erheblich zu reduzieren, während gleichzeitig eine hohe Abrufgenauigkeit und Aufgabenleistung für die Inferenz von LLMs mit langem Horizont gewährleistet werden.

Ursprüngliche Autoren: Yubo Li, Yidi Miao

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yubo Li, Yidi Miao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr langes Buch zu lesen, aber Ihr Gehirn (der Arbeitsspeicher des Computers) kann nur wenige Seiten gleichzeitig halten. Während Sie lesen, müssen Sie sich daran erinnern, was früher passiert ist, um den aktuellen Satz zu verstehen. Wenn Sie zu viel vergessen, geraten Sie in Verwirrung. Wenn Sie versuchen, alles zu merken, wird Ihr Gehirn so voll, dass es sich auf ein schleppendes Tempo verlangsamt.

Dies ist genau das Problem, das CONF-KV für KI-Modelle (Large Language Models) löst, wenn sie lange Geschichten schreiben oder lange Gespräche führen.

So erklärt das Papier es mit einfachen Analogien:

Das Problem: Der „überfüllte Rucksack"

Wenn eine KI Text generiert, führt sie einen „Rucksack" mit Informationen namens KV-Cache. Dieser Rucksack enthält den Kontext alles dessen, was die KI bisher gesagt hat.

Das Problem: Je länger das Gespräch wird, desto schwerer wird der Rucksack. Irgendwann wird er so schwer, dass der KI der Speicher ausgeht (der Rucksack reißt) oder sie so langsam wird, dass es ewig dauert, bis sie nachdenkt.
Der alte Weg: Die meisten KI-Systeme verwenden ein „gleitendes Fenster". Stellen Sie sich ein Fenster in einem Zug vor. Wenn der Zug fährt, verändert sich die Aussicht draußen. Die KI erinnert sich nur an die letzten 512 Wörter (die Aussicht direkt vor dem Fenster) und vergisst alles davor.
- Der Fehler: Wenn die Antwort auf eine Frage vor 1.000 Wörtern erwähnt wurde, vergisst das gleitende Fenster sie vollständig, und die KI versagt.
Der andere alte Weg: Einige Systeme versuchen, „wichtige" Wörter basierend darauf zu merken, wie oft sie in der Vergangenheit betrachtet wurden. Aber das ist wie das Betrachten einer Karte dessen, wo Sie gestern waren, ohne zu wissen, wie Sie sich gerade jetzt fühlen.

Die Lösung: Der „Vertrauens-Messgerät"

Die Autoren dieses Papiers, CONF-KV, haben eine neue Methode zur Verwaltung des Rucksacks eingeführt. Anstatt eine feste Regel zu verwenden, geben sie der KI ein Vertrauens-Messgerät.

Stellen Sie sich die KI als Schüler vor, der eine Prüfung schreibt:

Wenn der Schüler sicher ist: Er kennt die Antwort leicht. Er muss nicht in seine Notizen zurückblicken. Das System sagt also: „Toll! Sie sind sich sicher. Lassen Sie uns einige alte Notizen wegwerfen, um Platz zu sparen."
Wenn der Schüler verwirrt ist: Der Schüler zögert. Er muss seine Geschichte überprüfen, um es herauszufinden. Das System sagt: „Warten Sie, Sie scheinen unsicher. Behalten Sie alle Notizen! Werfen Sie noch nichts weg."

Wie es in der Praxis funktioniert:

Das Signal: Bevor die KI das nächste Wort auswählt, prüft sie, wie sicher sie ist. Wenn das nächste Wort offensichtlich ist (hohes Vertrauen), verkleinert sie den Speicher. Wenn das nächste Wort schwierig ist (niedriges Vertrauen), vergrößert sie den Speicher.
Die Sortierung: Selbst wenn sie den Speicher verkleinern muss, löscht sie nicht einfach zufällige Dinge. Sie behält die neuesten Wörter (da diese normalerweise wichtig sind) und die Wörter, die die KI in der Vergangenheit am häufigsten betrachtet hat. Sie löscht den „langweiligen" alten Ballast, um den sich niemand kümmert.

Der Trick mit der „gemischten Genauigkeit"

Das Papier erwähnt auch einen cleveren Speicherkniff.

Stellen Sie sich vor, Ihre Notizen sind auf Papier geschrieben.
Neueste Notizen sind auf hochwertigem, dickem Papier (FP16) geschrieben, damit sie kristallklar sind.
Ältere Notizen sind auf dünnem, recyceltem Papier (INT8) geschrieben. Sie nehmen viel weniger Platz ein, aber Sie können sie immer noch gut genug lesen, um den Kern zu erfassen.
Dies ermöglicht es der KI, eine viel größere Geschichte in denselben Rucksackraum zu packen, ohne zu viel Qualität zu verlieren.

Was die Ergebnisse zeigen

Die Autoren testeten dies an vier verschiedenen KI-Modellen und stellten fest:

Speichereinsparung: Es verwendet ungefähr die gleiche Speichermenge wie ein einfaches „gleitendes Fenster" (das alles Alte vergisst), merkt sich aber weit mehr wichtige Details.
Bessere Genauigkeit: Bei einem „Nadel im Heuhaufen"-Test (eine spezifische Tatsache in einem riesigen Text finden) fand CONF-KV die Nadel in 91,4 % der Fälle. Das alte gleitende Fenster fand sie nur in 53,8 % der Fälle.
Echte Anwendungen: Wenn es als Web-Browsing-Agent verwendet wird (um online Dinge zu kaufen oder Formulare auszufüllen), war es 95,3 % so erfolgreich wie die Vollspeicher-Version, verwendete aber 2,8-mal weniger Speicher.
Geschwindigkeit: Da der Rucksack leichter ist, denkt die KI schneller (geringere Latenz) und kann mehr Benutzer gleichzeitig bedienen (höherer Durchsatz).

Das Fazit

CONF-KV ist wie ein intelligenter Bibliothekar, der alte Bücher nicht einfach nur deshalb wegwirft, weil sie „alt" sind. Stattdessen beobachtet der Bibliothekar den Leser. Wenn der Leser kämpft, hält der Bibliothekar die ganze Bibliothek offen. Wenn der Leser mühelos vorankommt, räumt der Bibliothekar den Ballast auf, um den Raum schneller zu machen.

Dies ermöglicht es der KI, längere, intelligentere Gespräche zu führen, ohne den Speicher zu erschöpfen oder sich zu verlangsamen, indem sie einfach darauf hört, wie „sicher" sich die KI in jedem einzelnen Schritt fühlt.

Technischer Zusammenfassung: CONF-KV

Problemstellung
Die Inferenz von Large Language Models (LLM) mit langen Horizonten stößt auf einen kritischen Engpass, bei dem der Key-Value (KV)-Cache zum dominierenden Verbraucher von GPU-Speicher wird, wodurch sich die Latenz der Aufmerksamkeitsberechnung pro Token linear mit der Sequenzlänge skaliert. Bestehende Eviktionsrichtlinien, wie gleitende Fenster oder Methoden, die auf historischer Aufmerksamkeit basieren (z. B. H2O, SCISSORHANDS), verlassen sich auf statische Aktualität oder vergangene Signale, um zu bestimmen, welche Tokens zu behalten sind. Diese Ansätze versagen oft darin, ein Signal zu nutzen, das bei jedem Dekodierschritt verfügbar ist: die aktuelle Unsicherheit des Modells. Folglich können statische Richtlinien den Kontext während schwieriger Generierungsphasen vorzeitig verwerfen oder unnötige Tokens beibehalten, wenn das Modell sicher ist, was zu einem suboptimalen Kompromiss zwischen Speichernutzung und Generierungsqualität führt.

Methodik: CONF-KV
Die Autoren schlagen CONF-KV vor, einen konfidenzbewussten KV-Cache-Manager, der das Cache-Budget dynamisch an die aktuelle Next-Token-Verteilung des Modells anpasst. Das System arbeitet durch folgende Mechanismen:

Konfidenzschätzung: Bei jedem Dekodierschritt wandelt die Methode die Logits in einen skalaren Konfidenzwert ( $c$ ) um. Dieser Wert ist eine gewichtete Kombination aus normalisierter Entropie, dem Log-Wahrscheinlichkeitsabstand zwischen den beiden Top-Tokens und der Wahrscheinlichkeit des Top-Tokens.
$c = w_H(1 - \hat{H}) + w_m\sigma(m) + w_p p_{(1)}$
wobei $\hat{H}$ die normalisierte Entropie ist, $m$ der Log-Margin und die Gewichte auf $(0.4, 0.3, 0.3)$ gesetzt sind.
Adaptive Budgetauswahl: Ein Schwellenwert $\tau$ bestimmt das Cache-Budget ( $N$ ) für den aktuellen Schritt.
- Wenn $c \ge \tau$ (hohe Konfidenz), wird ein enges Budget ( $N_{high}$ ) ausgewählt, was eine aggressive Eviktion ermöglicht.
- Wenn $c < \tau$ (niedrige Konfidenz/Unsicherheit), wird ein lockeres Budget ( $N_{low}$ ) ausgewählt, um mehr Kontext zu behalten.
  Dies erzeugt ein „Sägezahn"-Speicherprofil, bei dem sich der Cache während unsicherer Phasen ausdehnt und während sicherer Phasen zusammenzieht.
Token-Ranking und Eviktion: Innerhalb des ausgewählten Budgets werden Tokens nach einer zusammengesetzten Kennzahl sortiert, die Exponential Moving Average (EMA)-Aufmerksamkeitsmasse und Aktualität kombiniert. Ein hartes geschütztes Fenster ( $P$ ) stellt sicher, dass die neuesten Tokens niemals verworfen werden, um lokale Kohärenz zu bewahren.
Systemintegration:
- Gemischte Präzisionsspeicherung: Die neuesten $W$ Tokens werden in FP16 gespeichert, während ältere beibehaltene Tokens pro Kopf und Kanal auf INT8 quantisiert werden. Dies reduziert den Speicherbedarf und minimiert gleichzeitig die Verschlechterung der Perplexität im Vergleich zu Quantisierungen mit niedrigerer Bitbreite.
- Pyramidale Budgets (CONF-KV-L): Eine optionale Variante weist Budgets über die Schichten hinweg ungleichmäßig zu und weist tieferen Schichten kleinere Budgets zu, basierend auf der Beobachtung, dass tiefere Schichten Informationen oft in weniger Tokens konzentrieren.
- Implementierung: Der Manager verwendet eine zusammenhängende Komprimierung, um ein dichtes Layout für Aufmerksamkeitskerne zu erhalten, vermeidet Indirektionstabellen und fusioniert die Dequantisierung in blockweise Aufmerksamkeitslesungen.

Hauptbeiträge

Konfidenzbewusste Richtlinie: Eine neuartige Eviktionsstrategie, die die aktuelle Ausgabeverteilung nutzt, um Budgetentscheidungen pro Schritt zu steuern, anstatt sich ausschließlich auf historische Signale zu verlassen.
Systemdesign: Eine vollständige Implementierung, die adaptive Eviktion mit blockweiser Online-Softmax-Aufmerksamkeit, gemischter FP16/INT8-Speicherung und optionalen pyramidalen Schichtbudgets kombiniert.
Mechanistische Validierung: Ein Test zeigt, dass der Konfidenzwert stark antikorreliert (Pearson $r = -0.77$ ) mit der KL-Verschiebung, die durch das Ablation kürzlichem Kontext verursacht wird, und validiert damit die Annahme, dass niedrige Konfidenz einen Bedarf an mehr beibehaltenem Kontext anzeigt.
Umfassende Evaluation: Umfangreiche Benchmarks über vier Modellfamilien (GPT-2, Qwen-14B/32B, gpt-oss-20b) und diverse Workloads, einschließlich Perplexität, Langkontext-Wiederherstellung und Web-Agent-Aufgaben.

Experimentelle Ergebnisse

Speicher-Qualitäts-Kompromiss: Bei GPT-2 mit einer Generierungslänge von 2048 Tokens entspricht CONF-KV+INT8 dem Speicherbedarf eines festen gleitenden Fensters mit 512 Tokens (~38,7 MB), reduziert die Perplexität jedoch um 3,11 Punkte im Vergleich zum gleitenden Fenster. CONF-KV-L (pyramidale Variante) reduziert den Speicher weiter auf 34,2 MB und verbessert die Perplexität um 3,89 Punkte, wodurch 74 % der Qualitätslücke zwischen einem gleitenden Fenster und dem vollständigen KV geschlossen werden.
Langkontext-Wiederherstellung: In Needle-in-a-Haystack (NIAH)-Tests bis zu 32K Tokens erreicht CONF-KV eine Wiederherstellungsgenauigkeit von 91,4 % und übertrifft damit deutlich gleitende Fenster (53,8 %) und H2O (80,6 %).
Agent-Aufgaben: Bei 75 VisualWebArena-Aufgaben behält CONF-KV 95,3 % der Erfolgsrate des vollständigen KV bei, während der Spitzen-Speicherbedarf um den Faktor 2,8 reduziert wird.
Durchsatz und Latenz: CONF-KV reduziert die Latenz pro Schritt um den Faktor 1,8 im Vergleich zum vollständigen KV bei GPT-2 und Qwen-32B. Der Durchsatz skaliert mit der Batch-Größe; bei Batch-Größe 8 erreicht CONF-KV das 2,06-fache des Durchsatzes des vollständigen KV.
Ablation: Die Isolierung des Konfidenzsignals zeigt, dass zufällige Eviktion zum gleichen Zeitpunkt die Leistung auf 36,54 PPL verschlechtert, während vollständiges CONF-KV 30,92 PPL erreicht, was bestätigt, dass sowohl das Konfidenz-Gating als auch der Ranking-Mechanismus essenziell sind.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass CONF-KV zeigt, dass aktuelle Unsicherheit ein nützliches System-Metadatum zur Verbesserung der Speicher-Qualitäts-Pareto-Grenze ist. Die Methode ist dadurch besonders, dass sie vorwärtsgerichtet ist: Sie kann verworfene Tokens nicht wiederherstellen, verhindert aber eine vorzeitige Eviktion während schwieriger Phasen. Der Ansatz ist training-frei konzipiert, verändert keine Modellgewichte und ist orthogonal zu bestehenden Techniken wie kopfweiser Zuweisung, schichtweiser Zuweisung und Präzisionsauswahl, was eine Kombination mit diesen ermöglicht.

Die Autoren weisen auf Einschränkungen hin, darunter, dass die Methode bei kurzen Kontexten, die den Eviktions-Schwellenwert nie überschreiten, ein „No-Op" darstellt und dass zusammenhängende Komprimierung Kosten für das Sammeln (Gather) verursacht (obwohl diese durch die Aufmerksamkeitsersparnis aufgewogen werden). Sie erkennen zudem an, dass das Konfidenzsignal unter Hochtemperatur-Sampling weniger informativ wird. Schließlich hebt die Arbeit eine Dual-Use-Überlegung hervor: Während niedrigere Inferenzkosten die Effizienz verbessern, können sie auch die Barrieren für unerwünschte Automatisierung mit langem Horizont senken, was darauf hindeutet, dass Sicherheitskontrollen für die zugrunde liegenden Modelle weiterhin notwendig bleiben.