💬 NLP

ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution

ForesightKV ist ein trainingsbasiertes Framework, das die KV-Cache-Eviction für Reasoning-Modelle optimiert, indem es einen Golden-Eviction-Algorithmus mit überwachtem Lernen und Reinforcement Learning (GRPO) kombiniert, um die kritischsten KV-Paare vorherzusagen und zu behalten, wodurch die Speicherkosten bei gleichzeitig hoher Leistung bei langen Reasoning-Aufgaben signifikant reduziert werden.

Ursprüngliche Autoren: Zican Dong, Peiyu Liu, Junyi Li, Zhipeng Chen, Han Peng, Shuo Wang, Wayne Xin Zhao

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zican Dong, Peiyu Liu, Junyi Li, Zhipeng Chen, Han Peng, Shuo Wang, Wayne Xin Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein brillanter Detektiv (die KI), der versucht, ein sehr langes, komplexes Rätsel zu lösen. Um dies zu tun, müssen Sie ein riesiges Notizbuch mit Hinweisen (KV Cache) auf Ihrem Schreibtisch führen. Während die Geschichte länger wird, wird Ihr Notizbuch immer dicker und dicker. Schließlich ist Ihr Schreibtisch so mit Papieren übersät, dass Sie Ihre Hände nicht mehr bewegen können und es eine Ewigkeit dauert, den spezifischen Hinweis zu finden, den Sie für Ihre nächste Schlussfolgerung benötigen. Dies ist das Problem der „Gedächtnisüberlastung“ bei großen Sprachmodellen.

Traditionell nutzen Menschen einfache Regeln, um den Schreibtisch zu leeren: „Wirf die ältesten Papiere weg“ oder „Wirf die Papiere mit der wenigsten Tinte weg“. Aber das Papier ForesightKV argumentiert, dass diese Regeln zu dumm sind. Manchmal ist ein altes Papier oder ein Papier mit verblasster Tinte tatsächlich der entscheidende Hinweis, um das Rätsel später im Verlauf der Geschichte zu lösen. Diese Informationen wegzuwerfen, führt dazu, dass der Detektiv einen Fehler macht, der den Rest der Untersuchung ruiniert.

Hier ist, wie ForesightKV dieses Problem in drei einfachen Schritten löst:

1. Das Problem: Der „Ein-Durchgang“-Fehler

Stellen Sie sich vor, Sie packen für eine Reise. Eine Standardmethode könnte sagen: „Behalte die letzten 10 Gegenstände, die du eingepackt hast, und wirf den Rest weg.“ Aber was, wenn der erste Gegenstand, den du eingepackt hast (eine Landkarte), für die gesamte Reise unerlässlich ist, obwohl er weit hinten im Koffer liegt?
Bestehende Methoden versuchen zu erraten, welche Hinweise man behalten sollte, basierend auf einfachen Mustern (wie „behalte die neuesten“ oder „behalte die beliebtesten“). Das Papier stellte fest, dass Hinweise bei komplexem Denken (wie bei Matheaufgaben) drei Arten von Persönlichkeiten haben:

Der Globale Star: Immer wichtig, egal was passiert.
Der Lokale Nachbar: Nur für eine kurze Zeit wichtig.
Das Semantische Chamäleon: Das ist das tückische Teil. Ein Hinweis kann jetzt nutzlos erscheinen, aber in 50 Schritten wird er zum Schlüssel für das gesamte Rätsel. Einfache Regeln übersehen diese „Chamäleons“.

2. Die Lösung: Ein „Zeitreise“-Coach

Die Autoren haben ein neues System namens ForesightKV entwickelt. Anstatt ein starres Regelwerk zu verwenden, haben sie einen winzigen, intelligenten Assistenten (ein Scoring-Modell) trainiert, der wie ein Coach fungiert, der die Zukunft sehen kann.

Dieser Coach schaut nicht nur auf die Hinweise im Hier und Jetzt; er lernt vorherzusagen, welche Hinweise in der Zukunft am wichtigsten sein werden. Dies geschieht durch einen zweistufigen Trainingsprozess:

Stufe 1: Der „Goldstandard“ (Überwachtes Lernen)

Zuerst ließen die Forscher die KI eine Matheaufgabe lösen, ohne dabei etwas wegzuwerfen. Sie beobachteten die Aufmerksamkeit der KI und fragten: „Wenn wir jetzt einige Hinweise wegwerfen müssten, welche würden den geringsten Schaden für die endgültige Antwort anrichten?“
Sie verwendeten eine Methode namens Golden Eviction, um die perfekte Menge an Hinweisen zu finden, die man behalten sollte. Dann brachten sie dem winzigen Assistenten bei, diesen „perfekten“ Entscheidungsprozess nachzuahmen. Es ist, als würde man einem Schüler den Lösungsschlüssel zeigen und sagen: „Lerne, wie man die richtigen Antworten auswählt.“

Stufe 2: Die „Realwelt-Simulation“ (Bestärkendes Lernen)

Der „perfekte“ Lösungsschlüssel ist jedoch nicht immer perfekt, wenn die KI tatsächlich live ein Problem löst, da sich der Geist der KI während des Denkens verändert.
Daher ist die zweite Stufe wie eine Videospiel-Simulation. Der Assistent bekommt die Anweisung: „Geh ruhig voran und wirf einige Hinweise weg. Wenn die KI bei einer bestimmten Art von Wort einen Fehler macht (wie etwa bei einer Zahl oder einem Symbol, die leicht falsch zu interpretieren sind), erhältst du einen Punktabzug. Wenn die KI weiterhin korrekt löst, erhältst du eine Belohnung.“
Der Assistent lernt dadurch noch klüger zu werden und erkennt, dass das Behalten bestimmter „langweiliger“ Wörter (Low-Entropy-Token) eigentlich entscheidend ist, um zu verhindern, dass die KI später Zahlen halluziniert.

3. Das Ergebnis: Ein klügerer, leichterer Schreibtisch

Das Papier testete dies an drei verschiedenen KI-Modellen anhand schwieriger Mathe-Benchmarks (AIME 2024 und 2025).

Die Behauptung: ForesightKV kann diese Matheaufgaben genauso gut lösen wie das volle, schwere Notizbuch, verwendet dabei aber nur die Hälfte des Speicherplatzes.
Die Analogie: Es ist, als wäre man in der Lage, einen Rucksack zu tragen, der 50 % leichter ist, man aber dennoch jeden einzelnen Hinweis behält, den man braucht, um das Spiel zu gewinnen.
Geschwindigkeit: Weil der Rucksack leichter ist, kann die KI schneller denken und mehr Menschen gleichzeitig bedienen (höherer Durchsatz).

Zusammenfassung

ForesightKV ist eine neue Art, den Speicher einer KI zu verwalten. Anstatt blind alte Notizen wegzuwerfen, nutzt es einen intelligenten, trainierten Assistenten, der lernt vorherzusagen, welche Notizen für die Langzeitlösung entscheidend sein werden. Durch die Kombination einer Trainingsphase mit einem „perfekten Beispiel“ und einer „Lernen durch Tun“-Spielphase hält es die KI schnell und effizient, ohne dass sie die wichtigen Details vergisst, die für die Lösung komplexer Denkaufgaben benötigt werden.

Technisches Resümee: ForesightKV

Problemstellung

Große Sprachmodelle (LLMs), insbesondere Reasoning-Modelle, haben außergewöhnliche Fähigkeiten bei der Generierung langer Reasoning-Spuren (Reasoning Traces) bewiesen. Mit zunehmender Sequenzlänge dehnt sich jedoch der Key-Value (KV)-Cache linear aus, was zu einem erheblichen Speicher-Overhead und erhöhter Latenz aufgrund des speichergebundenen Decodings führt. Bestehende Methoden zur KV-Cache-Eviction versuchen dies zu mildern, indem sie weniger wichtige KV-Paare basierend auf heuristischen Regeln (z. B. Attention-Scores, Positionen oder Merkmalen) verwerfen, scheitern jedoch oft daran, komplexe, dynamische Abhängigkeiten über verschiedene Attention-Heads hinweg zu erfassen. Speziell haben diese trainingsfreien Methoden Schwierigkeiten mit „semantisch abhängigen“ Mustern, bei denen sich die Wichtigkeit eines KV-Paares dynamisch basierend auf dem sich entwickelnden Kontext ändert. Zudem kann das Verwerfen kritischer KV-Paare zu einem sprunghaften Anstieg des Loss für Low-Entropy-Token (deterministische Teile des Reasonings) führen, was zu faktischen Fehlern führt, die nachfolgende Reasoning-Schritte verzerren.

Methodik

Die Autoren schlagen ForesightKV vor, ein trainingsbasiertes Framework, das darauf ausgelegt ist, den langfristigen Beitrag von KV-Paaren zu erlernen und weniger wichtige Paare während der Generierung adaptiv zu verwerfen. Das Framework arbeitet mit einem festen Speicherbudget und verwendet ein zweistufiges Trainingsparadigma, um ein leichtgewichtiges Scoring-Modell ( $\pi_\theta$ ) zu optimieren, das die Wichtigkeit jedes KV-Paares vorhersagt. Entscheidend ist, dass die Parameter des LLM während des gesamten Prozesses eingefroren bleiben; nur das Scoring-Modell wird aktualisiert.

1. Dynamischer Eviction-Prozess

Die Eviction wird periodisch (alle $L$ Token) ausgelöst. Wenn die Cache-Größe $B + L$ erreicht (wobei $B$ das Zielbudget ist), behält das System die letzten $L$ Token bei und nutzt das Scoring-Modell, um den verbleibenden Cache auf $B - L$ zu kürzen. Das Scoring-Modell nimmt als Input die Konkatenierung des Keys ( $k_n$ ), des Values ( $v_n$ ) und der Attention-Features ( $a_n$ ), um einen Wichtigkeits-Score ( $\phi_n$ ) vorherzusagen. Die Entscheidungen zur Eviction werden mittels einer Top-K-Strategie gefolgt von Multinomial-Sampling getroffen, um Stochastizität einzuführen.

2. Stufe Eins: Überwachtes Lernen mit „Golden Eviction“

Um das Scoring-Modell zu trainieren, führen die Autoren den Golden Eviction-Algorithmus ein, um Supervision-Labels zu konstruieren.

Mechanismus: Für eine vollständige Reasoning-Spur wird die Attention-Matrix in Blöcke unterteilt. Der Algorithmus berechnet „Block-Scores“, indem er die Attention-Scores innerhalb von Blöcken und über verschiedene Attention-Heads hinweg aggregiert.
Zukunftsorientierung (Future Awareness): Für jeden Eviction-Schritt identifiziert der Algorithmus den maximalen Block-Score über alle zukünftigen Schritte für jedes KV-Paar. Dieser „Zukunfts-Score“ repräsentiert die optimale Retentionsstrategie, die die Auswirkungen auf zukünftige Attention-Berechnungen minimiert.
Training: Das Scoring-Modell wird unter Verwendung eines Pairwise Ranking Loss trainiert, um sicherzustellen, dass die vorhergesagten Scores für zwei beliebige KV-Paare mit dem Ranking ihrer Zukunfts-Scores übereinstimmen, die durch den Golden Eviction-Algorithmus abgeleitet wurden.

3. Stufe Zwei: Reinforcement Learning (RL)

Das alleinige Supervised Training deckt möglicherweise nicht den Distribution Shift ab, der durch die Eviction während der Inferenz verursacht wird. Um diese Lücke zu schließen, formulieren die Autoren die KV-Cache-Eviction als Markov-Entscheidungsprozess (MDP) und wenden den GRPO (Group Relative Policy Optimization) Algorithmus an.

State: Der aktuell verbleibende KV-Cache.
Action: Auswahl einer Teilmenge von KV-Paaren, die beibehalten werden sollen.
Reward: Die Reward-Funktion ist darauf ausgelegt, die Leistungsdegradation bei Low-Entropy-Token zu mildern. Insbesondere konzentriert sie sich auf Token, die ursprünglich eine niedrige Entropie hatten, aber nach der Eviction einen signifikanten Anstieg des Loss erfuhren. Der Reward ist definiert als der negative Mean Squared Error (MSE) der Loss-Anstiege für diese spezifische Teilmenge von Token.
Optimierung: Das Policy-Modell wird optimiert, um den kumulativen Reward über die Sequenz hinweg zu maximieren, wodurch es effektiv lernt, den kritischen Kontext für deterministische Reasoning-Schritte zu bewahren.

Zentrale Beiträge

ForesightKV Framework: Eine neuartige zweistufige Trainingsmethode (Supervised Learning + RL), die lernt, den langfristigen Beitrag von KV-Paaren vorherzusagen und damit über statische heuristische Regeln hinausgeht.
Golden Eviction Algorithmus: Eine Methode zur Generierung optimaler Eviction-Spuren unter Verwendung zukünftiger Attention-Informationen, die als qualitativ hochwertige Supervision für das Scoring-Modell dient.
MDP-Formulierung für Eviction: Modellierung des Eviction-Prozesses als MDP und Nutzung von GRPO, um gezielt die Milderung von Loss-Spikes bei Low-Entropy-Token anzustreben, welche entscheidend für die Genauigkeit des Reasonings sind.
Effizienz: Das Framework trainiert nur ein leichtgewichtiges Scoring-Modell, ohne dass Backward-Operationen oder Parameter-Updates am Basis-LLM erforderlich sind.

Experimentelle Ergebnisse

Die Autoren evaluierten ForesiktKV auf drei Reasoning-Modellen (Qwen3-1.7B, Qschen3-4B und DeepSeek-R1-Distill-Qwen-7B) unter Verwendung der AIME2024 und AIME2025 Mathematik-Benchmarks.

Performance: ForesightKV übertraf konsistent bestehende Baselines (SnapKV, H2O, R-KV). Bemerkenswerterweise erreichte es eine vergleichbare oder überlegene Performance gegenüber Full-Cache-Baselines bei Verwendung von nur halbem KV-Cache-Budget. Beispielsweise übertraf ForesightKV mit einem 1K-Budget auf AIME2024 mit Qwen3-4B den R-KV mit einem 2K-Budget (54.5 vs. 44.8 Pass@1).
Durchsatz: Die Methode verbesserte den Durchsatz signifikant. Mit einem 1K-Budget bei einer 32K-Sequenz erzielte ForesightKV einen bis zu 9,79-fachen Durchsatzgewinn im Vergleich zum Full KV Cache.
Generalisierung: Trotz des primären Trainings auf Mathematik-Aufgaben demonstrierte ForesightKV eine starke Generalisierung auf GPQA (Wissenschaft) und LiveCodeBench (Coding) Benchmarks und übertraf die Baselines bei halbem Cache-Budget.
Ablationsstudien: Die Ergebnisse bestätigten, dass sowohl die Supervised-Training-Stufe (die eine initiale Vorhersagefähigkeit bereitstellt) als auch die Reinforcement-Learning-Stufe (die die Policy für die Bewahrung von Low-Entropy-Token verfeinert) entscheidend für den Erfolg sind. Das spezifische Reward-Design, das sich auf Low-Entropy-Token mit großen Loss-Anstiegen konzentriert, erwies sich als am effektivsten.

Bedeutung und Behauptungen

Das Paper behauptet, dass ForesightKV eine vielversprechende neue Richtung für das adaptive KV-Cache-Management in langem Kontext-Reasoning bietet. Durch den Wechsel von regelbasierten Heuristiken zu einem lernbasierten Ansatz, der explizit den langfristigen Beitrag von KV-Paaren modelliert und die Bewahrung von Low-Entropy-Token anstrebt, erreicht die Methode einen überlegenen Kompromiss zwischen Speichereffizienz und Generierungsqualität. Die Autoren betonen, dass ihr Ansatz die intrinsische Wichtigkeit von KV-Cache-Einträgen erfasst, anstatt sich auf spezifische Budgetbeschränkungen zu überoptimieren, was eine gute Generalisierung über verschiedene Budget-Einstellungen und Aufgabenbereiche hinweg ermöglicht.