💬 NLP

ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution

ForesightKV is een op training gebaseerd framework dat de KV-cache eviction voor reasoning-modellen optimaliseert door een Golden Eviction-algoritme te combineren met supervised learning en reinforcement learning (GRPO) om de meest kritieke KV-paren te voorspellen en te behouden, waardoor de geheugenkosten aanzienlijk worden verminderd terwijl de hoge prestaties bij lange reasoning-taken behouden blijven.

Oorspronkelijke auteurs: Zican Dong, Peiyu Liu, Junyi Li, Zhipeng Chen, Han Peng, Shuo Wang, Wayne Xin Zhao

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zican Dong, Peiyu Liu, Junyi Li, Zhipeng Chen, Han Peng, Shuo Wang, Wayne Xin Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante detective bent (de AI) die probeert een zeer lange, complexe mysteries op te lossen. Om dit te doen, moet je een enorm notitieboek met aanwijzingen (KV Cache) op je bureau hebben liggen. Naarmate het verhaal langer wordt, groeit je notitieboek en wordt het dikker en dikker. Uiteindelijk raakt je bureau zo vol met papier dat je je handen niet meer kunt bewegen en het een eeuwigheid duurt om de specifieke aanwijzing te vinden die je nodig hebt voor je volgende deductie. Dit is het probleem van "geheugenoverbelasting" bij grote taalmodellen.

Traditioneel gebruiken mensen eenvoudige regels om het bureau leeg te maken: "Gooi de oudste papieren weg" of "Gooi de papieren met de minste inkt weg." Maar het papier ForesightKV stelt dat deze regels te dom zijn. Soms is een oud stuk papier of een papier met vage inkt juist de meest cruciale aanwijzing voor het oplossen van de mysteries later in het verhaal. Het weggooien ervan zorgt ervoor dat de detective een fout maakt die de rest van het onderzoek verpest.

Hier is hoe ForesightKV dit probleem oplost, uitgelegd in drie eenvoudige stappen:

1. Het Probleen: De "One-Pass" Fout

Stel je voor dat je een koffer inpakt voor een reis. Een standaardmethode zou kunnen zeggen: "Houd de laatste 10 items die je hebt ingepakt en gooi de rest weg." Maar wat als het eerste item dat je hebt ingepakt (een kaart) essentieel is voor de hele reis, ook al zit het ver achterin de koffer?
Bestaande methoden proberen te raden welke aanwijzingen ze moeten bewaren op basis van eenvoudige patronen (zoals "houd het meest recente" of "houd het populairste"). Het onderzoek ontdekte dat aanwijzingen bij complex redeneren (zoals wiskundige problemen) drie soorten persoonlijkheden hebben:

De Globale Ster: Altijd belangrijk, ongeacht wat er gebeurt.
De Lokale Buur: Alleen belangrijk voor een korte tijd.
De Semantische Kameleon: Dit is de lastige. Een aanwijzing kan nu nutteloos lijken, maar over 50 stappen kan het de sleutel tot het hele puzzelstukje zijn. Eenvoudige regels missen deze "kameleons".

2. De Oplossing: Een "Tijdreizende" Coach

De auteurs hebben een nieuw systeem ontwikkeld genaamd ForesightKV. In plaats van een rigide regelboek te gebruiken, hebben ze een kleine, slimme assistent getraind (een Scoring Model) die fungeert als een coach die de toekomst kan zien.

Deze coach kijkt niet alleen naar de aanwijzingen van nu; hij leert te voorspellen welke aanwijzingen in de toekomst het belangrijkst zullen zijn. Dit doet hij via een tweefasig trainingsproces:

Fase 1: De "Gouden Standaard" (Supervised Learning)

Eerst lieten de onderzoekers de AI een wiskundig probleem oplossen zonder iets weg te gooien. Ze volgden de aandacht van de AI en vroegen: "Als we nu enkele aanwijzingen zouden moeten weggooien, welke zouden dan de minste schade aanrichten aan het uiteindelijke antwoord?"
Ze gebruikten een methode genaamd Golden Eviction om de perfecte set aanwijzingen te vinden om te bewaren. Vervolgens leerden ze de kleine assistent om dit "perfecte" besluitvormingsproces na te bootsen. Het is alsof je een student het antwoordmodel laat zien en zegt: "Leer hoe je de juiste antwoorden kiest."

Fase 2: De "Real-World Simulatie" (Reinforcement Learning)

Echter, het "perfecte" antwoordmodel is niet altijd perfect wanneer de AI live een probleem oplost, omdat de geest van de AI verandert terwijl hij nadenkt.
Daarom is de tweede fase als een videogame-simulatie. De assistent krijgt de opdracht: "Ga je gang, gooi wat aanwijzingen weg. Als de AI een fout maakt op een specifiek type woord (zoals een getal of symbool dat gemakkelijk fout gaat), krijg je een straf. Als de AI correct blijft oplossen, krijg je een beloning."
De assistent leert hierdoor nog slimmer te worden, en beseft dat het bewaren van bepaalde "saaie" woorden (low-entropy tokens) essentieel is om te voorkomen dat de AI later in het proces getallen hallucineert.

3. Het Resultaat: Een Slimmer, Lichter Bureau

Het papier testte dit op drie verschillende AI-modellen met zeer moeilijke wiskunde-benchmarks (AIME 2024 en 2025).

De claim: ForesightKV kan deze wiskundeproblemen net zo goed oplossen als het volledige, zware notitieboek, maar gebruikt daarbij slechts de helft van de geheugenruimte.
De analogie: Het is alsof je een rugzak kunt dragen die 50% lichter is, maar je herinnert je nog steeds elke aanwijzing die je nodig hebt om het spel te winnen.
Snelheid: Omdat de rugzak lichter is, kan de AI sneller denken en meer mensen tegelijkertijd afhandelen (hogere throughput).

Samenvatting

ForesightKV is een nieuwe manier om het geheugen van een AI te beheren. In plaats van blindelings oude aantekeningen weg te gooien, gebruikt het een slimme, getrainde assistent die leert te voorspellen welke aantekeningen cruciaal zullen zijn voor de lange termijn oplossing. Door een trainingsfase met "perfecte voorbeelden" te combineren met een "leren door te doen" spel-fase, houdt het de AI snel en efficiënt zonder dat hij de belangrijke details vergeet die nodig zijn om complexe redeneerpuzzels op te lossen.

Technische Samenvatting: ForesightKV

Probleemstelling

Large Language Models (LLM's), in het bijzonder redeneermodellen, hebben uitzonderlijke capaciteiten getoond in het genereren van lange redeneersporen. Echter, naarmate de sequentielengte toeneemt, breidt de Key-Value (KV) cache zich lineair uit, wat leidt tot een significante geheugenoverhead en verhoogde latentie door geheugen-gebonden decodering. Hoewel bestaande methoden voor KV-cache-evictie (verwijdering) proberen dit te mitigeren door minder belangrijke KV-paren te verwijderen op basis van heuristische regels (bijv. attention scores, posities of kenmerken), falen ze vaak in het vastleggen van complexe, dynamische afhankelijkheden over verschillende attention heads. Specifiek worstelen deze training-vrije methoden met "semantisch-afhankelijke" patronen waarbij het belang van een KV-paar dynamisch verandert op basis van de evoluerende context. Bovendien kan de verwijdering van kritieke KV-paren leiden tot scherpe toenames in de loss voor tokens met een lage entropie (deterministische delen van redeneringen), wat resulteert in feitelijke fouten die daaropvolgende redeneerstappen verstoren.

Methodologie

De auteurs stellen ForesightKV voor, een op training gebaseerd framework dat is ontworpen om de langetermijnbijdrage van KV-paren te leren en minder belangrijke paren adaptief te verwijderen tijdens de generatie. Het framework werkt op een vast geheugenbudget en maakt gebruik van een tweestaps-trainingsparadigma om een lichtgewicht scoringsmodel ( $\pi_\theta$ ) te optimaliseren dat de belangrijkheid van elk KV-paar voorspelt. Cruciaal is dat de LLM-parameters gedurende het hele proces bevroren blijven; alleen het scoringsmodel wordt bijgewerkt.

1. Dynamisch Evictieproces

De evictie wordt periodiek getriggerd (elke $L$ tokens). Wanneer de cachegrootte $B + L$ bereikt (waarbij $B$ het doelbudget is), behoudt het systeem de meest recente $L$ tokens en gebruikt het scoringsmodel om de resterende cache terug te brengen naar $B - L$ . Het scoringsmodel neemt als input de concatenatie van de key ( $k_n$ ), value ( $v_n$ ) en attention features ( $a_n$ ) om een belangrijkheidsscore ( $\phi_n$ ) te voorspellen. Beslissingen voor evictie worden genomen via een Top-K gevolgd door een multinomiale sampling-strategie om stochasticiteit te introduceren.

2. Fase Één: Supervised Learning met "Golden Eviction"

Om het scoringsmodel te trainen, introduceren de auteurs het Golden Eviction-algoritme om supervisie-labels te construeren.

Mechanisme: Voor een volledig redeneerspoor wordt de attention-matrix opgedeeld in blokken. Het algoritme berekent "blokscores" door attention scores binnen blokken en over attention heads te aggregeren.
Toekomstbewustzijn: Voor elke evictiestap identificeert het algoritme de maximale blokscore over alle toekomstige stappen voor elk KV-paar. Deze "toekomstige score" vertegenwoordigt de optimale retentiestrategie die de impact op toekomstige attention-berekeningen minimaliseert.
Training: Het scoringsmodel wordt getraind met een Pairwise Ranking Loss om ervoor te zorgen dat de voorspelde scores voor elk twee KV-paren overeenkomen met de rangschikking van hun toekomstige scores, afgeleid van het Golden Eviction-algoritme.

3. Fase Twee: Reinforcement Learning (RL)

Alleen supervised training is mogelijk niet in staat om de distributieverschuiving te verklaren die door evictie tijdens inferentie wordt veroorzaakt. Om deze kloof te overbruggen, formuleren de auteurs KV-cache-evictie als een Markov Decision Process (MDP) en passen zij het GRPO (Group Relative Policy Optimization) algoritme toe.

State: De huidige resterende KV-cache.
Action: Het selecteren van een subset van KV-paren om te behouden.
Reward: De beloningsfunctie is ontworpen om prestatieverslechtering op tokens met een lage entropie te mitigeren. Specifiek richt het zich op tokens die oorspronkelijk een lage entropie hadden maar een significante toename in loss ervoeren na de evictie. De beloning wordt gedefinieerd als de negatieve Mean Squared Error (MSE) van de toename in loss voor deze specifieke subset van tokens.
Optimalisatie: Het policy-model wordt geoptimaliseerd om de cumulatieve beloning over de sequentie te maximaliseren, waardoor het effectief leert de kritieke context te bewaren die nodig is voor deterministische redeneerstappen.

Belangrijkste Bijdragen

ForesightKV Framework: Een nieuw tweestaps-trainingsmethodologie (Supervised Learning + RL) die leert om de langetermijnbijdrage van KV-paren te voorspellen, waarmee het verder gaat dan statische heuristische regels.
Golden Eviction Algoritme: Een methode om optimale evictie-traces te genereren met behulp van toekomstige attention-informatie, wat dient als hoogwaardige supervisie voor het scoringsmodel.
MDP Formulering voor Evictie: Het modelleren van het evictieproces als een MDP en het gebruik van GRPO om specifiek gericht te zijn op het mitigeren van loss-pieken in tokens met een lage entropie, die cruciaal zijn voor de nauwkeurigheid van redeneringen.
Efficiëntie: Het framework traint alleen een lichtgewicht scoringsmodel zonder dat backward-operaties of parameterupdates op de basis-LLM vereist zijn.

Experimentele Resultaten

De auteurs evalueerden ForesimentKV op drie redeneermodellen (Qwen3-1.7B, Qwen3-4B, en DeepSeek-R1-Distill-Qwen-7B) met behulp van de AIME2024 en AIME2025 wiskunde-benchmarks.

Prestaties: ForesightKV presteerde consequent beter dan bestaande baselines (SnapKV, H2O, R-KV). Opvallend genoeg behaalde het vergelijkbare of superieure prestaties ten opzichte van full-cache baselines terwijl het slechts de helft van de KV-cache budget gebruikte. Bijvoorbeeld, op AIME2024 met Qwen3-4B, presteerde ForesightKV met een 1K budget beter dan R-KV met een 2K budget (54.5 vs. 44.8 Pass@1).
Doorvoersnelheid (Throughput): De methode verbeterde de doorvoersnelheid aanzienlijk. Met een 1K budget op een 32K sequentie behaalde ForesightKV een tot wel 9.79× winst in throughput vergeleken met de volledige KV-cache.
Generalisatie: Ondanks dat het primair is getraind op wiskundige taken, demonstreerde ForesightKV een sterke generalisatie op GPQA (wetenschap) en LiveCodeBench (codering) benchmarks, waarbij het baselines met de helft van het cache-budget versloeg.
Ablatie-studies: De resultaten bevestigden dat zowel de supervised trainingfase (die initiële voorspellende capaciteit biedt) als de reinforcement learning-fase (die het beleid verfijnt voor het behoud van tokens met een lage entropie) cruciaal zijn voor succes. De specifieke beloningsontwerp die zich richt op tokens met een lage entropie met grote toenames in loss, bleek het meest effectief te zijn.

Betekenis en Claims

Het artikel beweert dat ForesightKV een veelbelovende nieuwe richting biedt voor adaptief KV-cachebeheer in lang-context redeneren. Door over te stappen van regelgebaseerde heuristieken naar een op leren gebaseerde aanpak die expliciet de langetermijnbijdrage van KV-paren modelleert en zich richt op het behoud van tokens met een lage entropie, bereikt de methode een superieur evenwicht tussen geheugenefficiëntie en generatiekwaliteit. De auteurs benadrukken dat hun aanpak de intrinsieke belangrijkheid van KV-cache-items vastlegt in plaats van te overfitten op specifieke budgetbeperkingen, waardoor het goed kan generaliseren over verschillende budgetinstellingen en taakdomeinen.