🤖 machine learning

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

Dit artikel introduceert "Back from the Future", een training-vrije Key-Value cache-evictiestrategie die redundante tokens identificeert en verwijdert door gebruik te maken van counter-causale aandacht om te meten hoe goed het verleden voorspeld kan worden vanuit de toekomstige context, waardoor het geheugengebruik en de inferentielatentie worden verminderd terwijl een competitieve prestatie behouden blijft over diverse grote taalmodellen.

Oorspronkelijke auteurs: Stephen Gould, Anton van den Hengel

Gepubliceerd 2026-07-31

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stephen Gould, Anton van den Hengel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een lang, ingewikkeld verhaal te onthouden zodat je het volgende deel ervan kunt vertellen. Je brein is geweldig, maar het heeft een limiet aan hoeveel het tegelijkertijd kan vasthouden. Als het verhaal te lang wordt, moet je sommige delen vergeten om ruimte te maken voor nieuwe. Dit is precies het probleem waar moderne "Large Language Models" (de superintelligente AI-chatbots die we vandaag de dag gebruiken) voor staan. Deze modellen werken door alles te bekijken wat ze tot nu toe hebben gelezen om het volgende woord te raden. Om dit snel te doen, houden ze een "kladblok" bij in hun computermemory, een Key-Value (KV) cache. Denk aan deze cache als een mentaal notitieblok waarop het model de belangrijkste aanwijzingen van het verhaal tot nu toe opschrijft.

Het probleem is dat naarmate het verhaal langer wordt, dit notitieblok groter en groter wordt. Uiteindelijk vult het het computermemory op, waardoor de AI vastloopt of traag begint te draaien. Wetenschappers hebben geprobeerd dit op te lossen door uit te zoeken welke aantekeningen op het notitieblok het belangrijkst zijn om te bewaren en welke weggegooid kunnen worden. Sommige methoden gooien gewoon de oudste aantekeningen weg (zoals een bewegend venster/sliding window), terwijl andere proberen de aantekeningen te bewaren waar het model het meest naar "kijkt". Maar deze oude manieren hebben een gebrek: als het model te veel naar een aantekening kijkt, blijft het er steeds meer naar kijken, wat een lus creëëert waarbij belangrijke maar stille feiten worden verwijderd omdat ze niet "luid" genoeg waren om de aandacht te trekken.

Deze paper introduceert een slimme nieuwe manier om te beslissen wat je bewaart, genaamd Counter-Causal Surprise. In plaats van te vragen: "Waar keek het model het meest naar?", vraagt het: "Als ik deze aantekening weg zou halen, zou het model dan nog steeds kunnen raden wat het was op basis van de toekomstige aantekeningen?" Als het model een woord uit het verleden gemakkelijk kan raden door alleen naar de woorden die daarna komen te kijken, dan is dat woord niet bijzonder—het is redundant. Maar als het model totaal verrast is en het verleden niet kan raden op basis van de toekomst, dan bevat dat woord unieke, vitale informatie en moet het worden bewaard. De auteurs testten dit op verschillende AI-modellen en ontdekten dat deze "verrassings"-methode het model slimmer en nauwkeuriger houdt dan de oude manieren, zelfs wanneer het geheugen beperkt is. Ze ontdekten ook een "snelle modus" die de berekeningen veel sneller uitvoert, wat het praktisch maakt voor gebruik in de echte wereld zonder dat het te veel vertraagt.

De Magie van de "Achterwaartse" Blik

Dus, hoe werkt deze "Counter-Causal Surprise" eigenlijk? Laten we ons voorstellen dat de AI een mysterieserie leest. Meestal leest het model van links naar rechts, zoals een normaal mens. Het ziet "De butler", dan "pakte op", dan "de kandelaar". Om het volgende woord te voorspellen, gebruikt het alles wat het tot nu toe heeft gezien. Dit is de standaardmanier waarop AI werkt.

Maar om te beslissen wat het uit zijn geheugen moet gooien, doet deze nieuwe methode iets vreemds: het kijkt achterwaarts. Het neemt een deel van het verhaal dat al gelezen is en vraagt: "Als ik het woord 'kandelaar' uit mijn geheugen verberg, kan ik het dan nog steeds raden door alleen naar 'De butler pakte op de...' te kijken?"

Lage Verrassing (Gooi het weg): Als de zin was "De butler pakte op de [kandelaar]" en de volgende woorden zijn "en liep naar de keuken", dan kan het model misschien "kandelaar" raden enkel door de context van een butler in een keuken. Als het model het gemakkelijk kan raden, voegde dat woord niet veel nieuwe informatie toe. Het is also[f] de woorden "de" in een zin te onthouden; je hoeft geen speciale aantekening te maken voor "de" omdat het overal voorkomt. De paper suggereert om deze gemakkelijk te raden woorden uit de cache te verwijderen om ruimte te besparen.
Hoge Verrassing (Bewaar het!): Stel je nu voor dat de zin is: "De butler pakte op de [theepot]." Als de volgende woorden zijn "en liep naar de keuken", dan kan het model totaal in de war zijn. "Theepot?" Waarom? Dat is een verrassing! Het feit dat de butler een theepot oppakte is een uniek detail dat de toekomstige woorden niet voorspelden. Deze "verrassing" betekent dat het woord een geheim bevat dat de rest van het verhaal nog niet weet. De paper betoogt dat deze "verrassende" woorden de meest waardevolle zijn en degenen die in het geheugencache bewaard moeten worden.

De "Fast Mode" Shortcut

Het doen van deze "achterwaartse blik" voor elk afzonderlijk woord in een lang verhaal is zwaar werk. Het is alsof je een heel boek leest, en het dan weer achterstevoren leest om je aantekeningen te controleren. De auteurs realiseerden zich dat dit veel rekenkracht kost. Daarom kwamen ze met een Fast Single-Layer Approximation.

Beschouw een diep neuraal netwerk (het brein van de AI) als een gebouw met meerdere verdiepingen. De informatie reist door vele verdiepingen (lagen) voordat het uiteindelijke antwoord naar buiten komt. De volledige methode controleert elke verdieping om te zien wat er verrassend is. De "Fast Mode" zegt: "Hé, laten we gewoon de bovenste verdieping controleren." Ze ontdekten dat het controleren van slechts de laatste laag van het brein van de AI bijna hetzelfde resultaat geeft als het controleren van het hele gebouw, maar dat het 7 tot 9 keer sneller is.

In hun tests duurde deze snelle versie slechts 7,9 milliseconden om het geheugen te verversen voor een cache van 512 tokens (een klein tekstblokje), vergeleken met 54 milliseconden voor de volledige controle. Zelfs voor een enorme cache van 4.096 tokens was de snelle versie slechts 52,6 milliseconden, terwijl de volledige versie 496 milliseconden duurde. Dat is een enorme versnelling die de methode bruikbaar maakt in real-time zonder dat de AI traag aanvoelt.

Werkt het echt?

De auteurs hebben dit niet alleen bedacht; ze hebben het getest op enkele van de slimste open-source AI-modellen die beschikbaar zijn, zoals Qwen2.5 en LLaMA 3.1, met lastige taken zoals het oplossen van wiskundeproblemen, het lezen van lange medische dossiers en het volgen van lange gesprekken.

Wiskundeproblemen: Op een benchmark genaamd MATH500, waar de AI complexe wiskundeproblemen moet oplossen, was de nieuwe methode het beste in het op koers houden van de AI. Voor het Qwen2.5-7B model behaalde de nieuwe methode een nauwkeurigheid van 74,4%, waarbij het de "Heavy-Hitter" methode (H2O) die 76,2% haalde, bijna evenveel behaalde (eigenlijk was H2O hier iets hoger, maar de nieuwe methode was erg dichtbij en beter op andere modellen zoals de 3B en 14B versies). Op het Llama-3.1-8B model behaalde de nieuwe methode 48,2%, wat de beste was van alle "wegwerp"-methoden en zeer dicht bij de perfecte "geen limiet" baseline van 48,8%.
Lange Gesprekken: Dit is waar de oude methoden echt moeite mee hadden. In een dataset genaamd LoCoMo, die bestaat uit zeer lange gesprekken, begonnen de oude "aandachtsgebaseerde" methoden (zoals H2O) te falen. Ze raakten in de war en begonnen de vraag te herhalen of over irrelevante afbeeldingen te praten omdat ze de unieke feiten die vroeg in de chat gebeurden, hadden weggegooid. De nieuwe "Counter-Causal" methode maakte deze fout niet. Het hield de unieke, verrassende feiten vast, waardoor de AI zelfs na een lange tijd nog steeds correcte vragen kon beantwoorden.
Denkmodus: Ze testten ook op AIME wiskundeproblemen waarbij de AI lang moet "nadenken" voordat hij antwoord geeft. De oude methoden raakten vaak in de war door te veel informatie weg te gooien, waardoor de AI zijn denkproces niet kon voltooien. De nieuwe methode hield de redeneerketen veel beter intact, met een nauwkeurigheid van 36,7%, vergeleken met de lagere scores van de anderen.

Waarom dit ertoe doet

De belangrijkste les is dat de oude manier om te beslissen wat je vergeet, gebrekkig was. Het vertrouwde op hoeveel de AI naar een stuk informatie "keek", wat een bias creëerde waarbij populaire woorden populairder werden en stille, belangrijke feiten werden verwijderd. Deze nieuwe methode draait het om. Het vraagt: "Is dit stuk informatie voorspelbaar?" Als dat zo is, is het niet nodig. Als het een verrassing is, is het goud waard.

De auteurs suggereren dat deze aanpak een solide, principiële manier is om het geheugen te beheren zonder de AI-modellen opnieuw te hoeven trainen. Het werkt met de modellen die we al hebben. Hoewel de volledige versie wat extra tijd kost om de "verrassing" te berekenen, is de snelle versie zo snel dat het de boel nauwelijks vertraagt. Het is als het hebben van een bibliothecaris die niet alleen de boeken bewaart waar iedereen om vraagt, maar de boeken bewaart die geheimen bevatten die niemand anders kan raden, zodat het verhaal nooit zijn belangrijkste wendingen verliest.

Technische Samenvatting: Terug uit de Toekomst: Key-Value Cachebeheer door Counter-Causale Verrassing

Probleemstelling

Large Language Models (LLM's) vertrouwen op Key-Value (KV) caches om eerder berekende keys en values op te slaan, wat efficiënte scaled dot-product attention mogelijk maakt tijdens auto-regressieve generatie. De omvang van de KV-cache groeit echter lineair met de contextlengte, waardoor het beschikbare GPU-geheugen bij lange prompts of uitgebreide generatie snel uitgeput raakt. Hoewel strategieën zoals sliding windows (het verwijderen van de oudste tokens) of compressie bestaan, falen deze vaak in het behouden van cruciale informatie.

Een significante beperking van bestaande dynamische verdrijvingsmethoden (bijv. H2O, TOVA) is hun afhankelijkheid van attention-scores. Deze methoden lijden aan een zelfversterkende bias: tokens die in de cache worden behouden, blijven in opeenvolgende stappen van de decoding aandacht ontvangen, waardoor hun cumulatieve scores worden opgeblazen en ze nog waarschijnlijker worden behouden. Omgekeerd kunnen feitelijk cruciale maar laagfrequente tokens die slechts één keer worden genoemd, onvoldoende aandacht trekken om de verdrijving te overleven, wat leidt tot degradatie van de nauwkeurigheid bij taken die multi-hop redeneren of precieze informatieextractie vereisen.

Methodologie

De auteurs stellen een nieuwe, training-vrije verdrijvingsstrategie voor gebaseerd op Counter-Causal Surprise (tegen-causale verrassing). Het kerninzicht is dat als een vorig token goed voorspeld kan worden door de tokens die erop volgen, de informatie die het draagt redundant is en verwijderd kan worden. Daarentegen bevatten tokens die moeilijk te voorspellen zijn vanuit de toekomstige context unieke, essentiële informatie en moeten zij worden behouden.

Het Counter-Causal Mechanisme

Om dit operationeel te maken, introduceert de methode een scoring-pass die draait in de oorspronkelijke tokenvolgorde, maar een counter-causale (bovendriehoeks) attention mask toepast.

Proces: Het model verwerkt tokens $x_1, \dots, x_t$ met de standaard forward pass volgorde.
Masking: In plaats van de standaard causale mask (waarbij men naar het verleden kijkt), wordt een counter-causale mask toegepast, waardoor positie $i$ alleen kan kijken naar toekomstige posities $j > i$ .
Hergebruik: De methode hergebruikt de key ( $K$ ) en value ( $V$ ) representaties die al in de KV-cache zijn opgeslagen van de initiële forward pass. Het genereert nieuwe queries ( $Q$ ) met behulp van de oorspronkelijke positie-ID's om relatieve offsets correct te berekenen.
Scoring: De verrassingsscore $s_i$ voor token $x_i$ wordt gedefinieerd als $1 - P(x_i | x_{i+1:t})$ . In de praktijk wordt de logit van $x_i$ gebruikt als een monotone proxy voor deze waarschijnlijkheid.
Verdrijving: Tijdens een geheugenverversingscyclus worden tokens met de laagste verrassingsscores (meest voorspelbaar) verwijderd, terwijl tokens met een hoge verrassing worden behouden. Het laatste token wordt altijd behouden, aangezien het geen toekomstige context heeft.

Snelle Single-Layer Approximatie

Om de computationele kosten van een volledige counter-causale pass (die $O(Ln^2)$ is, waarbij $L$ het aantal lagen en $n$ de cachegrootte is) aan te pakken, stellen de auteurs een snelle benadering voor. Deze beperkt de counter-causale pass tot de laatste transformer-laag alleen.

Het registreert de verborgen activaties $H^{(L-1)}$ van de voorlaatste laag tijdens de standaard forward pass.
Tijdens de verversing worden queries berekend vanuit deze opgeslagen activaties en wordt de counter-causale mask alleen toegepast in de laatste laag.
Dit reduceert de complexiteit tot $O(n^2)$ , wat een versnelling van 7–9x oplevert per verversingscyclus met marginaal verlies in nauwkeurigheid.

Het systeem werkt in gechunkte cycli, waarbij afgewisseld wordt tussen een inferentiefase (verwerken van $h$ tokens) en een geheugenverversingsfase (evalueren en inkrimpen van de cache tot grootte $J$ ).

Belangrijkste Bijdragen

Counter-Causal Surprise Metric: Een fundamentele, training-vrije methode voor het schatten van de nuttigheid van tokens op basis van voorspelbaarheid vanuit toekomstige context, wat de zelfversterkende bias van attention-gebaseerde scores vermijdt.
In-Distribution Scoring: Het scoring-mechanisme hergebruikt bestaande gecachte representaties en draait in de oorspronkelijke tokenvolgorde, waardoor de evaluatie direct gekoppeld is aan de werkelijke cache-inhoud zonder dat extra training of out-of-distribution aannames nodig zijn.
Efficiënte Approximatie: Een single-layer benadering die de refresh-latentie drastisch vermindert (van honderden milliseconden naar onder de 10ms voor 512-token caches) terwijl concurrerende prestaties worden behouden.
Uitgebreide Evaluatie: Uitgebreide benchmarks over meerdere modelfamilies (Qwen2.5, LLaMA 3.1) en diverse taken (mathematisch redeneren, long-context QA, multi-hop dialoog).

Experimentele Resultaten

De methode werd geëvalueerd op de MATH500, AIME (thinking mode), LongHealth, Qasper en LoCoMo benchmarks.

Nauwkeurigheid: Op MATH500 presteerde de counter-causal methode beter dan sliding window, importance sampling en H2O op drie van de vier modellen (Qwen2.5-3B, 7B, 14B). Op Llama-3.1-8B behaalde het een nauwkeurigheid van 48,2%, de beste onder alle verdrijvingsstrategieën en bijna gelijk aan de full-cache baseline (48,8%).
Redeneercoherentie: In de AIME "thinking mode" benchmark (die lange ketens van redeneringen vereist), behaalde de counter-causal methode de hoogste nauwkeurigheid (36,7%) onder de verdrijvingsstrategieën, wat aanzienlijk beter is dan H2O (33,3%) en Importance (26,7%). Het had ook de laagste snelheid van "pred=None" (falen van de redenering), wat wijst op een betere preservatie van de redeneercoherentie.
Long-Context Taken: Op LoCoMo (multi-hop dialoog), faalde H2O bij kleine cachegroottes, waarbij het vaak de vraag herhaalde of irrelevante beeldonderschriften injecteerde vanwege de bias naar tokens met hoge aandacht. De counter-causal verdrijving slaagde erin unieke feiten die slechts één keer werden genoemd te behouden, waardoor deze foutmodi werden vermeden.
Efficiëntie: De snelle single-layer benadering verminderde de refresh-latentie van 496ms naar 52,6ms (bij $n=4096$ ) en van 54ms naar 7,9ms (bij $n=512$ ). Ondanks de overhead van de verversing bleef de end-to-end generatietijd vergelijkbaar met de full-cache baseline omdat de gereduceerde cachegrootte de attention-kosten tijdens de decode-fase verlaagde.

Betekenis en Claims

Het artikel claimt dat counter-causal surprise een fundamenteel meetinstrument is voor de informatie-inhoud van tokens dat robuust is tegen de zelfversterkende biases die inherent zijn aan attention-gebaseerde verdrijvingsstrategieën. Door tokens te identificeren die redundant zijn gegeven de toekomstige context, beheert de methode effectief het geheugen zonder dat model-retraining of complexe hulpnetwerken nodig zijn.

De auteurs merken op dat hoewel de volledige counter-causale pass computationele overhead toevoegt, de snelle single-layer benadering een praktische afweging biedt, waarbij een aanzienlijke versnelling wordt bereikt met minimaal verlies aan nauwkeurigheid. De methode wordt gepresenteerd als een algemene oplossing die toepasbaar is op elk auto-regressief model dat een KV-cache gebruikt, en is bijzonder gunstig voor lang-context generatietaken waar het behoud van feitelijke nauwkeurigheid en redeneercoherentie cruciaal is. Het artikel concludeert dat hoewel token-niveau scoring natuurlijk is, toekomstig werk grovere strategieën (op zins- of frase-niveau) zou kunnen verkennen om gevallen aan te pakken waarin individuele tokens gemakkelijk voorspelbaar zijn, maar de frase als geheel cruciaal is.