🤖 machine learning

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

CONF-KV is een nieuwe strategie voor het verwijderen van KV-caches die dynamisch cache-budgetten aanpast op basis van de per-stap voorspellingszekerheid van het model en gebruikmaakt van opslag met gemengde precisie om het geheugengebruik aanzienlijk te verminderen terwijl de hoge terugvindnauwkeurigheid en taakprestaties voor inferentie van LLM's met een lange horizon worden behouden.

Oorspronkelijke auteurs: Yubo Li, Yidi Miao

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yubo Li, Yidi Miao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een heel lang boek te lezen, maar je hersenen (het geheugen van de computer) kunnen maar een paar pagina's tegelijk vasthouden. Terwijl je leest, moet je onthouden wat er eerder is gebeurd om de huidige zin te begrijpen. Als je te veel vergeet, raak je in de war. Als je probeert om alles te onthouden, raken je hersenen zo vol dat ze vertragen tot een slakkengang.

Dit is precies het probleem dat CONF-KV oplost voor AI-modellen (Large Language Models) wanneer ze lange verhalen schrijven of lange gesprekken voeren.

Hier is hoe het artikel het uitlegt, met eenvoudige analogieën:

Het Probleem: De "Overvolle Rugzak"

Wanneer een AI tekst genereert, houdt het een "rugzak" met informatie bij, de KV Cache. Deze rugzak bevat de context van alles wat de AI tot nu toe heeft gezegd.

Het Probleem: Naarmate het gesprek langer wordt, wordt de rugzak zwaarder. Uiteindelijk wordt hij zo zwaar dat de AI het geheugen opraken (de rugzak scheurt) of zo traag wordt dat het eeuwig duurt om na te denken.
De Oude Manier: De meeste AI-systemen gebruiken een "Schuifend Venster". Stel je een raam in een trein voor. Naarmate de trein beweegt, verandert het uitzicht buiten. De AI onthoudt alleen de laatste 512 woorden (het uitzicht direct buiten het raam) en vergeet alles daarvoor.
- De Tekortkoming: Als het antwoord op een vraag 1.000 woorden geleden werd genoemd, vergeet het schuifende venster het volledig, en faalt de AI.
De Andere Oude Manier: Sommige systemen proberen "belangrijke" woorden te onthouden op basis van hoe vaak ze in het verleden werden bekeken. Maar dit is als kijken naar een kaart van waar je gisteren was, zonder te weten hoe je je nu voelt.

De Oplossing: De "Zekerheidsmeter"

De auteurs van dit artikel, CONF-KV, introduceerden een nieuwe manier om de rugzak te beheren. In plaats van een vaste regel te gebruiken, geven ze de AI een Zekerheidsmeter.

Stel je de AI voor als een student die een toets maakt:

Wanneer de student zeker is: Ze weet het antwoord makkelijk. Ze hoeft niet terug te kijken naar haar aantekeningen. Dus zegt het systeem: "Geweldig! Je bent zeker. Laten we wat oude aantekeningen weggooien om ruimte te besparen."
Wanneer de student in de war is: De student aarzelt. Ze moet haar geschiedenis controleren om het uit te zoeken. Het systeem zegt: "Wacht, je lijkt onzeker. Bewaar alle aantekeningen! Gooi nog niets weg."

Hoe dit in de praktijk werkt:

Het Signaal: Voordat de AI het volgende woord kiest, kijkt het hoe zeker het is. Als het volgende woord voor de hand ligt (hoge zekerheid), verkleint het het geheugen. Als het volgende woord lastig is (lage zekerheid), vergroot het het geheugen.
Het Sorteren: Zelfs wanneer het moet verkleinen, verwijdert het niet zomaar willekeurige dingen. Het houdt de meest recente woorden vast (omdat die meestal belangrijk zijn) en de woorden die de AI in het verleden het meest heeft bekeken. Het verwijdert het "saai" oude spul waar niemand om geeft.

De "Gemengde Precisie"-Truc

Het artikel noemt ook een slimme opslagtruc.

Stel je voor dat je aantekeningen op papier staan.
Recente aantekeningen staan op hoogwaardig, dik papier (FP16) zodat ze kristalhelder zijn.
Oudere aantekeningen staan op dun, gerecycled papier (INT8). Ze nemen veel minder ruimte in beslag, maar je kunt ze nog steeds goed genoeg lezen om de strekking te begrijpen.
Hierdoor kan de AI veel meer geschiedenis in dezelfde hoeveelheid rugzakruimte passen zonder te veel kwaliteit te verliezen.

Wat de Resultaten Tonen

De auteurs hebben dit getest op vier verschillende AI-modellen en vonden:

Geheugenvoordeel: Het gebruikt ongeveer evenveel geheugen als een simpel "schuifend venster" (waarbij alles oud wordt vergeten), maar het onthoudt veel meer belangrijke details.
Betere Nauwkeurigheid: In een "Naald in een Hooiberg"-test (het vinden van één specifiek feit verborgen in een enorme tekst), vond CONF-KV de naald 91,4% van de tijd. Het oude schuifende venster vond het maar 53,8% van de tijd.
Real-world Taken: Wanneer gebruikt als een web-browsing agent (proberen dingen te kopen of formulieren online in te vullen), slaagde het 95,3% zo vaak als de versie met volledig geheugen, maar gebruikte het 2,8 keer minder geheugen.
Snelheid: Omdat de rugzak lichter is, denkt de AI sneller (lagere latentie) en kan het meer gebruikers tegelijk afhandelen (hogere doorvoer).

De Conclusie

CONF-KV is als een slimme bibliothecaris die oude boeken niet zomaar weggoopt omdat ze "oud" zijn. In plaats daarvan houdt de bibliothecaris de lezer in de gaten. Als de lezer worstelt, houdt de bibliothecaris de hele bibliotheek open. Als de leizer soepel gaat, ruimt de bibliothecaris de rommel op om de kamer sneller te maken.

Hierdoor kan AI langere, slimmere gesprekken voeren zonder het geheugen op te maken of te vertragen, simpelweg door te luisteren naar hoe "zeker" de AI zich voelt bij elke enkele stap.

Technische Samenvatting: CONF-KV

Probleemstelling
Inferentie van Large Language Models (LLM) met lange horizonen staat voor een kritieke knelpunt: de Key-Value (KV) cache wordt de dominante verbruiker van GPU-geheugen, waardoor de per-token attentielatentie lineair schaalt met de sequentielengte. Bestaande evictiebeleid, zoals schuifvensters of methoden gebaseerd op historische attentie (bijv. H2O, SCISSORHANDS), vertrouwen op statische recentie of verledensignalen om te bepalen welke tokens behouden moeten worden. Deze benaderingen missen vaak een signaal dat op elke decodestap beschikbaar is: de huidige onzekerheid van het model. Bijgevolg kunnen statische beleidslijnen context te vroeg verwijderen tijdens moeilijke generatiefasen of onnodige tokens behouden wanneer het model zeker is, wat leidt tot een suboptimale afweging tussen geheugengebruik en generatiekwaliteit.

Methodologie: CONF-KV
De auteurs stellen CONF-KV voor, een op vertrouwen gerichte KV-cachebeheerder die het cachebudget dynamisch aanpast op basis van de huidige volgende-tokenverdeling van het model. Het systeem werkt via de volgende mechanismen:

Vertrouwensschatting: Bij elke decodestap converteert de methode de logits naar een scalair vertrouwensscore ( $c$ ). Deze score is een gewogen combinatie van genormaliseerde entropie, de log-probabiliteitsmarge tussen de twee hoogst gerangschikte tokens, en de probabiliteit van de hoogst gerangschikte token.
$c = w_H(1 - \hat{H}) + w_m\sigma(m) + w_p p_{(1)}$
waarbij $\hat{H}$ de genormaliseerde entropie is, $m$ de log-marge is, en de gewichten zijn ingesteld op $(0.4, 0.3, 0.3)$ .
Adaptieve Budgetselectie: Een drempelwaarde $\tau$ bepaalt het cachebudget ( $N$ ) voor de huidige stap.
- Als $c \ge \tau$ (hoog vertrouwen), wordt een strak budget ( $N_{high}$ ) geselecteerd, wat agressieve evictie toelaat.
- Als $c < \tau$ (laag vertrouwen/onzekerheid), wordt een ruimer budget ( $N_{low}$ ) geselecteerd om meer context te behouden.
  Dit creëert een "zaagtand"-geheugenprofiel waarbij de cache uitbreidt tijdens onzekere fasen en inkrimpt tijdens zekerder fasen.
Tokenrangschikking en Evictie: Binnen het geselecteerde budget worden tokens gerangschikt op basis van een samengestelde score die Exponentiële Glijdende Gemiddelde (EMA) attentiemassa en recentie combineert. Een harde beschermde venster ( $P$ ) zorgt ervoor dat de meest recente tokens nooit worden verwijderd om lokale coherentie te behouden.
Systeemintegratie:
- Mixed-Precision Opslag: De meest recente $W$ tokens worden opgeslagen in FP16, terwijl oudere behouden tokens per hoofd en kanaal worden gekwantiseerd naar INT8. Dit verkleint de geheugenfootprint terwijl de degradatie van perplexiteit wordt geminimaliseerd in vergelijking met kwantisatie met lagere bitdiepte.
- Pyramidale Budgetten (CONF-KV-L): Een optionele variant wijst budgetten ongelijkmatig toe over de lagen, waarbij diepere lagen kleinere budgetten krijgen op basis van de observatie dat diepere lagen informatie vaak concentreren in minder tokens.
- Implementatie: De beheerder gebruikt continue compactering om een dichte lay-out voor attentiekernen te handhaven, waardoor indirectionstabellen worden vermeden, en fuseert dequantisatie met bloksgewijze attentielezingen.

Belangrijkste Bijdragen

Op Vertrouwen Gerichte Beleidslijn: Een nieuwe evictiestrategie die de huidige outputverdeling gebruikt om per-stap cachebudgetbeslissingen te sturen, in plaats van uitsluitend te vertrouwen op historische signalen.
Systeemontwerp: Een volledige implementatie die adaptieve evictie combineert met bloksgewijze online-softmax attentie, gemengde FP16/INT8-opslag en optionele pyramidale lagenbudgetten.
Mechanistische Validatie: Een test die aantoont dat de vertrouwensscore sterk anticorreleert (Pearson $r = -0.77$ ) met de KL-verschuiving veroorzaakt door het ablaten van recente context, wat de aanname valideert dat laag vertrouwen aangeeft dat meer behouden context nodig is.
Uitgebreide Evaluatie: Uitgebreide benchmarks over vier model families (GPT-2, Qwen-14B/32B, gpt-oss-20b) en diverse werklasten, waaronder perplexiteit, lange-context retrieval en web-agent taken.

Experimentele Resultaten

Geheugen-Kwaliteit Afweging: Op GPT-2 met een generatielengte van 2048 tokens komt CONF-KV+INT8 overeen met de geheugenfootprint van een vast schuifvenster van 512 tokens (~38,7 MB), maar verlaagt de perplexiteit met 3,11 punten ten opzichte van het schuifvenster. CONF-KV-L (pyramidale variant) verlaagt het geheugen verder naar 34,2 MB terwijl de perplexiteit met 3,89 punten verbetert, waardoor 74% van de kwaliteitskloof tussen een schuifvenster en volledige KV wordt gedicht.
Lange-Context Retrieval: In Needle-in-a-Haystack (NIAH)-tests tot 32K tokens bereikt CONF-KV een retrievalnauwkeurigheid van 91,4%, wat aanzienlijk beter presteert dan schuifvensters (53,8%) en H2O (80,6%).
Agent Taken: Op 75 VisualWebArena-taken behoudt CONF-KV 95,3% van het succespercentage van volledige KV, terwijl het piekgeheugen met 2,8× wordt verlaagd.
Doorvoer en Latentie: CONF-KV verlaagt de latentie per stap met 1,8× ten opzichte van volledige KV op GPT-2 en Qwen-32B. De doorvoer schaalt met de batchgrootte; bij een batchgrootte van 8 bereikt CONF-KV 2,06× de doorvoer van volledige KV.
Ablatie: Het isoleren van het vertrouwenssignaal toont aan dat willekeurige evictie op hetzelfde tempo de prestaties verslechtert naar 36,54 PPL, terwijl volledige CONF-KV 30,92 PPL bereikt, wat bevestigt dat zowel de vertrouwensgating als het rangschikkingsmechanisme essentieel zijn.

Betekenis en Beweringen
Het artikel beweert dat CONF-KV aantoont dat huidige onzekerheid een nuttige systeemmetadata is voor het verbeteren van de geheugen-kwaliteit Pareto-grens. De methode onderscheidt zich omdat het vooruitkijkend is: het kan verwijderde tokens niet herstellen, maar voorkomt voortijdige evictie tijdens moeilijke fasen. De aanpak is ontworpen om trainingsvrij te zijn, verandert geen modelgewichten en is orthogonaal ten opzichte van bestaande technieken zoals hoofdsgewijze toewijzing, laagsgewijze toewijzing en precisiekeuze, waardoor het ermee kan worden gecombineerd.

De auteurs merken beperkingen op, waaronder dat de methode een "no-op" is op korte contexten die de evictiedrempel nooit overschrijden en dat continue compactering een verzamelkosten met zich meebrengt (hoewel dit wordt opgewogen door de attentiebesparingen). Ze erkennen ook dat het vertrouwenssignaal minder informatief wordt onder high-temperature sampling. Tot slot wijst het artikel op een dubbelgebruik-overweging: hoewel lagere inferentiekosten de efficiëntie verbeteren, kunnen ze ook drempels verlagen voor ongewenste automatisering met lange horizonen, wat suggereert dat veiligheidscontroles voor de onderliggende modellen noodzakelijk blijven.