💬 NLP

Practical Online KV Cache Compaction for LLM Agents: An Empirical Study

Deze empirische studie toont aan dat praktische online KV-cachecompressie voor LLM-agenten aanzienlijke geheugenreductie en doorvoersnelheidswinsten kan bereiken door compressie uit te stellen totdat toekomstige agent-queries beschikbaar zijn en gebruik te maken van token-evictie met robuuste proxy-bronnen, in plaats van te vertrouwen op onmiddellijke of statische context-aannames.

Oorspronkelijke auteurs: Yujian Liu, Jiabao Ji, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yujian Liu, Jiabao Ji, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, meerstapsige mystery probeert op te lossen. Je hebt een briljante detective (een AI) die vragen kan stellen, aanwijzingen kan controleren en met getuigen kan praten. Maar er is een addertje onder het gras: het brein van de detective heeft een strikte geheugenlimiet. Elke keer dat de detective een stap zet, een aantekening maakt of het verhaal van een getuige hoort, stapelt die informatie zich op. Als de zaak te lang loopt, raakt het brein van de detective zo vol met oude aantekeningen dat hij niet meer helder kan denken, of hij raakt simpelweg de ruimte kwijt om nieuwe aantekeningen te schrijven. Dit is de wereld van "LLM Agents"—slimme computerprogramma's die complexe taken oplossen door met tools en het internet te communicen. De "KV cache" is simpelweg de technische naam voor die groeiende stapel aantekeningen in het brein van de detective. Het klein genoeg houden van deze stapel zodat deze in het geheugen past, zonder de aanwijzingen te verliezen die nodig zijn om de zaak op te lossen, is de grote uitdaging waar dit paper over gaat.

De onderzoekers van UC Santa Barbara en LinkedIn besloten een slimme truc genaamd "KV cache compaction" te testen. Denk aan het als een detective die een lang, saai politierapport samenvat tot één enkele post-it. In plaats van elk afzonderlijk woord van een vorig gesprek te bewaren, probeert de AI het te comprimeren tot een kortere versie die nog steeds de belangrijkste betekenis bevat. Maar hier komt de twist: in een normaal verhaal ken je de afloop al voordat je begint met samenvatten. In het leven van een AI-agent wordt het verhaal geschreven terwijl het gebeurt. De AI weet niet welke vraag hij als volgende zal stellen, dus moet hij het verleden samenvatten voordat hij weet wat de toekomst nodig zal hebben. Het paper vraagt zich af: Hoe vat je een hoofdstuk van een verhaal samen wanneer je het volgende hoofdstuk nog niet hebt gelezen?

Het team testte twee hoofdmethode om dit samenvatten te doen. De eerste methode, genaamd Token Eviction (TE), is als een strikte redacteur die de huidige pagina leest en besluit: "Deze 80% van de woorden is saai; laten we ze weggooien en alleen de bovenste 20% bewaren." De tweede methode, Attention Matching (AM), is meer als een verfijnde kunstenaar die niet alleen de beste woorden kiest, maar ook probeert een nieuwe, kortere versie te schilderen die exact hetzelfde voelt als de oorspronkelijke lange versie wanneer deze later wordt gelezen.

Om te bepalen wat de beste manier is om samen te vatten, moesten de onderzoekers beslissen wanneer ze dit deden en wat ze als leidraad zouden gebruiken. Ze testten drie verschillende "leidraad"-strategieën:

De "Nu Direct" Leidraad: Onmiddellijk samenvatten met behulp van alleen de woorden die zojuist zijn uitgesproken.
De "Herhaal" Leidraad: De AI vragen om te doen alsof hij het laatste deel opnieuw leest en dat te gebruiken om te bepalen wat belangrijk is.
De "Toekomst" Leidraad: Een beetje wachten. Laat de AI de volgende paar stappen van het verhaal schrijven, en gebruik die nieuwe vragen vervolgens om te beslissen wat er uit de oude stappen behouden moet blijven.

De resultaten waren verrassend en praktisch. Ten eerste ontdekten ze dat samenvatten onmiddellijk (met de "Nu Direct" leidraad) de AI vaak dommer maakte. Het was alsof je het eerste hoofdstuk van een mysteryroman samenvatte voordat je wist wie de schurk is; je zou een aanwijzing kunnen weggooien die later cruciaal blijkt te zijn. Echter, als ze slechts één beurt wachtten—door de AI eerst de volgende vraag te laten stellen—werd het samenvatten veel slimmer. Door de "Toekomst" leidraad te gebruiken, kon de AI zien welke informatie er daadwerkelijk nodig was en alleen dat te bewaren.

Ze ontdekten ook dat de eenvoudigere methode, Token Eviction (TE), vaak betrouwbaarder was dan de chique, complexe Attention Matching (AM). Zelfs wanneer de "leidraad" niet perfect was, hield de simpele "houd de beste 20%" benadering het beter vol. Het blijkt dat proberen te slim te zijn met de wiskunde (zoals AM doet) niet altijd helpt wanneer je de toekomst probeert te raden.

Het meest opwindende deel is wat dit betekent voor snelheid en kosten. Toen ze dit testten op grotere, krachtigere AI-modellen, waren de resultaten een game-changer. Door het geheugen te comprimeren tot slechts 20% van de oorspronkelijke grootte (het bewaren van 1 op de 5 tokens), bespaarden ze niet alleen ruimte; ze maakten de AI 4,2 keer sneller op één model en 1,7 keer sneller op een ander. Hoe? Omdat het "brein" van de AI veel kleiner was, kon de computer vier keer zoveel detective-zaken tegelijkertijd draaien zonder vast te lopen.

Interessant genoeg merkten de onderzoekers ook op dat wanneer het geheugen van de AI werd gecomprimeerd, de detective soms een beetje "angstig" werd. De AI had de neiging om meer vragen te stellen en meer stappen te zetten om hetzelfde puzzelstukje op te lossen, alsocht te proberen feiten dubbel te checken waarvan hij het gevoel had dat hij ze verloren was. Dit suggereert dat hoewel de AI nog steeds de juiste antwoorden kreeg, zijn gedrag licht veranderde om dit te compenseren voor het strakkere geheugen.

Kortom, dit paper suggereert dat als je slimme, langlopende AI-agents wilt draaien zonder de bank te breken of het geheugen van de computer te belasten, je niet moet haasten met samenvatten. Laat de AI in plaats daarvan een paar extra stappen zetten, een glimp opwerpen van wat hij hierna gaat doen, en comprimeer dan het verleden. En verrassend genoeg heb je geen supercomplexe algoritme nodig om het te doen; een eenvoudige, slimme selectie van de belangrijkste woorden werkt net zo goed, zo niet zelfs beter. Deze aanpak zou het draaien van deze geavanceerde AI-agents veel goedkoper en sneller kunnen maken voor iedereen.

Technische Samenvatting: Praktische Online KV Cache Compactie voor LLM-agenten

Probleemstelling
Large Language Model (LLM) agenten accumuleren lange trajecten van redeneerstappen, tool-aanroepen en feedback uit de omgeving. Deze groeiende context creëert een significante inferentie-bottleneck, aangezien de benodigde Key-Value (KV) cache om deze historie te behouden het geheugengebruik domineert en de decodeerkosten verhoogt. Hoewel KV-cache compactie een bekende oplossing is, gaan bestaande methoden primair uit van een statische setting: de volledige context is beschikbaar vóór de generatie, wat offline compactie mogelijk maakt met behulp van bekende toekomstige queries of synthetische data.

LLM-agenten opereren echter in een online regime. De context wordt incrementeel opgebouwd door interactie met een omgeving (bijv. zoekresultaten, file diffs). Bijgevolg is toekomstige relevantie niet observeerbaar op het moment dat een beurt (turn) wordt voltooid, en moet de compactieprocedure binnen een strikt runtime-budget passen zonder dure rollouts of optimalisatiestappen toe te voegen. Dit creëert een ontwerpvlak waar compactiesignalen afgeleid moeten worden van goedkope, beschikbare proxies, waarbij de afweging tussen signaalkwaliteit en latentie cruciaal is.

Methodologie
De auteurs voeren een systematische empirische evaluatie uit van het aanpassen van twee gevestigde families van sequentie-niveau compactie aan de online agent-setting:

Token Eviction (TE): Gebruikt proxy-queries om de positie van de cache te scoren op basis van geïnduceerde aandachtsmassa (attention mass), waarbij alleen de originele Keys en Values (KVs) op de hoogst scorende posities worden behouden.
Attention Matching (AM): Gebruikt dezelfde proxy-gebaseerde sleeselectie, maar past daarnaast een additieve aandachtsbias en gereconstrueerde waarden toe om de aandacht-outputs van de volledige cache beter te matchen.

De studie richt zich op hoe deze methoden presteren wanneer ze worden aangepast aan online agent-trajecten, waarbij specifiek wordt onderzocht naar de selectie van proxy-queries (signalen die de compactie sturen). De auteurs vergelijken drie categorieën van proxy-bronnen:

Current-turn proxies: Direct beschikbaar bij voltooiing van een beurt.
- Boundary queries: Geëxtraheerd uit structurele afsluitings- of transitietokens (bijv. end-of-thinking tokens).
- Repeat-prefill queries: Gegeneerd door het model via teacher-forcing te laten herhalen wat de inhoud van de vorige beurt was.
Future-turn proxies: Afgeleid van de eigen daaropvolgende generaties van de agent, wat een vertraging in de compactie vereist.
- Assistant generation queries: Query-vectoren van de volgende $k$ beurten.
- Tool response queries: Query-vectoren van de tool-response prefill tokens.

Experimenten werden uitgevoerd op twee benchmarks: BROWSECOMP-PLUS (diepe zoekopdrachten die iteratieve bewijsretrieval vereisen) en WIDESEARCH (brede informatiezoektochten die tabelcompletie vereisen). Geteste modellen zijn Qwen3.5 en Gemma-4 over meerdere schalen (4B, 27B en 31B).

Belangrijkste Resultaten

De Noodzaak van Vertraging: Onmiddellijke compactie met current-turn proxies degradeert de taakprestaties vaak. Het uitstellen van compactie om gebruik te maken van queries uit de eigen toekomstige generaties van de agent (zelfs met slechts één beurt) herstelt consistent het grootste deel van het prestatieverschil ten opzichte van geen compactie.
Robuustheid van Token Eviction: Ondanks het simpelere "selectie-alleen" ontwerp, blijkt TE verrassend robuust tegen imperfecte proxy-signalen. Het presteert vaak beter dan of gelijk aan de complexere AM-methode, vooral wanneer de proxy-bronnen suboptimal zijn. De aanvullende optimalisatie van AM (het fitten van bias en waarden) biedt beperkt voordeel wanneer de proxy-queries de toekomstige aanwending niet perfect representeren.
Proxy Selectie:
- Voor TE dienen boundary queries als sterke onmiddellijke signalen voor specifieke benchmarks (bijv. BROWSECOMP-PLUS), maar future-turn queries zijn over het algemeen superieur.
- Het combineren van meerdere proxy-bronnen (bijv. het toevoegen van tool-response queries aan future-turn queries) verbetert de prestaties niet betrouwbaar en kan deze soms zelfs verslechteren.
Schaalbaarheid en Efficiëntie:
- Op grotere modellen (Qwen3.5-27B en Gemma-4-31B) behoudt vertraagde compactie met een ratio van 0.2 het grootste deel van de nauwkeurigheid zonder compactie.
- Compactie vermindert de piek KV-footprint aanzienlijk (tot 3,5× reductie voor Qwen3.5-27B en 2,24× voor Gemma-4-31B met TE), wat grotere serving-batches mogelijk maakt.
- Dit leidt tot substantiële verbeteringen in de throughput (tot 4,2× voor Qwen3.5-27B en 1,49× voor Gemma-4-31B met TE), wat het verhoogde aantal agent-beurten dat nodig is door het compactieproces compenseert.
Gedragsadaptatie: Compactie verandert het gedrag van de agent. Modellen zoals Qwen3.5-4B hebben de neiging hun trajecten te verlengen en meer herhaalde zoekqueries uit te voeren om informatie te herstellen die door compactie is verzwakt. Dit suggereert dat de agent zich aanpast aan de gecomprimeerde context door intensiever met de omgeving te interageren.

Betekenis en Claims
Het artikel positioneert proxy-query selectie als een kernontwerpkeuze voor praktische online KV-compactie. De auteurs stellen dat:

Online compactie onderscheidt van statische compactie vanwege de onwaarneembaarheid van toekomstige relevantie en strikte latentie-restricties.
Het uitstellen van compactie om gebruik te maken van de eigen toekomstige queries van de agent een cruciale strategie is om de prestaties te handhaven.
Token Eviction (TE) een zeer effectieve, robuuste baseline is die vaak complexe optimalisatiemethoden (AM) overtreft in de online setting vanwege de veerkracht tegen imperfecte proxies.
Praktische geheugensystemen voor agenten niet alleen de compressieratio's en uiteindelijke nauwkeurigheid moeten evalueren, maar ook het downstream agent-gedrag, aangezien compactie redundante tool-interacties en langere trajecten kan induceren die nodig zijn om taaksucces te behouden.

Beperkingen
De auteurs merken op dat hun studie beperkt is tot zoek- en documentlees-workloads, en geen code-editing of GUI-controle omvat. Ze beperken hun scope ook tot goedkope, online proxy-bronnen, waarbij zij erkennen dat duurdere offline optimalisatie of geleerde compressors betere resultaten zouden kunnen opleveren als de latentie-budgetten minder strikt waren. Ten slotte gebruikten zij vaste compactieratio's en vertragingen in plaats van adaptieve policies, wat een richting blijft voor toekomstig werk.

Technische Samenvatting: Praktische Online KV Cache Compactie voor LLM-agenten

Meer zoals dit