🤖 machine learning

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

MemDecay is een training-vrije, regio-bewuste KV-cache-evictiebeleid die de semantische structuur van LLM-agentcontexten benut om verschillende retentieprioriteiten en vervalpercentages toe te wijzen aan verschillende tokenregio's, waardoor het bestaande recentheids- of aandacht-gebaseerde baselines aanzienlijk overtreft in het behouden van kritieke informatie en het handhaven van inferentie-nauwkeurigheid onder geheugenbeperkingen.

Oorspronkelijke auteurs: Venkatesha Matam, Keon Kim

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Venkatesha Matam, Keon Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotassistent (een LLM-agent) aanstuurt die probeert een enorme, meerstapsige mystery op te lossen. De robot moet de regels van het spel, de gevonden aanwijzingen, de gebruikte hulpmiddelen en zijn eigen slordige kladnotities onthouden. Naarmate de mystery langer wordt, raakt het "brein" (de geheugencache) van de robot overvol. Als hij geen ruimte maakt, loopt hij vast of wordt hij traag.

Het grote probleem? De meeste robots behandelen elk stukje geheugen hetzelfde. Ze zeggen misschien: "Oh, ik heb deze aanwijzing al een tijdje niet meer bekeken, dus ik gooi hem weg," of "Dit is het laatste dat ik las, dus ik houd het." Maar dat is alsof je de kaart weggooit omdat je er gisteren naar hebt gekeken, terwijl je een willekeurige krabbel die je net maakte wel bewaart.

Maak kennis met MemDecay, een nieuwe strategie die fungeert als een slimme, georganiseerde bibliothecaris voor het brein van de robot. Hier is hoe het werkt, wat het heeft ontdekt, en wat het absoluut niet heeft ontdekt.

De Slimme Bibliothecaris Strategie

In plaats van alle herinneringen als gelijk te behandelen, vraat MemDecay aan de manager van de robot: "Wat voor soort geheugen is dit?"

Is het een Systeeminstructie? (De kernregels van de robot, zoals "Wees altijd beleefd.")
Is het een Plan? (De stappen om de mystery op te lossen.)
Is het een Kladblok (Scratchpad)? (Tijdelijke berekeningen of aantekeningen waar de robot op dit moment aan werkt.)
Is het een Tool Output? (Data van een rekenmachine of zoekmachine.)

Mem}^{-Decay geeft elk type geheugen een andere "houdbaarheidsdatum" en een andere "belangrijkheidsscore".

Systeeminstructies krijgen een "Pinned" (vastgezet) badge. Ze zijn aan de plank gelijmd en worden nooit weggegooid, ongeacht hoe vol de bibliotheek wordt.
Kladblok-notities hebben een zeer korte levensduur. Als de robot ze een paar seconden niet gebruikt, vervagen ze.
Plannen en Tools krijgen een gemiddelde levensduur, maar als de robot er weer naar kijkt, wordt hun "houdbaarheids-klok" gereset, waardoor ze veilig blijven.

Het systeem berekent een score voor elk geheugentoken op basis van het type en hoe recent het is gebruikt. Wanneer de bibliotheek vol is, wordt eerst de pagina met de laagste score verwijderd.

Wat de Experimenten Werkelijk Toonden

De onderzoekers testten dit op twee robotformaten (1,5 miljard en 3 miljard parameters) en twee geheugengroottes (ongeveer 450 tokens en 1.700 tokens). Ze plantten specifieke feiten in verschillende delen van het geheugen van de robot en vroegen de robot deze te herinneren nadat ze de helft van het geheugen hadden verwijderd.

1. De "Pinned" Overwinning
De grootste winst was voor de "Systeem"-instructies. Wanneer het geheugen werd ingeperkt tot 25% of 50% van de oorspronkelijke grootte, hield MemDecay de systeemregels elke keer veilig (24 van de 24 probes op de korte test, 21 van de 24 op de lange test).

Het Contrast: Andere methoden die alleen de "meest recente" herinneringen bewaren (zoals een robot die alleen de laatste paar zinnen onthoudt), faalden volledig. Op de lange tests herhaalden ze bijna nul systeeminstructies. De "recentie-alleen" aanpak stort in naarmate het verhaal langer wordt.

2. De "Scratchpad" Realiteitscheck
De experimenten maten exact hoe lang verschillende herinneringen nuttig bleven.

Systeeminstructies duurden lang: ongeveer 148 tot 189 decodeerstappen (de tijd die de robot nodig heeft om dat veel woorden te genereren).
Kladblok-notities verdwenen razendsnel: slechts 14 tot 16 stappen.
Gevonden documenten (zoals zoekresultaten) bleken verrassend langdurig te zijn; ze bleven langer bestaan dan tool-outputs of gebruikersberichten, ook al dachten de onderzoekers aanvankelijk dat ze snel zouden vervagen.

3. Het "Oude Feit" Probleem (Het Verlies)
Hier struikelde MemDecay over de hindernis. Wanneer de robot een oud gebruikersbericht moest onthouden of een feit uit het begin van het gesprek dat niet "gepinned" was, faalde MemDecay vaak.

In de korte test herhaalde het 0 van de 24 van deze oude gebruikersfeiten.
In de lange test herhaalde het slechts 5 tot 7 van de 24.
Ondertussen deed een concurrerende methode die simpelweg de "meest gelet op" tokens bijhoudt (een H2O-stijl methode), het veel beter door 11 tot 20 van deze feiten te herhalen.

Waarom faalde het? Het paper legt uit dat de "belangrijkheidsscore" van de aandacht van de robot (hoeveel de robot naar een woord keek) te zwak was om de oude feiten te redden. De "decay" (de houdbaarheids-klok) tikte zo snel voor die oude, niet-gepinned items, dat het aandachtssignaal de klok niet kon stoppen. De onderzoekers suggereren dat het simpelweg harder zetten van het volume van het aandachtssignaal niet genoeg is; de wiskunde moet worden aangepast zodat het aandachtssignaal sterk genoeg is om te concurreren met de decay.

Wat MemDecay NIET is

Het is belangrijk om te weten wat dit paper niet beweert:

Het is geen magische oplossing voor alles. Het sloot expliciet uit dat "recency" (het bewaren van de nieuwste zaken) werkt voor lange agent-taken. De data laat zien dat vertrouwen op "wat er net gezegd is" rampzalig faalt naarmate het gesprek groeit.
Het is geen "doorbraak" die het recall-probleem voor oude feiten oplost. Het paper geeft toe dat voor oudere, niet-gepinned feiten, MemDecay in deze specifieke tests juist slechter presteerde dan bestaande aandacht-gebaseerde methoden.
Het leert geen nieuwe gewichten. Het is "training-free", wat betekent dat het de robot niet opnieuw traint. Het gebruikt alleen een slimme set regels en een kleine mate van meting om de houdbaarheids-klokken af te stemmen.

De Kern van het Verhaal

MemDecay is een slim, op regels gebaseerd systeem dat het geheugen van een robot organiseert op basis van type in plaats van alleen op leeftijd.

Het wint groot bij het beschermen van de kernregels en instructies van de robot, waardoor deze nooit verloren gaan, zelfs niet als het geheugen krap is.
Het verliest bij het onthouden van oude, niet-gepinned feiten, waarbij het wordt overtroffen door methoden die simpelweg de aandacht van de robot volgen.

De onderzoekers maten deze resultaten over duizenden testgevallen en kwamen tot de conclusie dat hoewel de "type-gebaseerde" aanpak geweldig is voor structuur, er een wiskundige aanpassing nodig is om te voorkomen dat de oude, nuttige zaken vergeten worden. Het is een solide stap voorwaarts om langlopende robot-agents betrouwbaarder te maken, maar het werk is nog niet af.

Technische Samenvatting: MemDecay

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet als agenten die langlopende workflows uitvoeren met betrekking tot interacties met meerdere rondes, toolgebruik en iteratieve planning. In tegenstelling tot statische long-context taken, accumuleren deze agent-traces heterogene componenten: systeeminstructies, veiligheidsbeperkingen, evoluerende plannen, gebruikersrondes, opgehaalde documenten, tool-outputs en tussenliggende redeneertoestanden.

De Key-Value (KV) cache die vereist is voor autoregressieve decodering groeit lineair met dit trace, wat leidt tot aanzienlijke geheugenoverhead, bandbreedte-eisen en latentie. Bestaande KV-cache verwijderingsbeleid (eviction policies) vertrouwen doorgaans op model-gecentreerde signalen (bijv. geaccumuleerde aandacht, recentiteitsvensters of attention sinks) en passen uniforme retentieregels toe over de gehele sequentie. Deze aanpak faalt in het benutten van de inherente semantische structuur van georkestreerde agent-prompts. In agent-workloads hebben verschillende componenten zeer uiteenlopende functionele rollen en verwachte levensduur; bijvoorbeeld moeten systeeminstructies gedurende een episode persistent blijven, terwijl scratchpad-redeneringen of verouderde tool-outputs slechts relevant kunnen zijn voor korte intervallen. Het behandelen van alle tokens met dezelfde verwachte levensduur negeert deze structuur, wat leidt tot suboptimale geheugenbeheer.

Methodologie: MemDecay

De auteurs stellen MemDecay voor, een training-vrij, regio-bewust KV-cache verwijderingsframework ontworpen voor langlopende LLM-agenten. De methode werkt onder een vast cache-budget en integreert structurele priors vanuit de orchestratielaag met aandacht-afgeleide belangrijkheid.

Kerncomponenten

Regio-labels: De orchestratielaag levert regio-labels voor aaneengesloten prompt-spannen (bijv. system, plan, user, tool_in, tool_out, retrieval, scratchpad).
Retentiescore: Elk token $i$ $i$ krijgt een retentiescore $s_i(t)$ $s_{i} (t)$ op tijdstip $t$ $t$ , berekend als:
$s_i(t) = b_{r(i)} \exp(-\lambda_{r(i)} \Delta t_i(t)) + \alpha a_i(t)$
- Structurele Prior: $b_{r(i)}$ is een basisprioriteit specifiek voor de regio van het token.
- Temporele Decay: $\lambda_{r(i)}$ is een regio-specifieke vervalrate. De term $\Delta t_i(t)$ vertegenwoordigt de tijd sinds het token voor het laatst is "ververst" (refreshed).
- Aandacht-belangrijkheid: $a_i(t)$ is een exponentieel gewogen voortschrijdend gemiddelde (EWMA) van de ontvangen aandacht-massa door het token.
- Verversingsmechanisme: Als de aandacht voor een token een drempelwaarde $\tau$ overschrijdt, wordt de decay-klok gereset ( $\Delta t_i$ wordt 0), wat de levensduur effectief verlengt op basis van voortgezette actieve toepassing.
Pinning: Systeemregio's (en optioneel plan-segmenten) kunnen worden "gepinned", wat betekent dat ze nooit worden verwijderd, ongeacht de score.
Verwijderingsbeleid: De cache wordt beheerd op paginagranulariteit (bijv. 16 tokens per pagina). Wanneer het budget wordt overschreden, worden pagina's gescoord op basis van de gemiddelde retentiescore van hun constituerende tokens. De pagina's met de laagste scores worden als eerste verwijderd.

Kalibratie

MemDecay is training-vrij met betrekking tot modelgewichten, maar maakt gebruik van een lichte statistische kalibratie om de vervalrates ( $\lambda_r$ ) voor elke regio aan te passen. Dit proces schat regio-geconditioneerde aandacht-levensduur in vanuit agent-traces, waardoor het systeem kan adapteren aan specifieke workload-kenmerken zonder de LLM opnieuw te trainen.

Belangrijkste Bijdragen

Formulering: Het artikel formuleert regio-bewuste selectieve vergetelheid als een geheugenbeheerprobleem voor LLM-agenten, waarbij de oplossing wordt gegrond in de semantische structuur van georkestreerde prompts.
Algoritme: Het introduceert MemDecay, een beleid dat regio-specifieke basisprioriteiten, temporele decay en aandacht-getriggerde verversing combineert in een enkele interpreteerbare retentiescore. Het werkt op pagina-granulaire lay-outs die compatibel zijn met bestaande serving stacks (bijv. PagedAttention).
Meetprotocol: De auteurs specificeren een protocol om regio-geconditioneerde aandacht-levensduur te schatten en vervalrates te kalibreren. Ze voeren dit uit over twee contextlengtes (~450 en ~1.700 tokens) en twee modelgroottes (Qwen2.5-1.5B en 3B), wat resulteert in in totaal 4.320 gescoorde verwijderingsprobes.

Experimentele Resultaten

De studie evalueert MemDecay tegenover baselines, waaronder willekeurige verwijdering, recentiteits-gebaseerde (streaming) retentie, en geaccumuleerde aandacht-retentie (H2O-stijl).

Belangrijkste Bevindingen

Regio-levensduur Hiërarchie: Gemeten aandacht-levensduur verschilt met een orde van grootte tussen regio's. In alle settings hebben system tokens een halfwaardetijd van 148–189 decode-stappen, terwijl scratchpad tokens snel vervallen (14–16 stappen). Retrieval tokens bleken de langstlevende verplaatsbare regio te zijn, wat de standaardveronderstelling dat zij snel vervallen, tegenspreekt.
Effectiviteit van Pinning: Het pinnen van systeemregio's garandeert het overleven van instructies. MemDecay behield 21–24 van de 24 system-probes in alle settings bij de volledige cache-capaciteit, terwijl recentiteits-gebaseerde baselines er 0–2 behielden.
Recentie vs. Structuur: Recentiteits-gebaseerde retentie (streaming) stort in naarmate de contextlengte toeneemt en presteert bijna nul op lange tiers. Daarentegen blijft de structurele prior van MemDecay effectief.
Geaccumuleerde Aandacht: Op ongepinde inhoud versterkt geaccumuleerde aandacht (H2O-stijl) met de model schaal, waarbij het MemDecay overtreft op ongepinde recall in de 3B model-setting.
Beperking van MemDecay: MemDecay vertoonde een specifiek verlies in ongepinde recall voor oudere feiten (bijv. user-regio feiten in de openingsronde) vergeleken met aandacht-gebaseerde baselines. Een ablatie-studie onthulde dat de aandacht-term ( $\alpha a_i$ ) te klein was in magnitude om de structurele decay voor deze tokens tegen te gaan. De auteurs identificeren dat de aandacht-term magnitude-normalisatie vereist (bijv. relatief aan uniforme aandachtsniveaus) om effectief te zijn, in plaats van enkel gewichtstuning.

Betekenis en Claims

Het artikel positioneert MemDecay als een praktische, training-vrije oplossing die cache-retentie afstemt op de semantische structuur van agent-workflows. De betekenis ligt in:

Interpreteerbaarheid: Het beleid wordt gedreven door expliciete regio-labels en vervalrates, wat beslissingen over retentie transparant maakt.
Compatibiliteit: Het werkt op pagina-granulaire caches zonder model-retraining of hulpmodules te vereisen, waardoor het past in bestaande serving stacks.
Gegarandeerde Stabiliteit: Door kritieke regio's te pinnen, garandeert het dat systeeminstructies en veiligheidsbeperkingen nooit verloren gaan door geheugendruk, een garantie die niet wordt geboden door aandacht- of recentiteits-gebaseerde methoden.
Adaptiviteit: Het kalibratieprotocol demonstreert dat regio-levensduur workload-afhankelijk is en gemeten kan worden om vervalrates te optimaliseren, wat het gebruik van statische, eenheid-georiënteerde verwijderingsbeleid uitdaagt.

De auteurs concluderen dat hoewel MemDecay succesvol de structurele priors en gepinde instructies behoudt, toekomstig werk de magnitude-normalisatie van de aandacht-term moet aanpakken om ongepinde recall te verbeteren en de exploratie van gelaagde extensies (bijv. offloading naar host-geheugen) moet onderzoeken om irreversibele verwijdering te beheren.