AMV-L: Lifecycle-Managed Agent Memory for Tail-Latency Control in Long-Running LLM Systems

Het artikel introduceert AMV-L, een framework voor agentgeheugenbeheer dat door middel van waardegedreven promotie en demotie de zoekruimte beperkt en zo de prestaties van langlopende LLM-systemen aanzienlijk verbetert door de tail-latentie te reduceren en de doorvoer te verhogen ten opzichte van traditionele TTL- en LRU-baselines.

De kern

AMV-L: De slimme conciërge voor je AI-herinneringen

Stel je voor dat je een persoonlijke assistent hebt (een AI-agent) die voor je werkt. Deze assistent moet onthouden wat je van je favoriete koffie zegt, hoe je project verloopt, en welke afspraken je hebt gemaakt. Om dit te doen, heeft de assistent een geheugen nodig.

Het probleem is dat dit geheugen snel vol raakt. Als je assistent alles wat hij ooit heeft gehoord blijft onthouden, wordt zijn "werkplek" een enorme rommelige zolder.

Het oude probleem: De "Verjaardags-Regel" (TTL)

Vandaag de dag gebruiken de meeste systemen een simpele regel: "Als het ouder is dan X dagen, gooi het weg." Dit noemen ze Time-To-Live (TTL).

• De analogie: Stel je voor dat je een koelkast hebt waar alles na 7 dagen weggegooid wordt, ongeacht of het nog goed is of niet.
• Het nadeel: Zelfs als je assistent maar 100 dingen onthoudt, moet hij bij elke vraag eerst alle 100 dingen doorzoeken om te zien welke relevant zijn. Als de koelkast vol raakt met 10.000 oude dingen, moet hij al die 10.000 dozen openmaken om 1 ding te vinden.
• Het gevolg: Soms is de assistent supersnel, maar soms (wanneer hij een rare vraag krijgt) moet hij ineens 10.000 dozen doorzoeken. Dat duurt lang. Dit zorgt voor trage momenten (vertragingen) die je niet kunt voorspellen.

De nieuwe oplossing: AMV-L (De Slimme Conciërge)

De auteurs van dit papier hebben een nieuw systeem bedacht genaamd AMV-L. In plaats van alleen te kijken naar de leeftijd van een herinnering, kijken ze naar de waarde ervan.

Stel je voor dat je assistent nu een slimme conciërge heeft die drie kasten heeft:

1. De Hete Kast (Hot): Hier liggen de dingen die je nu vaak gebruikt. Deze liggen binnen handbereik.
2. De Warme Kast (Warm): Hier liggen dingen die soms handig zijn, maar niet elke dag nodig.
3. De Koude Kast (Cold): Hier liggen oude, zeldzame herinneringen die bijna nooit nodig zijn.

Hoe werkt het?

• Geen vaste tijd: Een herinnering verdwijnt niet omdat hij "oud" is. Hij verdwijnt alleen als hij nutteloos wordt.
• De score: Elke herinnering krijgt een score. Als je een herinnering vaak gebruikt of er iets belangrijks mee doet, gaat de score omhoog en komt hij in de Hete Kast. Als je het lang niet gebruikt, zakt de score en zakt hij naar de Warme of Koude Kast.
• De zoektocht: Wanneer de assistent een vraag krijgt, kijkt hij alleen in de Hete Kast (en soms een klein beetje in de Warme). Hij hoeft nooit de hele zolder (de Koude Kast) te doorzoeken.

Waarom is dit zo geweldig?

De onderzoekers hebben dit getest en de resultaten zijn indrukwekkend:

1. Snelheid: De assistent is veel sneller. In plaats van 10.000 dozen te openen, opent hij er misschien maar 50.
   • Vergelijking: Het is alsof je van een bibliotheek waar je alle boeken moet doorzoeken, verhuist naar een bureau waar alleen de boeken liggen die je vandaag nodig hebt.
2. Geen verrassingen: De "trage momenten" (waarbij de assistent ineens 10 seconden stil staat) zijn bijna helemaal weggevaagd.
   • Resultaat: De kans dat een vraag langer dan 2 seconden duurt, daalt van 13,8% naar 0,007%. Dat is een enorme verbetering voor een rustige ervaring.
3. Kwaliteit: De assistent vergeet niet wat belangrijk is. Soms zijn oude herinneringen nog heel waardevol (bijvoorbeeld: "Ik ben allergisch voor pinda's"). Bij het oude systeem zou dit na een paar weken verdwijnen. Bij AMV-L blijft het in de Hete Kast staan zolang het nuttig is.

Het grote verschil met de "Laatst-Gebruikte" methode (LRU)

Er was al een andere methode: "Gooi weg wat het langst niet gebruikt is" (LRU).

• Dit werkt goed voor de gemiddelde snelheid.
• Maar AMV-L is beter voor de extreme situaties. Soms is iets niet recent gebruikt, maar wel heel belangrijk. LRU zou dat weggooien, maar AMV-L houdt het vast omdat het "waardevol" is. Hierdoor blijft de assistent zelfs in de ergste situaties stabiel en snel.

Conclusie in één zin

AMV-L leert onze AI-assistenten niet alleen te onthouden, maar ook te organiseren: ze houden de belangrijkste dingen binnen handbereik en verstoppen de rest, zodat ze nooit verstrikt raken in een berg oude rommel en altijd snel kunnen antwoorden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "AMV-L: Lifecycle-Managed Agent Memory for Tail-Latency Control in Long-Running LLM Systems", vertaald en samengevat in het Nederlands.

1. Het Probleem: Ongecontroleerde Werkset-groei en Tail-Latency

Langlopende LLM-agenten (zoals persoonlijke assistenten of coderingsagenten) vereisen persistente geheugens om staat over interacties heen te behouden. De meeste huidige systemen gebruiken TTL (Time-To-Live) voor geheugenbeheer: items worden gewist na een bepaalde tijd.

Hoewel TTL de opslaggrootte en de leeftijd van items beheerst, beheerst het niet de computebelasting op het verzoekspad (request path).

• Het kernprobleem: Bij TTL blijven alle niet-verlopen items tegelijkertijd "in aanmerking" komen voor ophalen (retrieval). Naarmate het geheugen groeit, groeit de kandidaatset voor vectorzoekopdrachten onvoorspelbaar.
• Gevolg: Dit leidt tot zware, onvoorspelbare zoekkosten en heavy-tailed latency (extreme uitloop in vertraging). Zelfs als de gemiddelde prestaties goed zijn, veroorzaken zeldzame, zeer trage verzoeken (outliers) SLO-overtredingen (Service Level Objectives) en instabiele doorvoer.
• Bestaande oplossingen: Een LRU (Least Recently Used) beleid helpt door recentheid te prioriteren, maar is "waarde-agnostisch". Het kan waardevolle, langdurige informatie verwijderen tijdens faseverschuivingen en biedt geen directe controle over de interactie tussen nut, toelating en zoekkosten.

2. Methodologie: AMV-L (Adaptive Memory Value Lifecycle)

De auteurs introduceren AMV-L, een framework dat agentgeheugen behandelt als een beheerd systeemresource in plaats van een passieve opslag. Het doel is om de computebelasting van het geheugen expliciet te begrenzen, onafhankelijk van de totale opslaggrootte.

Kerncomponenten van AMV-L:

1. Waarde-model (Value Model):
   • Elk geheugenitem krijgt een continu bijgewerkte nutsscore (utility score).
   • De score wordt bijgewerkt op basis van lokale signalen: toegangsfrequentie, bijdrage aan de prompt (of het item daadwerkelijk werd gebruikt), en verstreken tijd.
   • Het model gebruikt exponentiële afname (decay) voor inactiviteit en beloning voor toegang/bijdrage.
2. Gelaagde Levenscyclus (Tiered Lifecycle):
   • Geheugen wordt verdeeld in drie niveaus gebaseerd op de nutsscore:
     • Hot: Items die direct toegankelijk zijn voor ophalen en prompt-constructie.
     • Warm: Items met gemiddelde nut die bewaard blijven maar uitgesloten zijn van de standaard hoge-frequentie ophaalpad (beperkt budget voor ophalen).
     • Cold: Items met lage nut die tegen minimale kosten worden bewaard en niet worden meegenomen in ophalen.
   • Items worden gepromoveerd of gedegradeerd tussen deze niveaus op basis van hun veranderende score.
3. Beperkte Ophaalpad (Bounded Retrieval):
   • Ophalen is beperkt tot een beperkte, tier-bewuste kandidaatset (voornamelijk uit de 'Hot' tier en een klein, vast budget uit de 'Warm' tier).
   • Dit ontkoppelt de werkset (items die tijdens een verzoek worden verwerkt) van de totale opgeslagen hoeveelheid geheugen.
   • Dit zorgt ervoor dat de vectorzoekkosten en de prompt-construktie niet groeien met de totale hoeveelheid opgeslagen data.

3. Belangrijkste Bijdragen

• Conceptueel: Het formuleren van persistent agentgeheugen als een systeemresource waarbij de werkset expliciet moet worden begrensd om tail-latency te controleren, in plaats van alleen de retentietijd.
• Systeemontwerp: De introductie van AMV-L, een beleidsregel die toelating tot ophalen ontkoppelt van totale retentie via een waarde-gedreven levenscyclus.
• Implementatie: Een volledige implementatie in een productie-achtig LLM-servingsysteem met een asynchroon levenscyclusbeheer dat niet het kritieke pad blokkeert.
• Evaluatie: Een uitgebreide vergelijking met TTL en LRU onder identieke langlopende werklasten.

4. Resultaten

AMV-L werd geëvalueerd tegenover TTL en LRU op een synthetische werklast van 50.000 schrijfacties en 20.000 verzoeken.

Vergelijking met TTL:

• Doorvoer: 3,1x verbetering.
• Latentie: Median latency 4,2x lager; p95 4,7x lager; p99 4,4x lager.
• Extreme uitloop: Het percentage verzoeken dat langer dan 2 seconden duurt, daalde van 13,8% naar 0,007%.

Vergelijking met LRU:

• Trade-off: AMV-L toont een kleine regressie in mediane/p95-latentie (+26% / +3%) ten opzichte van LRU.
• Voordeel: AMV-L presteert aanzienlijk beter in de extreme tail (p99 is 15% lager; verzoeken >2s dalen met 98% ten opzichte van LRU).
• Kwaliteit & Kosten: AMV-L behoudt vergelijkbare ophaalkwaliteit (nutsscores binnen 0-2% van LRU) en gebruikt ongeveer 6% minder tokens per verzoek dan LRU.

Mechanisme:
De verbeteringen komen voornamelijk voort uit het beperken van de grootte van de ophaalset en de vectorzoekwerklast, niet uit het verkorten van de prompts zelf. AMV-L voorkomt dat zeldzame, dure zoekopdrachten over een enorme set van "oude maar nog toegankelijke" items plaatsvinden.

5. Significantie en Conclusie

De studie concludeert dat voor langlopende LLM-agenten onbeperkte groei van de werkset de primaire drijver is van tail-latency.

• TTL is onvoldoende omdat het opslagleeftijd begrenst maar niet de computebelasting.
• LRU is beter voor gemiddelde prestaties, maar kan kwetsbaar zijn voor faseverschuivingen en biedt minder controle over extreme uitloop.
• AMV-L biedt een nieuw operationeel punt: het accepteert een minimale kostenstijging in de gemiddelde latentie om extreme stabiliteit en voorspelbaarheid te garanderen.

Dit onderzoek onderstreept dat betrouwbare prestaties voor langlopende AI-systemen vereist dat geheugen wordt beheerd als een computatie-resource met waarde-gedreven levenscyclusbeheer, en niet slechts als een opslaglaag met tijdsgrenzen. Dit is cruciaal voor het voldoen aan strikte SLO's in productieomgevingen waar zeldzame trage verzoeken de capaciteitsplanning en gebruikerservaring domineren.