Technische Samenvatting: Agentgeheugen: Karakterisering en Systeemimplicaties van Stateful Long-Horizon Workloads

Probleemstelling

Large Language Model (LLM) agents worden steeds vaker ingezet voor long-horizon taken die een aanhoudende redenering vereisen over uitgebreide interactiegeschiedenissen, zoals persoonlijke assistenten die voorkeuren over weken heen bijhouden of code-agents die projectcontext over sessies heen behouden. Terwijl vroege LLM's vertrouwden op parametrische kennis en Retrieval-Augmented Generation (RAG), waarbij kennis losgekoppeld was van parameters via statische externe corpora, vereisen stateful agents een mutabel geheugencorpus dat voortkomt uit de eigen interactiestroom van de agent.

Het uitsluitend vertrouwen op het contextvenster van het model voor geheugen staat tegenover drie fundamentele beperkingen:

1. Capaciteit: Continue interacties over meerdere sessies overschrijden onvermijdelijk de vaste contextbudgetten.
2. Kosten: Prefill-kosten schalen kwadratisch met de lengte van de geschiedenis, en de druk op de KV-cache wordt onbeheersbaar over sessies heen door cache-evictie.
3. Getrouwheid (Fidelity): Redeneren en herinneren verslechteren in lange sequenties, waarbij een "U-vormige" prestatiecurve optreedt waarbij feiten in de middelste context verloren gaan.

Consequent hebben agents externe geheugensystemen nodig om staat te persistent te maken, selectief op te halen en bij te werken. Hoewel er een rijk ecosysteem van agentgeheugensystemen is ontstaan met diverse ontwerpen (flat retrieval, LLM-gemedieerde extractie, graafgebaseerde structuren, agentic control flows), blijft hun systeemgedrag ongekarakteriseerd. Bestaande benchmarks richten zich puur op downstream nauwkeurigheid, waarbij de asymmetrische herverdeling van computationele kosten (constructie versus retrieval) wordt genegeerd, wat cruciaal is voor implementatie op schaal.

Methodologie

De auteurs presenteren de eerste systeemkarakterisering van agentgeheugenalgoritmen, reikend over het volledige ontwerppervlak.

1. Taxonomie en Workload Suite

De studie introduceert een systeemgeoriënteerde taxonomie die tien representatieve agentgeheugensystemen classificeert langs vier assen: constructie, opslag, retrieval en mutabiliteit. Deze systemen worden gecategoriseerd in vier paradigma's:

• Paradigma I: Long-context memory: Gebruikt het contextvenster van het model zelf (bijv. long_context).
• Paradigma II: Flat RAG memory: Deterministische indexering (lexicaal of vectorieel) zonder LLM-constructie (bijv. BM25, EmbedRAG).
• Paradigma III: Structure-augmented RAG memory: Gebruikt een LLM als een vaste extractor om feiten, samenvattingen of grafen af te leiden. Onderverdeeld in append-only (bijv. GraphRAG, HippoRAG v2) en consolidating (bijv. Mem0, SimpleMem).
• Paradigma IV: Agentic control flow: Legt geheugenoperaties bloot aan de LLM als onderdeel van de beslissingslus (bijv. A-Mem, Letta, MIRIX).

De evaluatie maakt gebruik van twee benchmark-suites:

• MemoryAgentBench (MAB): Evalueert retrieval, test-time leren, long-range begrip en selectief vergeten. De studie focust op LongMemEval_S_* (ongeveer 360K tokens geschiedenis, 60 queries per sample) om constructiekosten te scheiden van retrievalkosten.
• MemoryArena: Bevat multi-session taken om freshness-latency trade-offs bloot te leggen in scenario's van continue ingestie.

2. Profiling Harness

De auteurs hebben een fase-bewuste profiling harness gebouwd (om open-source te maken) die kosten toeschrijft aan drie logische fasen: constructie, retrieval en generatie.

• API Telemetrie: Instrumenteert chat-completion en embedding requests om tokenvolume, call-structuur en latentie te volgen.
• Hardware Telemetrie: Samplet GPU-counters (NVML/DCGM) om vermogen, benutting, VRAM-voetafdruk en energie te meten.
• Experimentele Opstelling: Experimenten werden uitgevoerd in twee regimes: remote constructie (OpenAI API) en lokale constructie (NVIDIA H100 met vLLM serving van Qwen3 modellen).

Belangrijkste Bijdragen

1. Systeemgeoriënteerde Taxonomie: Een classificatie van agentgeheugensystemen langs vier assen met voorspelde kostenkenmerken per paradigma.
2. Fase-bewuste Profiling: Een harness die tokens, LLM-calls, GPU-benutting en latentie volgt over constructie, retrieval en generatie.
3. Uitgebreide Karakterisering: Analyse van de vorm van constructiekosten, drempelwaarden voor capaciteit, amortisatiestructuren, freshness-scheduling, groei van de voetafdruk en tail-gedrag van retrieval.
4. Tien Systeem Aanbevelingen: Actiegerichte richtlijnen voor infrastructuur, scheduling en systeemselectie.

Belangrijkste Resultaten en Inzichten

1. Constructie domineert de levenscyclus

In tegenstelling tot de aanname dat query-time serving de primaire kostenpost is, domineert de constructie-energie de agent-levenscyclus voor LLM-gemedieerde systemen.

• Energieverdeling: De totale energie per correct antwoord varieert met meer dan 47× over de suite (van ~4,1 kJ voor BM25 tot ~185,9 kJ voor Letta).
• Kostenverschuiving: Paradigma's III en IV verschuiven het merendeel van de end-to-end energie naar de constructiefase, die onzichtbaar is voor de gebruiker op het moment van de query.
• Implicatie: Nauwkeurigheidsmetrieken alleen zijn onvoldoende; operators moeten rekening houden met de levenscyclus-energie, die zelfs voor systemen met vergelijkbare nauwkeurigheid een orde van grootte kan verschillen.

2. Constructie is dominant in prefill en embedding

Constructie is structureel een "long-read, short-write" workload die gedomineerd wordt door embedding en LLM prefill, met minimale decode-tijd (mediaan decode-aandeel is 4,6%).

• Verkeerspatronen: Paradigma III.a systemen genereren grote batches offline indexeringverkeer, terwijl Paradigma III.b en IV sequentieel, per event verkeer genereren.
• Conflict: Het routeren van zowel constructie (throughput-georiënteerd) als QA (latency-gevoelig) door hetzelfde endpoint veroorzaakt head-of-line blocking. Constructie-jobs bezetten de KV-cache headroom, waardoor latency-gevoelige queries worden vertraagd.

3. Keuze van de Constructie-LLM is algoritme-gebonden

Operators kunnen de LLM die voor constructie wordt gebruikt downscalen om kosten te verlagen, maar het veilige bereik is algoritme-afhankelijk.

• Graceful Degradation: Systemen zonder harde output-contracten (bijv. Mem0, SimpleMem) tolereren kleinere constructie-LLM's met een vloeiende degradatie van de nauwkeurigheid.
• Capaciteitsvloeren: Systemen met strikte output-contracten (bijv. MIRIX die specifieke JSON-schema's vereist) vertonen een harde vloer; onder een bepaalde modelcapaciteit (bijv. Qwen3-1.7B) raakt de geheugenopslag volledig gecorrumpeerd, waardoor deze onbruikbaar wordt.

4. De Constructie–Serve–Nauwkeurigheid Frontier

Geen enkel systeem is optimaal over constructiekosten, per-query latentie en nauwkeurigheid heen.

• Trade-offs: BM25 biedt snelle constructie en hoge geaggregeerde nauwkeurigheid, maar tragere query-tijden. Mem0 biedt de snelste query-latentie, maar brengt enorme constructiekosten en lagere nauwkeurigheid met zich mee.
• Selectie: Workloads met een hoog volume aan queries bevoordelen systemen die werk naar de constructiefase verplaatsen; workloads met continue ingestie bevoordelen systemen met lage constructiekosten.

5. Freshness–Latency Trade-off in Continue Sessies

In multi-session workloads varieert de constructietijd per sessie met vijf ordes van grootte (van sub-milliseconde voor BM25 tot tientallen seconden voor Letta).

• Scheduling Dilemma: Als de constructietijd de inter-sessie aankomstinterval overschrijdt, staan operators voor een keuze: synchrone scheduling (waardoor hoge latentie aan de gebruiker wordt blootgesteld) of asynchrone scheduling (waarbij verouderde/stale geheugens worden geserveerd).
• Implicatie: Voor strikte cross-sessie afhankelijkheden moet de cumulatieve constructie- en retrieval-tijd worden behandeld als een harde haalbaarheidsrestrictie.

6. Divergentie in Voetafdruk en Tokenkosten

• Opslag: De per-gebruiker geheugenvoetafdruk varieert met ~9× bij 1M tokens. Multi-view ontwerpen blazen de opslag op; consoliderende systemen kunnen deze comprimeren.
• Tokenkosten: Paradigma IV agentic systemen schalen super-lineair in tokenkosten naarmate de geheugenopslag groeit, omdat elke nieuwe ingestie de expanderende opslag bevraagt. Dit maakt de langetermijnkosten voor agentic systemen onevenredig duur vergeleken met hun initiële voetafdruk.

7. Latentie-structuur en Tail Behavior

• Deterministisch vs. LLM-gebonden: Deterministische systemen (Paradigma II) hebben smalle latentie-tails (p95/p50 ~1,3×). LLM-gebonden systemen (Paradigma III/IV) vertonen brede tails (tot 5,9×) omdat runtime LLM-beslissingen een variabel aantal redeneer- of tool-use stappen kunnen introduceren.
• Aanbeveling: LLM-gebonden systemen vereisen externe iteratie-caps en timeouts om de worst-case kosten te begrenzen.

Betekenis en Claims

Het artikel beweert de eerste systeemkarakterisering te bieden van agentgeheugen-workloads, waarbij wordt aangetoond dat ontwerpkeuzes kosten drastisch en asymmetrisch herverdelen op manieren die onzichtbaar zijn voor nauwkeurigheidsmetrieken.

• Systeemniveau Beslissing: De auteurs stellen dat de selectie van een agentgeheugensysteem moet worden behandeld als een beslissing op systeemniveau, niet slechts als een optimalisatie van nauwkeurigheid.
• Infrastructuur Implicaties: Het werk benadrukt dat agentgeheugen systeembehoeften oplegt die verder gaan dan traditionele LLM-serving, specifelijk de noodzaak voor aparte behandeling van constructie (throughput-georiënteerd) versus retrieval (latency-gevoelig) en zorgvuldig beheer van freshness-latency trade-offs.
• Bescheiden Omvang: De auteurs erkennen dat hun karakterisering gebaseerd is op single-node, single-agent scenario's. Ze merken op dat multi-node/multi-agent consistentie en multimodale geheugens opkomende fronten zijn die niet in deze studie zijn opgenomen, maar de voorgestelde taxonomie en methodologie bieden een fundament voor toekomstige karakterisering.

Het artikel concludeert met tien specifieke aanbevelingen voor operators, die constructie-scheduling, capaciteitsvloeren, amortisatie via query-volume, freshness-latency trade-offs en fleet-scale management dekken, met als doel de implementatie van stateful agents op schaal te begeleiden.