Technische Samenvatting: MemDelta – Gecontroleerde Baselines en Verborgen Confounds in de Evaluatie van Agentgeheugen

1. Probleemstelling

Geheugensystemen van agenten worden steeds vaker geëvalueerd tegenover Retrieval-Augmented Generation (RAG) en full-context prompting baselines. De gerapporteerde prestatiewinsten zijn echter vaak ambigu omdat ze verbeteringen in de geheugenarchitectuur verwarren met veranderingen in andere pipeline-componenten, zoals het taalmodel (LLM), het embedding-model of de retrieval-logica.

Huidige benchmarks (bijv. LongMemEval, MemoryAgentBench) behandelen deze systemen doorgaans als monolithische blokken. Wanneer een geheugensysteem een baseline overtreft, is het onduidelijk of de winst voortkomt uit de geheugenarchitectuur zelf of uit verborgen confounds, zoals:

• Embedding Kwaliteit: Een betere vectorrepresentatie in plaats van een betere retrieval-strategie.
• Modelgedrag: Specifieke LLM's die weigeren lange contexten te verwerken of hallucineren, in plaats van dat de retrieval-methode faalt.
• Write-Path Kosten: Niet-overeenstemmende computationele budgetten waarbij een complex geheugensysteem aanzienlijk hogere kosten veroorzaakt (LLM-aanroepen, tijd) dan een eenvoudige baseline.
• Retrieval Kwaliteit: Het niet naar voren brengen van relevante bewijslast door slechte chunking of embeddings, in plaats van het onvermogen van het geheugensysteem om het op te slaan.

Het artikel stelt dat zonder deze variabelen te isoleren, architecturale claims ongeverifieerd blijven.

2. Methodologie: Het MemDelta Protocol

De auteurs introduceren MemDelta, een gecontroleerd evaluatieprotocol ontworpen om precies één component tegelijk te variëren terwijl alle andere constant worden gehouden. De evaluatie wordt uitgevoerd op LongMemEval-S, een subset van 500 vragen over 50+ sessies en zes vraagtypen.

Experimenteel Ontwerp

Het protocol definieert zeven strategieën (S0–S4b, S2, S3) en voert zes paarvergelijkingen uit (Tabel 2 in het artikel). Belangrijke ontwerpkeuzes zijn:

• Vaste Variabelen: Het antwoordmodel, de judge (GPT-4o-mini), prompt templates en de inputgeschiedenis worden constant gehouden over de vergelijkingen heen.
• Geïsoleerde Variabelen:
  • Retrieval Kwaliteit: Het vergelijken van No Memory (S0) vs. Random RAG (S_rand) vs. Verbatim Rig (S4).
  • Embedding Keuze: Het vergelijken van Verbatim RAG met MiniLM embeddings (S4) met identieke Verbatim RAG met Cloud embeddings (S4b).
  • Modelgedrag: Het vergelijken van Full Context (S1) vs. Verbatim RAG (S4) over drie modelfamilies (GPT-4o-mini, Claude Sonnet, Gemini 2.5 Flash).
  • Write-Path Kosten: Het vergelijken van Agent Self-Memory (S2) en Mem0 (S3) tegenover Verbatim RAG (S4b) op gematchte instanties, waarbij het aantal LLM-aanroepen en de dollarkosten worden geaudit.

Geëvalueerde Strategieën

• S0/S_rand: Baselines (Geen geheugen, willekeurige chunks).
• S1: Full Context (Diagnostisch plafond; ~115K tokens).
• S4/S4b: Verbatim RAG (MiniLM vs. Cloud embeddings).
• S2: Agent Scratchpad (Door LLM gegenereerde samenvatting).
• S3: Mem0 (LLM-geëxtraheerde geheugenpipeline).

3. Belangrijkste Resultaten

A. Retrieval Kwaliteit vs. Full Context

• GPT-4o-mini: Verbatim RAG (47,2%) presteert statistisch ononderscheidbaar van Full Context (49,8%, p=0,34).
• Impact van Embeddings: Het wisselen van enkel het embedding-model (MiniLM naar Cloud) in een identieke RAG-pipeline verhoogt de nauwkeurigheid met +6,2 procentpunt (47,2% naar 53,4%, p=0,004). Deze enkele variabele swap produceert winsten die vergelijkbaar zijn met of groter dan die toegeschreven aan architecturale veranderingen.

B. Modelgedrag Confounds

De rangschikking van RAG vs. Full Context keert om afhankelijk van het gebruikte LLM:

• GPT-4o-mini: RAG ≈ Full Context.
• Gemini 2.5 Flash: Full Context presteert beter dan RAG met +14pp.
• Claude Sonnet: RAG presteert beter dan Full Context met +31pp.
  • Oorzaak: Sonnet vertoont een hoog weigeringspercentage (63%) wanneer het volledige context krijgt, waarbij het expliciet stelt dat het "geen informatie heeft", zelfs wanneer het antwoord aanwezig is in de 115K-token geschiedenis. Dit is een model-specifiek long-context falen, niet een retrieval-falen.

C. Prestaties van Agent Self-Memory

• Self-Memory (S2): Een eigen gegenereerde scratchpad van een agent (42% nauwkeurigheid) presteert minder goed dan basis verbatim retrieval (47,2%).
• Compressie Falen: De scratchpad-strategie stort in bij vragen over meerdere sessies (3,3% nauwkeurigheid), waarbij het onvoldoende detail behoudt over 50+ sessies.

D. Mem0 vs. RAG (Kosten-gematcht)

Op een subset van 88 instanties waar Mem0 (S3) geëvalueerd kon worden:

• Nauwkeurigheid: Mem0 (72,7%) presteert niet statistisch beter dan Verbatim RAG met Cloud embeddings (73,9%, p=1,0).
• Kosten: Mem0 brengt 50× hogere write-path kosten met zich mee (1.000+ LLM-aanroepen, 120 minuten, >$0,50 per instantie) vergeleken met de RAG-baseline (60 seconden, 0 LLM-aanroepen).
• Conclusie: Waar Mem0 sterke RAG-baselines evenaart, is de winst marginaal (beperkt tot specifieke vraagtypen zoals SS-User) en komt deze tegen een onbetaalbare prijs.

4. Belangrijkste Bijdragen

1. MemDelta Protocol: Een praktisch evaluatiekader dat retrieval-kwaliteit, de keuze van het embedding-model, modelgedrag en de write-path kosten isoleert om foutieve attributie van winsten aan de geheugenarchitectuur te voorkomen.
2. Empirisch Bewijs van Confounds: Toont aan dat:
   • Swaps in embeddings conclusies kunnen omdraaien (bijv. Mem0 die wint met MiniLM maar verliest met Cloud embeddings).
   • Model-specifieke weigeringsgedragingen de prestaties van RAG ten opzichte van full-context baselines kunstmatig kunnen opblazen.
   • Agent self-memory inherent niet beter presteert dan eenvoudige retrieval.
3. Kostenbewuste Audit: Biedt een gematchte-instantie vergelijking die aantoont dat huidige "winnende" geheugensystemen (Mem0) mogelijk geen nauwkeurigheidsvoordeel bieden ten opzichte van eenvoudige RAG wanneer de kosten in rekening worden gebracht.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een meetstudie in plaats van een voorstel voor een nieuwe geheugenarchitectuur. De primaire betekenis ligt in de methodologische strengheid:

• Diagnostische Waarde: Het stelt dat huidige benchmarks vaak "geheugenarchitectuur" verwarren met "retrieval engineering" en "embedding kwaliteit". Een systeem dat superieur lijkt, gebruikt mogelijk simpelweg een beter embedder-model of een model dat anders met lange contexten omgaat.
• Aanbevelingen: De auteurs bevelen aan dat toekomstige evaluaties:
  1. Embedding-modellen vastleggen over vergelijkingen heen.
  2. Resultaten stratificeren per modelfamilie om stabiliteit te testen.
  3. Write-path kosten (tijd, aanroepen, dollars) naast nauwkeurigheid rapporteren.
  4. Gematchte-instantie vergelijkingen gebruiken voor kostbare systemen.
• Bescheiden Conclusie: De bevindingen bewijzen niet dat geheugenarchitecturen nutteloos zijn. Ze laten echter zien dat ongecontroleerde vergelijkingen niet kunnen bepalen of een specifieke architectuur een echt voordeel biedt. Totdat confounds worden gecontroleerd, blijven claims van architecturale superioriteit ambigu.