Technische Samenvatting: MEME (Multi-entity & Evolving Memory Evaluation)

Probleemstelling

Naarmate Large Language Model (LLM)-agenten steeds vaker opereren in persistente, multi-sessie omgevingen, moeten ze informatie die in de loop van de tijd evolueert, nauwkeurig opslaan, bijwerken en redeneren. Waar bestaande benchmarks memory-systemen evalueren op statische feitelijke retentie of updates van onafhankelijke entiteiten, missen ze afhankelijkheidsredenering. In real-world interacties leidt een update van één entiteit vaak tot een "golf-effect", waarbij de agent veranderingen moet doorgeven aan logisch afhankelijke feiten, of moet herkennen wanneer een eerder geldig antwoord onzeker is geworden door een ontbrekende update-regel.

Huidige memory-benchmarks (zoals RULER, LoCoMo, MemBench) behandelen updates als geïsoleerde, single-entiteit gebeurtenissen. Ze evalueren niet:

1. Cascadering: Het afleiden dat de waarde van een afhankelijke entiteit moet veranderen op basis van een gestelde afhankelijkheidsregel en een upstream-update.
2. Afwezigheid: Het herkennen dat de waarde van een afhankelijke entiteit nu onzeker is wanneer een upstream-entiteit verandert maar er geen vervangingsregel bestaat.
3. Verwijdering: Verifiëren dat een verwijderd feit niet langer wordt gerapporteerd, in plaats van te blijven bestaan als een verouderde waarde.

Dit laat een kritiek blinde vlek achter in de evaluatie van hoe memory-systemen omgaan met stateful, onderling afhankelijke kennis.

Methodologie

Het MEME Framework

De auteurs stellen een gestructureerde evaluatietaxonomie voor, georganiseerd langs twee orthogonale dimensies:

1. Entiteitsscope: Single-entiteit versus Multi-entiteit.
2. Temporele Dynamiek: Statistisch versus Evoluerend.

Dit kader definieert zes distincte taaktypes die over de resulterende kwadranten zijn verdeeld:

• Retrieval (Statisch, Single/Multi): Exact Recall (letterlijke reproductie) en Aggregatie (het combineren van verspreide statische feiten).
• State Management (Evoluerend, Single/Multi): Tracking (het reconstrueren van revisiegeschiedenis) en Verwijdering (verifiëren van verwijdering).
• Afhankelijkheidsredenering (Evoluerend, Multi): Cascadering (het doorgeven van veranderingen via regels) en Afwezigheid (het identificeren van onzekerheid).

Dataset Generatie

De MEME-dataset bestaat uit 100 gecontroleerde episodes (50 per domein: Persoonlijk Leven en Softwareproject), gegenereerd vanuit een Directed Acyclic Graph (DAG) kennisgrafiek.

• Structuur: Elk domein gebruikt een handgemaakte DAG waarbij knopen entiteiten zijn en randen conditionele afhankelijkheidsregels voorstellen (bijv. "Als de teamleider verandert, zal de code-reviewer X zijn").
• Episodes: Elke episode omvat een chronologische reeks gesprekken (~35K tokens), afgewisseld met filler-sessies om realistische ruis te simuleren.
• Verifieerbaarheid: Gouden antwoorden voor afhankelijkheidstaken worden algoritmisch berekend door updates door de DAG te propageren. Als een regel bestaat, wordt de nieuwe waarde afgeleid; zo niet, dan is het antwoord "Onzeker".
• Validatie: Een in-context baseline (het direct aanvoeren van gouden feiten aan de LLM) bevestigt dat de taken in principe oplosbaar zijn (0,91 nauwkeurigheid met Claude Opus 4.7).

Experimentele Opstelling

De studie evalueert zes memory-systemen die drie architecturale paradigma's bestrijken:

1. Raw Retrieval: BM25 en text-embedding-3-small.
2. LLM-Verwerkte Memory: Mem0 (feitenextractie) en Graphiti (temporele kennisgrafiek).
3. Bestandsgebaseerde Agenten: Karpathy Wiki en MD-flat (minimale single-file baseline).

Alle systemen gebruiken gpt-4.1-mini als interne LLM (voor opname/retrieval-planning) en als antwoord-LLM, zodat een eerlijke vergelijking van architecturale verschillen mogelijk is. De evaluatie hanteert een "trivial-pass" filter voor afhankelijkheidstaken, waarbij het systeem de pre-veranderingstoestand correct moet herinneren voordat het correct omgaat met de post-veranderingstoestand.

Belangrijkste Resultaten

1. Universeel Falen in Afhankelijkheidsredenering

Onder standaardconfiguraties falen alle zes systemen volledig in afhankelijkheidsredeningstaken:

• Cascadering Nauwkeurigheid: 3% gemiddeld.
• Afwezigheid Nauwkeurigheid: 1% gemiddeld.
• Verwijdering Nauwkeurigheid: 17% gemiddeld.

In tegenstelling hiermee tonen statische taken (Exact Recall, Aggregatie) aanzienlijk hogere prestaties. Het falen is consistent over alle drie de architecturale paradigma's.

2. Diagnose van Falingsmodi

De auteurs herleiden het falen tot de retrieval- en antwoordfasen, niet tot codering of onderhoud:

• Retrieval Falen: Bij raw retrieval en tool-gebaseerde systemen wordt het "veranderingsgebeurtenis" (de update) óf ondergewaardeerd door de pre-veranderingwaarde (bij vectorretrievers), óf nooit blootgelegd (bij grafiek/tool-gebaseerde systemen).
• Antwoord Falen: Zelfs wanneer het veranderingsgebeurtenis wordt opgehaald, faalt de antwoord-LLM vaak om de afhankelijkheid door te geven, en grijpt terug naar de pre-veranderingwaarde.
• Structurele Kloof: De kloof is niet te wijten aan een gebrek aan instructies of ruis; prompt-optimalisatie (DSPy SIMBA), verhoogde retrieval-diepte (top-k) en ruisreductie slaagden er niet in deze te dichten.

3. De Kosten van Sluiting

De enige configuratie die de kloof gedeeltelijk dicht, is MD-flat gekoppeld aan Claude Opus 4.7 als interne LLM.

• Mechanisme: Opus 4.7 herstructureert actief het memory-bestand tijdens opname, waarbij expliciete "Contingency"-vermeldingen worden geschreven. Wanneer een upstream-verandering optreedt, scant het systeem op deze contingenties en schrijft de gepropageerde waarde direct in de opslag, waardoor de retriever direct de juiste waarde kan blootleggen.
• Prestaties: Cascadering-nauwkeurigheid stijgt naar 32%, en Afwezigheid naar 59%.
• Kosten: Deze configuratie kost ongeveer 70× de baseline-kosten (door de hoge token-prijzen van Opus 4.7 en complexe verwerking). Het degradeert ook de prestaties op Exact Recall en Tracking-taken.

Betekenis en Claims

Het artikel stelt dat huidige memory-systemen ontoereikend zijn voor real-world agentic toepassingen waar kennis onderling afhankelijk is. De belangrijkste bijdragen zijn:

1. Een Nieuwe Evaluatiestandaard: MEME introduceert de eerste benchmark die Cascadering, Afwezigheid en Verwijdering taken scoort, en zo een kritiek blinde vlek in het bestaande memory-onderzoek blootlegt.
2. Empirisch Bewijs van een Structurele Kloof: De studie toont aan dat afhankelijkheidsredenering niet slechts een kwestie van retrieval-ruis is, maar een fundamentele architecturale beperking. Systemen met praktische kosten (die kleinere, goedkopere LLM's gebruiken) falen in het doorgeven van updates of het herkennen van onzekerheid, ongeacht prompt engineering of retrieval-diepte.
3. Haalbaarheid versus Praktijk: Hoewel sluiting theoretisch mogelijk is (aangetoond door de Opus 4.7-configuratie), hangt deze momenteel af van configuraties die niet praktisch schaalbaar zijn vanwege prohibitieve kosten en prestatieafwegingen op andere taken.
4. Toekomstige Richting: De auteurs suggereren dat de weg voorwaarts ligt in memory-architecturen die updates natieven doorgeven via afhankelijke feiten tijdens de onderhoudsfase, in plaats van te vertrouwen op kostbare interne LLM's om deze redenering tijdens inferentie uit te voeren.

Het artikel concludeert dat voor werklasten met zware afhankelijkheden vandaag de dag geen optie met praktische kosten bestaat, en ontwikkelaars moeten vertrouwen op zorgvuldig upstream-design (bijv. expliciete afhankelijkheidsregels in logs) als een tijdelijke oplossing op korte termijn.