💬 NLP

From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents

Dit paper introduceert Memora, een nieuw benchmark en de FAMA-maatstaf om langdurig geheugen voor gepersonaliseerde agenten te evalueren, waarbij wordt aangetoond dat bestaande systemen vaak falen in het consolideren van herinneringen en het verwerken van verouderde informatie.

Oorspronkelijke auteurs: Md Nayem Uddin, Kumar Shubham, Eduardo Blanco, Chitta Baral, Gengyu Wang

Gepubliceerd 2026-04-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md Nayem Uddin, Kumar Shubham, Eduardo Blanco, Chitta Baral, Gengyu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een persoonlijke assistent hebt, een digitale vriend die je al maanden helpt. Je vertelt hem elke dag dingen: "Ik hou van Italiaans eten," "Mijn auto moet volgende week naar de garage," en "Ik ben gestopt met het kijken van films van die ene regisseur."

Het probleem? De meeste AI-assistenten vandaag hebben een korte geheugenboog. Ze zijn als een vis die na drie seconden alles vergeet. Als je ze vandaag vraagt wat je gisteren zei, kijken ze verward. Ze kunnen wel een heel lang gesprek in één keer lezen (een "context window"), maar zodra dat gesprek voorbij is, is de informatie weg.

De auteurs van dit paper, Memora, zeggen: "Dat is niet genoeg voor een echte persoonlijke assistent." Ze hebben een nieuw testlab gebouwd om te zien of AI echt kan onthouden, vergeten en aanpassen, net als een mens.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Gouden Vis" vs. De Mens

Stel je voor dat je een gesprek voert met iemand die een gouden vis is.

Huidige AI: Hij onthoudt wat je net zei, maar als je morgen terugkomt, is hij weer een lege doos. Hij moet je alles opnieuw vertellen.
Wat we nodig hebben: Een assistent die een menselijk geheugen heeft. Die onthoudt niet alleen wat je zei, maar weet ook dat je vorige maand van een andere muziekstijl hield, maar dat je die smaak nu hebt veranderd.

De meeste bestaande tests voor AI-geheugen kijken alleen of de AI een los feitje kan terugvinden (bijvoorbeeld: "Wat was mijn naam?"). Maar ze testen niet of de AI begrijpt dat je naam misschien veranderd is, of dat je voorkeur voor pizza veranderd is in sushi.

2. De Oplossing: Memora (Het "Geheugen-Trainingscentrum")

De onderzoekers hebben Memora bedacht. Dit is geen simpele quiz, maar een simulatie van maandenlange gesprekken.

Stel je voor dat je een AI traint alsof het een nieuwe werknemer is die je al een jaar kent.

Het scenario: De AI moet met een "persona" (een virtuele persoon) praten over een periode van weken, maanden of zelfs een kwartaal.
De twist: In deze gesprekken verandert er veel.
- Voorbeeld: In januari zegt de gebruiker: "Ik hou van Christopher Nolan." In februari zegt hij: "Nou ja, ik word er een beetje moe van, ik wil nu komedies."
- Een goede AI moet weten: "Ah, in januari hield hij van Nolan, maar nu niet meer. Ik moet dus geen Nolan-film aanraden."

3. De Drie Uitdagingen (De "Geheugen-Test")

Memora test de AI op drie manieren, die we kunnen vergelijken met een dag in het leven:

Onthouden (Remembering):
- Analogie: Je vraagt je assistent: "Wat moet ik vandaag doen?"
- De test: Moet hij weten dat je gisteren een afspraak maakte voor de tandarts, ook al was dat gesprek twee weken geleden?
Redeneren (Reasoning):
- Analogie: Je vraagt: "Kan ik nog boodschappen doen met mijn budget?"
- De test: De AI moet alle uitgaven van de afgelopen maand optellen (die in verschillende gesprekken staan) en vergelijken met je totale budget. Hij moet losse stukjes informatie samenvoegen tot één antwoord.
Aanbevelen (Recommending):
- Analogie: Je vraagt: "Welke film zien we vanavond?"
- De test: De AI moet weten wat je nu leuk vindt, niet wat je leuk vond toen je hem voor het eerst ontmoette. Als je zegt "Ik vind horrorfilms niet meer leuk," mag hij geen horrorfilm aanraden, zelfs niet als hij die film eerder aanbeval.

4. De Nieuwe Score: "Vergeet-Aware" (FAMA)

Dit is misschien wel het slimste deel van het paper.
Stel, je vraagt je AI-assistent: "Wat is mijn favoriete film?"

Situatie A: De AI zegt: "De Matrix" (wat je 2 jaar geleden zei).
Situatie B: De AI zegt: "De Matrix" (terwijl je gisteren zei: "Ik vind die film nu saai, ik hou nu van animatiefilms").

Bij oude tests zou Situatie B vaak als "goed" worden gerekend, omdat het antwoord "De Matrix" technisch gezien correct was gebaseerd op een oud gesprek.
De onderzoekers zeggen: Nee, dat is fout! De AI heeft niet "vergeten" wat je nu wilt.

Ze hebben een nieuwe score bedacht genaamd FAMA.

Hoe het werkt: Het geeft punten als de AI het juiste, huidige feit gebruikt. Maar het trekt punten af als de AI een verouderd feit gebruikt.
De metafoor: Het is alsof je een chef-kok test. Als hij een gerecht maakt met ingrediënten die je hem gisteren hebt verteld dat je allergisch bent, is het gerecht "fout", ook al smaakt het misschien goed. De AI moet weten wat je nu wilt, niet wat je toen wilde.

5. Wat Vonden Ze? (De Resultaten)

Ze hebben de beste AI-modellen en speciale "geheugen-assistenten" getest. Het nieuws is niet heel bemoedigend:

AI's vergeten te snel: Hoe langer de gesprekken duren (van weken naar maanden), hoe slechter de AI wordt.
Ze houden vast aan het verleden: AI's zijn erg goed in het ophalen van oude informatie, maar heel slecht in het laten gaan van oude informatie. Ze blijven vaak films aanraden die de gebruiker al maanden geleden niet meer leuk vond.
Speciale geheugen-tools helpen, maar niet genoeg: Er zijn speciale systemen gebouwd om AI's een "notitieblok" te geven. Die doen het iets beter, maar ze maken nog steeds veel fouten als het gaat om het samenvoegen van informatie over lange tijd.
Redeneren is moeilijk: Het is voor AI's het allerlastigst om losse stukjes informatie (uit verschillende gesprekken) samen te voegen tot een logisch antwoord.

Conclusie

Dit paper zegt eigenlijk: "Onze AI-assistenten zijn nog geen echte persoonlijke vrienden." Ze kunnen feiten onthouden, maar ze begrijpen niet goed hoe mensen veranderen. Ze hebben moeite om te "vergeten" wat niet meer waar is.

Om een echt slimme persoonlijke assistent te maken, moeten we AI's niet alleen leren onthouden, maar ook leren vergeten en aanpassen. Net als wij mensen: we houden niet voor altijd van dezelfde muziek, en we vergeten oude afspraken als ze verlopen zijn. Memora is de eerste stap om AI's te leren hoe dat werkt.

Titel: From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents

Auteurs: Md Nayem Uddin, Kumar Shubham, Eduardo Blanco, Chitta Baral, Gengyu Wang.
Affiliaties: Arizona State University, Genies, University of Arizona.

1. Het Probleem

Huidige Large Language Models (LLMs) en gepersonaliseerde agenten missen fundamenteel persistente langetermijngeheugen. Hoewel ze bekwaam zijn in redeneren en instructies volgen, zijn ze standaard "stateless" tussen sessies. Bestaande benchmarks voor langetermijngeheugen focussen voornamelijk op shallow retrieval (het ophalen van geïsoleerde feiten uit eerdere gesprekken) en verwaarlozen twee cruciale aspecten van menselijk geheugen:

Geheugenconsolidatie: Het vermogen om informatie over vele sessies (weken tot maanden) te integreren en te synthetiseren, in plaats van alleen het meest recente contextvenster te gebruiken.
Geheugenmutatie en Vergeten: In de realiteit veranderen voorkeuren, activiteiten en doelen. Agenten moeten niet alleen nieuwe informatie toevoegen, maar ook verouderde of ongeldige informatie correct verwijderen of updaten. Bestaande benchmarks testen zelden hoe agenten omgaan met deze dynamische updates over lange tijdsperiodes.

De huidige evaluatiemethoden belonen vaak alleen het aanwezig zijn van relevant informatie in het antwoord, zonder te straffen voor het gebruik van verouderde (ongeldige) informatie, wat leidt tot een vertekend beeld van de prestaties.

2. Methodologie: De Memora Benchmark

Om deze hiaten aan te pakken, stellen de auteurs Memora voor, een benchmark die langetermijngeheugen modelleert als een continu evoluerend proces.

A. Data Generatie en Simulatie

Memora wordt opgebouwd via een simulatie-pipeline die lange conversaties genereert over periodes van weken, maanden en kwartalen:

Persona's: Er worden 10 professionele persona's gebruikt (bijv. software-engineer, onderzoeker) met specifieke voorkeurspatronen, activiteiten en doelen.
Geheugentypes:
- Voorkeursgeheugen: Evoluerende likes/dislikes (films, muziek, reizen).
- Activiteitsgeheugen: Dagelijkse taken, uitgaven, fitnessdata.
- Doelgeheugen: Langetermijndoelen (budget, fitnessdoelen).
Mutatie en Consolidatie: De simulator introduceert expliciete operaties (toevoegen, updaten, verwijderen) over tijd. Dit creëert scenario's waarbij informatie verouderd raakt en agenten moeten "vergeten" wat niet meer geldt.
Validatie: Conversaties worden gegenereerd door multi-agent frameworks en gecontroleerd via een geautomatiseerde "memory-grounding" loop (met LLM-judges) en menselijke evaluatie om ervoor te zorgen dat de gegenereerde dialogen strikt overeenkomen met de onderliggende geheugentraces.

B. Evaluatietaakken

Memora evalueert agenten op drie geheugengebaseerde taken:

Remembering: Het direct ophalen van opgeslagen feiten (bijv. "Wat is mijn huidige takenlijst?").
Reasoning: Het synthetiseren van informatie uit meerdere sessies om een specifiek antwoord te geven (bijv. "Binnen mijn wekelijkse budget?").
Recommending: Het geven van gepersonaliseerde suggesties op basis van huidige (en niet verouderde) voorkeuren (bijv. een film aanbevelen na een verandering in smaak).

C. Nieuwe Evaluatiemetric: FAMA

De auteurs introduceren FAMA (Forgetting-Aware Memory Accuracy). Dit is een kritieke innovatie die standaard nauwkeurigheid vervangt:

MPA (Memory Presence Accuracy): Meet of geldige informatie correct is opgenomen.
FAA (Forgetting Absence Accuracy): Meet of ongeldige/verouderde informatie correct is uitgesloten.
Formule: $FAMA = \max(0, MPA - \lambda \cdot (1 - FAA))$ $F A M A = max (0, M P A - λ \cdot (1 - F AA))$
- Waarbij $\lambda$ een weging is gebaseerd op het aantal vergeten criteria.
- Dit straft systemen zwaar af die verouderde informatie gebruiken, zelfs als het eindantwoord anderszins correct lijkt.

3. Experimentele Opstelling

De auteurs evalueerden:

4 LLMs: GPT-5.2, Claude Sonnet 4.5, Gemini 3 Pro Preview, Qwen3-32B (met en zonder reasoning-tokens).
6 Long-Term Memory Agents: A-Mem, LangMem, Mem-0, MemoBase, MemoryOS, Nemori.
Settings: Evaluatie over drie tijdsdurendheden: Wekelijks, Maandelijks en Kwartijks (met toenemende hoeveelheid sessies en geheugenoperaties).

4. Belangrijkste Resultaten

A. Prestaties over de Tijd

Afname bij langere periodes: De prestaties dalen over het algemeen van week naar kwartaal. Agenten worden onbetrouwbaarder naarmate de conversatiegeschiedenis langer wordt en meer mutaties bevat.
Brittleness: Zelfs agenten met expliciete externe geheugens (zoals MemoBase en MemoryOS) vertonen een sterke daling in prestaties bij kwartaalscenario's (bijv. MemoBase daalt van 43.6 naar 15.18 in 'Remembering').

B. Prestaties per Taak

Remembering: Memory agents presteren significant beter dan pure LLMs (gemiddeld 119.45 vs 65.60 FAMA), wat aantoont dat expliciete geheugenmechanismen essentieel zijn voor feitelijke recall.
Recommending: LLMs presteren hier even goed of beter dan agents. Dit komt doordat aanbevelingen vaak "plausibel" kunnen zijn zonder perfecte geheugenretrieval, zolang ze consistent zijn met de persona.
Reasoning: Dit is de zwakste taak voor alle systemen (gemiddeld < 28 FAMA). Het vereist consistente integratie van meerdere geheugenelementen, wat momenteel een groot probleem is.

C. Het Effect van FAMA (Vergeten)

Onderschatting van fouten: Standaard metrics (alleen MPA) geven veel te hoge scores. Wanneer FAMA wordt toegepast, dalen de scores drastisch.
Afhankelijkheid van verouderd geheugen: Memory agents vertonen een toenemende afhankelijkheid van verouderde informatie naarmate de tijdlijn langer wordt (scoreverlaging neemt toe van 18.2 naar 29.5 punten). Dit suggereert dat agents moeite hebben om verouderde data effectief te verwijderen terwijl ze nieuwe data toevoegen.
Ranking Verandering: Door FAMA veranderen de ranglijsten. Een agent die goed scoort op "presence" maar slecht op "forgetting" (zoals MemoryOS in maandelijkse setting) zakt in de ranglijst ten opzichte van een agent die beter "vergeten" (zoals Nemori).

D. Foutanalyse

Recommending: Fouten worden vaak veroorzaakt door het niet vergeten van verouderde voorkeuren (64% van de fouten).
Remembering: Voornamelijk veroorzaakt door gedeeltelijke retrievals (incomplete lijsten).
Reasoning: 100% van de fouten komt door incomplete retrievals die het consolideren van informatie verhinderen.

5. Bijdragen en Significantie

Memora Benchmark: Een rigoureuze test die langetermijngeheugen evalueert op basis van consolidatie (over tijd) en mutatie (veranderingen), in plaats van alleen statische ophaalopdrachten.
FAMA Metric: Een nieuwe evaluatiestandaard die "vergeten" als een positieve eigenschap behandelt en systemen straft voor het gebruik van ongeldige informatie. Dit onthult verborgen tekortkomingen die door traditionele metrics worden gemaskeerd.
Empirische Inzichten: De studie toont aan dat huidige state-of-the-art systemen (zowel LLMs als agents) fundamenteel tekortschieten in het handhaven van een coherente, actuele mentale staat onder druk van frequente updates.

Conclusie:
De paper concludeert dat de ontwikkeling van effectieve gepersonaliseerde agenten niet alleen afhangt van het vergroten van contextvensters of opslagcapaciteit, maar vooral van het implementeren van mechanismen die vergeten, consolidatie en mutatie expliciet integreren als ontwerpprincipes. Zonder dit vermogen om verouderde informatie te verwijderen en nieuwe informatie te synthetiseren, zullen agenten falen in realistische, langdurige interacties.