💬 NLP

Momento: Evaluating Persistent Memory and Reasoning with Multi-Session Agentic Conversations

Het artikel introduceert Momento, een benchmark die ontworpen is om het vermogen van agentische AI om persistent geheugen te behouden en te redeneren over interacties met meerdere sessies te evalueren, waarbij wordt onthuld dat huidige agenten aanzienlijk moeite hebben met het accuraat interpreteren van evoluerende gebruikerscontexten en het valideren van verouderde historische informatie.

Oorspronkelijke auteurs: Adril Putra Merin, David Anugraha, Ayu Purwarianti, Genta Indra Winata

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Adril Putra Merin, David Anugraha, Ayu Purwarianti, Genta Indra Winata

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, behulpzame persoonlijke assistent hebt genaamd "Agent". Je gebruikt deze assistent al maanden om restaurants te boeken, eten te bestellen en je lidmaatschap te beheren.

Het Probleem: De "Amnesiac" Assistent
De meeste tests die we momenteel aan deze AI-assistenten geven, zijn als het geven van een korte toets op één specifieke dag. Ze vragen: "Kun je voor vanavond een tafel reserveren?" De AI zegt: "Ja!" en doet het. Geweldig.

Maar in het echte leven bestaat je leven niet uit slechts één dag. Het is een verhaal dat zich over weken ontvouwt. Je zou de agent op maandag kunnen vertellen: "Ik probeer af te vallen, dus geen pasta." Dan kom je op vrijdag terug en zeg je: "Laten we die pasta bestellen waar ik vorige week zin in had."

Het artikel betoogt dat huidige AI-assistenten slecht zijn in dit langetermijnverhaal. Ze behandelen je eerdere gesprekken als een betrouwbaar dagboek en gaan ervan uit dat alles wat je vorige week zei, vandaag nog steeds waar is. Ze realiseren zich niet dat je voorkeuren kunnen zijn veranderد, of dat de informatie die ze onthouden "verouderd" (oud en niet meer actueel) kan zijn. Ze vergeten feiten te controleren voordat ze actie ondernemen.

De Oplossing: MOMENTO (De "Geheugentraining")
De auteurs hebben een nieuwe test ontwikkend genaamd MOMENTO. Zie dit als een "geheugentraining" voor AI-agenten. In plaats van een quiz van één dag, simuleert MOMENTO een langdurige relatie tussen een gebruiker en een assistent.

De Opzet: De AI moet interageren met een gesimuleerde mens over vele verschillende "sessies" (zoals verschillende dagen of weken).
De Uitdaging: De doelen van de mens veranderen. Ze kunnen een taak onderbreken, van gedachten veranderen over wat ze willen eten, of verwijzen naar iets dat ze drie weken geleden hebben besproken.
Het Geheugen: De AI heeft een speciale "rugzak" (geheugenmodule) waarin het eerdere gesprekken kan opslaan en ophalen. Maar de truc is dat de rugzak oude informatie bevat die gecontroleerd moet worden tegen de huidige realiteit.

Hoe ze het hebben getest
Ze hebben een realistische restaurant-simulatie gebouwd. De AI moest:

Onthouden wat de gebruiker in het verleden leuk vond.
Opmerken of de stemming of het dieet van de gebruiker veranderde.
Tools gebruiken (zoals een database of een reserveringssysteem) om verse informatie te verkrijgen.
Een beslissing nemen op basis van zowel het oude geheugen als de nieuwe feiten.

De Resultaten: De "Valstrik van Vals Zelfvertrouwen"
Toen ze de tests uitvoerden, waren de resultaten verrassend. Zelfs de slimste AI-modellen faalden vaak.

De Belangrijkste Fout: De AI faalde niet omdat het het verleden vergat. Het faalde omdat het het verleden te veel vertrouwde.
De Analogie: Stel je voor dat je je assistent vraagt: "Heb ik nog steeds mijn gouden lidmaatschap?" De assistent kijkt naar een notitie van vorige maand die zegt: "Ja, Goud." In plaats van de bank te bellen om te controleren of de status vandaag nog steeds "Goud" is, zegt de assistent simpelweg: "Ja, u bent Goud," en gaat vervolgens over tot het boeken van een tafel.
De Realiteit: De gebruiker kan gisteren zijn lidmaatschap verloren. Omdat de AI de huidige status niet heeft geverifieerd, maakte het een fout.

Het artikel stelde vast dat de grootste reden voor falen was dat de AI de "verificatiestap" oversloeg. De AI nam aan dat de geschiedenis een perfecte kaart van het heden was, in plaats van een oude kaart die mogelijk bijgewerkt moet worden.

De Conclusie
Het artikel concludeert dat hoewel AI beter wordt in redeneren en het gebruiken van tools, het nog steeds worstelt met persistent geheugen in langdurige interacties. Het behandelt oude geschiedenis als absolute waarheid in plaats van een aanwijzing die opnieuw geverifieerd moet worden.

Om echt behulpzame langetermijnassistenten te bouwen, moeten we hen leren dat het feit dat ze zich iets van vorige week herinneren, niet betekent dat het vandaag nog steeds waar is. Ze moeten nieuwsgierig zijn en de feiten dubbelchecken voordat ze handelen.

Wat het Papier NIET Zegt

Het beweert niet dat deze technologie klaar is voor ziekenhuizen of kritisch medisch advies.
Het zegt niet dat dit morgen direct de manier waarop je je telefoon gebruikt zal veranderen.
Het richt zich strikt op de kloof tussen de huidige AI-mogelijkheden en de behoeften van langdurige, meerdaagse interacties in dienstverlenende omgevingen (zoals restaurants).

Technische Samenvatting: MOMENTO

Probleemstelling

Hoewel recente vooruitgang in agentic AI sterke capaciteiten heeft getoond op het gebied van redeneren, toolgebruik en meerstapsplanning binnen geïsoleerde single-session omgevingen, schieten bestaande benchmarks tekort in het reflecteren van real-world implementaties. In de praktijk interageren gebruikers met agenten over dagen en weken heen, waarbij evoluerende doelen, geaccumuleerde historie en eerdere beslissingen moeten worden geïntegreerd om gepersonaliseerde doelstellingen te vervullen. Huidige evaluatieframeworks negeren cross-session afhankelijkheden grotendeels, waarbij ze agenten behandelen als staatloze entiteiten of ze alleen evalueren op feitelijke herinnering in plaats van op de vraag of een opgehaalde context betere taakbeslissingen aanstuurt. Dit creëert een significante kloof tussen de huidige agent-capaciteiten en de vereisten van realistische, langdurige mens-agent interactie waarbij geheugen moet ondersteunen bij consequente, tool-gemedieerde acties.

Methodologie

Om deze kloof te overbruggen, introduceren de auteurs MOMENTO, een benchmark en evaluatieframework ontworpen voor persistente agentic taakvoltooiing in multi-session, multimodale serviceomgevingen.

Framework Architectuur

Het systeem werkt via een rollenspel-simulatie waarbij twee agenten betrokken zijn:

User Agent ( $\pi_u$ ): Simuleert menselijk gedrag door natuurlijke conversationele reacties te genereren, geconditioneerd op een user policy ( $\Phi_u$ ). Deze policy definieert persona's, langetermijndoelen en voorkeuren. De agent haalt context op uit een gedeelde geheugenmodule om temporele coherentie over sessies heen te behouden.
Assistant Agent ( $\pi_a$ ): Verantwoordelijk voor het reageren op gebruikersinputs, het ophalen van relevante multi-session samenvattingen, het aanroepen van externe tools en het genereren van de definitieve respons. De agent moet temporeel redeneren om afhankelijkheden tussen eerdere sessies en huidige verzoeken op te lossen.

Agentic Memory

Een kerncomponent van MOMENTO is de Agentic Memory module ( $M$ ), die opereert binnen een begrensde 12 **128k-token context**. Het hanteert een hybride aanpak:

Long-term Recall: Haalt relevante eerdere sessies op uit een database met behulp van door LLM gegenereerde SQL-queries. Dit maakt expliciet redeneren over cross-session afhankelijkheden mogelijk, waarbij semantische matching wordt gecombineerd met temporele restricties en structurele condities.
Short-term Compression: Beheert de in-context dialooggeschiedenis door de meest recente 80% van de context letterlijk te behouden voor fijnmazige details, terwijl oudere prefixen worden gecondenseerd tot compacte samenvattingen om overhead te verminderen.

Benchmark Constructie

MOMENTO bestaat uit 161 taakinstanties gegenereerd via menselijk rollenspel om realistische interactiegeschiedenissen te simuleren. De taken bestrijken scenario's zoals persoonlijke assistentie, planning, scheduling en aanbevelingen, waarbij vaak voedselgerelateerde entiteiten uit de WorldCuisines dataset worden gebruikt. De dataset bevat evoluerende voorkeuren, impliciete referenties, tegenstrijdige updates en temporeel verspreide informatie om de realiteitswaarde te vergroten. De omgeving biedt 26 tools die dekking bieden voor reserveringsbeheer, zoeken, bestellen, lidmaatschapsbeheer en text-to-SQL toegang.

Evaluatie Metrieken

Prestaties worden gemeten aan de hand van drie primaire metrieken:

DB STATE: Controleert of de uiteindelijke database-status overeenkomt met het doel van de gebruiker.
OUTPUT: Meet of de respons van de assistent aan het verzoek van de gebruiker voldoet.
TOOL RECALL: Evalueert of de juiste tools in de juiste volgorde worden aangeroepen.
Een taak wordt pas als succesvol beschouwd als alle drie de metrieken zijn voldaan. De studie rapporteert ook PASS@K en PASS^K om consistentie over meerdere runs te meten.

Belangrijkste Bijdragen

Eerste Persistente Multi-Session Benchmark: MOMENTO is het eerste framework dat persistente agentic taakvoltooiing evalueert waarbij cross-session context een eersteklas input is voor besluitvorming, waarmee het verder gaat dan single-session of eenvoudige fact-recall evaluaties.
Realistische Simulatie: De benchmark maakt gebruik van een grootschalige dataset van temporeel gescheiden interacties met evoluerende gebruikersdoelen en latente geheugenafhankelijkheden, gegenereerd via rollenspel-gebaseerde gebruikerssimulatie.
Publieke Release: De dataset en broncode zijn publiekelijk vrijgegeven onder respectievelijk CC-BY-SA en Apache 2.0 licenties om verder onderzoek te faciliteren.

Resultaten en Analyse

De auteurs hebben verschillende state-of-the-art open-weight visual language models (VLMs) geëvalueerd, waaronder QWEN3.6 en GEMMA4 varianten.

Prestaties: GEMMA4-31B-IT vertoonde de sterkste algehele prestaties, met de hoogste PASS@3 en PASS^3 scores, en demonstreerde superieure consistentie over herhaalde trials. Hoewel GPT-5.4-MINI marginale voorsprong vertoonde in specifieke metrieken zoals DB STATE, overtrof het GEMMA4-31B-IT niet in algemene taaksucces.
Instabiliteit: Een aanzienlijke kloof tussen PASS@3 en PASS^3 bij alle modellen benadrukt een wijdverbreide instabiliteit in meerstaps-taakuitvoering.
Foutanalyse: De dominante foutmodus is TOOL RECALL, specifiek de verkeerde inschatting van de gebruikersstatus. Agenten hebben de neiging om eerdere sessiegeschiedenis te behandelen als een betrouwbare proxy voor de huidige context, waardoor ze impliciete aannames doen zonder verificatie. Hierdoor laten agenten frequent noodzakelijke verificatie- of retrieval-calls (bijv. het controleren van de lidmaatschapsstatus of huidige bestelstatus) achterwege voordat ze acties uitvoeren. Deze fout wordt structureel mogelijk gemaakt door de multi-session setting, waar historie een vals gevoel van staat-continuïteit creëert.

Betekenis

Het artikel stelt dat MOMENTO een aanzienlijke kloof onthult tussen de huidige agent-capaciteiten en de eisen van realistische, langdurige mens-agent interactie. De belangrijkste bevinding is dat huidige agenten niet falen door een gebrek aan beschikbare tools, maar door een falen om verouderde informatie uit eerdere sessies opnieuw te valideren. Door eerdere historie te behandelen als statische waarheid in plaats van informatie die re-validatie vereist, missen agenten cruciale stappen in de redeneerketen. De auteurs stellen dat MOMENTO een noodzakelijk fundament biedt voor toekomstig onderzoek naar persistente, geheugen-gestuurde agentic systemen die accuraat door temporele afhankelijkheden en evoluerende gebruikersdoelen kunnen navigeren.

Beperkingen

De auteurs erkennen dat, net als eerdere benchmarks, MOMENTO vertrouwt op LLM-gebaseerde gebruikerssimulatoren. Hoewel dit schaalbare dataverzameling mogelijk maakt, zullen gesimuleerde gebruikers mogelijk niet perfect het realistische menselijke gedrag vertonen. Toekomstig werk suggereert het verkennen van sterkere geconstrainde simulatiemethoden, rol-specifieke fine-tuning, of interacties met echte mensen om de gedragsmatige kloof verder te overbruggen.