🤖 AI

AdMem: Advanced Memory for Task-solving Agents

Het artikel introduceert AdMem, een verenigd, automatisch geheugenframework dat semantisch, episodisch en procedureel geheugen integreert binnen een multi-agent architectuur om schaalbare, adaptieve leerprocessen en verbeterde prestaties in langdurige taken voor op LLM gebaseerde agenten mogelijk te maken.

Oorspronkelijke auteurs: Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar vergeetachtige assistent hebt die ongelooflijk goed is in het één voor één oplossen van puzzels. Echter, als je hem een lange, ingewikkelde reeks puzzels vraagt over meerdere dagen, raakt hij de draad kwijt. Hij kan zich misschien de eerste stap van de eerste puzzel herinneren, maar vergeet hoe hij de derde stap van de tweede puzzel heeft opgelost, of hij herhaalt dezelfde fout die hij gisteren maakte omdat hij niet heeft "geleerd" van die fout.

Dit artikel introduceert AdMem, een nieuw systeem ontworpen om deze AI-assistenten een superkrachtig, georganiseerd brein te geven, zodat ze lange, complexe taken kunnen afhandelen zonder in de war te raken.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De AI met een "Korte Concentratieboog"

Huidige AI-modellen zijn als mensen met een zeer kortetermijngeheugen. Als je hen een lange conversatie of een taak met meerdere stappen geeft, kunnen ze slechts enkele recente zinnen in hun hoofd houden.

De Oude Manier: Eerdere pogingen om dit op te lossen, waren als het geven van een gigantisch notitieboek aan de AI. Ze schreven feiten op (zoals "de lucht is blauw") of samenvattingen van wat er was gebeurd. Maar ze vergatenten vooral hoe dingen gedaan moesten worden. Als de AI een fout maakte bij een stap, vertelde het notitieboek de AI niet waarom het misging of hoe het de volgende keer kon worden opgelost.
Het Gat: De AI had een manier nodig om niet alleen te onthouden wat er gebeurde, maar ook hoe beslissingen te nemen, en het moest weten welke herinneringen daadwerkelijk nuttig waren en welke slechts rommel waren.

2. De Oplossing: Een Team van Drie Personen

In plaats van één AI die alles probeert te doen, zet AdMem een klein team van drie gespecialiseerde "agents" (AI-medewerkers) op die samenwerken:

De Actor (De Doener): Dit is de hoofd-AI die met je communiceert en het eigenlijke werk doet. Het houdt een "Kortetermijngeheugen" bij (zoals een briefje met een post-it) voor de directe taak waar het mee bezig is.
De Critic (De Coach): Dit is het slimste deel van het systeem. Terwijl de Actor aan het werk is, kijkt de Critic nauwlettend toe. Wanneer de Actor een stap zet, vraagt de Critic: "Werkt dat? Voldoet dit aan ons doel?" Als de Actor een fout maakt, schrijft de Critic een notitie over waarom het misging en hoe het de volgende keer beter kan. Als de Actor slaagt, schrijft de Critic het recept voor dat succes op.
De Librarian (De Bewaker van het Geheugen): Deze agent beheert een enorme, georganiseerde bibliotheek van langetermijnherinneringen. Het slaat niet zomaets alles op; het organiseert de herinneringen in drie specifieke secties:
1. Semantisch Geheugen (De Encyclopedie): Algemene feiten en kennis (bijv. "Hoe gebruik je een gereedschap").
2. Episch Geheugen (Het Dagboek): Samenvattingen van gebeurtenissen uit het verleden (bijv. "Afgelopen dinsdag probeerden we een vlucht te boeken en dat mislukte").
3. Procedureel Geheugen (Het Receptenboek): Dit is het belangrijkste deel. Het slaat "hoe-te-doen"-gidsen op gebaseerd op eerdere successen en mislukkingen. Het is als een kookboek dat zegt: "Als je X probeert te doen, doe dan Y in plaats van Z, omdat Z de vorige keer mislukte."

3. Hoe Ze Samenwerken: De "Feedbackloop"

Stel je voor dat de Actor probeert een taart te bakken (de taak).

Planning: De Actor kijkt in het "Receptenboek" (Procedureel Geheugen) om te zien of hij deze taart eerder heeft gebakken.
Actie: De Actor mengt de ingrediënten.
Evaluatie: De Critic kijkt toe. Als de taart aanbrandt, zegt de Critic niet alleen "Slecht." Het schrijft een specifieke notitie: "Verlaag de volgende keer de temperatuur met 10 graden."
Opslag: De Librarian neemt die notitie, controleert of deze nuttig is, en voegt hem toe aan het Receptenboek. Het geeft die notitie ook een "score". Als de notitie de Actor later helpt te slagen, gaat de score omhoog. Als de notitie nooit wordt gebruikt of tot fouten leidt, gooit de Librarian het uiteindelijk weg om ruimte te besparen.

4. De "Slimme Filter" (Waarom het niet rommelig wordt)

Een veelvoorkomend probleem met geheugensystemen is dat ze te vol raken met troep. AdMem lost dit op met een Beloningssysteem.

Elke keer dat de AI probeert een geheugen uit zijn bibliotheek te gebruiken, controleert het systeem: "Hielp dit geheugen ons om te winnen?"
Als een geheugen de AI helpt te slagen, krijgt het een hoge score en blijft het in de bibliotheek.
Als een geheugen zelden wordt gebruikt of tot een mislukking leidt, daalt de score. Als de score te laag wordt, verwijdert de Librarian het.
Dit zorgt ervoor dat de AI alleen de "beste recepten" bewaart en de slechte vergeet, waardoor het over de tijd slimmer wordt.

5. De Resultaten: Beter Worden door Oefening

De auteurs hebben dit systeem getest in verschillende digitale omgevingen (zoals videogames, webbrowsing en het gebruik van tools).

De Bevindingen: Vergeleken met andere methoden was AdMem veel beter in het voltooien van lange, taken met meerdere stappen.
De "Zelfverbetering": Wanneer de AI werd gevraagd om dezelfde soorten taken herhaaldelijk uit te voeren (zoals een spel spelen voor een tweede of derde ronde), werd het aanzienlijk beter. Het leerde van zijn eerdere fouten en successen, terwijl de andere methoden gewoon dezelfde fouten bleven maken.

Samenvattend

AdMem is als het geven van een persoonlijke coach en een slimme archiefkast aan een AI. In plaats van alleen feiten te onthouden, onthoudt het hoe het moet denken en hoe het moet handelen. Het evalueert voortdurend de eigen prestaties, houdt de goede lessen vast, gooit de slechte weg en gebruikt die kennis om beter te worden in het oplossen van complexe problemen naarmate het langer werkt.

Technische Samenvatting: AdMem – Geavanceerd Geheugen voor Taakoplossende Agenten

Probleemstelling

Large Language Models (LLMs) hebben aanzienlijke vooruitgang getoond in redeneren en het gebruik van tools, maar blijven beperkt bij langetermijn-taken (long-horizon tasks) die het onthouden, organiseren en hergebruiken van kennis over sessies heen vereisen. Hoewel eerder onderzoek de uitdagingen rondom geheugen heeft aangepakt via architecturale wijzigingen (bijv. differentiële aandacht) of symbolische/tekstuele opslag (bijv. retrieval-augmented generation, context paging), kampen bestaande benaderingen vaak met specifieke beperkingen:

Focus op Feitelijke/Episodische Data: Veel systemen geven prioriteit aan het opslaan van feitelijke informatie of het comprimeren van historie, waarbij ze procedureel geheugen (sturing bij besluitvorming) verwaarlozen.
Ineffectief Procedureel Geheugen: Recente werken op het gebied van procedureel geheugen reduceren vaak tot het herafspelen van succesvolle trajecten, zonder rekening te houden met foutgevallen of het bieden van granulaire feedback voor kritieke stappen waar modellen doorgaans falen.
Gebrek aan Online Schaalbaarheid: De meeste systemen voor procedureel geheugen opereren in offline training-inferentie settings met schaarse, binaire taak-niveau feedback. Ze missen mechanismen voor automatische geheugenevaluatie, actief wissen, herrangschikking en adaptieve recall in online, levenslange omgevingen.
Theorie-Praktijk Kloof: Terwijl theoretische kaders ideale agenten voorstellen met kortetermijn/langetermijn, semantisch/episodisch/procedureel geheugen en feedbackloops, laten praktische implementaties vaak cruciale componenten zoals beloningsgestuurde updates, modelering van overtuigingen (belief modeling) en credit assignment weg.

Methodologie: Het AdMem Framework

De auteurs introduceren AdMem, een verenigd, automatisch geheugenframework ontworpen voor levenslange taakoplossende agenten. Het integreert semantisch, episodisch en procedureel geheugen binnen een bi-level ontwerp (kortetermijn en langetermijn) en maakt gebruik van een multi-agent architectuur bestaande uit een Actor, een Critic en een Memory Agent.

1. Multi-Agent Architectuur

Actor Agent: Een LLM-gebaseerde agent die interageert met de omgeving. Deze onderhoudt een Short-Term Memory (STM) status die per beurt wordt bijgewerkt en aan het einde van een taak wordt geleegd. De STM wordt gecodeerd naar langetermijngeheugen. De Actor gebruikt geheugentools om plannen, gedachten en subdoelen te genereren.
Critic Agent: Een LLM-gebaseerde agent die verantwoordelijk is voor de generatie van procedureel geheugen. Deze ontvangt "halfbakken" geheugenelementen van de Actor (context, actie, verwachte uitkomst) en werkelijke observaties. Het vergelijkt de verwachte versus de werkelijke uitkomsten om:
- Context en acties samen te vatten.
- Betere alternatieven voor te stellen.
- Een beloningssignaal ( $r_t \in \{0, 1\}$ ) en reflectie toe te wijzen.
- Een procedureel geheugenelement te genereren om toekomstige beslissingen te sturen.
Long-Term Memory (LTM) Agent: Een op retrieval gebaseerde agent die de persistente opslag $M$ $M$ beheert. Deze slaat drie soorten geheugen op:
- Semantisch Geheugen ( $M_S$ ): Feiten en algemene kennis over de omgeving/taken.
- Episodisch Geheugen ( $M_E$ ): Samenvattingen van eerdere interactie-events.
- Procedureel Geheugen ( $M_P$ ): Besluitvormingssturing geëxtraheerd uit eerdere acties, inclusen verwachte uitkomsten en beloningsannotaties.

2. Geheugenbeheer en Retrieval

Bi-Level Architectuur:
- Short-Term Memory (STM): Gebruikt een stack-gebaseerde structuur geïnspireerd op de uitvoering van computerprogramma's. Het onderhoudt het huidige subdoel en plan, waarbij beurten buiten het huidige subdoel worden gecomprimeerd om de contextlengte efficiënt te beheren.
- Long-Term Memory (LTM): Beheerd via beloningsgestuurde evaluatie, fusie en pruning (snoeien).
Procedural Memory Retrieval & Evaluatie:
- Het systeem modelleert de effectiviteit van een procedureel geheugenelement $m$ met behulp van een adaptieve parameter $v_m \in [0, 1]$ .
- Het gaat ervan uit dat taaksucces een binair stochastisch proces is dat wordt beïnvloed door de vraag of een opgehaald geheugen helpt.
- Een Expectation-Maximization (EM) algoritme werkt $v_m$ bij op basis van geobserveerde beloningen.
- Retrieval scores combineren context-gelijkenis (dense embeddings) en geschatte effectiviteit ( $v_m$ ).
Pruning en Merging:
- Geheugens die onder een frequentiedrempel $\epsilon$ worden opgehaald, worden verwijderd.
- Geheugens die constant samen worden opgehaald (frequentie $> 1-\epsilon$ ) worden samengevoegd (merged) om de retrieval-efficiëntie te verbeteren.

3. Executie Pipeline

De Actor genereert acties en expliciete verwachtingen voor uitkomsten. De Critic buffert deze scenario's. Zodra de Actor de werkelijke observatie ontvangt, evalueert de Critic de uitkomst tegenover de verwachting, genereert een beloning en werkt de geheugenopslag bij. Dit stelt het systeem in staat om te leren van zowel successen als fouten, waarmee het de credit assignment problem in meerstaps-taken aanpakt.

Belangrijkste Bijdragen

Verenigd Geheugenframework: AdMem is de eerste die semantisch, episodisch en procedureel geheugen integreert in een verenigd, automatisch systeem met een bi-level (kort/langetermijn) ontwerp.
Procedureel Geheugen met Feedback: In tegenstelling tot eerder werk dat enkel succesvolle workflows opslaat, gebruikt AdMem een Critic-agent om procedurele geheugens te annoteren met beloningssignalen en reflecties, waardoor de agent kan leren van foutgevallen en kritieke stappen.
Adaptief Geheugenbeheer: Het framework introduceert een beloningsgestuurd mechanisme voor het evalueren, samenvoegen en snoeien van procedurele geheugens, wat schaalbaarheid en continue verbetering in online settings garandeert.
Multi-Agent Coördinatie: De scheiding van taken (Actor voor uitvoering, Critic voor evaluatie, Memory Agent voor opslag/retrieval) maakt automatische geheugengeneratie en adaptieve retrieval mogelijk zonder handmatige policy-ontwerp.

Experimentele Resultaten

De auteurs hebben AdMem geëvalueerd in de AgentBoard omgeving, die een levenslange, streaming multi-task setting simuleert over diverse domeinen (Embodied AI, Text Games, Web Research, Tool Calling). Het backbone LLM was Claude Haiku 4.5.

Baselines: Vergeleken met ReAct (geen cross-task geheugen) en AWM (Agent Workflow Memory, een procedurele geheugen-baseline).
Prestaties:
- AdMem presteerde significant beter dan de baselines in de meeste domeinen, met name in AlfWorld (63,4% voltooiing vs. 47,0% voor AWM) en Tool-query (94,7% vs. 55,0%).
- In domeinen waar geheugentransfer minder voordelig is, behield AdMem een prestatie die gelijk is aan of iets beter is dan de baselines, waardoor de "verwarring" wordt vermeden die vaak bij naïeve geheugenimplementaties optreedt.
Ablatie Studies:
- Alleen short-term planning verbeterde de voortgang, maar schaalde niet met de horizonlengte.
- Long-term memory alleen veroorzaakte vroege prestatie-degradatie ("burn-in") zonder de ondersteuning van short-term planning tools.
- Volledige AdMem toonde de beste resultaten, waarbij de prestaties verbeterden over meerdere epochs naarmate de agent zijn geheugen cumuleerde en verfijnde.
Efficiëntie: Hoewel de multi-agent pipeline extra LLM-calls met zich meebrengt (tot 3x in eenvoudige taken), minimaliseert de parallelle executie van agenten de latentie, en geeft het systeem prioriteit aan robuustheid en leervermogen boven minimale kosten per stap.

Betekenis en Claims

Het artikel claimt dat AdMem de kloof overbrugt tussen theoretische cognitieve architecturen en praktische LLM-agent implementaties. Door verder te gaan dan eenvoudige feitelijke opslag naar adaptief procedureel leren, stelt het framework agenten in staat om:

Zichzelf te evolueren door ervaring in online omgevingen.
Gedrag aan te passen op basis van gebruikers- en taakeisen.
Robuustheid te verbeteren in langetermijn-taken met veel stappen waar standaard LLM's worstelen met contextlimieten en credit assignment.

De auteurs benadrukken dat uitgebreid, adaptief geheugen cruciaal is voor de vooruitgang van LLM-gebaseerde agenten, met name in scenario's die aanhoudende interactie en iteratieve verbetering vereisen. Het werk onderstreept dat succesvol agent-ontwerp niet alleen het opslaan van informatie vereist, maar ook het actief evalueren, verfijnen en ophalen ervan op basis van beloningssignalen.