💬 NLP

MemPro: Agentic Memory Systems as Evolvable Programs

MemPro is een systeemniveau-evolutiekader dat de gehele constructie- en ophaalpipeline van het geheugen behandelt als een evolueerbaar programma, waardoor autonome agenten iteratief fouten kunnen diagnosticeren en hun geheugensystemen kunnen verfijnen om statische en op prompts gebaseerde baselines te overtreffen in taken met een lange horizon.

Oorspronkelijke auteurs: Qingshan Liu, Guoqing Wang, Wen Wu, Jingqi Huang, Xinqi Tao, Dejia Song, Jie Zhou, Liang He

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qingshan Liu, Guoqing Wang, Wen Wu, Jingqi Huang, Xinqi Tao, Dejia Song, Jie Zhou, Liang He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar vergeetachtige onderzoeksassistent inhuurt om een enorm, jarenlang mysterie op te lossen. Je geeft ze een notitieblok (de "geheugenbank") om aanwijzingen in op te schrijven zodra ze die vinden.

Het probleem met huidige assistenten
Op dit moment werken de meeste AI-assistenten zo: je vertelt hen: "Schrijf de aanwijzingen in je notitieblok," en later: "Kijk in je notitieblok om het antwoord te vinden."

De tekortkoming: Zodra je ze hebt ingehuurd, staat de manier waarop ze schrijven en lezen vast. Als het mysterie verandert (bijv. van het volgen van de locatie van een persoon naar het begrijpen van een complexe stamboom), blijft de assistent dezelfde oude gewoontes in het notitieblok gebruiken. Ze schrijven misschien te veel, vergeten de volgorde van gebeurtenissen, of kijken in het verkeerde gedeelte van het notitieblok.
De huidige oplossing: Onderzoekers proberen dit meestal op te lossen door de assistent simpelweg te vertellen: "Probeer de aanwijzingen anders op te schrijven," of "Probeer de aanwijzingen anders te lezen." Dit is alsof je de assistent een nieuw briefje met instructies geeft, maar de manier van denken van de assistent en hun werkelijke gewoontes bij het bijhouden van het notitieblok blijven rigide.

De MemPro-oplossing: De "Zelfverbeterende Leerling"
Het artikel introduceert MemPro, een systeem dat de volledige workflow van de assistent niet alleen behandelt als een reeks instructies, maar als een levend, bewerkbaar programma.

Zie MemPro als een meestercoach die niet alleen de assistent een nieuw briefje geeft. In plaats daarvan kijkt de coach naar waar de assistent faalt, diagnosticeert waarom ze faalden, en schrijft vervolgens de daadwerkelijke functiebeschrijving en hulpmiddelen van de assistent over.

Zo werkt MemPro, stap voor stap:

1. De "Versieboom" (De stamboom van ideeën)

In plaats van alleen één nieuwe manier van werken te proberen en te hopen dat het werkt, maakt MemPro een familieboom van verschillende versies van de assistent.

De Wortel: Begint met de oorspronkelijke assistent.
De Takken: Als de assistent faalt bij een specifiek type taak, probeert MemPro niet alleen die ene fout te herstellen, maar creëert het een "kindversie" van de assistent die een totaal andere aanpak probeert.
Het Voordeel: Als één tak van de familieboom een geweldige manier ontdekt om met "tijdgebonden" aanwijzingen om te gaan, maar een andere tak een geweldige manier ontdekt om met "relatiegebaseerde" aanwijzingen om te gaan, behoudt MemPro beide. Het dwingt de assistent niet om voor slechts één pad te kiezen; het laat de beste ideeën uitwaaieren en overleven.

2. De "Evoluerende Agent" (De Detective-coach)

MemPro gebruikt een speciale AI (de "Evolving Agent") die fungeert als een detective-coach.

Diagnose: Het kijkt naar waar de assistent faalde. Vergat de assistent de volgorde van gebeurtenissen? Waren ze twee verschillende personen door elkaar gehaald?
De Edit-Debug Loop: Dit is het magische deel. De coach zegt niet alleen: "Wees voorzichtiger." De coach bewerk de code die de assistent gebruikt.
- Analogie: Als de assistent een vergrootglas gebruikte om kleine tekst te lezen en daardoor faalde, zou een fix die alleen op prompts berust zeggen: "Probeer harder." MemPro's coach zegt: "Laten we het vergrootglas vervangen door een microscoop en de instructies over hoe je hem vasthoudt herschrijven."
- Vervolgens "debugt" het deze nieuwe code op een paar testgevallen om te controleren of het werkt voordat het officieel wordt gemaakt.

3. Het Resultaat: Een Systeem dat Groeit

Het artikel testte dit op vier verschillende "mysteries" (datasets zoals LongMemEval, LoCoMo, HotpotQA en NarrativeQA).

Snelle Verbetering: Binnen slechts enkele ronden van dit "coach"-bewerkingsproces werd MemPro beter dan de beste bestaande assistenten, zelfs de zeer dure of complexe varianten.
Continue Groei: In tegenlijk bij andere systemen die een plafond bereiken en stoppen met verbeteren, bleef MemPro verbeteren. Hoe meer het evolueerde, hoe slimmer het werd, omdat het constant zijn eigen "hersenen" en "notitieboekgewoonten" herschreef om aan te passen aan het specifieke type puzzel dat het oploste.

Waarom dit ertoe doet (Volgens het artikel)

De auteurs stellen dat voor AI om complexe, langdurige taken aan te kunnen, we niet alleen de "prompt" (de instructies) kunnen aanpassen. We moeten het volledige systeem — hoe het zijn geheugen opbouwt en hoe het het gebruikt — behandelen als een stuk software dat kan evolueren.

Kortom: MemPro is een systeem dat zijn eigen betere zelf bouwt. Het leert niet alleen van fouten; het herschrijft zijn eigen regelboek en hulpmiddelen om ervoor te zorgen dat het nooit dezelfde fout twee keer maakt, waardoor er een "levend" geheugensysteem ontstaat dat slimmer wordt naarmate het meer wordt gebruikt.

Technische Samenvatting: MemPro – Agentische Geheugensystemen als Evolueerbare Programma's

1. Probleemstelling

Autonome agenten met een lange horizon vereisen geheugensystemen om historische informatie te behouden en evoluerende staten bij te houden die de eindige contextvensters van Large Language Models (LLM's) overstijgen. Hoewel bestaande agentische geheugensystemen doorgaans een Memory Construction–Retrieval (MCR)-pipeline volgen, lijden ze aan twee kritieke beperkingen als gevolg van hun fixed-pipeline design:

Taakheterogeniteit: Verschillende langetermijngeheugentaken vertonen verschillende foutmodi (bijv. temporele redenering versus multi-sessie bewijsvoering), wat verschillende strategieën vereist. Een vaste pipeline dwingt één enkele strategie op aan alle taken, wat leidt tot suboptimale prestaties.
Geheugen–Pipeline Misalignement: Naarmate de geheugenbank in schaal en structuur evolueert, kan een statische pipeline niet langer overeenkomen met de manier waarop geheugens worden georganiseerd of opgehaald, wat resulteert in onvolledige retrieval of ruis in de bewijsvoering.

Huidige optimalisatiemethoden, zoals prompt-niveau evolutie, kunnen tekstuele instructies verfijnen maar kunnen de uitvoerbare pipeline-logica (bijv. code voor het construeren van geheugenbanken of retrieval-strategieën) niet wijzigen. Dit artikel betoogt dat zelfevolutie van geheugen op systeemniveau moet opereren, waarbij de gehele MCR-pipeline wordt behanden als een evolueerbaar programma in plaats van enkel de opgeslagen geheugens of prompttekst bij te werken.

2. Methodologie: MemPro Framework

MemPro is een systeem-niveau evolutief framework dat de MCR-pipeline behandelt als een evolueerbaar programma. Het onderhoudt een versieboom van uitvoerbare geheugensysteem-implementaties, waarbij elke node zowel prompts als uitvoerbare code bevat. Het systeem wordt gedreven door een Evolving Agent die iteratief versies van de pipeline selecteert, uitbreidt en evalueert via een foutmodus-gestuurd edit–debug refinement proces.

Kerncomponenten

MCR Versieboom ( $T$ ): Een boomstructuur waar elke node $v$ een uitvoerbare pipeline-implementatie $F_v$ en de bijbehorende evaluatielog $L_v$ vertegenwoordigt. De wortel $v_0$ is de initiële pipeline.
Evaluatielog ( $L_v$ ): Registreert de algemene score ( $S_v$ ), categorie-specifieke scores ( $C_v$ ), de ouder-node ($pa(v)$) en een algemene beoordeling ( $A_v$ ) die de foutmodi en verbeteringsrichtingen samenvat.
Evolving Agent ( $A_{evo}$ ): De kernmotor die het evolutieproces beheert via drie iteratieve stappen:
1. Selectie: De agent analyseert logs van de gehele versieboom om de meest veelbelovende ouder-node voor expansie te selecteren op basis van hoge scores, generaliseerbare verbeteringen en frequente foutmodi. Tevens genereert de agent een diagnostische analyse ( $R_\ell$ ).
2. Expansie: Startend vanaf de geselecteerde node voert de agent een interne iteratieve loop uit om een kind-versie te creëren. Bij elke stap kiest het een actie:
  - EDIT: Herziet de pipeline-code of prompts op basis van de geaccumuleerde diagnostische analyse.
  - DEBUG: Selecteert een specifiek diagnostisch voorbeeld, voert de huidige pipeline daarop uit om een volledige trace te genereren, en werkt de diagnostische analyse bij zonder de volledige dataset opnieuw te evalueren.
  - TERMINATE: Stopt de expansie en finaliseert de nieuwe versie.
3. Evaluatie: De nieuwe pipeline-versie wordt uitgevoerd op de volledige trainingsset om executie-traces te verzamelen. De agent vat deze traces samen in een nieuwe evaluatielog en voegt de nieuwe node toe aan de versieboom.

Deze boomstructuur stelt MemPro in staat om af te splitsen van sterke historische versies en alternatieve richtingen te verkennen, in plaats van een enkel lineair traject te volgen.

3. Belangrijkste Bijdragen

Identificatie van Beperkingen: Het artikel identificeert taakheterogeniteit en geheugen–pipeline misalignement als fundamentele gebreken in fixed-pipeline agentische geheugensystemen, en pleit voor systeem-niveau evolutie boven geïsoleerde geheugen- of promptupdates.
MemPro Framework: Het voorstel van een systeem-niveau evolutief framework dat de MCR-pipeline behandelt als een evolueerbaar programma. Het optimaliseert uniek zowel prompts als uitvoerbare code via een versieboom en foutmodus-gestuurde edit–debug refinement.
Empirische Validatie: Uitgebreide experimenten over vier benchmarks (LongMemEval, LoCoMo, HotpotQA, NarrativeQA) tonen aan dat MemPro consequent sterke statische en prompt-niveau evolutie baselines overtreft binnen enkele iteraties, blijft verbeteren naarmate de versieboom groeit, en een gunstige performance–kostenverhouding bereikt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op twee long-term memory benchmarks (LongMemEval, LoCoMo) en twee long-context QA benchmarks (HotpotQA, NarrativeQA) met GPT-4o-mini en Qwen3-30B-A3B backbones.

Prestatiewinst: MemPro presteerde consequent beter dan sterke statische baselines (bijv. LangMem, Mem0, GAM) en prompt-niveau evolutie baselines (GEPA, MetaMem).
- Op LoCoMo bereikte MemPro-5 (na 5 iteraties) een nauwkeurigheid van 81,94%, waarmee het de beste baseline (GAM op 80,45%) versloeg.
- Op LongMemEval bereikte MemPro-15 79,00%, wat beter is dan de beste baseline (GEPA op 75,60%).
- Op HotpotQA en NarrativeQA behaalde MemPro state-of-the-art F1-scores en overtrof alle niet-MemPro baselines bij de 5e iteratie.
Continue Verbetering: In tegen tegenstelling tot statische systemen vertoonde MemPro gestage prestatiewinsten naarmate de evolutie vorderde van 5 naar 15 iteraties, wat duidt op een hoog plafond voor systeem-niveau optimalisatie.
Ablatie-studies: Het verwijderen van sleutelcomponenten (code-editing, versieboom, iteratieve expansie of multi-round evolutie) leidde tot significante prestatiedalingen. Specifiek preverteerde de "w/o Code" variant (waarbij werd teruggevallen op prompt-niveau evolutie) minder goed dan het volledige systeem, wat de noodzaak van het editen van uitvoerbare logica valideert.
Efficiëntie: MemPro behaalde de hoogste algemene nauwkeurigheid met een redelijke token-kosten, waarbij het "Full Text" methoden substantieel overtrof terwijl het minder tokens gebruikte en sterke geheugen-baselines met vergelijkbare budgetten versloeg.

5. Betekenis en Claims

Het artikel claimt dat agentisch geheugen geoptimaliseerd moet worden als een uitvoerbaar, zelf-evoluerend systeem. Door de MCR-pipeline te behandelen als een evolueerbaar programma, adresseert MemPro de beperkingen van fixed-pipeline designs die moeite hebben met taakdiversiteit en evoluerende geheugenstructuren.

De auteurs benadrukken dat:

Het evolueren van de uitvoerbare pipeline-logica voordelen biedt die verder gaan dan alleen het aanpassen van geheugenbanken of prompts.
Een versieboom-structuur superieur is aan lineaire evolutie, omdat het systeem kan afsplitsen van sterke historische versies.
Foutmodus-gestuurde verfijning (het combineren van editing en gerichte debugging) effectief is voor iteratieve systeemverbetering.

Het werk suggereert dat toekomstige agentische geheugensystemen zich moeten bewegen van statische architecturen naar dynamische, zelfverbeterende programma's die hun eigen constructie- en retrieval-strategieën kunnen aanpassen aan specifieke taakeisen en evoluerende dataschalen.

6. Beperkingen en Ethische Overwegingen

Kosten: MemPro introduceert een offline evolutie-fase. Hoewel kosten over vele queries kunnen worden afgeschreven, is de efficiëntie van het evolutieproces zelf een doel voor toekomstige verbetering.
Agent-capaciteit: De huidige implementatie vertrouwt op een capabele Evolving Agent (Codex harness met GPT-5.4-medium) om code te editen en te debuggen.
Topologie: Het huidige framework gebruikt een boomstructuur waarbij nieuwe versies afstammen van één enkele ouder. De auteurs merken op dat meer algemene topologieën (bijv. graaf-gestructureerde evolutie die merges toestaat) nog niet zijn verkend.
Veiligheid: Omdat MemPro uitvoerbare componenten editeert, moeten geëvolueerde versies gesandboxed, gelogd en beoordeeld worden voordat ze in veiligheidskritische omgevingen worden ingezet. De auteurs zorgen ervoor dat evaluatiedata en 'gold answers' niet aan de Evolving Agent worden blootgesteld tijdens de experimenten.