💬 NLP

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

Dit artikel introduceert MemCon, een framework dat geheugenoperaties behandelt als een leerbaar Markov-beslissingsproces om retrieval-, injectie- en consolidatiestrategieën dynamisch aan te passen via een lichtgewicht contextual bandit, waardoor de prestaties en efficiëntie van LLM-agenten over diverse benchmarks aanzienlijk worden verbeterd in vergelijking met statische, op heuristieken gebaseerde geheugensystemen.

Oorspronkelijke auteurs: Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert om een nieuw computerspel te spelen. Je wilt dat de robot elke keer dat hij speelt beter wordt, dus geef je hem een schrift waarin hij kan opschrijven wat wel en niet werkte. Dit is de wereld van Large Language Model (LLM) agents: AI-programma's die kunnen chatten, plannen en hulpmiddelen kunnen gebruiken om problemen op te lossen. De sleutel tot het echt slim maken van hen is niet alleen het brein van de robot; het is het schrift, of het geheugen. Als de robot zich eerdere fouten kan herinneren, zal hij ze niet herhalen. Als hij zich een slimme truc herinnert die gisteren werkte, kan hij die vandaag weer gebruiken.

Een lange tijd dachten wetenschappers aan dit schrift als een statische bibliotheek. Ze bouwden regels zoals: "Kijk altijd naar de laatste drie pagina's" of "Zoek altijd naar het meest vergelijkbare verhaal." Het is alsof je een bibliothecaris hebt die een strikt, onveranderlijk script volgt, ongeacht welk boek je ook vraagt. Maar het echte leven is rommelig. Soms moet je even snel in de index kijken; andere keren moet je een heel hoofdstuk lezen. Soms moet je oude aantekeningen weggooien om plaats te maken voor nieuwe. De grote vraag die dit artikel aanpakt is: Kunnen we de robot leren om zijn eigen schrift te beheren, door precies te beslissen wanneer hij leest, wanneer hij schrijft en wat hij vergeet, in plaats van een star script te volgen?

Het Probleem: De Robot met een Kapotte Bibliothecaris

Ontmoet onze robot-agent. Hij probeert puzzels op te lossen, virtuele huizen te navigeren of lastige vragen te beantwoorden. Hij heeft een geheugensysteem, maar tot nu toe was dat systeem een beetje onhandig. De meeste bestaande systemen gebruiken een "vast proces" (fixed pipeline). Stel je een bibliothecaris voor die, ongeacht wat je vraagt, altijd de bovenste vijf boeken uit de plank pakt en ze aan je geeft.

Als je een simpele vraag stelt zoals "Wat is het weer?", kan de bibliothecaris vijf zware encyclopedieën op je bureau dumpen. Dat is te veel ruis! Maar als je een complexe vraag stelt zoals "Hoe repareer ik een kapotte motor met alleen gereedschap uit 1990?", dan geeft diezelfde bibliothecaris misschien slechts een enkel, irrelevant pamflet omdat hij te bang is om dieper te zoeken. De robot komt vast te zitten, in de war door te veel informatie of het missen van de ene cruciale aanwijzing die hij nodig heeft.

De auteurs van dit artikel stellen dat deze "één-maat-past-iedereen"-aanpak de belangrijkste reden is waarom robots niet sneller leren. Zij geloven dat het beste geheugengedrag verandert afhankelijk van de situatie:

In het begin van een spel: De robot heeft nog geen ervaring, dus moet hij geen tijd verspillen aan het doorzoeken van een leeg schrift.
Wanneer vastgelopen: Als de robot steeds weer dezelfde foute actie uitvoert, heeft hij een ander soort zoekopdracht nodig, niet dezelfde oude.
Wanneer hij een truc kent: Als de robot al een soortgelijke puzzel heeft opgelost, moet hij niet zoeken naar aanwijzingen; hij moet gewoon het "spiekbriefje" (een plan) tevoorschijn halen dat hij eerder heeft opgeschreven.

De Oplossing: MEMCON, de Slimme Bibliothecaris

Maak kennis met MEMCON (Memory as a Controlled Process). De auteurs hebben geen nieuw type schrift gebouwd; in plaats daarvan hebben ze een slimme, adaptieve bibliothecaris gebouwd die bovenop elk bestaand geheugensysteem zit.

Zie MEMCON als een kleine, supersnelle beslisser die zichzelf drie vragen stelt voordat de robot zelfs maar zijn schrift opent:

Wanneer moet ik kijken?
Waar moet ik naar zoeken?
Hoeveel moet ik pakken?

In plaats van een hardcoded regel te gebruiken, behandelt MEMCON geheugenbeheer als een strategisch spel. Het gebruikt een wiskundige benadering genaamd een Markov Decision Process (stel je een flowchart voor waarbij elke keuze leidt naar een nieuwe staat). De "speler" in dit spel is de geheugencontroller, en zijn "zetten" omvatten:

Retrieving (Ophalen): Oude aantekeningen tevoorschijn halen.
Injecting a Plan (Een plan injecteren): Een vooraf geschreven "spiekbriefje" in de geest van de robot schuiven.
Re-retrieving (Opnieuw ophalen): Een nieuwe zoekopdracht proberen omdat de eerste mislukte.
Consolidating (Consolideren): Rommelige aantekeningen samenvoegen tot een heldere samenvatting.
Forgetting (Vergeten): Oude, nutteloze troep weggooien om ruimte te maken.

De magie zit in hoe MEMCON leert. Het hoeft niet vooraf getraind te worden op een berg data. In plaats daarvan leert het on the fly terwijl de robot speelt. Elke keer dat de robot een taak voltooit, krijgt MEMCON een score: "Succes!" of "Falen." Als de robot slaagde, krijgen de geheugenkeuzes die tot dat succes leidden een "high five" (een beloning). Als hij faalde, krijgen die keuzes een "duim omlaag."

In slechts een paar dozijn takense heeft MEMCON de perfecte strategie ontdekt. Het leert dat voor taken in de "vroege fase", een oppervlakkige zoekopdracht het beste is. Het leert dat wanneer de robot "vastzit", hij een compleet andere zoekinvalshoek nodig heeft. Het leert dat het voor complexe wiskundige problemen beter is om een algemeen plan te injecteren dan om naar specifieke voorbeelden te zoeken.

De Resultaten: Slimmer, Sneller en Goedkoper

Het team heeft MEMCON getest op zes verschillende benchmarks, variërend van het navigeren door virtuele huizen (ALFWorld) tot het oplossen van wetenschappelijke puzzels (ScienceWorld) en het beantwoorden van lastige trivia-vragen (GAIA). Ze hebben het getest met drie verschillende robotframeworks en drie verschillende "hersenen" (de onderliggende AI-modellen).

De resultaten waren indrukwekkend. MEMCON versloeg consequent de beste bestaande geheugensystemen.

Betere scores: In sommige tests verbeterde MEMCON het succespercentage van de robot met wel 15,2 punten. Bijvoorbeeld, op de ALFWorld-benchmark bereikte het een succespercentage van 67,9%, wat de hoogste score was van alle geteste geheugensystemen.
Minder verspilling: Meestal, wanneer je een systeem slimmer maakt, verbruikt het meer computerkracht. Maar MEMCON deed het tegenovergestelde. Door precies te weten wat het moet ophalen, voorkwam het het binnenhalen van nutteloze informatie. Dit verminderde de hoeveelheid data die de robot moest verwerken met 5% tot 20%.
Geen extra kosten: In tegen tegenstelling tot sommige andere systemen die de AI vragen om na te denken over wat ze moeten onthouden (wat extra tijd en geld kost), neemt MEMCON zijn beslissingen in milliseconden met behulp van een eenvoudige lookup table. Het voegt nul extra oproepen aan het AI-model toe.

Waarom dit ertoe doet

Het artikel suggereert dat de toekomst van slimme robots niet alleen ligt in het bouwen van grotere hersenen of grotere schriften. Het gaat om het bouwen van betere beheerders voor die schriften.

De auteurs laten zien dat geheugen geen statische pijplijn moet zijn waarbij je gewoon data erin dumpt en hoopt dat het er goed uitkomt. In plaats daarvan moet geheugen een gecontroleerd proces zijn. Door de agent te laten leren hoe hij toegang krijgt tot zijn eigen ervaringen, kunnen we robots creëren die niet alleen slimmer zijn, maar ook efficiënter. Ze leren sneller, maken minder fouten en raken niet verstrikt in hun eigen geschiedenis.

Kortom, MEMCON leert de robot om de baas te zijn over zijn eigen geheugen, zodat hij, wanneer hij een aanwijzing nodig heeft, de juiste vindt op het juiste moment, zonder te verdwalen in een zee van irrelevante aantekeningen. Het is een kleine verandering in hoe we geheugen beheren, maar het lijkt een enorm verschil te maken in hoe goed deze digitale agenten kunnen leren en groeien.

Technisch overzicht: Geheugen als een gecontroleerd proces (MEMCON)

Probleemstelling

Large Language Model (LLM) agenten vertrouwen steeds vaker op externe geheugensystemen om ervaring op te doen over verschillende taken heen. De huidige benaderingen—van graafgestructureerde geheugens tot reflectieve inzichtstores—hebben echter toegang tot het geheugen via vaste, handmatig ontworpen heuristieken. Deze systemen maken gebruik van statische pipelines waarbij een enkele globale retriever wordt aangeroepen met hardgecodeerde parameters (bijv. top- $k$ , graph hop-diepte, query-templates), ongeacht de huidige staat van de agent.

De auteurs stellen dat deze statische visie een fundamentele flessenhals vormt voor agentisch leren omdat optimaal geheugengedrag contextafhankelijk is:

Vroege fasen van een taak: Profiteren van minimale retrieval omdat het geheugen nog schaars is; willekeurige retrieval verwatert de prompt.
Terugkerende soorten doelen: Profiteren van hergebruik van plannen (gedestilleerde templates) in plaats van generieke zoekopdrachten naar de dichtstbijzijnde buren (nearest-neighbor lookup).
Gestokte agenten: Profiteren van re-retrieval met alternatieve queries in plaats van het opnieuw lezen van de mislukte top- $k$ resultaten.
Lange stroom van taken: Vereisen consolidatie en opschoning om te voorkomen dat de geheugenopslag overweldigend wordt.

Geen enkele vaste heuristiek voldoet aan al deze regimes. Bovendien, hoewel sommige werken (bijv. MemGPT) het geheugen adaptief maken door het LLM zelf als controller te gebruiken, brengt dit de kosten met zich mee van een extra LLM-aanroep per geheugenoperatie. Het artikel stelt de behoefte aan een geleerd, lichtgewicht controller die adaptief is zonder extra LLM-aanroepen te vereisen.

Methodologie: MEMCON

De auteurs introduceren MEMCON (Memory as a Controlled Process), een framework dat geheugenoperaties modelleert als een sequentieel beslissingsprobleem.

1. Geheugen Markov Beslissingsproces (MDP)

MEMCON herformuleert geheugentoegang als een MDP, $\mathcal{M}_{mem} = (\mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R}, \gamma)$ :

Toestand ( $\mathcal{S}$ ): Een fusie van taakvoortgangssignalen (type doel, fase van de stap, "gestokte" indicator, bezochte locaties) en geheugenstatus (grootte, beschikbaarheid van plannen, leerfase). Toestanden worden gediscretiseerd in een compact, hashbare sleutel $\phi(s)$ om tabelvormig leren mogelijk te maken.
Acties ( $\mathcal{A}$ ): Een eindige set geheugenoperaties en hun parameters:
- Operaties: RETRIEVE, PLANINJECT (het voorafvoegen van een gedestilleerd succesvol plan), RE-RETRIEVE (gebruikmakend van een alternatieve query), CONSOLIDATE, FORGET, en NOOP.
- Parameters: top-k, insight-k, en hop-diepte.
Beloning ( $\mathcal{R}$ ): Wordt waargenomen aan het einde van een taak op basis van feedback uit de omgeving (succes/falen) en efficiëntie (token/stap count). Succesvolle, efficiënte trajecten ontvangen meer krediet.
Transities ( $\mathcal{T}$ ): De overgang in de omgeving is opaak voor de controller; het systeem behandelt de MDP als een contextuele bandit met feedback op episodisch niveau (Monte-Carlo).

2. Online Policy Learning

MEMCON leert een beleid $\pi: \mathcal{S} \to \mathcal{A}$ online tijdens de implementatie met nul pretraining en nul extra LLM-aanroepen.

Algoritme: Een lichtgewicht tabulaire contextuele bandit met Upper Confidence Bound (UCB) exploratie.
Warm-start Priors: Q-waarden worden geïnitialiseerd met interpreteerbare priors (bijv. positief voor RETRIEVE en PLANINJECT, negatief voor NOOP) om convergentie in de eerste paar taken te versnellen.
Credit Assignment: Updates maken gebruik van een reverse-discounted Monte-Carlo return. Acties die dichter bij de terminale uitkomst zijn genomen, ontvangen meer krediet, waardoor het systeem kan leren welke geheugenoperaties hebben bijgedragen aan succes of falen.
Persistentie: De Q-tabel wordt opgeslagen op de schijf, waardoor leren over verschillende runs en taakstromen heen mogelijk is.

3. Backend-Agnostische Wrapper

MEMCON is geen nieuw geheugenopslagmedium, maar een dunne wrapper die de abstracte retrieve en store instappunten van elke bestaande geheugen-backend onderschept.

Het beslist hoe de backend moet worden aangeroepen (welke operatie en parameters) op basis van het geleerde beleid.
Het ondersteunt twee uitgebreide operaties:
1. Gegeneraliseerde Plan Injectie: Extraheert actiesequenties uit succesvolle taken, vervangt instance-specifieke identifiers door placeholders (bijv. shelf 3 $\to$ [shelf]), en voegt de template toe aan toekomstige queries van hetzelfde type.
2. Doel Decompositie: Een deterministische heuristiek voor samengestelde taken (bijv. "leg twee cellphones neer") die een strategie injecteert om objecten sequentieel af te handelen.

Belangrijkste Bijdragen

Formalisering: De auteurs formaliseren het geheugenbeheer van agenten als een Memory MDP en introduceren een backend-agnostische wrapper die de controle-policy loskoppelt van de opslag-backend, waardoor elk bestaand geheugensysteem direct adaptieve capaciteiten kan erven.
Algoritme: Ze stellen een online contextuele bandit-policy voor met UCB-exploratie, warm-start priors en reverse-discounted credit assignment. Dit beleid convergeert binnen tientallen taken zonder pretraining en zonder extra LLM-aanroepen.
Evaluatie: Uitgebreide evaluatie over 6 benchmarks (interactieve besluitvorming en QA/web/tool-gebruik), 3 agent-frameworks en 3 LLM-backbones toont consistente winsten in nauwkeurigheid aan.

Experimentele Resultaten

De auteurs hebben MEMCON geëvalueerd tegen 9 sterke geheugen-baselines (inclusclusief vector retrieval, skill libraries, traject-samenvatting, insight-gebaseerd leren en graafgestructureerde geheugens) en een no-memory baseline.

Prestaties: MEMCON behaalde consequent de beste of bijna-beste taaksuccespercentages.
- Op GPT-4.1-mini behaalde MEMCON de hoogste score in 9 van de 18 framework $\times$ benchmark cellen.
- Op Claude Sonnet-4 was het top in 15 van de 18 cellen.
- Op DeepSeek-V3.2 was het top in alle 9 de interactieve cellen en 15 van de 18 algemene cellen.
- De winsten waren bijzonder uitgesproken in interactieve besluitvormingstaken (bijv. ALFWorld, PDDL, ScienceWorld), waar MEMCON de succespercentages met wel 15,2 punten verbeterde ten opzichte van de baselines.
Efficiëntie: In tegen te gaan aan de intuïtie dat betere prestaties meer context vereisen, verlaagde MEMCON het tokenverbruik met 5–20% per taak terwijl de nauwkeurigheid verbeterde. Het geleerde beleid onderdrukte retrieval succesvol wanneer het geheugen schaars of irrelevant was en verving nearest-neighbor retrieval door plan injectie wanneer templates beschikbaar waren.
Generalisatie: Het framework generaliseerde goed naar QA en web/tool-gebruik benchmarks (TriviaQA, WebWalkerQA, GAIA), wat aantoont dat adaptieve controle ook buiten puur interactieve omgevingen voordelig is.
Ablatie: Componentanalyse toonde aan dat de geleerde UCB-controller de grootste bijdrage leverde aan de prestatiewinsten (verantwoordelijk voor het merendeel van de verbetering ten opzien van statische backends), terwijl de uitgebreide operaties (plan injectie, doel decompositie) aanvullende, zij het optionele, voordelen boden in specifieke scenario's.

Betekenis en Claims

Het artikel claimt dat effectief langetermijngeheugen voor LLM-agenten niet alleen afhangt van wat er wordt opgeslagen, maar ook van het leren hoe het geheugen over de tijd heen moet worden geraadpleegd en beheerd.

Door geheugenoperaties te behandelen als een gecontroleerd beslissingsproces in plaats van een statische pipeline, demonstreert MEMCON dat:

Adaptiviteit cruciaal is: Eén vaste heuristiek kan de geheugentoegang niet optimaliseren over verschillende taalfasen, geheugenstatussen en agentvoortgang heen.
Lichtgewicht controle levensvatbaar is: Een geleerde controller kan worden geïmplementeerd via een eenvoudige tabulaire bandit met UCB, waardoor het computationele overhead van het gebruik van het LLM zelf als controller (zoals bij MemGPT) wordt vermeden.
Ontkoppeling voordelig is: Het scheiden van het geheugencontrolebeleid van de opslag-backend maakt modulaire verbeteringen mogelijk, waarbij elk geheugensysteem direct adaptieve capaciteiten krijgt zonder de opslaglaag te hoeven herontwerpen.

De auteurs concluderen dat het vervangen van vaste geheugenpipelines door lichtgewicht geleerde controllers consistente, framework- en backbone-agnostische nauwkeurigheidswinsten oplevert, terwijl de computationele kosten gelijktijdig worden verlaagd.