🤖 AI

AdaMEM: Test-Time Adaptive Memory for Language Agents

Het artikel introduceert AdaMEM, een test-tijd adaptief geheugenframework dat langetermijn-trajectopslag combineert met dynamisch gegenereerde kortetermijnstrategieën om taalagenten in staat te stellen zich continu aan te passen aan dynamische omgevingen zonder modelparameters bij te werken, waarbij significante prestatiewinsten worden behaald op benchmarks zoals ALFWorld en WebShop.

Oorspronkelijke auteurs: Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel lang, ingewikkeld puzzel probeert op te lossen, zoals het navigeren door een gigantisch doolhof of het zoeken naar een specifiek item op een enorme website. Je hebt een slimme assistent (een AI-agent) die je helpt.

Het Probleem: De "Eén-en-klaar"-gids
De meeste huidige AI-assistenten werken als een toerist die aan het begin van zijn reis één statische kaart krijgt. De toerist leest de kaart, onthoudt de kaart en begint dan te lopen.

Het Probleem: Als de toerist een doodlopende weg tegenkomt, of als de kaart zegt "sla linksaf" maar er staat daar een muur, dan zit de toerist vast. De toerist kan de kaart niet aanpassen omdat de kaart aan het begin één keer is geprint. De toerist blijft proberen linksaf te slaan in de muur, raakt gefrustreerd, totdat hij opgeeft.
De Term uit het Papier: Dit wordt "statische retrieval" genoemd. De AI haalt één keer een plan op en houdt zich er strikt aan, zelfs wanneer de situatie verandert.

De Oplossing: ADAMEM (De Adaptieve Reiziger)
De auteurs stellen een nieuw systeem voor genaamd ADAMEM. In plaats van een statische kaart, heeft je assistent twee speciale hulpmiddelen:

De Gigantische Bibliotheek (Langetermijngeheugen): Dit is een enorm archief van elke succesvolle reis die iemand ooit heeft gemaakt. Het zit vol met ruwe verhalen: "Ik ging hierheen, ik deed dit, en ik slaagde."
De Slimme Coach (Kortetermijngeheugen): Dit is het magische deel. In plaats van de hele bibliotheek te lezen, stopt de assistent bij elke stap van de reis. Hij kijkt waar hij op dit moment is, controleert de bibliotheek op vergelijkbare situaties, en vraagt de Slimme Coach: "Op basis van wat er voor anderen in deze exacte situatie werkte, wat moet ik nu doen?"

De Coach schrijft een klein, vers briefje (een "strategie") speciflijk voor dit moment. Het kan zeggen: "Oké, de kaart zei linksaf gaan, maar iedereen die hier was, vond het item op het aanrecht, niet in de kast. Laten we het aanrecht controleren."

Hoe het werkt in de praktijk

Stap 1: De agent bevindt zich bij een kruispunt.
Stap 2: Hij vraat aan de Bibliotheek: "Is er hier eerder iemand geweest?"
Stap 3: De Bibliotheek vindt succesverhalen.
Stap 4: De hersenen van de agent (het LLM) lezen die verhalen en schrijft direct een nieuwe, aangepaste instructie voor de volgende zet.
Stap 5: De agent volgt die nieuwe instructie op.

Als het plan later mislukt, raakt de agent niet in paniek. Hij herhaalt simpelweg het proces: de bibliotheek controleren, een nieuw briefje van de coach krijgen en een ander pad proberen. Het is als een GPS die de route opnieuw berekent telkens wanneer je een afslag mist, in plaats van alleen maar te zeggen "ga door" totdat je crasht.

De "Training"-truc (STEP-MFT)
Het papier introduceert ook een manier om de agent een betere Coach te leren zijn.

Het Probleem: Soms schrijft de Coach vaag advies zoals "Wees voorzichtig!", wat eigenlijk niet helpt.
De Oplossing: De auteurs hebben een techniek ontwikkeld genaamd STEP-MFT. Ze hebben de agent geleerd om alleen te leren van momenten waarop het advies de uitkomst daadwerkelijk veranderde.
De Analogie: Stel je een student voor die voor een toets studeert. Als de student een hoofdstuk bestudeert en ongeacht wat hij heeft gelezen hetzelfde antwoord goed of fout heeft, dan was dat hoofdstuk niet nuttig. Maar als hij een specifieke tip leest, zijn antwoord verandert en het vervolgens goed heeft, dan is dat de waardevolle les. STEP-MFT filtert de saaie zaken eruit en traint de agent alleen op de "game-changing" adviezen.

De Resultaten
Het papier heeft dit getest op drie verschillende "spellen":

ALFWorld: Een virtueel huis waar de agent objecten moet vinden en verplaatsen (zoals een stuk zeep in een vuilnisbak leggen).
WebShop: Een fictieve webshop waar de agent specifieke producten moet vinden.
HotpotQA: Een trivia-spel waarbij de agent door veel documenten moet zoeken om een moeilijke vraag te beantwoorden.

Wat ze ontdekten:

Beter Succes: De ADAMEM-agent lost aanzienlijk meer taken op dan de "statische kaart"-agenten (tot wel 13% beter in sommige gevallen).
Geen Re-training Nodig: De agent wordt slimmer tijdens het spel zonder dat hij vanaf nul opnieuw getraind hoeft te worden. Hij gebruikt simpelweg zijn geheugen beter.
Efficiëntie: Door lange verhalen samen te vatten in korte, slimme notities, raakt de agent niet overweldigd door te veel informatie (wat andere agenten vertraagt).

Samenvattend
ADAMEM verandert een rigide, koppige AI in een flexibele, lerende reiziger. In plaats van blind een plan te volgen dat aan het begin is gemaakt, controleert hij constant zijn geschiedenis, leert van eerdere successen en schrijft hij een nieuw, beter plan voor de eerstvolgende stap. Het is het verschil tussen een toerist die verdwaalt omdat hij de borden negeert, en een lokale gids die precies weet waar hij heen moet op basis van de huidige verkeerssituatie.

Technische Samenvatting: ADAMEM – Test-Time Adaptive Memory voor Taalagenten

1. Probleemstelling

Taalagenten staan voor een centrale uitdaging bij het benutten van eerdere ervaringen om zich aan te passen aan dynamische, langlopende taken. Hoewel recente vooruitgang in geheugenmechanismen voor agenten veelbelovend is, beperken bestaande systemen de geheugenretrieval meestal tot de fase van episode-initiatie. Dit creëert een "rigiditeitsbottleneck": agenten vertrouwen op statische begeleiding (bijv. één enkele geretourneerde trajectorie of gedestilleerde strategie) die niet kan worden aangepast aan tussenliggende fouten, verschuivende subdoelen of distributieverschuivingen die later in de taak optreden.

Traditionele benaderingen van test-time adaptatie, zoals het online bijwerken van modelparameters, zijn evenredig duur voor langlopende settings. Daartegenover staan training-vrije prompt-adaptatiemethoden die vaak lijden onder de beperking dat hun geretourneerde context ontstaat met de voortgang van de taak. Het paper identificeert twee primaire onderzoeksvragen:

Hoe kan het geheugen van een agent de rigiditeit van statische retrieval overwinnen om continue adaptatie tijdens inferentie mogelijk te maken?
Hoe kunnen agenten efficiënt worden getraind om strategieën te synthetiseren die deze test-time adaptatie expliciet optimaliseren?

2. Methodologie

De auteurs stellen ADAMEM (Adaptive Memory Agent) voor, een hybride geheugenframework dat geheugenopslag ontkoppelt van abstractie om stapgewijze test-time adaptatie mogelijk te maken zonder modelparameters bij te werken.

2.1 Hybride Geheugenarchitectuur

ADAMEM werkt via twee onderscheidende geheugencomponenten:

Lange-termijn Trajectoriegeheugen ( $M$ ): Een schaalbare, offline repository van ruwe ervaringen. Het slaat succesvolle trajectorieën $\tau = \{(s_t, a_t, r_t)\}$ op, geïndexeerd door state-embeddings. In tegen tegenstelling tot systemen die gedestilleerde inzichten opslaan, behoudt $M$ de volledige interactiegeschiedenis om betrouwbare context-retrieval te garanderen.
Korte-termijn Strategiegeheugen ( $z_t$ ): Een dynamische, staat-specifieke strategie die on-the-fly tijdens inferentie wordt gegenereerd. In plaats van direct ruwe logs te retourneren, synthetiseert de agent een beknopte natuurlijke taalstrategie geconditioneerd op de huidige staat $s_t$ en de geretourneerde ervaringen $E_{ret}$ . Deze strategie dient als concrete begeleiding voor de volgende actie.

2.2 Inferentie Modi

Om een balans te vinden tussen token-efficiëntie en adaptiviteit, introduceert ADAMEM twee inferentie modi:

ADAMEM-HIGH (Hoge Adaptatie-inspanning): Prioriteert robuustheid door bij elke kritieke beslissingsstap een verse strategie $z_t$ te regenereren als de agent besluit dat retrieval noodzakelijk is. De strategie is transient en wordt na gebruik weggegooid, waardoor de agent nooit op verouderde begeleiding vertrouwt.
ADAMEM-LOW (Lage Adaptatie-inspanning): Prioriteert efficiëntie door een persistente strategie $z_{curr}$ in de context te behouden. De agent voorspelt of er een "refresh" van de strategie nodig is op basis van de huidige staat. Als er geen refresh nodig is, begeleidt de bestaande strategie meerdere stappen; als een refresh wordt getriggerd, wordt een nieuwe strategie gesynthetiseerd en vervangt deze de persistente strategie.

2.3 STEP-MFT: Stapgewijze Geheugen Fine-Tuning

Hoewel ADAMEM via zero-shot prompting kan opereren, introduceren de auteurs STEP-MFT om de policy te trainen om hoogwaardige strategieën te genereren.

Uitdaging: Standaard outcome-gebaseerd toezicht is ruisgevoelig, omdat het alle stappen in een succesvol traject gelijkmatig krediteert, zelfs als een specifieke strategie redundant of misleidend was.
Oplossing: STEP-MFT gebruikt een rejection sampling-benadering met een dubbele filtermechanisme om trainingsdata te cureren:
1. Outcome Success: Het traject moet succesvol zijn.
2. Action Change: De gegenereerde strategie moet de actie van de agent causaal veranderen ten opzichte van een baseline-policy die zonder geheugen handelt ( $a_t \neq a'_t$ ).
Theoretische Rechtvaardiging: De auteurs bewijzen dat voor een strategie om een strikt positief voordeel te hebben ten opzichte van de baseline, deze de actie van de agent moet veranderen. Deze filter zorgt ervoor dat het model leert strategieën te genereren die actieve besluitvorming aansturen in plaats van enkel de context te echoën.
Training: De gefilterde dataset wordt gebruikt voor Supervised Fine-Tuning (SFT) via cross-entropy loss, waarbij de policy wordt geoptimaliseerd om "silver" strategieën te synthetiseren die de succesratio verbeteren.

3. Belangrijkste Bijdragen

ADAMEM Framework: Een nieuw hybride geheugensysteem dat continue test-time adaptatie mogelijk maakt door dynamisch context-bewuste strategieën te synthetiseren in plaats van statische artefacten te retourneren.
STEP-MFT Techniek: Een trainingsmethode die gebruikmaakt van proces-niveau beloningen (specifiek actieveranderingen) om agenten te leren hoogwaardige strategieën te generen, waardoor de ruis van outcome-only toezicht wordt vermeden.
Nieuwe Schalingsdimensie: Het werk stelt vast dat dynamische geheugencuratie een cruciale schalingsdimensie is voor agentische redenering, wat een superieur Pareto-front biedt tussen inferentie-kosten en taakprestaties.

4. Experimentele Resultaten

De auteurs evalueerden ADAMEM op drie benchmarks: ALFWorld (embodied navigatie), WebShop (web winkelen) en HotpotQA (multi-hop search).

Prestatiewinsten:
- ALFWorld: ADAMEM-LOW bereikte een relatieve winst van 13% ten opzichte van statische geheugen-baselines op de ongeziene split (58,2% vs. 52,2% voor Synapse).
- WebShop: ADAMEM-LOW bereikte een relatieve winst van 11% (74,2% vs. 65,4% voor Synapse). Opvallend genoeg leden statische baselines onder negatieve transfer op WebShop, waarbij ze slechter presteerden dan de geheugen-vrije baseline, terwijl ADAMEM deze trend omkeerde.
- HotpotQA: ADAMEM behaalde consistente leidende prestaties (41,1% succesratio) in een iteratieve cross-episode zoekopstelling.
Impact van STEP-MFT: Training met STEP-MFT leverde verdere verbeteringen op. Op ALFWorld behaalde de MFT-variant een relatieve winst van 17% ten opzichte van statische baselines (65,5% succesratio), wat significant beter is dan zowel de training-vrije ADAMEM als de outcome-gebaseerde MFT-varianten.
Efficiëntie vs. Adaptiviteit:
- ADAMEM schaalt monotoon met het retrieval-budget ( $k$ ), terwijl statische baselines zoals Synapse degraderen door context-overflow door de injectie van ruwe trajectorieën.
- ADAMEM vermindert de inferentie-latentie met 16% vergeleken met Synapse door beknopte strategieën te synthetiseren in plaats van langdurige ruwe logs te verwerken.
Cross-Model Generalisatie: In off-policy settings (gebruikmakend van Gemma-27b-it met Qwen-gegenereerd geheugen), behield ADAMEM-LOW robuuste verbeteringen, wat aantoont dat het framework de opslag effectief ontkoppelt van het policy-model.

5. Betekenis en Claims

Het paper claimt dat ADAMEM de fundamentele rigiditeit van huidige agent-geheugensystemen aanpakt. Door lange-termijn opslag te ontkoppelen van korte-termijn abstractie, stelt ADAMEM agenten in staat om:

Zichzelf te evolueren na implementatie: Agenten kunnen zich aanpassen aan dynamische omgevingen en corrigeren voor verouderde priors zonder dure online parameter-updates.
Computatie-afwegingen te optimaliseren: Het framework ondersteunt flexibele inferentie modi (LOW/HIGH) en trainingsvarianten (STEP-MFT) die het mogelijk maken voor practitioners om de balans tussen token-efficiëntie en adaptiviteit af te stemmen.
Continue Redenering Mogelijk te Maken: Het werk suggereert dat dynamische geheugencuratie een noodzakelijke schalingsdimensie is voor agenten die opereren in open-ended, real-world omgevingen, waarbij men beweegt van statische retrieval naar continue, staat-bewuste redenering.

De auteurs erkennen beperkingen, zoals "strategie-inertie" in ADAMEM-LOW (waar agenten mogelijk niet de nodige refresh triggeren wanneer nodig) en de huidige afhankelijkheid van enkel succesvolle trajectorieën voor de populatie van het geheugen, en geven aan dit als richtingen voor toekomstig werk te zien.