🤖 AI

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem is een closed-loop framework dat gelijktijdig ophaalbeleid en de evolutie van de geheugenbank optimaliseert door middel van alternerende updates en trajectgeconditioneerde feedback, waarmee het de state-of-the-art prestaties bereikt over diverse benchmarks door de fundamentele onderlinge afhankelijkheid tussen geheugentoegang en verfijning in langetermijn LLM-agenten aan te pakken.

Oorspronkelijke auteurs: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar vergeetachtige robot leert om een complexe videogame te spelen. De robot heeft een enorm brein (een Large Language Model) dat weet hoe het moet praten en denken, maar het kan tegelijkertijd slechts een piepkleine hoeveelheid informatie vasthouden in zijn "werkgeheugen"—alsof je een puzzel probeert op te lossen terwijl je slechts de laatste drie stukjes ziet. Om op de lange termijn goed te kunnen spelen, heeft de robot een bibliotheek met ervaringen uit het verleden nodig om in op te zoeken. Dit is waar Retrieval-Augmented Generation (RAG) om de hoek komt kijken: het is alsof de robot de bibliothecaris vraagt: "Hé, hebben we ooit een puzzel gezien zoals deze?"

Maar hier komt de lastige kant aan: de robot heeft twee dingen nodig om perfect te functioneren. Ten eerste heeft hij een Bibliothecaris (het retrieval policy) die echt goed is in het vinden van de juiste oude aantekeningen voor de huidige vraag. Ten tweede heeft hij een Notitieschrijver (de geheugenbank) die goed is in het organiseren van die aantekeningen, het beslissen welke echt nuttig zijn en het bijwerken van de bank naarmate het spel moeilijker wordt. Lange tijd probeerden wetenschappers de Bibliothecaris slimmer te maken terwijl ze de Notitieschrijver statisch hielden, of ze maakten de Notitieschrijver beter terwijl ze de Bibliothecaris hetzelfde lieten. Maar wat als de Bibliothecaris moet weten hoe de aantekeningen zijn georganiseerd om ze te kunnen vinden, en de Notitieschrijver moet weten waar de Bibliothecaris naar op zoek is om ze beter te kunnen organiseren? Ze moeten samen leren, in een lus.

Dit is precies waar het papier CoEvo-Mem onderzoek naar doet. De auteurs stellen een systeem voor waarin de "Librarian" en de "Note-Taker" samen evolueren, waarbij ze elkaar voortdurend leren hoe ze hun taken beter kunnen uitvoeren. Ze hebben dit idee getest op zeven verschillende soorten uitdagende taken, variërend van het schrijven van computercode en het oplossen van wetenschappelijke vragen tot het besturen van een besturingssysteem van een computer. De resultaten suggereren dat wanneer deze twee onderdelen synchroon leren, de robot aanzienlijk beter wordt in het oplossen van lange, complexe problemen dan wanneer ze afzonderlijk leren.

Het Probleem: De Gebroken Feedbackloop

Stel je voor dat je studeert voor een enorme geschiedenisexamens. Je hebt een stapel flashcards (je geheugen) en een studiegids (je retrieval policy). Als je studiegids slecht is, kies je misschien de verkeerde flashcards om te herhalen. Maar als je flashcards rommelig en ongeorganiseerd zijn, zal zelfs een goede studiegids moeite hebben om de juiste te vinden.

In de wereld van AI-agenten proberen bestaande methoden meestal één kant van het probleem op te lossen terwijl ze de andere negeren. Sommige methoden proberen de AI beter te maken in het vragen om herinneringen (retrieval), terwijl andere de AI beter proberen te maken in het opslaan en organiseren van herinneringen (evolutie). De auteurs van dit papier stellen dat deze scheiding een fout is. Ze wijzen op een "fundamentele feedbackloop" die werd genegeerd:

Retrieval bepaalt wat gebruikt wordt: Als de AI de verkeerde herinneringen kiest, krijgen die herinneringen geen "credits" voor het helpen (of schaden) van de taak.
Geheugenupdates veranderen de toekomst: Als de AI zijn geheugens bijwerkt op basis van wat er is gebeurd, verandert de manier waarop die geheugens zijn georganiseerd, wat het de volgende keer makkelijker of juist moeilijker maakt om ze te vinden.

Als je alleen de retrieval-methode verbetert zonder het geheugen te laten veranderen, of andersom, mis je de kans dat ze samen beter worden. Het is alsof je een gitaar probeert af te stemmen terwijl de snaren constant van dikte veranderen; je kunt niet een perfect geluid krijgen tenzij je beide tegelijkertijd aanpast.

De Oplossing: CoEvo-Mem

De auteurs hebben een framework gebouwd genaamd CoEvo-Mem (Co-Evolving Memory). Denk aan een dans tussen twee partners: de Router (de Bibliothecaris) en de Memory Bank (de Notitieschrijver).

Zo werkt de dans:

1. Het Bevroren Brein en de Slimme Router
Het hoofd-"brein" van de AI (het Large Language Model) blijft bevroren—het leert niets nieuws. In plaats daarvan gebruikt het systeem een kleine, lichtgewicht "Router" om te beslissen hoe er om hulp wordt gevraagd.

Wanneer er een vraag binnenkomt, stelt het bevroren brein een paar manieren voor om de vraag te herschrijven (sommigen richten zich op de betekenis, andere op specifieke trefwoorden).
De Router leert vervolgens deze suggesties aan te passen op basis van de vraag of de AI het antwoord goed of fout had. Het is als een coach die fluistert: "Probeer het de volgende keer op deze manier," gebaseerd op de uitkomst van het spel.

2. De Geheugenbank als een Levende Kaart
De herinneringen zijn niet zomaar een lijst met aantekeningen; ze zijn een Relationele Graaf. Stel je een kaart voor waar elke herinnering een stad is, en de wegen tussen hen laten zien hoe ze met elkaar verbonden zijn.

Dichte wegen verbinden herinneringen die hetzelfde betekenen (semantisch).
Dunne wegen verbinden herinneringen die specifieke woorden of namen delen (lexicaal).
Tijd-wegen verbinden herinneringen die in een sequentie plaatsvonden (temporeel).

Wanneer de AI een taak oplost, slaat hij niet alleen het antwoord op. Hij werkt de "waarde" van de steden die hij heeft bezocht bij. Als een herinnering de AI hielp winnen, krijgt die stad een hogere score. Als het hielp, maar slechts een beetje, gaat de score een klein beetje omhoog. Cruciaal is dat deze credit niet alleen bij die ene herinnering blijft; het reist langs de wegen naar naburige steden, waardoor de hele buurt slimmer wordt.

3. De Afwisselende Dans (Het Geheime Ingrediënt)
Je zou kunnen denken: "Waarom updaten we de Router en het Geheugen niet op exact hetzelfde moment?" De auteurs ontdekten dat dit chaos veroorzaakt. Als beide tegelijk veranderen, is het alsof je leert fietsen terwijl de fiets ook nog eens van vorm verandert. Het systeem raakt in de war en wordt instabiel.

In plaats daarvan gebruikt CoEvo-Mem een afwisselend schema:

Fase 1: De Memory Bank is bevroren (vastgezet). De Router oefent met het vinden van de beste herinneringen met behulp van deze vaste kaart.
Fase 2: De Router is bevroren (vastgezet). De Memory Bank werkt zijn organisatie en waarden bij op basis van wat de Router zojuist heeft gevonden.
Ze wisselen elkaar voortdurend af. Dit stelt elke partner in staat om te leren van de huidige staat van de ander zonder de verwarring dat beide tegelijkertijd veranderen.

Wat Ze Hebben Gevonden

Het team heeft CoEvo-Mem getest op zeven zeer verschillende uitdagingen:

Interactie met Besturingssystemen: Een computer besturen om taken uit te voeren.
Code Generatie: Werkende computerprogramma's schrijven.
Multimodale Redenering: Puzzels oplossen die zowel tekst als afbeeldingen bevatten.
Wetenschappelijke Vragen: Moeilijke vragen beantwoorden over fysica, chemie en biologie.
Function Calling: De AI leren om tools en API's correct te gebruiken.
Langdurige Conversatie: Details onthouden uit lange chats.

In al deze tests presteerde CoEvo-Mem beter dan de beste bestaande methoden.

Op de GPQA Diamond (moeilijke wetenschappelijke vragen) verbeterde het de score met 7,50 procentpunt ten opzichte van de sterkste baseline.
Op LiveCodeBench (coderen) verbeterde het met 3,81 procentpunt.
Op Long-term Conversational Memory (LoCoMo) bereikte het een score van 81,71, waarmee het de op één na beste methode met bijna 5 punten versloeg.

De auteurs voerden ook "ablatie-studies" uit (experimenten waarbij ze onderdelen van het systeem verwijderden) om te bewijzen waarom het werkte.

Wanneer ze de query rewriting verwijderden (het deel dat verandert hoe de vraag wordt gesteld), daalde de prestatie aanzienlijk.
Wanneer ze de memory evolution verwijderden (het deel dat de graaf en waarden bijwerkt), daalde de prestatie ook, vooral bij complexe taken zoals coderen en wetenschap.
Wanneer ze probeerden zowel de Router als het Geheugen tegelijkertijd bij te werken (in plaats van afwisselend), presteerde het systeem slechter dan de afwisselende methode.

De Kernboodschap

Het artikel suggereert dat voor AI-agenten om echt meesterschap te bereiken in langdurige taken, we niet alleen een betere zoekmachine of een betere database kunnen bouwen. We moeten een systeem bouwen waarin de zoekmachine en de database leren om zich op elkaar aan te passen. Door de "Librarian" en de "Note-Taker" om de beurt te laten leren terwijl de ander stilstaat, creëert CoEvo-Mem een stabiele, verbeterende lus die helpt AI-agenten beter te onthouden, helderder te denken en moeilijkere problemen op te lossen.

De auteurs merken er voorzichtig bij op dat hoewel de resultaten sterk zijn over deze zeven benchmarks, dit een specifiek framework is voor co-evolutie. Ze beweren niet dat dit alle problemen in AI oplost, maar ze laten wel zien dat deze specifieke manier van het koppelen van retrieval en geheugen een krachtige stap voorwaarts is bij het bouwen van agenten die kunnen leren en zich aanpassen over een langere periode.

Technische Samenvatting: CoEvo-Mem

Probleemstelling

Long-term Large Language Model (LLM) agents staan voor een kritieke uitdaging: naarmate interacties zich ophopen over taken en sessies heen, wordt het behouden van alle historische informatie binnen een enkel contextvenster inefficiënt en vaak onhaalbaar. Effectieve agents vereisen geheugenmechanismen om nuttige ervaringen te bewaren en deze op relevante momenten op te halen. Bestaande benaderingen optimaliseren echter doorgaans geheugentoegang (retrieval) en geheugenevolutie (opslag/verfijning) in isolatie.

Retrieval-gerichte methoden (bijv. RAG, query-herformulering) optimaliseren de toegang tot een vaste of onafhankelijk onderhouden collectie, maar passen de collectie zelf niet aan op basis van gebruik.
Geheugencentrische methoden (bijv. waarde-gebaseerde evolutie, gestructureerde grafen) verbeteren hoe ervaringen worden bijgewerkt of georganiseerd, maar vertrouwen vaak op vooraf gedefinieerde of apart geoptimaliseerde retrieval-policies.

Deze scheiding negeert een fundamentele feedbackloop: retrieval-beslissingen bepalen welke herinneringen een gebruiks-signaal en krediet ontvangen, terwijl updates aan de geheugenbank (waarden en relaties) het landschap voor toekomstige retrieval hervormen. Het optimaliseren van één component tegenover een permanent vaste tegenhanger leidt tot een mismatch met de evoluerende staat van de andere component.

Methodologie: CoEvo-Mem

CoEvo-Mem is een closed-loop framework ontworpen om de retrieval-policy en de geheugenbank te co-evolueren via interactie-feedback. Het framework onderhoudt een bevroren antwoordend LLM ( $F_{ans}$ ) en richt zich op het leren van een lichtgewicht retrieval-policy en een persistente, getypeerde relationele geheugengraaf.

1. Kerncomponenten

Bevroren LLM & Route-Gespecialiseerde Query Herformulering (SR-QR): Voor elke query genereert een bevroren LLM route-specifieke query-herformuleringen (dense voor semantische intentie, sparse voor exacte lexicale cues) en een initiële routing prior.
Prior-Geleide Residuele Router: Een trainbare, lichtgewicht module die een residuele correctie leert op de initiële routing prior van de LLM. Het produceert fusiegewichten ( $w_t$ ) die een hybride retriever aansturen.
Q-Gewogen Hybride Retriever: Deze retriever integreert dense gelijkenis, sparse matching (BM25) en geleerde geheugennut. Het gebruikt Weighted Reciprocal Rank Fusion (WRRF) om rangschikkingen van verschillende rewrites en routes te combineren, gewogen door de output van de router.
Getypeerde Relationele Geheugengraaf: Herinneringen worden opgeslagen als knopen in een graaf die inhoud, beschrijvingen, trefwoorden en temporele metadata bevat. Randen coderen semantische (dense), lexicale (sparse) en temporele relaties. Elke knoop bevat een geleerd nutswaarde ( $Q_t(m)$ ) die de gedisconteerde downstream retrieval-utiliteit vertegenwoordigt.

2. Het Co-Evolutie Mechanisme

Het framework adresseert de non-stationariteit veroorzaakt door de wederzijdse afhankelijkheid van retrieval en geheugen door middel van afwisselende trainingsfasen:

Router Fase: De geheugengraaf is vast (alleen-lezen). De router wordt bijgewerkt met behulp van een reward-gedreven policy gradient (score-function estimator) gebaseerd op taakresultaten. De router verkent continue mengsels van dense en sparse retrieval-routes.
Geheugen Fase: De router is bevroren (gebruikmakend van zijn deterministische gemiddelde beleid). De geheugengraaf evolueert sequentieel. Nieuwe herinneringen worden gedestilleerd uit interactie-trajecten, en nutswaarden worden bijgewerkt via een Temporal Difference (TD) stijl mechanisme.
- Nut-Update: $Q_t(m)$ wordt bijgewerkt op basis van de directe taakbeloning, de toegerekende utiliteit van de herinnering, en een bootstrap-term van nieuw gedestilleerde ervaringen.
- Relationele Kredietpropagatie: Feedback plant zich voort naar gerelateerde herinneringen (semantische, lexicale of temporele buren) op basis van padsterkte en relatie-specifieke attenuatiefactoren.

3. Trainingsdoelstelling

Het systeem optimaliseert de verwachte taakbeloning $J_{tr}$ over trajecten geïnduceerd door de router, de evoluerende graaf en het fase-schema. Door updates af te wisselen, past elke component zich aan de nieuwste staat van de ander aan zonder de instabiliteit van simultane gezamenlijke optimalisatie.

Belangrijkste Bijdragen

Identificatie van een Feedbackloop: Het artikel identificeert en formaliseert de onderbelichte feedbackloop tussen retrieval en geheugenevolutie in long-term LLM agents, waarbij retrieval bepaalt hoe krediet wordt toegewezen en geheugenupdates toekomstige retrieval hervormen.
CoEvo-Mem Framework: Een nieuw framework dat de adaptatie van de retrieval-policy coördineert met de relationele geheugenevolutie, terwijl het antwoordende LLM bevroren blijft. Belangrijke kenmerken zijn:
- Route-gespecialiseerde query herformulering en residuele adaptatie van een LLM routing prior.
- Geheugenupdates die feedback propageren over semantische, lexicale en temporele relaties.
- Een afwisselend trainingsschema om non-stationariteit te mitigeren.
Empirische Validatie: Uitgebreide experimenten over zeven diverse benchmarks (verspreid over zes evaluatie-instellingen, aangezien BFCL zowel non-thinking als thinking configuraties bevat) tonen aan dat CoEvo-Mem state-of-the-art prestaties bereikt, wat het belang van gezamenlijke optimalisatie valideert.

Experimentele Resultaten

CoEvo-Mem werd geëvalueerd op zeven benchmarks die variëren van besturingssysteem-interactie (LLAB), code generatie (LiveCodeBench), multimodale redenering (MMMU Pro), wetenschappelijke QA (GPQA Diamond), function calling (BFCL) en long-term conversationeel geheugen (LoCoMo, LongMemEval).

Prestaties: CoEvo-Mem behaalde de hoogste gemiddelde score in alle zes de geëvalueerde settings (LLAB, LiveCodeBench, MMMU Pro, GPQA Diamond, BFCL non-thinking, en BFCL thinking). Vergeleken met de sterkste baseline in elke rij, was de gemiddelde verbetering 3,72 procentpunt, met individuele winsten variërend van 1,06 tot 7,50 punten.
- Opvallende winsten werden waargenomen in GPQA Diamond (+7,50) en BFCL non-thinking (+6,33).
Ablatie-studies:
- Het verwijderen van SR-QR (route-specifieke herformulering) verminderde de prestaties met gemiddeld 4,24 punten, wat het belang van query herformulering benadrukt.
- Het verwijderen van Memory Evolution (relationele updates) verminderde de prestaties met 4,80 punten, wat bevestigt dat getypeerde relaties en waarde-propagatie het hergebruik van geheugen verbeteren buiten onafhankelijke item-niveau updates.
- Alternating Co-Adaptation presteerde beter dan zowel simultane updates als twee-fasen training, wat de noodzaak van het afwisselende schema aantoont om non-stationariteit te beheersen.
Transfereerbaarheid: In fixed-memory protocollen (LoCoMo-MC, LongMemEval-MC) behaalde CoEvo-Mem sterke resultaten, en wanneer de antwoordende backbone werd gewisseld naar GPT-4 zonder het geheugensysteem opnieuw te trainen, nam de prestatie aanzienlijk toe, wat aangeeft dat de geleerde retrieval-interface goed overdraagbaar is naar andere backbones.

Betekenis en Claims

Het artikel claimt dat CoEvo-Mem de state of the art vooruit helpt door aan te tonen dat retrieval-toegang en geheugenevolutie elkaar wederzijds versterken en gezamenlijk geoptimaliseerd moeten worden. De auteurs stellen dat:

Gezamenlijke Adaptatie Cruciaal is: Het isoleren van ofwel retrieval- of geheugenoptimalisatie voorkomt dat de vaste tegenhanger zich aanpast aan de veranderingen die door de ander worden geïnduceerd, wat de algehele agent-prestaties beperkt.
Gestructureerde Feedbackloops: Door de feedbackloop expliciet te modelleren — waarbij retrieval bepaalt hoe krediet wordt toegewezen en geheugenupdates toekomstige retrieval sturen — kunnen agents verbeteringen handhaven over lange tijdshorizonten.
Generaliseerbaarheid: Het succes van het framework over heterogene taken (van code generatie tot wetenschappelijke redenering) en verschillende geheugentypes suggereert dat het co-adapteren van retrieval routing en geheugenevolutie een generaliseerbare strategie is voor long-term LLM agents.

De auteurs concluderen dat toekomstig werk de exploratie van multi-agent geheugendeling en theoretische garanties voor gekoppelde retrieval-geheugen optimalisatie moet verkennen, maar dat het huidige werk het empirische fundament legt voor deze co-evolutionaire aanpak.