💻 computer science

Collaborative Multi-Agent Optimization for Personalized Memory System

Deze paper introduceert CoMAM, een collaboratief versterkingsleerframework dat lokale agenten in gepersonaliseerde LLM-geheugensystemen gezamenlijk optimaliseert door inter-agent afhankelijkheden te modelleren en lokale taken te aligneren met globale prestaties via adaptieve credit-toewijzing.

Oorspronkelijke auteurs: Wenyu Mao, Haoyang Liu, Zhao Liu, Haosong Tan, Yaorui Shi, Jiancan Wu, An Zhang, Xiang Wang

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wenyu Mao, Haoyang Liu, Zhao Liu, Haosong Tan, Yaorui Shi, Jiancan Wu, An Zhang, Xiang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Kunstmatige Intelligentie (AI) als een zeer slimme, maar vergeetachtige vriend is. Deze vriend kan geweldig praten, maar heeft een heel kort geheugen. Als jullie een gesprek van een uur hebben, vergeet hij na 10 minuten al wat je eerder zei. Om dit op te lossen, bouwen onderzoekers een "herinneringssysteem" voor de AI. Dit systeem slaat al jullie gesprekken op, zodat de AI zich later nog kan herinneren wat je leuk vindt, wat je werk is, of welke verhalen je vertelde.

Maar hier zit een addertje onder het gras. In de huidige systemen werken verschillende "hulpjes" (agents) samen om dit geheugen te beheren, maar ze werken elk voor zich.

Het Probleem: De Gescheiden Specialisten

Stel je een team voor dat een groot boek schrijft:

De Schrijver (Extraction Agent): Schrijft elke zin die je zegt op.
De Samenvatter (Profile Agent): Leest die zinnen en maakt er een kort profiel van je persoonlijkheid.
De Zoeker (Retrieval Agent): Kijkt in het profiel en het boek om een antwoord te geven op een nieuwe vraag.

In de oude methoden (zoals beschreven in het paper) krijgen deze drie hun eigen instructies en worden ze apart getraind.

De Schrijver krijgt een beloning als hij alles opschrijft, zelfs onzin.
De Zoeker krijgt een beloning als hij snel een antwoord vindt.

Het resultaat? De Schrijver vult het geheugen met te veel rommel. De Zoeker kan daardoor de belangrijke informatie niet vinden. Ze werken niet samen als een team, maar als drie losse vakmensen die elkaar soms dwarszitten. Het team presteert slechter dan wanneer ze samen zouden werken.

De Oplossing: CoMAM (Het Team dat Samenwerkt)

De auteurs van dit paper, Wenyu Mao en zijn collega's, hebben een nieuwe manier bedacht genaamd CoMAM. Ze noemen het een "Collaborative Reinforcement Learning Framework".

Laten we het uitleggen met een simpele metafoor: Een Orkest.

In een orkest moet de viool, de trompet en de drum niet alleen goed spelen, ze moeten ook op elkaar inspelen. Als de drummer te hard speelt, klinkt de viool niet meer.

CoMAM doet drie dingen om dit orkest perfect te laten spelen:

1. De Kettingreactie (MDP)

In plaats van dat de agents los van elkaar werken, ziet CoMAM hun werk als één lange, ononderbroken ketting.

De Schrijver schrijft iets op -> dat wordt direct de input voor de Samenvatter -> die maakt een profiel -> dat wordt direct de input voor de Zoeker.
Ze weten allemaal dat wat de één doet, direct invloed heeft op de ander. Ze zijn geen losse schakels meer, maar één machine.

2. De Slimme Beloning (Adaptive Credit Assignment)

Dit is het meest creatieve deel. Stel, het orkest speelt een mooi concert (een goed antwoord op een vraag). Wie heeft daar het meeste aan bijgedragen? De drummer? Of de viool?

Oude methode: Iedereen krijgt evenveel punten. (Niet eerlijk, want misschien was de drummer juist te luid).
CoMAM methode: Het systeem kijkt naar de prestatie van elk instrument in relatie tot het eindresultaat.
- Als de Schrijver precies de juiste dingen opschreef die de Zoeker nodig had, krijgt de Schrijver een grote bonus.
- Als de Schrijver veel onzin opschreef, krijgt hij weinig punten, zelfs als het eindantwoord goed was.

Het systeem gebruikt een slimme rekenmethode (NDCG) om te kijken: "Hoe goed past de prestatie van dit specifieke agentje bij het succes van het hele team?" Op basis daarvan krijgen ze een aangepaste beloning.

3. Het Doel: Samen winnen

Door deze slimme beloning te geven, leren de agents vanzelf hoe ze het beste moeten samenwerken.

De Schrijver leert: "Ik moet niet alles opschrijven, maar alleen wat de Zoeker later nodig heeft."
De Zoeker leert: "Ik moet beter kijken naar het profiel dat de Samenvatter maakt."

Waarom is dit belangrijk?

In de experimenten hebben ze getest met verschillende lengtes van gesprekken (van 32.000 tot 1 miljoen woorden!).

Resultaat: Het nieuwe systeem (CoMAM) was duidelijk beter dan alle bestaande systemen.
De les: Als je een team van AI-agenten wilt laten werken, mag je ze niet alleen trainen op hun eigen taak. Je moet ze leren samenwerken door ze te belonen op basis van hoe goed ze het hele team helpen.

Samenvattend in één zin

CoMAM is als een coach die een team van AI-agenten niet alleen leert hun eigen instrument bespelen, maar ze ook leert luisteren naar elkaar, zodat ze samen een perfect concert geven in plaats van een luidruchtig gedoe.

Titel: Collaboratieve Multi-Agent Optimalisatie voor Gepersonaliseerde Memory Systemen (CoMAM)

1. Het Probleem

Gepersonaliseerde Large Language Models (LLMs) zijn afhankelijk van memory-systemen om lange-termijn conversatiegeschiedenissen te onthouden, aangezien de contextvensters van LLM's beperkt zijn. Bestaande systemen gebruiken vaak meerdere gespecialiseerde agenten (bijv. voor het construeren van memory en het ophalen daarvan) die onafhankelijk van elkaar worden geoptimaliseerd via prompt engineering of fine-tuning.

De kernproblemen die dit artikel adresseert zijn:

Gebrek aan samenwerking: Agenten worden behandeld als een verzameling lokale experts in plaats van een samenwerkend team.
Lokaal vs. Globaal optimum: Onafhankelijke optimalisatie van agenten leidt vaak tot conflicterende strategieën. Bijvoorbeeld, een agent die memory construeert, kan redundante of ruisachtige informatie opslaan omdat hij de behoeften van de retrieval-agent niet kent, wat de algehele prestaties van het systeem schaadt.
Heterogeniteit en Asynchronie: Agenten werken met verschillende configuraties en op verschillende tijdstippen (construktie is periodiek, retrieval is query-gebaseerd), wat end-to-end optimalisatie bemoeilijkt.
Credit Assignment: Het is moeilijk om bij te houden welke agent hoeveel bijdraagt aan het globale succes (het beantwoorden van een vraag), wat leidt tot onduidelijke beloningen en instabiele convergentie.

2. Methodologie: CoMAM Framework

De auteurs stellen CoMAM (Collaborative Reinforcement Learning Framework for Multi-Agent Memory Systems) voor. Dit is een Reinforcement Learning (RL) framework dat agenten gezamenlijk optimaliseert om samenwerking te bevorderen.

A. Agent Definitie
Het systeem bestaat uit drie gespecialiseerde agenten:

Extraction Agent: Construeert fijnkorrelige memory (feiten, gebeurtenissen) uit de ruwe conversatiegeschiedenis.
Profile Agent: Abstracteert grofkorrelige memory (gebruikersvoorkeuren, gedragspatronen) uit de fijnkorrelige memory.
Retrieval Agent: Haalt relevante memory op en genereert een gepersonaliseerd antwoord op een gebruikersvraag.

B. Regularisatie als Markov Decision Process (MDP)
Om heterogene en asynchrone agenten gezamenlijk te trainen, wordt hun uitvoering gemodelleerd als een sequentiële Markov Decision Process (MDP):

State Space ( $S$ ): De staat evolueert van ruwe geschiedenis ( $H$ ) $\to$ fijnkorrelige memory ( $M_f$ ) $\to$ grofkorrelige memory ( $M_c$ ) $\to$ opgehaalde memory en antwoord.
Acties ( $A$ ): Elke agent voert een specifieke taak uit die de staat doorgeeft aan de volgende agent.
Beloningen ( $R$ ): Het systeem genereert zowel lokale beloningen (bijv. informatiecoverage voor constructie, precisie voor retrieval) als een globale beloning (nauwkeurigheid van het antwoord).

C. Adaptieve Credit Assignment Mechanisme
Om lokale verbeteringen af te stemmen op de globale prestatie, introduceert CoMAM een mechanisme om de globale beloning adaptief toe te wijzen:

In plaats van de globale beloning gelijk te verdelen, wordt de bijdrage van elke agent gemeten aan de hand van de rangorde-consistentie tussen hun lokale beloningen en de globale beloning.
Dit wordt berekend met de NDCG (Normalized Discounted Cumulative Gain) metric.
Op basis van deze consistentie-score worden adaptieve gewichten ( $w_n$ ) berekend. Agenten die hun lokale taak goed doen en hierdoor bijdragen aan het globale succes, krijgen een groter aandeel in de globale beloning.
De uiteindelijke beloning voor een agent is een combinatie van hun lokale taakbeloning en het adaptief toegewezen aandeel van de globale beloning.

D. Optimisatie Algoritme
Het framework maakt gebruik van Group Relative Policy Optimization (GRPO), een efficiënte RL-algoritme dat geen aparte waarde-functie (critic) vereist, maar werkt met relatieve beloningen binnen een groep van samples.

3. Belangrijkste Bijdragen

CoMAM Framework: Een nieuw RL-framework dat multi-agent memory-systemen gezamenlijk optimaliseert in plaats van agenten los van elkaar te trainen.
MDP Regularisatie: Een methode om asynchrone en heterogene agenten te modelleren als een sequentiële MDP, waardoor inter-agent afhankelijkheden expliciet worden opgenomen in de state-transities.
Adaptieve Credit Assignment: Een innovatief mechanisme dat de bijdrage van elke agent kwantificeert via rangorde-consistentie (NDCG) en de globale beloning dynamisch toewijst, waardoor lokale en globale doelen worden uitgelijnd.
Empirische Validatie: Uitgebreide experimenten die aantonen dat gezamenlijke optimalisatie superieur is aan onafhankelijke optimalisatie, zelfs bij zeer lange contextvensters.

4. Resultaten

De auteurs hebben CoMAM getest op de PersonaMem benchmark, met conversatiegeschiedenissen van 32K, 128K en 1M tokens, gebruikmakend van Qwen en Llama modellen.

Superieure Prestaties: CoMAM presteert significant beter dan leidende baselines (zoals Memory-R1, CAM, en RAG) in alle contextlengtes. Bijvoorbeeld, op de 128K-token setting met Qwen bereikte CoMAM een nauwkeurigheid van 70%, vergeleken met 60% voor de beste RL-baseline.
Ablatie Studies:
- Het verwijderen van één agent (bijv. de Profile Agent) leidt tot een aanzienlijke prestatiedaling, wat de complementariteit van de agenten bevestigt.
- MDP Regularisatie: Het gebruik van een MDP-traject voor gezamenlijke training ("MDP RL") presteert beter dan onafhankelijke training ("Independent RL"), wat aantoont dat het modelleren van afhankelijkheden cruciaal is.
- Credit Assignment: Het adaptieve mechanisme ("Ours") presteert beter dan het gelijk verdelen van globale beloningen, wat aantoont dat het kwantificeren van individuele bijdragen essentieel is voor samenwerking.
Efficiëntie: Hoewel individuele agenten soms meer trainingsstappen nodig hebben, is de totale convergentietijd voor het gezamenlijke systeem lager dan de som van de onafhankelijke trainingsstappen, wat wijst op hogere trainingsefficiëntie.

5. Significantie en Impact

Dit onderzoek is significant omdat het een fundamentele shift maakt in het optimaliseren van multi-agent systemen voor LLM's:

Van Lokaal naar Globaal: Het lost het probleem op dat lokale optimalisatie niet garandeert dat het totale systeem goed presteert. Door agenten te laten "samenwerken" tijdens het trainingsproces, worden conflicterende strategieën opgelost.
Schalbaarheid: De methode is effectief bewezen op zeer lange contexten (tot 1M tokens), wat essentieel is voor toekomstige toepassing van LLM's in langdurige interacties.
Algemene Toepasbaarheid: Het concept van adaptieve credit assignment via rangorde-consistentie kan waarschijnlijk worden toegepast op andere complexe multi-agent taken waar heterogeniteit en asynchronie een rol spelen.

Kortom, CoMAM bewijst dat een collaboratieve, end-to-end benadering van reinforcement learning voor multi-agent memory-systemen leidt tot robuustere en nauwkeurigere gepersonaliseerde AI-assistenten.