MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games

Dit paper introduceert MEMO, een zelfspel-framework dat de prestaties en stabiliteit van multi-agent LLM-games verbetert door een persistent geheugen voor inzichten te combineren met een exploratiestrategie voor prompt-evolutie, wat leidt tot aanzienlijk hogere winniveaus en minder variatie in de uitkomsten.

De kern

Stel je voor dat je een groep vrienden uitnodigt voor een bordspeltoernooi, maar er is een groot probleem: elke keer als je het spel opnieuw speelt, winnen of verliezen ze om de verkeerde redenen. Soms wint iemand puur door geluk, soms verliest iemand omdat ze een slechte start hadden, en soms vergeten ze wat ze de vorige keer hebben geleerd.

Dit is precies wat er gebeurt met LLM's (zoals slimme chatbots) wanneer ze complexe spelletjes spelen tegen elkaar. Ze zijn slim, maar ze zijn ook onstabiel en vergeten snel hun lessen.

De auteurs van dit paper hebben een oplossing bedacht genaamd MEMO. Laten we dit uitleggen met een paar creatieve vergelijkingen.

Het Probleem: De "Goudvis" in een Strijdzaal

Stel je voor dat je een goudvis (de AI) in een strijdzaal zet om te vechten.

• Het huidige probleem: De goudvis probeert elke keer opnieuw te vechten, maar hij vergeet alles wat hij in de vorige ronde heeft geleerd. Als hij in ronde 1 per ongeluk een slechte zet doet, kan dat in ronde 2 en 3 leiden tot een totale nederlaag. Omdat hij niets onthoudt, is het resultaat elke keer willekeurig: soms wint hij, soms verliest hij. Het is alsof je een speler hebt die elke dag opnieuw moet leren hoe hij een schaakstuk moet bewegen.
• De "Prompt": Dit is de instructie die je aan de AI geeft (bijvoorbeeld: "Wees een slimme speler"). Als je deze instructie een klein beetje verandert (bijvoorbeeld "Wees een dappere speler" in plaats van "slim"), kan de AI totaal anders spelen. Dit maakt het moeilijk om eerlijk te zeggen wie de beste is.

De Oplossing: MEMO (Het Slimme Dagboek)

MEMO is een systeem dat de AI helpt om niet alleen te spelen, maar ook te leren en te onthouden. Het werkt in twee hoofdonderdelen, die we kunnen vergelijken met een sportteam:

1. Het Dagboek (Retentie / Memory)

Stel je voor dat elke speler in het team een dagboek heeft. Na elke wedstrijd schrijven ze niet alleen op wie er won, maar ook waarom.

• "Vandaag heb ik verloren omdat ik te agressief was."
• "Ik heb gewonnen omdat ik de tegenstander een valstrik heb laten lopen."
• "Ik heb ontdekt dat mijn tegenstander bang is voor een bepaalde zet."

In plaats van dit dagboek na elke wedstrijd te verbranden (zoals andere methoden doen), bewaart MEMO deze notities in een gemeenschappelijke bibliotheek. De volgende keer dat een speler het veld op gaat, mag hij een paar bladzijden uit dit dagboek lezen voordat hij begint. Zo begint hij niet bij nul, maar met de wijsheid van de hele groep.

2. De Trainingscampagne (Exploratie / Tournament)

Nu hebben we het dagboek, maar hoe vinden we de beste strategieën?

• MEMO organiseert een groot toernooi met veel verschillende versies van de instructies (prompts).
• Het laat deze versies tegen elkaar spelen.
• Het kijkt niet alleen naar wie er wint, maar ook naar hoe betrouwbaar de winst was. Als iemand 3 keer wint door geluk, wordt hij niet beloond. Als iemand consistent wint, krijgt hij meer punten.
• De slechtste instructies worden weggegooid, en de beste worden aangepast op basis van wat er in het dagboek staat.

Waarom is dit zo cool? (De Resultaten)

De auteurs hebben dit getest op vijf verschillende spelletjes, van onderhandelen tot kaartspellen. Hier zijn de resultaten, vertaald naar onze analogie:

1. Van amateur naar pro: Zonder MEMO won een AI gemiddeld maar 25% van de wedstrijden. Met MEMO (en hun dagboek) wonnen ze bijna 50%. Dat is een enorme sprong!
2. Minder geluk, meer kunde: De resultaten waren veel stabieler. Vroeger kon je twee keer hetzelfde spel spelen en kreeg je totaal verschillende uitkomsten. Nu is het resultaat betrouwbaar. Het is alsof je van een dobbelsteen naar een schaakmeester bent gegaan.
3. Efficiëntie: Om dit te bereiken, hadden ze 19 keer minder oefenwedstrijden nodig dan traditionele methoden (die de hersenen van de AI zelf moeten herschrijven). MEMO leert gewoon door te kijken naar de notities in het dagboek.

De Grootste Les: Onthouding is Koning

Het belangrijkste wat dit paper laat zien, is dat leren zonder onthouden (zoals bij veel huidige AI's) niet werkt voor complexe, langdurige spelletjes. Je moet een "geheugen" hebben.

• Zonder geheugen: Je bent als een student die elke dag een nieuwe wiskundetoets krijgt, maar de antwoorden van gisteren niet meer kent.
• Met MEMO: Je bent als een student die een goed georganiseerd studiemapje heeft, waarin alle fouten en successen van de afgelopen weken staan. Bij elke nieuwe toets kijkt hij eerst in zijn mapje.

Conclusie

MEMO is een slimme manier om AI's beter te laten spelen in complexe situaties zonder hun "hersenen" (de onderliggende code) te hoeven herschrijven. Ze geven ze gewoon een slim dagboek en een strategische coach die zorgt dat ze hun lessen onthouden en toepassen.

Het bewijst dat voor slimme AI's, herinneren net zo belangrijk is als rekenen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games", vertaald en samengevat in het Nederlands.

1. Het Probleem

De evaluatie van Large Language Models (LLMs) in meerdere rondes (multi-turn) en multi-agent spelomgevingen (zoals onderhandelingen of strategische spellen) vertoont een aanzienlijke variatie tussen verschillende uitvoeringen (run-to-run variance). Dit komt door twee hoofdfactoren:

• Cumulatieve afwijkingen: In lange interacties kunnen kleine vroege afwijkingen in de output van een model zich versterken over de volgende rondes, wat leidt tot sterk uiteenlopende spelverlopen.
• Prompt-sensitiviteit: De keuze van de prompt (instructies) heeft een enorme invloed op het gedrag en de prestaties van het model. Kleine wijzigingen in de prompt kunnen leiden tot verschillende effectieve strategieën en zelfs omkeringen in de ranglijst van modellen.

Bestaande methoden voor prompt-optimalisatie (zoals Chain-of-Thought of automatische optimalisatie zonder geheugen) zijn vaak statisch of verliezen inzichten tussen verschillende runs. Reinforcement Learning (RL) werkt wel, maar vereist vaak enorme hoeveelheden data (miljoenen interacties) en gewichtsupdates, wat rekenkundig duur en onstabiel is in multi-agent settings.

2. Methodologie: MEMO Framework

Het paper introduceert MEMO (Memory-augmented Model context optimization), een zelfspelend (self-play) framework dat de inferentie-context optimaliseert zonder de modelgewichten aan te passen. MEMO combineert twee kerncomponenten: Retentie (geheugen) en Exploratie.

A. Toernooi-gebaseerde Contextoptimalisatie (Exploratie)

MEMO onderhoudt een populatie van kandidaat-prompten. Deze worden geëvalueerd via zelfspelende toernooien tegen een basislijn.

• TrueSkill Selectie: Om onbetrouwbare winnaars (die door geluk hebben gewonnen) te filteren, gebruikt MEMO het TrueSkill-systeem (Bayesiaanse vaardigheidsrating). Het selecteert prompten op basis van een conservatieve ondergrens van het vertrouwen ($\mu - \kappa\sigma$), wat prompten met hoge onzekerheid straft.
• Generatie: Nieuwe prompten worden gegenereerd via willekeurige variaties (voor exploratie) en geheugen-augmentatie (zie hieronder).

B. Trajectie-Reflectie en Persistent Geheugen (Retentie)

Dit is het onderscheidende kenmerk van MEMO. In plaats van elke run te vergeten, bouwt MEMO een persistent geheugenbank op.

• Reflectie: Na elke generatie analyseert het model voltooide speltrajecten en extrahert gestructureerde inzichten (bijv. strategische principes, regels, of tegenstandersgedrag).
• CRUD-Operaties: Deze inzichten worden beheerd via database-achtige operaties:
  • Add: Nieuwe, unieke inzichten worden toegevoegd.
  • Edit: Gelijkaardige inzichten worden samengevoegd of verfijnd.
  • Remove: Tegenstrijdige of verouderde inzichten worden verwijderd.
• Prioritized Replay: Om zeldzame maar beslissende speltoestanden niet te missen, gebruikt MEMO een replay-buffer die prioriteit geeft aan trajecten die zelden voorkomen (inverse-frequentie score). Dit zorgt voor een evenwichtige leerpuntenverzameling.

C. Inference-time Context Injectie

Tijdens het spelen van nieuwe spellen worden geselecteerde inzichten uit het geheugenbank als "priors" (voorafgaande kennis) ingevoegd in de prompt van de agent. Dit stelt de agent in staat om te leren van eerdere ervaringen zonder het model opnieuw te trainen.

3. Belangrijkste Bijdragen

1. Context-sensitiviteit in multi-agent games: Het paper demonstreert dat evaluatieresultaten extreem gevoelig zijn voor promptkeuzes en pleit voor robuuste praktijken zoals het rapporteren van variaties in plaats van het vertrouwen op één enkele prompt.
2. Unificatie van Reflectie, Geheugen en Replay: MEMO introduceert een framework dat gestructureerde reflectie combineert met persistent geheugen en prioritering van zeldzame toestanden. Dit stelt agenten in staat kennis over meerdere rondes heen te accumuleren en opnieuw te gebruiken, in plaats van deze te verliezen bij elke update.
3. Efficiëntie en Stabiliteit: MEMO bereikt aanzienlijk hogere winpercentages met minder interacties dan RL-baselines en vermindert de variatie tussen runs drastisch, wat leidt tot betrouwbaardere rangschikkingen.

4. Resultaten

De methode is getest op vijf tekstgebaseerde spellen (o.a. Kuhn Poker, Simple Negotiation, Two Dollar Game) met modellen zoals GPT-4o-mini en Qwen-2.5-7B-Instruct.

• Prestatieverbetering:
  • Voor GPT-4o-mini steeg het gemiddelde winpercentage van 25,1% (baseline) naar 49,5% met MEMO.
  • Voor Qwen-2.5-7B steeg dit van 20,9% naar 44,3%.
• Efficiëntie: MEMO bereikt deze resultaten met slechts 2.000 zelfspelende games per taak. Dit is 19 keer minder dan wat RL-baselines (zoals UnstableBaseline) nodig hebben (38.000 games).
• Stabiliteit: De run-to-run variatie (gemeten als Relative Standard Error - RSE) daalde van 43,3% (bij RL) naar slechts 6,4% met MEMO. Dit maakt de rangschikking van modellen veel betrouwbaarder.
• Ablatie-studies: Experimenten tonen aan dat zowel het geheugen (retentie) als de gestructureerde exploratie (toernooien + replay) noodzakelijk zijn. Zonder geheugen zijn de winstverbeteringen marginaal.
• Generalisatie: Inzichten geleerd in één spel (bijv. onderhandeling) kunnen worden overgedragen naar andere spellen (bijv. Kuhn Poker) en zelfs naar zwakkere modellen, hoewel de transfer soms negatief kan zijn bij zeer sterke modellen die al goede strategieën hebben.

5. Betekenis en Conclusie

MEMO bewijst dat er aanzienlijke ruimte voor verbetering bestaat in de prestaties van multi-agent LLM-spellen door contextoptimalisatie in plaats van gewichtsupdates.

• Voor imperfecte-informatie spellen (waar strategisch denken en onderhandeling nodig zijn) presteert MEMO beter dan bestaande prompt-optimalisatiemethoden en is concurrerend met RL, maar dan veel efficiënter.
• Voor perfecte-informatie spellen (waar volledige zichtbaarheid is) blijft RL vaak effectiever, maar MEMO biedt nog steeds een sterke, stabiele alternatief.

Het paper benadrukt dat het behandelen van context als een "agente object" dat geoptimaliseerd moet worden, en het gebruik van persistent geheugen om inzichten te bewaren, cruciaal is voor het oplossen van de instabiliteit en onbetrouwbaarheid in huidige multi-agent LLM-evaluaties.