INMS: Memory Sharing for Large Language Model based Agents

Dit paper introduceert INMS, een asynchroon interactief kader voor multi-agent systemen dat door het delen van een dynamisch conversatiememoriepool de prestaties van LLM-gebaseerde agenten in open-ended scenario's aanzienlijk verbetert.

De kern

INMS: De "Geheime Bibliotheek" voor Slimme AI-robots

Stel je voor dat je een groep slimme robots hebt die taken moeten uitvoeren, zoals gedichten schrijven, raadsels oplossen of reisplannen maken. In de oude manier van werken (zoals beschreven in de introductie van het paper), werkt elke robot als een eenzame eilandbewoner.

• Het oude probleem: Robot A heeft een geweldig idee voor een gedicht, maar Robot B weet daar niets van. Als Robot B een vraag krijgt, kijkt hij alleen in zijn eigen kleine notitieboekje. Als dat boekje leeg is of verouderd, faalt hij. Het is alsof je in een vergadering zit waar niemand luistert naar wat de ander zegt; iedereen praat tegen zichzelf.
• De oplossing (INMS): De onderzoekers van Rutgers University hebben een systeem bedacht dat ze INMS noemen. Dit is als een gemeenschappelijke, levende bibliotheek waar alle robots tegelijkertijd kunnen schrijven en lezen.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De "Gemeenschappelijke Notitieblok" (Memory Pool)

In plaats van dat elke robot zijn eigen geheugen heeft, delen ze één groot, digitaal notitieblok.

• Hoe het werkt: Als Robot A een vraag krijgt en een goed antwoord bedenkt, wordt dit antwoord niet weggegooid. Het wordt opgeslagen in de gemeenschappelijke bibliotheek.
• De analogie: Stel je voor dat je in een klaslokaal zit. In het oude systeem schrijft elke leerling alleen in zijn eigen schrift. In het INMS-systeem hebben ze allemaal een groot bord aan de muur. Als één leerling een slim idee heeft, schrijft hij het op het bord. De volgende leerling die een vraag krijgt, kijkt eerst naar het bord om te zien wat eerdere leerlingen hebben bedacht.

2. De "Kritische Leraar" (The Scorer)

Niet elk idee dat op het bord komt, is goed. Soms zijn de antwoorden raar, fout of saai.

• Hoe het werkt: Er is een speciale AI (een "scorer") die fungeert als een strenge maar eerlijke leraar. Deze kijkt elk nieuw antwoord dat in de bibliotheek komt.
• De analogie: Stel je voor dat de robots een spelletje doen waarbij ze verhalen verzinnen. De "Leraar" leest elk verhaal. Als het verhaal leuk en slim is, krijgt hij een sterretje en mag hij in de "Gouden Boekjes" (de bibliotheek). Als het verhaal onzin is, wordt het weggegooid. Dit zorgt ervoor dat de bibliotheek altijd vol zit met hoge kwaliteit kennis, en niet vol met rommel.

3. De "Slimme Zoeker" (The Retriever)

Als een robot een nieuwe vraag krijgt, moet hij weten welk stukje uit de bibliotheek hij moet gebruiken.

• Hoe het werkt: De robot gebruikt een slimme zoekmachine die steeds slimmer wordt. Hij zoekt niet alleen naar woorden die lijken op de vraag, maar leert ook waarom bepaalde antwoorden goed waren.
• De analogie: Stel je voor dat je een kookrecept zoekt. Een oude zoekmachine zoekt alleen naar woorden als "kip" en "pan". De nieuwe, slimme zoekmachine (die INMS gebruikt) weet: "Ah, deze gebruiker wil een gezond maaltje, dus ik geef hem het recept dat de vorige keer het beste werkte voor een gezond diner, zelfs als het woord 'kip' er niet in staat." Hij past zich aan naarmate er meer recepten (memories) bij komen.

4. Het "Echo-kamer" Probleem (En hoe ze dit oplossen)

Soms kan een groep robots in een "echo-kamer" terechtkomen: ze herhalen steeds dezelfde fouten omdat ze alleen naar elkaars fouten kijken.

• Het probleem: Als de eerste robots allemaal een fout maken en dat in de bibliotheek zetten, zouden latere robots die fout ook maken.
• De oplossing: Omdat de "Leraar" (de scorer) streng is en de "Zoeker" continu leert van nieuwe, betere voorbeelden, wordt de oude rommel langzaam vervangen door nieuwe, betere ideeën. Het systeem "reinigt" zichzelf.
• De analogie: Stel je voor dat een groep vrienden een grapje vertelt. Als het eerste grapje slecht is, lachen ze misschien niet. Maar als ze blijven praten en nieuwe, betere grapjes bedenken, wordt de sfeer al snel grappig. De slechte grapjes worden vergeten en de goede blijven hangen.

Waarom is dit belangrijk?

Vroeger moesten robots afhankelijk zijn van statische databases (zoals een ouderwetse encyclopedie die nooit verandert). Met INMS kunnen robots samenwerken en samen leren.

• Ze worden niet alleen slimmer door te oefenen, maar door te praten met elkaar.
• Ze kunnen complexe taken beter aan, zoals het schrijven van poëzie of het oplossen van raadsels, omdat ze een collectieve "wijsheid" hebben opgebouwd.

Kort samengevat:
INMS is een systeem dat robots van eenzame denkers verandert in een slim team. Ze delen hun beste ideeën in een gemeenschappelijke bibliotheek, laten een strenge leraar controleren of die ideeën goed zijn, en gebruiken die kennis om elkaar steeds slimmer te maken. Het is alsof je een groep leerlingen hebt die niet alleen voor zichzelf leren, maar samen een super-slimme school bouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "INMS: Memory Sharing for Large Language Model based Agents" in het Nederlands.

Titel: INMS: Memory Sharing for Large Language Model based Agents

Auteurs: Hang Gao en Yongfeng Zhang (Rutgers University)

---

1. Het Probleem

Grote Taalmodellen (LLM's) die worden gebruikt als agents, presteren uitstekend bij complexe taken dankzij technieken zoals In-Context Learning (ICL) en Chain-of-Thought (CoT). Echter, in open-ended scenario's worden ze vaak beperkt door twee factoren:

1. Geïsoleerde werking: Agents opereren vaak in silo's en delen geen kennis met elkaar. Ze vertrouwen op hun eigen interne geschiedenis of statische databases.
2. Beperkingen van bestaande oplossingen:
   • RAG (Retrieval-Augmented Generation): Bestaande RAG-methoden functioneren vaak als een eenrichtingsverkeer van statische informatie. Ze zijn afhankelijk van externe databases die verouderd kunnen zijn en missen de dynamische, interactieve kennisuitwisseling die kenmerkend is voor menselijke dialoog.
   • Statische geheugens: Bestaande geheugenmechanismen focussen op het opslaan van historische informatie voor individuele agents, zonder rekening te houden met collectief leren of asynchrone dialoog tussen meerdere agents.

Dit leidt tot een gebrek aan collectieve intelligentie en een beperkt vermogen om zich aan te passen aan dynamisch veranderende kennislandschappen.

---

2. Methodologie: Het INMS Framework

De auteurs introduceren INteractive Memory Sharing (INMS), een asynchroon interactieparadigma voor multi-agent systemen. Het doel is om een gedeelde, dynamische conversatiememory te creëren die agents gezamenlijk kunnen opbouwen en benutten.

De kerncomponenten van INMS zijn:

• Prompt-Answer (PA) Pairs als Geheugen:
  Interacties tussen agents worden omgezet in PA-paren. Deze fungeren als "interactieve herinneringen" die in een gedeelde pool worden opgeslagen.
• Kwaliteitscontrole via LLM-Scorer:
  Niet elke PA-pair wordt opgeslagen. Een gespecialiseerde LLM (de "scorer" of "dialog moderator") evalueert elke nieuwe PA-pair aan de hand van specifieke rubrieken (rubrics) per domein (bijv. literaire kwaliteit, logische consistentie).
  • Alleen paren met een score boven een bepaalde drempelwaarde worden toegevoegd aan de gedeelde memory pool.
  • Dit filtert ambiguïteit en irrelevante content, waardoor de kwaliteit van het collectieve geheugen hoog blijft.
• Dynamische Retrieval en Training:
  • Retriever: Een dichte retriever (dense retriever) zoekt de meest relevante herinneringen uit de pool op basis van de huidige query van een agent.
  • Adaptieve Training: In tegenstelling tot traditionele RAG-systemen die statisch zijn, wordt de retriever in INMS continu bijgeschoold. Wanneer een nieuwe, hoogwaardige PA-pair wordt toegevoegd, gebruikt het systeem deze om de retriever te trainen. Dit gebeurt door negatieve voorbeelden te selecteren die niet relevant zijn voor de nieuwe input, maar wel vergelijkbaar genoeg om als contrast te dienen. Hierdoor past de retriever zich dynamisch aan de groeiende pool aan.
• Interactief Leren:
  Het systeem start met een klein aantal voorbeelden. Agents genereren iteratief nieuwe prompts en antwoorden, die worden gescoord en toegevoegd. Dit creëert een zelfversterkende cyclus van kennisgroei.

Architectuur:

1. Een agent ontvangt een query.
2. De retriever haalt $k$ relevante herinneringen op uit de gedeelde pool.
3. Deze herinneringen worden gecombineerd met de query als context (ICL) en naar de agent gestuurd.
4. De agent genereert een antwoord.
5. Het (Query, Antwoord)-paar wordt gescoord. Bij een hoge score wordt het opgeslagen en gebruikt voor het trainen van de retriever.

---

3. Belangrijkste Bijdragen

1. Het INMS Framework: Een nieuw paradigma dat asynchrone dialoog en dynamisch gedeeld geheugen introduceert, waardoor agents collectief kunnen leren in plaats van geïsoleerd.
2. Overcoming Static Databases: INMS lost het probleem van verouderde externe databases op door continu interactieve, hoogwaardige herinneringen te genereren en te delen. Dit faciliteert een evolutie van individuele agents naar collectieve intelligentie.
3. Nieuwe Dataset en Validatie: De auteurs hebben een nieuwe dataset samengesteld voor open-ended taken (poëzie, onconventionele logica, plannen) en uitgebreide experimenten uitgevoerd om de effectiviteit van INMS te bewijzen.

---

4. Resultaten

De auteurs hebben INMS getest op drie domeinen met elk drie gespecialiseerde agents (totaal 9 agents):

• Literaire Creatie: Het genereren van Wuyanlvshi (klassieke Chinese poëzie), Limericks en Sonnetten.
• Onconventionele Logica: Oplossen van Puzzels, Raadsels en Woordgrappen.
• Plangeneratie: Het maken van Studie-, Reizen- en Fitnessplannen.

Kernbevindingen:

• Prestatieverbetering: INMS presteert significant beter dan baselines (Random, BM25, Contriever, SBERT, TAS-B, SimCSE) op zowel F1-score als LLM-Judge-metrics.
  • Bijvoorbeeld, voor het genereren van Sonnetten steeg de F1-score van 0.52 (zonder memory) naar 0.93 (met INMS en gpt-4o).
• Collectieve Intelligentie: Agents die toegang hebben tot herinneringen gegenereerd door andere agents (zelfs van andere LLM-backbones zoals Mistral vs. GPT-4), laten verbeterde prestaties zien. Dit bevestigt dat kennisuitwisseling werkt over verschillende modellen heen.
• Domein-specifiek vs. Geïntegreerd: Domein-specifieke memory pools presteerden beter dan één grote geïntegreerde pool, wat suggereert dat contextuele relevantie cruciaal is.
• Mitigatie van "Echo Chamber": Zelfs als de initiële memory pool bevooroordeeld was (75% bias), kon het systeem zichzelf corrigeren. De LLM-scorer en de dynamische retriever filterden de bias eruit naarmate er meer hoogwaardige herinneringen werden toegevoegd, waardoor de prestaties herstelden naar het niveau van een onbevooroordeeld scenario.
• Aantal Herinneringen: Het gebruik van 3 gedeelde herinneringen bleek de optimale hoeveelheid te zijn voor de meeste taken.

---

5. Betekenis en Conclusie

INMS vertegenwoordigt een belangrijke stap in de ontwikkeling van multi-agent systemen. Het paper toont aan dat:

• Agents niet langer afhankelijk hoeven te zijn van statische, externe databases.
• Asynchrone interactie en gedeeld geheugen leiden tot een "collectieve intelligentie" die groter is dan de som der delen.
• Dynamische filtering en continue training van de retriever essentieel zijn om de kwaliteit van het geheugen hoog te houden en bias te voorkomen.

De methode biedt een robuust kader voor het oplossen van open-ended problemen waarbij creativiteit, nuance en adaptiviteit vereist zijn, en legt de basis voor toekomstige systemen die kunnen evolueren van geïsoleerde oplossers naar een samenwerkende, collectief intelligente samenleving.