Learning from Supervision with Semantic and Episodic Memory: A Reflective Approach to Agent Adaptation

1. Probleemstelling

Large Language Model (LLM)-agenten staan momenteel voor aanzienlijke uitdagingen bij het aanpassen aan nieuwe taken of domeinen zonder parameterupdates:

• Beperkingen van fine-tuning: Traditionele fine-tuning is rekenkundig duur, vereist grote gelabelde datasets, loopt het risico op "catastrophic forgetting" (catastrophal vergeten) en mist interpretatievermogen.
• Beperkingen van In-Context Learning (ICL): Standaard few-shot learning (RAG) vertrouwt vaak op ruwe input-output voorbeelden. Dit leidt tot oppervlakkig patroon nabootsen in plaats van diepgaand conceptueel begrip.
• Statische kennis: Voorgereputeerde modellen kunnen nieuwe supervisie-signalen (gelabelde data) niet eenvoudig in real-time integreren om de prestaties op ongezette taken te verbeteren.

De auteurs stellen een oplossing voor die agenten in staat stelt om continu te leren van gelabelde supervisie zonder de modelgewichten bij te werken, gebruikmakend van een geheugen-verrijkte architectuur die is gebaseerd op zelfkritiek.

2. Methodologie

Het kader introduceert een Reflectieve Aanpak waarbij een agent leert van gelabelde data door gestructureerde kritieken te genereren en op te slaan. Het systeem bestaat uit twee hoofdagenten en een dubbel-geheugenarchitectuur:

A. Agentrollen

1. Performance Agent (PA): De primaire LLM die de taak heeft het probleem op te lossen (bijvoorbeeld vragen beantwoorden).
2. Critic Agent (CA): Een LLM (vaak hetzelfde model als de PA) die feedback genereert. Deze neemt de initiële voorspelling van de PA, het ground-truth-label en de input om een gestructureerde kritiek te genereren.

B. Structuur van de Kritiek

Om te voorkomen dat de criticus zijn eigen vooroordelen versterkt, is de kritiek gestructureerd in drie velden:

• Bevestiging (Assertion): Herhaalt expliciet het juiste antwoord en oordeelt over de initiële voorspelling van de PA.
• Redenering (Lokaal): Een voorbeeldspecifieke uitleg waarom het juiste antwoord correct is en het antwoord van de PA fout was.
• Reflectie (Globaal): Een gegeneraliseerd inzicht dat van toepassing is op vergelijkbare toekomstige vragen.

C. Geheugenarchitectuur

Het kader maakt gebruik van twee distincte geheugentypes om deze kritieken op te slaan:

1. Episodisch Geheugen (Niveau van het voorbeeld):
   • Slaat specifieke ervaringen uit het verleden op (paren van Vraag + Kritiek).
   • Gebruikt Retrieval-Augmented Generation (RAG) om de top $K=5$ meest vergelijkbare eerdere voorbeelden op te halen op basis van semantische embeddings.
   • Biedt contextspecifiek redeneren en "herbezoekt" specifieke mislukkingssuccess-scenario's.
2. Semantisch Geheugen (Niveau van de taak):
   • Distilleert alle kritieken uit een dataset tot een uniforme, abstracte kennisrepresentatie (bijvoorbeeld een opsomming van regels of adviezen).
   • Dient als hoogwaardige leidraad of "guardrail" voor de agent, waarbij generaliseerbare patronen worden samengevat.

D. Geëvalueerde Leerstrategieën

Het artikel vergelijkt verschillende strategieën:

• Zero-Shot: Geen geheugen.
• EP_LABEL: RAG met alleen ruwe vraag-antwoordparen (standaard few-shot).
• EP_CRIT: RAG met episodisch geheugen dat volledige kritieken bevat.
• SEM_CRIT: Prompt-augmentatie met semantisch geheugen (samenvatting van kritieken).
• EP+SEM_CRIT: Hybride aanpak die zowel episodische voorbeelden als semantische samenvattingen combineert.

3. Belangrijkste Bijdragen

1. Geheugen-verrijkt Reflectief Leren: Een nieuw kader dat leren splitst in episodisch (specifieke voorbeelden) en semantisch (algemene regels) geheugen, gebaseerd op label-gedreven zelfkritieken.
2. De "Suggestibility"-metriek: Een nieuwe metriek ($S$) geïntroduceerd om te kwantificeren hoe ontvankelijk een model is voor externe redenering. Het meet het prestatieverschil wanneer een agent waarheidsgetrouwe versus misleidende kritieken volgt. Dit verklaart waarom sommige modellen meer profiteren van geheugenverrijking dan andere.
3. Efficiëntie bij Redeneringsmodellen: De ontdekking dat vooraf berekende kritieken de inferentie-tijd berekening (denk-tokens) voor redeneringsmodellen aanzienlijk verminderen door het redeneerproces uit te besteden aan het opgehaalde geheugen.
4. Uitgebreide Empirische Analyse: Evaluatie over 7 diverse datasets (feit-gebaseerd en voorkeur-gebaseerd) en 6 verschillende LLM's (inclusief niet-redenerende en redenerende modellen zoals GPT-5 en Qwen3-Thinking).

4. Belangrijkste Resultaten

• Prestatiewinst:
  • De hybride EP+SEM_CRIT-strategie behaalde een gemiddelde verbetering van 8,1 procentpunten ten opzichte van de zero-shot baseline en 4,6 procentpunten ten opzichte van de sterke RAG-gebaseerde (EP_LABEL) baseline.
  • Winsten waren het meest uitgesproken bij voorkeur-gebaseerde taken (bijvoorbeeld boeken/filmvoorkeuren) waar modellen geen vooraf getrainde parametrische kennis hebben.
  • PubMed (zeer specifieke feitelijke kennis) toonde de minste verbetering, wat suggereert dat geheugenverrijking worstelt wanneer cross-instance overdracht van specifieke feiten beperkt is.
• Modelvariatie en Suggestibiliteit:
  • Suggestibiliteit correleert positief met prestatiewinsten (Spearman $\rho = 0,402$). Modellen met lage suggestibiliteit (bijvoorbeeld Llama 4 Scout) toonden beperkte winsten, terwijl sterk suggestieve modellen (bijvoorbeeld GPT-5, Qwen3) significant profiteerden.
  • Hoge suggestibiliteit presenteert een veiligheidstrade-off: modellen kunnen te onderdanig zijn aan onjuiste contextuele informatie.
• Rekenkundige Efficiëntie:
  • Voor redeneringsmodellen verminderde het gebruik van kritieken het aantal denk-tokens met gemiddeld 31,95%.
  • Kritieken fungeren als vervanging voor intern redeneren, voorkomen "overdenken" en verminderen token-timeouts (bijvoorbeeld bij de Multi-Condition Ranking-taak daalden token-timeouts van 60% naar 12% voor GPT-oss-20B).
• Kosten-baten:
  • Hoewel het genereren van geheugen een eenmalige trainingskost met zich meebrengt, leiden de besparingen tijdens de inferentie-tijd (minder gegenereerde tokens) tot een "break-even"-punt binnen een bescheiden aantal queries voor de meeste datasets, waardoor het kosteneffectief is voor productie.

5. Betekenis en Implicaties

• Lichtgewicht Aanpassing: Deze aanpak biedt een rekenkundig efficiënt, interpreteerbaar alternatief voor fine-tuning, waardoor agenten zich direct kunnen aanpassen aan nieuwe taken zonder opnieuw te trainen.
• Interpreteerbaarheid: In tegenstelling tot black-box gewichtsupdates zijn de geheugenartefacten (kritieken en samenvattingen) menselijk leesbaar, wat transparantie biedt over waarom een agent een beslissing neemt.
• Efficiëntie voor Redeneringsmodellen: De bevinding dat externe kritieken de interne redeneerbelasting kunnen verminderen, is cruciaal voor het inzetten van grote redeneringsmodellen in kostengevoelige omgevingen.
• Toekomstige Richtingen: Het werk benadrukt het belang van "suggestibiliteit" in agentontwerp en suggereert dat toekomstige systemen het vermogen om te leren van feedback moeten afwegen tegen robuustheid tegen adversariele of foutieve invoer.

Concluderend toont het artikel aan dat reflectief leren via gestructureerd geheugen een krachtig mechanisme is voor het verbeteren van de aanpasbaarheid van LLM's, met aanzienlijke winsten in nauwkeurigheid en efficiëntie, terwijl het een duidelijk pad biedt voor interpreteerbaarheid en continu leren.