Multi-Layered Memory Architectures for LLM Agents: An Experimental Evaluation of Long-Term Context Retention

Titel: Multi-Layered Memory Architectures for LLM Agents: Een Experimentele Evaluatie van Lange-Termijn Contextbehoud

Auteurs: Payal Fofadiya en Sunil Tiwari (Fulloop)
Publicatiedatum: Juni 2025 (Online)

---

1. Het Probleem

Grote Taalmodellen (LLM's) presteren uitstekend in dialogen en taakgerichte interacties, maar kampen met ernstige beperkingen bij het behouden van informatie over uitgebreide sessies (long-horizon dialogue).

• Semantische Drift: Naarmate de dialooglengte toeneemt, verdwijnen vroege contextuele signalen door compressie of verwijdering, wat leidt tot inconsistentie in het persona, drift van entiteiten en factuele instabiliteit.
• Beperkte Contextvensters: Bestaande methoden die de volledige geschiedenis concateneren, leiden tot kwadratische groei in contextgrootte en hoge inferentiekosten.
• Ongecontroleerde Geheugenaccumulatie: Bestaande benaderingen (zoals hiërarchisch werkgeheugen of contextcompressie) verbeteren vaak wel de efficiëntie, maar stabiliseren niet de retentie over sessiegrenzen heen, of ze verbeteren de recall zonder de drift te beperken.

Het kernprobleem is het behouden van stabiele semantische representaties over meerdere sessies binnen een beperkt geheugenbudget, zonder de rekenkosten exponentieel te laten stijgen.

2. Methodologie: Multi-Layer Memory Framework (MLMF)

De auteurs introduceren een gestructureerd raamwerk dat de dialooggeschiedenis decomposeert in drie lagen, gekoppeld aan adaptieve ophaalmechanismen en regularisatie voor retentie.

A. De Drie Geheugendlagen

1. Werkgeheugen (Working Memory): Behoudt recente interacties binnen een vastgestelde venstergrootte ($k$). Dit zorgt voor temporaliteit en voorkomt interferentie van verre sessies.
2. Episodisch Geheugen (Episodic Memory): Accumuleert compacte samenvattingen van sessies via een recursieve update-mechanisme met een vervalfactor ($\alpha$). Dit voorkomt abrupt vergeten en balanceert detail versus abstractie.
3. Semantisch Geheugen (Semantic Memory): Codeert gestructureerde entiteit-en-gebeurtenisgrafieken op basis van de episodische samenvattingen. Dit behoudt stabiele attributen (persona, feiten) en beperkt de opslaggroei.

B. Adaptieve Ophaal en Gating

Het systeem gebruikt een adaptieve layer-weighting mechanisme om de relevantie van elke laag te bepalen op basis van de huidige input ($x_t$):

• De weging ($\gamma_i$) wordt berekend via een softmax-functie gebaseerd op semantische relevantie en een temperatuurparameter ($\beta$).
• Dit zorgt ervoor dat het model dynamisch prioriteit geeft aan de juiste geheugentype (bijv. recent werkgeheugen vs. langdurige semantische feiten) en irrelevante drift minimaliseert.

C. Regularisatie voor Retentiestabiliteit

Om semantische drift te controleren, wordt een retentie regularisatie term ($L_{ret}$) toegevoegd aan de loss-functie:

• Deze term straalt de kwadratische afstand af tussen de semantische embeddings van opeenvolgende sessies.
• Doel: Het straffen van abrupte structurele verschuivingen, waardoor de persona-continuïteit en feitelijke consistentie over tijd behouden blijven zonder de generatiekwaliteit te verstoren.

D. Formele Definitie

Het doel is om $P(y | x_t, M_t)$ te maximaliseren, waarbij $M_t$ de samengestelde staat is van de drie lagen, in plaats van te vertrouwen op de volledige ruwe geschiedenis $H_t$.

3. Belangrijkste Bijdragen

1. Gestruktureerde Decompositie: Een nieuwe architectuur die werk-, episodisch en semantisch geheugen scheidt met expliciete controle over cross-session drift.
2. Retentie Regularisatie: Een nieuwe optimalisatiedoelstelling die semantische verschuivingen over sessies direct straalt, wat essentieel is voor lange-termijn consistentie.
3. Efficiëntie zonder Kwaliteitsverlies: Het framework bereikt betere prestaties met een kleiner contextgebruik (58,40% vs. 64,98% in vergelijkbare systemen) en verhoogde doorvoersnelheid (10,4x versnelling).
4. Uitgebreide Evaluatie: Het systeem is getest op drie toonaangevende benchmarks (LOCOMO, LOCCO, LoCoMo) die specifiek zijn ontworpen voor lange-termijn conversaties.

4. Resultaten en Analyse

De experimenten tonen significante verbeteringen ten opzichte van bestaande methoden (zoals Hu et al., Jia et al., Phadke et al.):

• Prestatie op LOCOMO:
  • Success Rate (SR): 46,85% (vs. 42,00% bij bestaande hiërarchische methoden).
  • Overall F1: 0,618 (vs. 0,583).
  • Multi-hop F1: 0,594 (vs. 0,550).
• Retentie op LOCCO (na 6 perioden):
  • Retentiepercentage: 56,90% (vs. 48,25% bij parameter-based memory).
  • Valse Geheugen Rate (FMR): Verminderd tot 5,1% (vs. 6,8% in vergelijkbare studies).
• Efficiëntie:
  • Contextgebruik: Gereduceerd tot 58,40%.
  • Doorvoersnelheid: 10,4x versnelling ten opzichte van baselines.
• Ablatiestudie:
  • Het verwijderen van de semantische laag veroorzaakte de grootste daling in retentie.
  • Het verwijderen van de retentie-regularisatie leidde tot een toename van de valse geheugenrate en instabiliteit.
  • De volledige MLMF-configuratie bood de beste balans tussen redeneringsnauwkeurigheid en langetermijnretentie.

5. Betekenis en Conclusie

Dit onderzoek biedt een principieel raamwerk voor het oplossen van het "vergeten" probleem in lange-termijn LLM-agenten. De belangrijkste inzichten zijn:

• Stabiliteit: Door semantische drift actief te regulariseren, kunnen agenten hun persona en feitelijke kennis behouden over tientallen sessies heen.
• Efficiëntie: Het is mogelijk om langetermijngeheugen te behouden zonder de contextvenster kwadratisch te laten groeien, wat cruciaal is voor schaalbaarheid.
• Praktische Toepassing: Het framework biedt een blauwdruk voor het bouwen van geheugenbewuste agenten die geschikt zijn voor real-world toepassingen zoals langdurige klantenservice, persoonlijke assistenten en complexe taakplanning, waar consistentie en feitelijke juistheid over tijd essentieel zijn.

De studie concludeert dat gestructureerde geheugenconsolidatie, gecombineerd met adaptieve ophaal en regularisatie, de huidige beperkingen van LLM's in lange-horizon dialogen effectief overbrugt.