Multi-Layered Memory Architectures for LLM Agents: An Experimental Evaluation of Long-Term Context Retention

Technische Zusammenfassung: Multi-Layered Memory Architectures for LLM Agents

Titel: Multi-Layered Memory Architectures for LLM Agents: An Experimental Evaluation of Long-Term Context Retention
Autoren: Payal Fofadiya, Sunil Tiwari (Fulloop)
Veröffentlichung: Juni 2025 (Online)

---

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen zwar starke Leistungen bei dialogbasierten Aufgaben, leiden jedoch unter erheblichen Einschränkungen bei der Langzeit-Erinnerungsfähigkeit über ausgedehnte Sitzungen hinweg.

• Semantische Drift: Mit zunehmender Dialoglänge gehen frühere kontextuelle Signale verloren oder werden komprimiert, was zu Inkonsistenzen in der Persona, Drift bei Entitäten und faktischer Instabilität führt.
• Begrenzte Kontextfenster: Die direkte Verkettung des gesamten Dialogverlaufs führt zu quadratischem Wachstum der Rechenkomplexität und Speicherinterferenzen.
• Fehlende Struktur: Bestehende Ansätze (z. B. reine Hierarchien oder Kompression) verbessern entweder die Effizienz ohne die Retention zu stabilisieren oder verbessern die Abrufgenauigkeit ohne den semantischen Drift zu kontrollieren.

Das Kernproblem besteht darin, stabile semantische Repräsentationen über mehrere Sitzungen hinweg zu erhalten, ohne die Kontextgröße exponentiell zu erhöhen oder die Inferenzkosten zu steigern.

2. Methodik: Das Multi-Layer Memory Framework (MLMF)

Die Autoren stellen ein neuartiges Framework vor, das den Dialogverlauf in drei spezialisierte Schichten zerlegt und durch adaptive Mechanismen steuert:

A. Architektur der Speicherschichten

Das Modell $M_t$ wird in drei Komponenten unterteilt:

1. Working Memory ($M^{(w)}$): Behält den aktuellen Dialog innerhalb eines begrenzten Fensters ($k$) vor. Sie dient der kurzfristigen Interaktion und verhindert Interferenzen durch zu alte Daten.
2. Episodic Memory ($M^{(e)}$): Akkumuliert kompakte Zusammenfassungen vergangener Sitzungen. Sie wird rekursiv aktualisiert ($M^{(e)}_t = \alpha M^{(e)}_{t-1} + (1-\alpha)\psi(S_t)$), wobei $\alpha$ den Verfall steuert, um abruptes Vergessen zu verhindern.
3. Semantic Memory ($M^{(s)}$): Kodiert strukturierte Abstraktionen auf Entitäts- und Ereignisebene (Graphen). Diese Schicht sorgt für die Kontinuität der Persona und langfristige Kohärenz.

B. Adaptive Retrieval-Gating

Statt alle Schichten gleich gewichtet zu nutzen, wird ein Adaptives Gating-System verwendet:

• Die Relevanz jeder Schicht ($\gamma_i$) wird dynamisch basierend auf der semantischen Ähnlichkeit zur aktuellen Eingabe ($x_t$) berechnet.
• Dies ermöglicht eine kontextsensitive Priorisierung und reduziert irrelevante semantische Drifts.

C. Retention Regularization (Stabilitätsziel)

Um den semantischen Drift über Sitzungen hinweg zu kontrollieren, wird ein Regularisierungsterm ($L_{ret}$) eingeführt:

• Dieser bestraft abrupte strukturelle Verschiebungen in den Entitäts-Embeddings der semantischen Schicht zwischen aufeinanderfolgenden Sitzungen.
• Das Gesamtziel ($L = L_{gen} + \lambda L_{ret}$) optimiert gleichzeitig die Generierungsqualität und die Speicherstabilität.

3. Wichtige Beiträge

• Strukturelle Zerlegung: Erstmals wird ein Framework vorgestellt, das Working-, Episodic- und Semantic-Memory explizit trennt und durch adaptive Gewichtung sowie Regularisierung koppelt.
• Kontrollierter Drift: Durch die Einführung der Retention Regularization wird die Stabilität der semantischen Repräsentationen über lange Zeiträume mathematisch erzwungen.
• Effizienz: Das System reduziert den Kontextverbrauch erheblich, ohne die Leistung zu opfern, indem es redundante Token durch strukturierte Abstraktionen ersetzt.
• Algorithmische Umsetzung: Der Algorithmus (Algorithm 1) formalisiert den Zustandstransfer als einen Prozess mit Kapazitätsbeschränkungen und Entropie-Kontrollen.

4. Ergebnisse und Evaluation

Das Framework wurde auf drei führenden Benchmarks getestet: LOCOMO, LOCCO und LoCoMo.

Hauptkennzahlen (MLMF vs. State-of-the-Art):

• Erfolgsrate (Success Rate - SR): 46,85 % auf LOCOMO (Verbesserung gegenüber 42,00 % bei Hu et al.).
• Gesamt-F1-Score: 0,618 (gegenüber 0,583 bei Shah et al.).
• Multi-Hop F1: 0,594 (gegenüber 0,550).
• Langzeit-Retention (LOCCO): 56,90 % nach sechs Perioden (gegenüber 48,25 % bei Jia et al.).
• Falsch-Erinnerungs-Rate (False Memory Rate): Reduziert auf 5,1 % (gegenüber 6,8 % bei Phadke et al.).
• Kontextnutzung: Reduziert auf 58,40 % (gegenüber 64,98 % bei hierarchischen Ansätzen).
• Durchsatz: 10,4-fache Beschleunigung im Vergleich zu Baselines.

Ablationsstudie:
Die Entfernung einzelner Komponenten (z. B. der semantischen Schicht oder der Regularisierung) führte zu signifikanten Einbußen bei der Retention und einer Erhöhung der Falsch-Erinnerungs-Rate, was die Notwendigkeit der gesamten Architektur bestätigt.

5. Bedeutung und Ausblick

Diese Arbeit adressiert eine kritische Lücke in der Entwicklung von Langzeit-Dialogsystemen.

• Theoretischer Beitrag: Sie liefert ein Prinzipien-basiertes Framework für die Aufrechterhaltung semantischer Kontinuität ohne quadratische Kostensteigerung.
• Praktische Relevanz: Die Ergebnisse zeigen, dass Agenten in realen Szenarien (z. B. Kundenservice, persönliche Assistenten) über mehrere Sitzungen hinweg konsistent, faktengetreu und effizient agieren können.
• Zukunft: Das Framework legt den Grundstein für "Memory-Aware Agent Architectures", die Persona-Konsistenz und logisches Schlussfolgern auch unter strengen Kontextbudgets garantieren.

Zusammenfassend beweist das Paper, dass eine strukturierte, mehrschichtige Speicherarchitektur mit adaptiver Steuerung und Regularisierung den semantischen Drift effektiv kontrolliert und gleichzeitig die Rechenleistung optimiert.