💬 NLP

Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

Dieser Beitrag stellt xMemory vor, ein neuartiges Agenten-Gedächtnis-Framework, das den Standard-RAG-Ansatz verbessert, indem es Interaktionsverläufe in wiederverwendbare Komponenten zerlegt und diese hierarchisch aggregiert, um eine Top-Down-Recherche zu ermöglichen, die Redundanz reduziert und gleichzeitig kritische Details bewahrt, wodurch die Antwortqualität und die Inferenzeffizienz gesteigert werden.

Ursprüngliche Autoren: Zhanghao Hu, Qinglin Zhu, Runcong Zhao, Di Liang, Hanqi Yan, Yulan He, Lin Gui

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhanghao Hu, Qinglin Zhu, Runcong Zhao, Di Liang, Hanqi Yan, Yulan He, Lin Gui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „lautere Bibliothek" versus der „kluge Bibliothekar"

Stellen Sie sich vor, Sie sind ein KI-Assistent (ein „Agent"), der über viele Monate hinweg mit einem Menschen spricht. Sie verfügen über ein massives Gedächtnis, das jede einzelne Ihrer Gespräche enthält.

Der alte Weg (Standard-RAG):
Stellen Sie sich Ihr Gedächtnis als eine riesige, chaotische Bibliothek vor, in der jedes Buch lediglich ein rohes Transkript eines Gesprächs ist. Wenn der Benutzer eine Frage stellt, greift der „Bibliothekar" (die KI) die fünf Bücher heraus, die die meisten ähnlichen Wörter zur Frage enthalten.

Der Fehler: In einem langen Gespräch wiederholen sich Menschen oft oder sprechen über dasselbe Thema auf leicht unterschiedliche Weise. Wenn Sie fragen: „Wann habe ich meinen Job verloren?", könnte das alte System fünf verschiedene Seiten aus fünf verschiedenen Tagen herausgreifen, an denen Sie erwähnt haben, Ihren Job verloren zu haben. Es liefert Ihnen einen Haufen redundanter, verwirrender Informationen. Es ist so, als würden Sie nach einem spezifischen Datum fragen, und der Bibliothekar reicht Ihnen fünf verschiedene Kalender, auf denen alle „Januar" steht, aber keiner Ihnen sagt, welchen Januar.

Der neue Weg (xMemory):
Die Autoren argumentieren, dass das Gedächtnis eines Agents nicht wie eine Bibliothek mit zufälligen Büchern ist; es ist eher wie ein kontinuierlicher Strom von Ereignissen, bei dem Details eng miteinander verpackt sind. Um dies zu beheben, schlagen sie ein neues System namens xMemory vor.

Die Kernidee: „Entkopplung vor Aggregation"

Das Papier schlägt einen zweistufigen Prozess vor: Entkoppeln (die wichtigen Bits trennen) und dann Aggregieren (sie organisieren).

1. Entkopplung: Der „Fakt-Extraktor"

Anstatt ein ganzes Gespräch als einen großen Block zu behandeln, agiert xMemory wie ein erfahrener Redakteur. Es liest ein Gespräch und zieht die spezifischen, wiederverwendbaren Fakten, Aktualisierungen und Details heraus, trennt sie vom „Ballast" (wie „Hallo", „Wie geht's" oder wiederholten Begrüßungen).

Analogie: Stellen Sie sich vor, Sie haben einen unordentlichen Schreibtisch, der mit Haftnotizen bedeckt ist. Einige Notizen sagen „Meeting um 14 Uhr", andere „Meeting um 14 Uhr (bestätigt)" und wieder andere „Meeting um 14 Uhr (abgesagt)".
- Der alte Weg greift den ganzen Stapel Haftnotizen.
- xMemory schält nur die einzelne, genaueste Notiz heraus: „Meeting um 14 Uhr". Es isoliert die Wahrheit vom Rauschen.

2. Aggregation: Das „kluge Ablagesystem"

Sobald die Fakten isoliert sind, wirft xMemory sie nicht einfach in einen Eimer. Es organisiert sie in einer Hierarchie:

Segmente: Kleine Gruppen verwandter Ereignisse (wie ein spezifisches Gesprächsthema).
Komponenten: Die spezifischen Fakten, die aus diesen Segmenten extrahiert wurden (z. B. „Benutzer hat im Januar bei DoorDash den Job verloren").
Gruppen: Hochrangige Ordner, die verwandte Komponenten enthalten (z. B. „Berufliche Laufbahn des Benutzers").

Wesentlich ist, dass dieses System überarbeitbar ist. Wenn Sie ein neues Gespräch haben, das einen alten Fakt klärt, kann xMemory zurückgehen, einen unordentlichen Ordner aufteilen oder zwei kleine zusammenführen, um die Organisation perfekt zu halten. Es ist wie ein Aktenschrank, der sich automatisch neu organisiert, wenn Sie ein neues Dokument hinzufügen.

Wie es Antworten findet: Der „Detektiv von oben nach unten"

Wenn Sie eine Frage stellen, sucht xMemory nicht nur nach Schlüsselwörtern. Es verwendet einen Top-Down-Ansatz:

Stufe 1: Die Skelett-Suche. Es schaut sich zuerst die hochrangigen „Gruppen" und „Komponenten" (die Fakten) an. Es wählt das relevanteste „Rückgrat" an Beweisen aus. Es fragt: „Habe ich die richtigen Fakten, um dies zu beantworten?"
Stufe 2: Der Unsicherheits-Check. Nur wenn die Fakten nicht klar genug sind, gräbt es tiefer. Es erweitert die Suche auf die ursprünglichen Gesprächssegmente und Rohnachrichten nur, wenn es mehr Details benötigt, um seine „Unsicherheit" zu verringern.
- Analogie: Stellen Sie sich einen Detektiv vor, der ein Verbrechen aufklärt.
  - Alter Weg: Der Detektiv greift sich 20 Zeugenaussagen, die alle vage ähnlich klingen, und liest sie alle.
  - xMemory: Der Detektiv prüft zuerst die „Zusammenfassung des Falles" (die Gruppe). Wenn die Zusammenfassung sagt „Verdächtiger war in der Bank", bleibt der Detektiv dort stehen. Aber wenn die Zusammenfassung vage ist, holt der Detektiv dann das spezifische Transkript des Zeugen (das Segment), um die genaue Zeit zu erfahren.

Warum das wichtig ist (Die Ergebnisse)

Das Papier testete dieses System an zwei Datensätzen (LoCoMo und PerLTQA) mit verschiedenen KI-Modellen. Hier ist, was sie herausfanden:

Bessere Antworten: Da xMemory das „entscheidende Beweismaterial" vom „redundanten Rauschen" trennt, gibt die KI genauere Antworten, insbesondere bei kniffligen Fragen zu Zeit oder spezifischen Veränderungen im Leben eines Benutzers.
Günstiger und schneller: Das System verbraucht weniger „Tokens" (die Währung der KI-Verarbeitung). Anstatt der KI einen riesigen, unordentlichen Textblock zu füttern, wird ihr ein straffer, konzentrierter Paket von Fakten gegeben.
Effizienz: Es findet „dichteres" Beweismaterial. Anstatt 10 Seiten zu finden, die „Ich mag Pizza" sagen, findet es die eine spezifische Notiz, die sagt „Ich mag Pepperoni-Pizza".

Zusammenfassung in einem Satz

xMemory behebt das Problem, dass die KI durch ihre eigenen langen Gespräche verwirrt wird, indem sie zuerst die wichtigen Fakten vom Rauschen trennt, sie in einer sich selbst aktualisierenden Hierarchie organisiert und dann nur die exakte Menge an Details abruft, die benötigt wird, um eine Frage zu beantworten, wodurch Zeit und Geld gespart werden, während die Antwort korrekt bleibt.

Technische Zusammenfassung: Beyond RAG für Agenten-Gedächtnis: Retrieval durch Entkopplung und Aggregation

Problemstellung

Standard-Retrieval-Augmented-Generation (RAG)-Systeme sind grundlegend nicht mit den Anforderungen eines Agenten-Gedächtnisses abgestimmt. Während Standard-RAG für große, heterogene Dokumentenkorpora konzipiert ist, besteht ein Agenten-Gedächtnis aus begrenzten, kohärenten Interaktionsströmen, bei denen viele Abschnitte hochkorreliert oder nahezu dupliziert sind. In diesem Kontext liefert ein flaches Top- $k$ -Ähnlichkeits-Retrieval oft redundante Kontexte und scheitert daran, entscheidende Beweise zu unterscheiden, die in ähnlichen Historien verborgen sind. Umgekehrt verschwimmen bestehende hierarchische Gedächtnisstrategien, die auf progressive Komprimierung (z. B. Zusammenfassungen) setzen, oft die subtilen Details, die notwendig sind, um Kandidaten zu differenzieren, wie etwa kleine Aktualisierungen, Einschränkungen oder faktische Unterschiede. Die Kernherausforderung besteht nicht nur darin, relevante Texte zu lokalisieren, sondern spezifische, entscheidungsrelevante Beweise aus stark ähnlichen Interaktionsprotokollen zu isolieren.

Methodik: xMemory

Die Autoren schlagen xMemory vor, ein Framework, das die Gedächtnisstrukturierung mit einem adaptiven Retrieval koppelt, das auf dem Prinzip der Entkopplung vor der Aggregation basiert. Im Gegensatz zu traditionellen Ansätzen, die lange Interaktionsprotokolle als monolithische Einheiten behandeln, zerlegt xMemory die Historie in fein abgestimmte Beweiseinheiten, bevor sie organisiert werden.

1. Hierarchischer Gedächtnisaufbau

xMemory konstruiert eine revidierbare hierarchische Struktur durch drei Stufen:

Segmentierung: Rohnachrichten werden in zusammenhängende Segmente unterteilt, die jeweils ein kohärentes lokales Ereignis erfassen. Dies bewahrt den intakten lokalen Kontext, der bei isolierter Nachrichtenretrieval oft verloren geht.
Entkopplung: Jedes Segment wird in Gedächtniskomponenten zerlegt. Diese Komponenten sind prägnante, strukturierte Einheiten, die wiederverwendbare Fakten, Einschränkungen, Attribute, Relationen oder Zustandsaktualisierungen repräsentieren. Dieser Schritt isoliert distinctive Beweise vom umgebenden Narrativ.
Aggregation: Verwandte Komponenten werden zu hochrangigen Gruppen zusammengefasst. Diese Aggregation wird durch eine Zielfunktion geleitet, die Sparsamkeit (Bevorzugung ausgewogener Gruppengrößen zur Minimierung von Scan-Kosten) und semantische Treue (Sicherstellung der Kohärenz innerhalb der Gruppe und einer navigierbaren Geometrie zwischen den Gruppen) ausbalanciert.

2. Dynamische Wartung

Die Gedächtnisstruktur ist nicht statisch; sie entwickelt sich inkrementell weiter, wenn neue Interaktionen eintreffen.

Anbindung: Neue Komponenten werden basierend auf der Embedding-Ähnlichkeit an die nächstgelegene kompatible Gruppe angehängt.
Revidierbarkeit: Das System unterstützt Split- und Merge-Operationen. Zu große oder inkohärente Gruppen werden aufgeteilt, während kleine oder isolierte Gruppen zusammengeführt werden. Diese Operationen werden ausgelöst, wenn sie die Leitungszielfunktion verbessern, wodurch das System in der Lage ist, zuvor gespeicherte Komponenten auf Basis neuer Beweise rückwirkend neu zu organisieren.

3. Top-Down adaptives Retrieval

Das Retrieval erfolgt in zwei Stufen, um Redundanz zu minimieren und gleichzeitig ausreichenden Kontext sicherzustellen:

Stufe I: Auswahl des hochrangigen Rückgrats: Das System wählt zunächst eine kompakte Menge komplementärer Gruppen und Komponenten aus. Es nutzt eine gierige Auswahlstrategie, die Query-Relevanz gegen strukturelle Abdeckung abwägt und dabei vorab gepflegte $k$ -nächste-Nachbar (kNN)-Verbindungen zwischen Gruppen nutzt, um die Auswahl nahezu duplizierter Beweise zu vermeiden.
Stufe II: Adaptive Textexpansion: Erst nachdem das hochrangige Rückgrat etabliert ist, expandiert das System auf niedrigere Textebenen (Segmente und Rohnachrichten). Diese Expansion ist unsicherheitsgetrieben: Ein Segment oder eine Nachricht wird nur aufgenommen, wenn sie eine positive marginale Reduktion der Unsicherheit des Lesers bewirkt (gemessen via prädiktiver Entropie). Das Retrieval stoppt, wenn keine weitere Unsicherheitsreduktion mehr möglich ist.

Hauptbeiträge

Problemidentifikation: Die Arbeit identifiziert die Diskrepanz zwischen Standard-RAG-Annahmen und der Natur des Agenten-Gedächtnisses und argumentiert, dass ein Agenten-Gedächtnis ein Prinzip der „Entkopplung vor der Aggregation" erfordert.
xMemory-Framework: Die Vorstellung eines Frameworks, das eine revidierbare hierarchische Gedächtnisstruktur konstruiert, indem es die Historie segmentiert, Segmente in Gedächtniskomponenten entkoppelt und Komponenten zu hochrangigen Gruppen aggregiert.
Adaptives Retrieval: Die Entwicklung einer Top-Down-Retrieval-Methode, die einen kompakten Beweis-Rückgrat auswählt, bevor sie basierend auf Unsicherheitsreduktion auf Rohtext expandiert, was nachweislich sowohl die Antwortqualität als auch die Effizienz der Inferenz-Token verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten xMemory auf zwei Benchmarks: LoCoMo (Multi-Session-Dialog) und PerLTQA (personalisiertes Langzeitgedächtnis), unter Verwendung diverser Open-Source- (Qwen3-8B, Llama-3.1-8B) und Closed-Source- (GPT-5 nano) LLMs.

Antwortqualität: xMemory erzielte konsistent die höchsten durchschnittlichen BLEU- und F1-Scores über alle Backbone-Modelle und Datensätze hinweg. Beispielsweise verbesserte es auf LoCoMo mit Qwen3-8B den durchschnittlichen BLEU/F1 von 31,44/40,88 (Nemori-Baseline) auf 34,48/43,98.
Effizienz: xMemory zeigte eine überlegene Token-Effizienz. Auf LoCoMo mit Qwen3-8B reduzierte es die Inferenz-Token-Nutzung von 7.755 (Nemori) auf 4.711, während es gleichzeitig die Antwortqualität verbesserte.
Beweisdichte: Die Analyse zeigte, dass xMemory dichtere Beweise retrieves, mit höheren Anteilen an „Multi-Hit"-Blöcken (die mehrere distincte Antwortbeweiseinheiten enthalten) im Vergleich zu Naive-RAG- und Pruning-basierten Baselines.
Kosten-Leistungs-Abwägung: Unter Berücksichtigung sowohl der Kosten für den Gedächtnisaufbau als auch der Inferenzkosten erreichte xMemory die günstigste Balance und übertraf strukturierte Gedächtnis-Baselines in der Qualität, während es gleichzeitig niedrigere Gesamtkosten für Token beibehielt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ein effektives Agenten-Gedächtnis vergangene Interaktionen nicht nur abrufen oder komprimieren darf, sondern sie in beweisorientierte Strukturen neu organisieren muss, die subtile Unterscheidungen zugänglich machen. Durch die Entflechtung hochkorrelierter Erinnerungen in semantische Komponenten und das top-down-Retrieval reduziert xMemory Redundanz, während es zeitlich verknüpfte Beweise bewahrt. Die Autoren gehen davon aus, dass ihre Arbeit einen Schritt hin zu adaptiveren und effizienteren Gedächtnissystemen für Langzeit-Horizont-LLM-Agenten darstellt, die spezifische Retrieval-Herausforderungen adressieren, die durch kohärente, überlappende Interaktionsströme entstehen und die Standard-RAG nicht bewältigen kann.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und stellen fest, dass die Evaluation auf spezifische Benchmarks (LoCoMo und PerLTQA) beschränkt ist und dass die Abhängigkeit von LLM-generierten Komponenten potenzielle Extraktionsfehler einführt. Sie schlagen vor, dass zukünftige Arbeiten breitere agentische Settings und robustere Extraktionsmechanismen erforschen sollten.