💬 NLP

TeleMem: Building Long-Term and Multimodal Memory for Agentic AI

TeleMem ist ein vereinheitlichtes, langfristiges und multimodales Gedächtnissystem für agentische KI, das die Einschränkungen bestehender Retrieval-Augmented-Generation-Methoden durch narrative dynamische Extraktion, eine strukturierte Schreibpipeline und ReAct-ähnliche Argumentation überwindet und so eine überlegene Genauigkeit, Effizienz und Geschwindigkeit bei langfristigen Rollenspiel-Benchmarks erreicht.

Ursprüngliche Autoren: Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

Veröffentlicht 2026-01-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein tiefgründiges, jahrelanges Gespräch mit einem sehr klugen Freund (einer KI) zu führen. Das Problem ist, dass dieser Freund eine sehr kurze Aufmerksamkeitsspanne hat. Wenn Sie zu lange reden, beginnt er, sich an den Anfang des Gesprächs nicht mehr zu erinnern, oder er gerät über die Reihenfolge der Ereignisse durcheinander. Er könnte sogar Fakten erfinden, die nie stattgefunden haben, weil er versucht zu erraten, was Sie gemeint haben.

Das Paper stellt TELEMEM vor, ein neues System, das diesem KI-Freund ein „Supergedächtnis“ verleihen soll, das wie das Langzeitgedächtnis eines Menschen funktioniert, aber perfekt organisiert ist, damit er sich nie verirrt.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Das Problem: Der „Zettelstapel“ vs. der „Geschichtenfaden“

Die meisten aktuellen KI-Speichersysteme funktionieren wie ein Haufen von Klebezetteln.

Sie schreiben eine Notiz über Ihren Hund.
Später schreiben Sie eine Notive über den Namen Ihres Hundes.
Später schreiben Sie eine Notiz über das Lieblingsspielzeug Ihres Hundes.
Wenn die KI eine Frage beantworten muss, schnappt sie sich ein paar zufällige Klebezettel, die ähnlich aussehen.
Der Fehler: Die Zettel sind nicht miteinander verbunden. Die KI weiß vielleicht den Namen des Spielzeugs, vergisst aber den Namen des Hundes, oder sie bringt die Reihenfolge der Ereignisse durcheinander. Es ist, als würde man versuchen, ein Buch zu lesen, bei dem die Seiten durcheinandergewürfelt wurden.

TELEMEM ändert dies. Anstatt eines Stapels Notizen baut es einen riesigen, organisierten Stammbaum von Geschichten auf.

Es verbindet jede neue Information mit der spezifischen Geschichte, zu der sie gehört.
Es weiß, dass „Name des Hundes“ von „Dem Hund begegnet sein“ abhängt, was wiederum von „Dem Tag, an dem Sie umgezogen sind“ abhängt.
Dies schafft einen Faden. Wenn die KI sich etwas erinnern muss, greift sie nicht nur nach einem Zettel; sie zieht den gesamten Faden und stellt so sicher, dass die Geschichte von Anfang bis Ende Sinn ergibt.

2. Das Schreiben von Erinnerungen: Der „Redaktionstisch“

Wenn Sie mit der KI sprechen, speichert sie nicht einfach jedes einzelne Wort, das Sie sagen (das wäre zu unordentlich und teuer).

Der alte Weg: Speichere jeden Satz.
Der TELEMEM-Weg: Stellen Sie sich einen geschäftigen Redakteur vor. Wenn Sie ein Gespräch beenden, macht der Redakteur Folgendes:
1. Zusammenfassen: Er fasst die wichtigsten Punkte zusammen.
2. Prüfen: Er prüft, ob dies etwas Neues ist oder ob es etwas ergänzt, das er bereits weiß.
3. Gruppieren: Er gruppiert ähnliche Themen zusammen (wie das Ablegen aller „Urlaubsgeschichten“ in einem Ordner).
4. Konsolidieren: Er führt sie zu einem sauberen, klaren Eintrag zusammen.
Dies geschieht in Batches (Paketen), damit die KI nicht überfordert wird. Sie speichert die „Essenz“ des Gesprächs, nicht das Rauschen.

3. Das Lesen von Erinnerungen: Die „Landkarte des Detektivs“

Wenn Sie die KI später eine Frage stellen, sucht sie nicht einfach nach Schlüsselwörtern.

Der alte Weg: „Suche nach allem über ‚Urlaub‘.“ (Ergebnis: Ein zufälliges Gemisch aus Sätzen).
Der TELEMEM-Weg: Sie agiert wie ein Detektiv, der einer Landkarte folgt.
- Sie findet den Ausgangspunkt (den „Keim“ der Frage).
- Sie verfolgt dann die Abhängigkeiten rückwärts: „Um diesen Urlaub zu verstehen, muss ich wissen, wer verreist ist, wann sie abgereist sind und was davor passiert ist.“
- Sie sammelt die gesamte Kette der Ereignisse (den „Abschluss“), damit die KI den vollen Kontext hat, um eine kluge Antwort zu geben, anstatt eine fragmentierte.

4. Sehen und Handeln: Der „Video-Detektiv“

Die meisten KI-Speichersysteme verstehen nur Text. TELEMEM ist besonders, weil es auch Videos speichern kann.

Wenn Sie der KI ein Video eines komplexen Ereignisses zeigen, speichert sie nicht einfach nur die Videodatei.
Sie nutzt eine „Denken-Handeln-Beobachten“-Schleife (wie ein Detektiv, der einen Fall löst):
1. Denken: „Ich muss wissen, was in der 5. Minute passiert ist.“
2. Handeln: Sie geht zurück zum Video, um genau diesen Moment zu prüfen.
3. Beobachten: Sie sieht die Details und fügt sie ihrem Gedächtnis hinzu.
Dies ermöglicht es der KI, über komplexe visuelle Ereignisse zu urteilen, anstatt nur ein Transkript davon zu lesen.

Die Ergebnisse: Warum es wichtig ist

Die Autoren haben dieses System mit anderen führenden Speichersystemen (wie Mem0) verglichen und fanden:

Intelligentere Antworten: Es beantwortete 19 % mehr Fragen korrekt bei einem schwierigen Test über lange Gespräche.
Günstiger & Schneller: Es verbrauchte 43 % weniger Rechenleistung (Tokens) und war 2,1-mal schneller.
Keine Halluzinationen: Da es die „Geschichtenfäden“ organisiert hält, ist es viel weniger wahrscheinlich, dass es Fakten erfindet oder sich über die Vergangenheit verwirrt.

Kurz gesagt: TELEMEM verwandelt das Gedächtnis der KI von einer unordentlichen Kiste mit losen Papieren in eine gut organisierte, miteinander verbundene Bibliothek, in der jede Geschichte mit der nächsten verknüpft ist, was es der KI ermöglicht, lange Gespräche klar, effizient und präzise zu erinnern.

Technisches Resümee: TELEMEM

1. Problemstellung

Large Language Models (LLMs) stehen aufgrund begrenzter Kontextfenster und der Degradation der Erinnerungsleistung über ausgedehnte Verläufe vor erheblichen Einschränkungen in langfristigen interaktiven Szenarien. Während Retrieval-Augmented Generation (RAG) die Probleme der Speicherkapazität lindert, behandeln konventionelle Pipelines Erinnerungen als unabhängige, ungeordnete Fragmente. Dieser Ansatz mangelt es an prinzipienbasierten Mechanismen für Konsolidierung, Aktualisierung und kausale Organisation, was zu Folgendem führt:

Fragmentierter Kontext: Abgerufene Informationen lassen oft kritische Voraussetzungen oder die zeitliche Abfolge aus.
Instabile Argumentation: Das Fehlen einer kausalen Struktur führt zu inkonsistenter Langzeit-Argumentation.
Ineffizienz: Häufige, nicht gebündelte LLM-Aufrufe für das Schreiben und Abrufen führen zu hohem Token-Verbrauch und hoher Latenz.
Multimodale Lücken: Bestehende Systeme sind überwiegend textzentriert und haben Schwierigkeiten, visuelle, auditive und temporale Informationen für verkörperte oder multimediale Agenten zu integrieren.
Halluzinationsrisiken: Die Abhängigkeit von großen, vordefinierten Schemata führt häufig zu hallucinierten Attributen, wenn reale Konversationen nur spärliche Signale liefern.

2. Methodik: Das TELEMEM-Framework

TELEMEM ist ein vereinheitlichtes System für das langfristige und multimodale Gedächtnis, das das Gedächtnis als strukturierte, evolvierbare semantische Trajektorien statt als isolierte Fragmente organisiert. Seine Architektur besteht aus drei eng gekoppelten Komponenten:

A. Gedächtnisgraph-Formulierung (Die Struktur)

Das Gedächtnis wird als gerichteter azyklischer Graph (DAG) formalisiert, $G = (V, E)$ , wobei:

Knoten ( $V$ ): Stabilisierte semantische Gedächtniszustände repräsentieren (Profilzustände, Ereigniszustände oder Entitäts-/Objektzustände). Jeder Knoten enthält konsolidierte semantische Inhalte, einen Embedding-Vektor und einen effektiven Zeitstempel, der die semantische Gültigkeitsreihenfolge widerspiegelt.
Kanten ( $E$ ): Definieren durchgängige kausale Abhängigkeiten. Eine gerichtete Kante $p \to v_i$ zeigt an, dass der Knoten $v_i$ semantisch vom vorangegangenen Knoten $p$ abhängig ist.
Minimaler kausaler Skelett-Struktur: Der Graph behält nur irreduzible Abhängigkeiten bei. Redundante oder transitive Kanten werden entfernt, um kompakte, interpretierbare Root-to-Node-Threads sicherzustellen, welche die Evolution von Themen und Zuständen erfassen.

B. Gedächtnisschreib-Pipeline (Der Aktualisierungsmechanismus)

TELEMEM entkoppelt Repräsentations-Updates von Index-Updates und nutzt eine strukturierte Schreib-Pipeline, um Kosten zu amortisieren und Konsistenz zu gewährleisten:

Zusammenfassung: Dialog-Turns oder multimodale Beobachtungen werden in textuelle Einheiten zusammengefasst.
Retrieval-Abgleich: Neue Zusammenfassungen werden mit dem bestehenden Gedächtnis abgeglichen, um verwandte historische Knoten zu identifizieren.
Globale Clusterbildung: Neue und abgerufene Kandidaten werden zusammengeführt und in semantische Gruppen geclustert.
LLM-basierte Konsolidierung: Ein LLM verarbeitet jeden Cluster, um Redundanzen und Inkonsistenzen aufzulösen und Aktionen (Hinzufügen, Löschen, Aktualisieren, No-op) zuzuweisen, um verfeinerte, stabilisierte Knoten zu erzeugen.
Gedächtnis-Wartung:
- Offline: Knoten werden in zeitlicher Reihenfolge verarbeitet, um den Graph-Index unter Einhaltung von Zeitbeschränkungen und Pruning-Kriterien mittels eines Insert-Operators aufzubauen.
- Online: Echtzeit-Updates nutzen leichtgewichtige Insert- und ReInsert-Operatoren. ReInsert wird ausgelöst, wenn sich der Inhalt eines Knotens ändert, wodurch dessen eingehende Kanten neu berechnet und seine Kinder aktualisiert werden, um die Threading-Konsistenz aufrechtzuerhalten, ohne die globale DAG-Eigenschaft zu verändern.

C. Gedächtnis-Lesen & Argumentation (Der Abrufmechanismus)

Anstatt "Top-K Fragment-Stitching" verwendet TELEMEM Abschluss-basiertes Retrieval (Closure-Based Retrieval):

Seed-Identifikation: Relevante Seed-Knoten werden über die Embedding-Ähnlichkeit identifiziert.
Abschluss-Expansion: Das System traversiert rekursiv die Abhängigkeitskanten rückwärts von den Seeds, um alle erreichbaren Ahnenknoten (Voraussetzungen) bis zur virtuellen Wurzel zu sammeln.
Kontext-Linearisierung: Der resultierende abgeschlossene Subgraph wird chronologisch sortiert und in einen kohärenten Kontext für die nachgeschaltete Argumentation serialisiert.

Multimodale Erweiterung:
Für komplexe Videoinhalte integriert TELEMEM ein ReAct-artiges Argumentations-Framework. Ein Agent iteriert durch Think–Act–Observe-Zyklen und nutzt Werkzeuge für Video-Retrieval, Video-RAG (geerdete Zusammenfassung) und Video-QA (visuelle Detailextraktion), um eine Closed-Loop-Argumentation über Rohvideo-Streams durchzuführen.

3. Zentrale Beiträge

Vereinheitlichtes Framework: Einführung von TELEMEM, einem System, das kohärente, hallucinationsresistente Benutzerprofile durch narrative Extraktion und strukturierte Organisation aufrechterhält.
Strukturierter Gedächtnisgraph: Vorschlag eines Gedächtnisgraphen mit durchgängigen Abhängigkeiten und abschlussbasiertem Retrieval, was eine abhängigkeitsbewusste Kontextrekonstruktion und stabile Langzeit-Argumentation ermöglicht.
Effiziente Schreib-Pipeline: Ein Design, das gebündeltes Retrieval, semantische Clusterbildung und LLM-basierte Konsolidierung durchführt, was Speicherredundanz, Token-Overhead und End-to-End-Latenz reduziert.
Multimodale Argumentation: Entwicklung eines multimodalen Moduls mit ReAct-artiger Argumentation, das End-to-End Observe–Think–Act-Fähigkeiten für komplexes Video-Verständnis ermöglicht.

4. Experimentelle Ergebnisse

Die Experimente wurden auf den Benchmarks ZH-4O (Chinesisches Rollenspiel) und LoCoMo (Englisches Langkontext-Szenario) durchgeführt.

ZH-4O Performance: TELEMEM erreichte eine QA-Genauigkeit von 86,33 % und übertraf damit den State-of-the-Art Mem0 (70,20 %) um 19 % in der relativen Genauigkeit. Es reduzierte zudem den Token-Verbrauch um 43 % und erzielte eine 2,1-fache Beschleunigung im Vergleich zu den Baselines.
LoCoMo Performance: TELEMEM zeigte eine wettbewerbsfähige Leistung bei Single-Hop-Aufgaben (64,53 %) und temporaler Argumentation (78,47 %) und näherte sich in diesen Kategorien der Leistung von Long-Context-LLMs an. Es zeigte jedoch eine schwächere Leistung bei Multi-Hop-Argumentation (20,56 %) im Vergleich zu spezialisierten Baselines wie Memobase (66,04 %), was auf verbleibende Herausforderungen in der komplexen relationalen Argumentation hindeutet.
Read-Write Scaling Law: Experimente zur Variation der Modellgrößen für die Gedächtnis-Schreib- und Lesemodelle zeigten, dass die Leistung monoton steigt, wenn entweder die Schreib- oder die Lesekapazität skaliert wird. Die besten Ergebnisse werden erzielt, wenn sowohl die Schreib- als auch die Lesekapazitäten gemeinsam skaliert werden, was deren interdependentes Wesen unterstreicht.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass TELEMEM fundamentale Einschränkungen aktueller RAG-Systeme adressiert, indem es von ungeordnetem Fragment-Retrieval zu strukturierten, kausalen Gedächtnistrajektorien übergeht. Die Bedeutung liegt in:

Stabilität: Durch die Rekonstruktion kohärenter kausaler Kontexte via Abschluss-basiertem Retrieval stabilisiert es die Langzeit-Argumentation.
Effizienz: Die strukturierte Schreib-Pipeline reduziert den Token-Verbrauch und die Latenz erheblich, was langes Gedächtnis für Echtzeit-Agenten praktikabel macht.
Robustheit: Die narrative Extraktion vermeidet Schema-getriebene Halluzinationen und erhält zuverlässige Benutzerprofile.
Multimodalität: Es erweitert die Gedächtnisfähigkeiten über Text hinaus und unterstützt Closed-Loop-Argumentation über komplexe visuelle Inhalte.

Die Autoren kommen zu dem Schluss, dass, obwohl kein einzelner Ansatz alle Argumentationsarten dominiert, das koordinierte Read-Write-Design und die strukturierte Organisation von TELEMEM ein überlegenes Gleichgewicht zwischen Genauigkeit, Effizienz und Skalierbarkeit für agentische KI in langfristigen interaktiven Settings bieten.