Technische Samenvatting: TELEMEM

1. Probleemstelling

Large Language Models (LLMs) kampen met aanzienlijke beperkingen in langdurige interactieve omgevingen door een eindig contextvenster en de degradatie van het geheugen over uitgebreide geschiedenissen. Hoewel Retrieval-Augmented Generation (RAG) problemen met opslagcapaciteit verlicht, behandelen conventionele pipelines herinneringen als onafhankelijke, ongeordende fragmenten. Deze aanpak mist principiële mechanismen voor consolidatie, updates en causale organisatie, wat leidt tot:

• Gefragmenteerde Context: Ophalen van informatie laat vaak cruciale vereisten of de temporele volgorde weg.
• Instabiele Redenering: De afwezigheid van een causale structuur induceert inconsistente redeneringen over lange termijn.
• Inefficiëntie: Veelvuldige, niet-gebatched LLM-aanroepen voor schrijven en ophalen resulteren in hoog tokengebruik en latentie.
• Multimodale Gaten: Bestaande systemen zijn overwegend tekstgericht en hebben moeite met het integreren van visuele, auditieve en temporele informatie voor belichaamde of multimedia-agenten.
• Risico op Hallucinaties: De afhankelijkheid van grote vooraf gedefinieerde schema's leidt vaak tot gehallucineerde attributen wanneer echte gesprekken weinig signalen bieden.

2. Methodologie: Het TELEMEM-framework

TELEMEM is een verenigd systeem voor langetermijn- en multimodale geheugens dat geheugen organiseert als gestructureerde, evolueerbare semantische trajecten in plaats van geïsoleerde fragmenten. De architectuur bestaat uit drie nauw gekoppelde componenten:

A. Geheugengraaf Formulering (De Structuur)

Geheugen wordt geformaliseerd als een Directed Acyclic Graph (DAG), $G = (V, E)$, waarbij:

• Knopen ($V$): Gestabiliseerde semantische geheugentoestanden vertegenwoordigen (profieltoestanden, event-toestanden, of entiteit/objecttoestanden). Elke knoop bevat geconsolideerde semantische inhoud, een embedding-vector en een effectieve tijdstempel die de semantische geldigheidvolgorde weerspiegelt.
• Randen ($E$): Definiëren getrapte causale afhankelijkheden. Een gerichte rand $p \to v_i$ geeft aan dat knoop $v_i$ semantisch geconditioneerd is op de voorafgaande knoop $p$.
• Minimale Causale Skeleton: De graaf behoudt alleen irreducibele afhankelijkheden. Redundante of transitieve randen worden gepruned om compacte, interpreteerbare root-to-node threads te waarborgen die de evolutie van onderwerpen en toestanden vastleggen.

B. Geheugen Schrijf-pipeline (Het Update-mechanisme)

TELEMEM ontkoppelt representatie-updates van index-updates door een gestructureerde schrijf-pipeline te gebruiken om kosten te amortiseren en consistentie te waarborgen:

1. Samenvatting: Dialoogbeurten of multimodale observaties worden samengevat in tekstuele eenheden.
2. Retrieval Alignment: Nieuwe samenvattingen worden gematcht met bestaand geheugen om gerelateerde historische knopen te identificeren.
3. Globale Clustering: Nieuwe en opgehaalde kandidaten worden samengevoegd en geclusterd in semantische groepen.
4. LLM-gebaseerde Consolidatie: Een LLM verwerkt elk cluster om redundantie en inconsistenties op te lossen, waarbij acties (toevoegen, verwijderen, bijwerken, no-op) worden toegewezen om verfijnde, gestabiliseerde knopen te produceren.
5. Graaf Onderhoud:
   • Offline: Knopen worden in tijdstempelvolgorde verwerkt om de graafindex te construeren met behulp van een Insert-operator die de temporele beperkingen en pruning-criteria respecteert.
   • Online: Real-time updates gebruiken lichtgewicht Insert en ReInsert operators. ReInsert wordt getriggerd wanneer de inhoud van een knoop verandert, waarbij de inkomende randen opnieuw worden berekend en de kinderen worden ververst om de getrapte consistentie te handhaven zonder de globale DAG-eigenschap te wijzigen.

C. Geheugen Lezen & Redeneren (Het Retrieval-mechanisme)

In plaats van "Top-K fragment stitching", gebruikt TELEMEM Closure-Based Retrieval:

• Seed Identificatie: Relevante seed-knopen worden geïdentificeerd via embedding-gelijkenis.
• Closure Expansie: Het systeem doorloopt recursief de afhankelijkheidsranden terugwaarts vanaf de seeds om alle bereikbare voorouder-knopen (vereisten) te verzamelen tot aan de virtuele root.
• Context Linearisatie: De resulterende gesloten subgraaf wordt chronologisch gesorteerd en geserialiseerd naar een coherente context voor downstream redenering.

Multimodale Extensie:
Voor complexe videocontent integreert TELEMEM een ReAct-stijl redeneringsframework. Een agent doorloopt think–act–observe cycli, waarbij tools worden gebruikt voor video-retrieval, video-RAG (gegronde samenvatting) en video-QA (visuele detailextractie) om closed-loop redenering over ruwe videostreams uit te voeren.

3. Belangrijkste Bijdragen

1. Verenigd Framework: Introductie van TELEMEM, een systeem dat coherente, hallucinatie-resistente gebruikersprofielen onderhoudt door middel van narratief-gestuurde extractie en gestructureerde organisatie.
2. Gestructureerde Geheugengraaf: Een voorstel voor een geheugengraaf met getrapte afhankelijkheden en closure-gebaseerde retrieval, wat afhankelijkheidsbewuste context-reconstructie en stabiele redenering over lange termijn mogelijk maakt.
3. Efficiënte Schrijf-pipeline: Een ontwerp dat gebatched retrieval, semantische clustering en LLM-gebaseerde consolidatie uitvoert, wat opslagredundantie, token-overhead en end-to-end latentie vermindert.
4. Multimodale Redenering: Ontwikkeling van een multimodale module met ReAct-stijl redenering, wat end-to-end observe–think–act capaciteiten mogelijk maakt voor complexe video-begrip.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de ZH-4O (Chinese rollenspel) en LoCoMo (Engelse long-context) benchmarks.

• ZH-4O Prestaties: TELEMEM behaalde een 86,33% QA-nauwkeurigheid, waarmee het de state-of-the-art Mem0 (70,20%) met 19% in relatieve nauwkeurigheid versloeg. Het verminderde ook het tokengebruik met 43% en behaalde een 2,1× versnelling vergeleken met baselines.
• LoCoMo Prestaties: TELEMEM demonstreerde competitieve prestaties in single-hop (64,53%) en temporele redenering (78,47%), waarbij het de prestaties van Long Context LLMs in deze categorieën benadert. Het vertoonde echter zwakkere prestaties op multi-hop redenering (20,56%) vergeleken met gespecialiseerde baselines zoals Memobase (66,04%), wat wijst op resterende uitdagingen in complexe relationele redenering.
• Read-Write Scaling Law: Experimenten waarbij de modelgroottes voor geheugen-schrijvende en leesende LLM's varieerden, toonden aan dat de prestaties monotoon verbeteren naarmate zowel de schrijf- als de leescapaciteit schalen. De beste resultaten worden behaald wanneer zowel de schrijf- als de leescapaciteit gezamenlijk worden opgeschaald, wat hun onderlinge afhankelijkheid benadrukt.

5. Betekenis en Claims

Het artikel beweert dat TELEMEM fundamentele beperkingen van huidige RAG-systemen aanpakt door over te stappen van ongeordende fragment-retrieval naar gestructureerde, causale geheugentrajecten. De betekenis ligt in:

• Stabiliteit: Door coherente causale contexten te reconstrueren via closure-gebaseerde retrieval, stabiliseert het redenering over lange termijn.
• Efficiëntie: De gestructureerde schrijf-pipeline vermindert het tokenverbruik en de latentie aanzienlijk, waardoor langetermijngeheugen praktisch wordt voor real-time agenten.
• Robuustheid: Narratief-gestuurde extractie voorkomt schema-gestuurde hallucinaties, waardoor betrouwbare gebruikersprofielen behouden blijven.
• Multimodaliteit: Het breidt de geheugencapaciteiten uit voorbij tekst, door closed-loop redenering over complexe visuele content te ondersteunen.

De auteurs concluderen dat hoewel geen enkele aanpak alle soorten redenering domineert, het gecoördineerde read-write ontwerp en de gestructureerde organisatie van TELEMEM een superieur evenwicht bieden tussen nauwkeurigheid, efficiëntie en schaalbaarheid voor agentic AI in langdurige interactieve settings.