Technische Samenvatting: ENGRAM

1. Probleemstelling

Large Language Models (LLMs) die worden ingezet in gebruikersgerichte applicaties vereisen long-horizon consistentie: het vermogen om eerdere interacties te onthouden, gebruikersvoorkeuren te respecteren en redeneringen te funderen in het verleden. De standaard LLM's resetten echter zodra de input hun contextvenster overschrijdt, wat leidt tot broze gedragingen zoals vergeten, tegenstrijdigheden of een afhankelijkheid van pre-training data.

Hoewel eerdere inspanningen hebben geprobeerd contextvensters uit te breiden of complexe geheugensystemen te bouwen, vertrouwen hedendaagse benaderingen vaak op complexe architecturen met behulp van kennisgrafen, multi-stage retrieval-pipelines of operating-system-achtige schedulers. De auteurs stellen dat deze ontwerpen leiden tot aanzienlijke engineering-complexiteit, uitdagingen in reproduceerbaarheid en latentie-overhead, wat de fundamentele mechanismen die nodig zijn voor effectief langetermijngeheugen vaak vertroebelt.

2. Methodologie: De ENGRAM-architectuur

ENGRAM wordt voorgesteld als een lichtgewicht, state-of-the-art geheugensysteem dat hoge prestaties bereikt door eenvoud in plaats van architecturale complexiteit. Het organiseert conversaties in drie canonieke geheugentypen—episodisch, semantisch en procedureel—beheerd via een enkele router en een enkele retriever.

Het systeem werkt via vijf afzonderlijke stadia (geïllustreerd in Figuur 1 van het paper):

1. Routing: Een router analyseert elke inkomende gebruikersuitspraak en bepaalt welke van de drie geheugenbakken (episodisch, semantisch of procedureel) moet worden bijgewerkt. Dit wordt gerepresenteerd als een compact drie-bits masker.
2. Extractie & Embedding: Voor elke geselecteerde bak zet een lichtgewicht extractor de uitspraak om in een genormaliseerd record met een specifiek schema:
   • Episodisch: Codeert tijdgebonden gebeurtenissen (velden: titel, samenvatting, temporele anker, embedding).
   • Semantisch: Bewaart stabiele feiten of voorkeuren (velden: fact string, temporele anker, embedding).
   • Procedureel: Houdt instructies of workflows vast (velden: titel, genormaliseerde inhoud, temporele anker, embedding).
     Deze records worden gekoppeld aan dense vector embeddings en worden opgeslagen in een lokale SQLite-database.
3. Dense Retrieval: Op het moment van query wordt de query geëmbed en worden de top-$k$ items (op basis van cosine similarity) onafhankelijk uit elke van de drie opslagplaatsen opgehaald.
4. Aggregatie & Truncatie: De opgehaalde resultaten uit de drie opslagplaatsen worden samengevoegd, gededupliceerd en afgekort tot een vast budget (bijv. $K=25$ totale records). Deze set-aggregatiestrategie zorgt ervoor dat heterogene bewijstypes (gebeurtenissen, feiten, instructies) allemaal vertegenwoordigd zijn voordat ze naar het model worden doorgegeven.
5. Antwoordgeneratie: De geselecteerde records worden geserialiseerd met hun temporele ankers en geïnjecteerd in een prompt samen met de query. Om multi-speaker dialogen te verwerken, onderhoudt het systeem spreker-specifieke banken om vermenging van stemmen te voorkomen.

3. Belangrijkste Bijdragen

• Een Minimalistisch Geheugenparadigma: Het paper daagt de trend naar complexe grafische of scheduler-zware geheugensystemen uit. Het demonstreert dat zorgvuldige geheugentyping (het scheiden van episodische, semantische en procedurele data) gecombineerd met eenvoudige dense retrieval voldoende is om state-of-the-art resultaten te behalen.
• Getypeerde Separatie: Door het geheugen te partitioneren in getypeerde opslagplaatsen, vermindert ENGRAM de competitie bij retrieval. Dit voorkomt dat ongerelateerde items uit verschillende categorieën strijden in een enkele globale ranking, waardoor diverse bewijstypes worden bewaard.
• Reproduceerbaarheid en Eenvoud: Het systeem is ontworpen om interpreteerbaar, eenvoudig vervangbaar en reproduceerbaar te zijn. Het gebruikt een enkele router en retriever, waardoor de "degrees of freedom" die aanwezig zijn in multi-stage pipelines worden vermeden.
• Uitgebreide Evaluatie: De auteurs bieden een volledige implementatie en evaluatie-harness, inclus\n bij ablatie-studies en vergelijkingen met diverse baselines.

4. Resultaten

Het systeem werd geëvalueerd op twee benchmarks: LoCoMo (multi-session conversational QA) en LongMemEval (extended-horizon conversational QA).

• LoCoMo Prestaties:

  • ENGRAM behaalde de hoogste algemene semantische correctheid (LLM-as-Judge score: 77,55%) van alle baselines, inclusief Mem0, MemOS, LangMem, Zep en full-context controles.
  • Het vertoonde bijzonder sterke marges in multi-hop (79,79%) en open-domain (72,92%) redeneren.
  • Efficiëntie: ENGRAM gebruikte gemiddeld 916 tokens voor zijn evidence context, wat een reductie van >35% betekent vergeleken met de meeste baselines, terwijl de superieure nauwkeurigheid behouden bleef.
  • Latentie: Met een mediane totale responstijd van 1,487 seconden was ENGRAM aanzienlijk sneller (ongeveer 85% reductie) dan full-context baselines (9,94s) terwijl het hen in nauwkeurigheid overtrof.

• LongMemEval Prestaties (Schaalbaarheid):

  • Bij tests op LongMemEvalS (waar de historie orden van grootte langer is), overtrof ENGRAM de full-context baseline met 15 absolute punten (71,40% vs. 56,20%).
  • Cruciaal is dat het dit bereikte met slechts ~1% van de tokens (~1,0–1,2K vs. 101K) die de full-context benadering vereiste.
  • Dit suggereert dat de architectuur fungeert als een effectieve informatie-bottleneck, die hoog-signaal gebeurtenissen en feiten naar boven haalt in plaats van het model te dwingen door enorme, afleidende contexten te ploeteren.

5. Betekenis en Claims

Het paper stelt dat de heersende trend naar toenemende architecturale complexiteit in geheugensystemen onnodig is. De auteurs beweren dat getypeerde geheugenseparatie en eenvoudige dense retrieval voldoende zijn om long-horizon redeneren te ondersteunen.

• Uitdaging van Complexiteit: De resultaten dagen direct de aanname uit dat langetermijngeheugen complexe schedulers of zware grafische constructie vereist.
• Schaalbaarheid: Het systeem demonstreert dat een eenvoudig ontwerp kan generaliseren naar extreme horizonten (LongMemEval) zonder prestatieverlies, waarbij het "lost-in-the-middle" effect effectief wordt gemitigeerd door de historie te filteren tot een compacte, hoog-signaal bewijsset.
• Praktische Bruikbaarheid: Door het tokenbudget en de latentie te verlagen terwijl de nauwkeurigheid wordt verbeterd, biedt ENGRAM een levensvatbaar fundament voor de implementatie in de echte wereld in scenario's met strikte efficiëntiebeperkingen.

De auteurs concluderen dat ENGRAM dient als een transparante, reproduceerbare baseline die de nauwkeurigheid-efficiëntie grens verschuift, en bewijst dat eenvoud beter kan presteren dan uitgebreide orchestratie in het domein van conversationeel geheugen.