Technische Samenvatting: Engram – Een Bi-temporele Geheugenmotor voor LLM-agenten

1. Probleemstelling

Langetermijngeheugen blijft een kritiek gat voor LLM-agenten, die inherent staatloos zijn tussen sessies door. De gangbare workaround—het concateneren van de volledige gesprekshistorie in de prompt—lijdt onder drie cumulerende problemen:

1. Kosten en Latentie: Tokenkosten en inferentielatentie groeien lineair met de lengte van de historie.
2. Degradatie van Nauwkeurigheid: Naarmate irrelevante beurten accumuleren ("distractoren"), heeft het model moeite met het lokaliseren van relevante bewijslast, een fenomeen dat bekend staat als "lost in the middle".
3. Reproductiviteitscrisis: Bestaande geheugengemiddelden lijden onder inconsistente evaluatieharnesses (variërende ingestiemethoden, antwoordprompts en judges), wat leidt tot tegenstrijdige prestatierapporten waarbij hetzelfde systeem zeer verschillende scores oplevert over verschillende bronnen heen.

Huidige geheugensystemen optimaliseren vaak voor kosten of snelheid, maar slagen er niet in om de nauwkeurigheid van de volledige context-baseline te overtreffen. Het paper stelt dat een precies opgehaalde, slanke context niet alleen goedkoper, maar ook nauwkeuriger zou moeten zijn dan de ruisgevoelige volledige window.

2. Methodologie: Het Engram-systeem

Engram is een open-source, dual-process geheugenmotor gebouwd op een bi-temporeel datamodel. Het scheidt geheugenoperaties in een snelle write-path en een asynchrone consolidatiepath, die een hybride read-path voeden.

2.1 Bi-temporeel Datamodel

Het systeem behandelt tijd als een first-class citizen met twee assen:

• Event Time (Valid Time): Wanneer een feit waar was in de wereld.
• Transaction Time: Wanneer het systeem het feit leerde of introk.
• Datastructuren:
  • Episodes: Ruwe, verliesvrije beurten/events voorzien van beide tijdassen.
  • Facts: Atomaire (Subject, Predicaat, Object) claims met oppervlaktekst, embeddings, salientie-scores en herkomst (provenance). Feiten dragen valid_at/invalid_at en created_at/expired_at timestamps.
  • Graph: Entiteiten en relaties met bi-temporele edges.
• Invariant: Feiten worden nooit hard verwijderd. Tegengesproken feiten worden ongeldig gemaakt (gemarkeerd met invalid_at) en vervangen door nieuwe feiten, waardoor een volledig auditspoor en herkomst behouden blijft.

2.2 Dual-Process Architectuur

• System-1 (Hot Write Path):
  • Operatie: Voegt verliesvrije episodes toe, lost identiteit op over sessies heen, berekent lichte embeddings en queue voor consolidatie.
  • Constraint: Geen LLM-calls op het kritieke pad; latentie wordt onder de 50ms gehouden.
• System-2 (Async Consolidation):
  • Operatie: Extraheert atomaire feiten (regelgebaseerd of LLM-gebaseerd), bouwt de bi-temporele kennisgraaf, detecteert conflicten en maakt vervangen feiten ongeldig.
  • Conflictresolutie: Gebruikt een "cheap-then-escalate" beleid. Exacte slot-matches of duidelijke temporele tegenstrijdigheden worden opgelost zonder LLM-calls. Ambigue gevallen escaleren naar een LLM-adjudicator.
  • Salience: Past decay/reinforcement scoring toe om ongeversterkte herinneringen te laten vervagen.
• Hybride Read Path:
  • Retrieval: Decomponeert queries en haalt informatie op via vier parallelle kanalen: dense semantisch (BGE embeddings), lexicaal (BM25), graph traversal (n-hop), en recentie/salientie.
  • Fusion: Combineert gerangschikte lijsten met behulp van Reciprocal Rank Fusion (RRF) en optionele cross-encoder reranking.
  • Filtering: Past een bi-temporele "as-of" filter toe (het ophalen van feiten die geldig waren op een specifiek punt in de tijd) en een abstention gate (weigeren te antwoorden als bewijs ontbreekt).
  • Context Assemblage: Construeert een compacte context bestaande uit conflict-opgeloste feiten, relevante ruwe sessie-chunks en sessie-samenvattingen.

2.3 Reproduceerbare Evaluatieharness

De auteurs dragen een neutrale, in-repo evaluatieharness bij die is ontworig om problemen met de integriteit van metingen te elimineren:

• Official Judge: Gebruikt de officiële categorie-specifieke judge-prompts van LongMemEvalS, om home-grown judges te vermijden.
• Full-Context Baseline: Inclusief de volledige historie-baseline in elke vergelijking.
• Integrity Fixes: Corrigeert voor problemen zoals full-context truncatie (zorgen dat de baseline de hele hooiberg ziet) en "facts prepended to full history" (zorgen dat de test retrieval meet, en niet alleen geheugenaugmentatie).
• Determinisme: Draait met zero-dependency offline fallbacks voor unit tests; ruwe per-vraag logs worden gepubliceerd voor elke metriek.

3. Belangrijkste Bijdragen

1. Dual-Process Engine: Een geheugensysteem met niet-destructieve conflictresolutie (invalidation vs. overwriting) dat de meeste conflicten oplost zonder LLM-calls.
2. Empirische Nauwkeurigheidswinst: Demonstratie dat een slanke, opgehaalde context (9.6k tokens) beter presteert dan de full-context baseline (79k tokens) in nauwkeurigheid.
3. Neutrale Harness: Een reproduceerbare evaluatiepipeline met ingebouwde officiële judges, full-context baselines en gepubliceerde ruwe logs om de reproductiviteitscrisis in het veld aan te pakken.
4. Inzicht in Hybride Read Path: Identificatie dat een "facts-only" retrieval pad recall verliest; het combineren van conflict-opgeloste feiten met ruwe sessie-chunks is noodzakelijk om detail te herstellen.

4. Resultaten

Geëvalueerd op de LongMemEvalS benchmark (500 vragen over 7 categorieën) met de officiële judge:

• Algemene Nauwkeurigheid: Engram's slanke configuratie bereikte 83,6% nauwkeurigheid, vergeleken met 73,2% voor de full-context baseline (+10,4 punten).
• Efficiëntie: De slanke configuratie gebruikte ~8× minder tokens (9.6k vs 79k) terwijl een hogere nauwkeurigheid werd behouden.
• Statistische Significantie: De winst is statistisch beslissend (McNemar exact test, $p < 10^{-6}$). Engram was correct op 81 vragen die de baseline miste, tegenover 29 de andere kant op.
• Foutpercentage: 0 fouten uit 500 vragen voor beide systemen (geen systeemfouten).
• Prestatie per Categorie:
  • Knowledge-Update: 87,5% (profiteert van invalidatie/supersessie).
  • Temporal Reasoning: 81,1% (profiteert van "as-of" filtering).
  • Abstention: 86,7% (systeem wijst correct af wanneer geheugen geen antwoorden bevat).
  • Multi-session Aggregation & Preference: Lagere scores (79,3% en 73,3%), geïdentificeerd als gebieden met resterende ruimte voor verbetering.
• Ablatie Observatie: Een variant die feiten aan de volledige historie prepende (engram_full) scoorde 83,4%, vergelijkbaar met de slanke versie. Dit suggereert dat de gestructureerde feiten de nauwkeurigheidswinst drijven, terwijl de volledige historie tokens toevoegt zonder de correctheid te verbeteren.

5. Betekenis en Claims

Het paper claimt twee primaire bijdragen:

1. Kwaliteitsverbetering boven Kostenoptimalisatie: Engram demonstreert dat langetermijngeheugen een mechanisme voor kwaliteitsverbetering kan zijn, niet alleen een kostenbesparende maatregel. Door distractoren te filteren, is een slanke opgehaalde slice nauwkeuriger dan de volledige context window.
2. Meetintegriteit: Het paper betoogt dat de benchmark-cijfers in het veld vaak worden betwist vanwege inconsistente harnesses. Door een neutrale, reproduceerbare harness te bieden met de officiële judge en full-context baseline, stellen de auteurs dat de "betrouwbare scorekaart" even waardevol is als het systeem zelf.

De auteurs blijven bescheiden over beperkingen en merken op dat de resultaten gebaseerd zijn op een enkele benchmark en een enkele answerer backbone. Ze identificeren multi-session aggregatie en preference handling als openstaande uitdagingen en roepen op tot toekomstig werk met meerdere backbones en gecontroleerde component-ablaties. Het systeem is ontworpen om zelf te hosten met offline fallbacks, wat gegevensprivacy en reproduceerbaarheid garandeert zonder externe API-afhankelijkheden.