EngramaBench: Evaluating Long-Term Conversational Memory with Structured Graph Retrieval

1. Het Probleem

Grote Taalmodellen (LLM)-assistenten worden steeds vaker geacht informatie te onthouden en te redeneren over gegevens die zijn verzameld gedurende vele sessies (weken of maanden). De huidige aanpak is vaak "full-context prompting", waarbij de volledige geschiedenis van de chat aan het model wordt gegeven. Hoewel dit werkt, schaalt het slecht qua kosten en behandelt het geheugen als een simpele transcriptie-inclusie in plaats van een gestructureerde representatie.

Er is een tekort aan benchmarks die specifiek testen of gestructureerde geheugensystemen (zoals grafieken) superieur zijn aan brute-force context of vlakke vector-retrieval, vooral in complexe scenario's zoals:

• Integratie van informatie over verschillende levensdomeinen heen (cross-space).
• Redeneren over tijd en verandering.
• Het vermijden van antwoorden op valse premises (adversarial abstention).
• Het synthetiseren van nieuwe inzichten uit verspreide bewijsstukken.

2. Methodologie: EngramaBench

De auteurs stellen EngramaBench voor, een benchmark voor langdurig conversatiegeheugen.

• Dataset: Bestaat uit 5 canonieke persona's (bijv. een professor, een startup-oprichter), elk met 20 sessies en 30 queries (totaal 100 conversaties, 150 queries).
• Datastructuur: De persona's zijn verdeeld over vijf semantische ruimtes (bijv. werk, gezin, hobby's). Dit creëert een landschap waar sommige vragen binnen één ruimte oplosbaar zijn, terwijl andere informatie over meerdere ruimtes moeten combineren.
• Vijf Query-categorieën:
  1. Single Space: Feitelijke herinnering binnen één domein.
  2. Cross Space: Integratie van informatie uit twee of meer domeinen.
  3. Temporal Cross Space: Redeneren over tijd en ruimte.
  4. Adversarial: Vragen met valse premises die een weigering (abstention) vereisen.
  5. Emergent Insight: Synthese van bewijs tot een hoger niveau conclusie.
• Evaluatie: Alle systemen gebruiken hetzelfde antwoordmodel (GPT-4o) om het effect van de geheugenarchitectuur te isoleren. De scoring is gewogen: 50% voor feitelijke geheugentaken, 25% voor adversarial abstention en 25% voor emergent insight.

3. De Systemen

Drie systemen werden vergeleken:

1. GPT-4o Full-Context: Alle historische chats worden direct in de prompt geplaatst (geen compressie of selectie).
2. Mem0: Een open-source systeem dat gebruikmaakt van vector-retrieval (vlakke zoekopdracht) op geëxtraheerde geheugens.
3. Engrama: Een systeem dat een grafgestructureerd geheugen gebruikt. Het organiseert interacties rondom entiteiten, semantische ruimtes, tijdslijnen en associatieve links. Bij een query activeert het een relevant deel van de grafiek en genereert een gestructureerd samenvatting in plaats van de volledige tekst.

4. Belangrijkste Resultaten

Algemene Prestaties:

• GPT-4o Full-Context behaalde de hoogste totale score (0.6186), vooral sterk in single-space en emergent insight.
• Engrama behaalde een totale score van 0.5367.
• Mem0 scoorde het laagst (0.4809), wat aangeeft dat vlakke vector-retrieval onvoldoende is voor complexe langdurige taken, zelfs met hetzelfde antwoordmodel.

De "Cross-Space" Voordelen:

• Engrama is het enige systeem dat beter scoort dan full-context prompting op cross-space redenering (0.6532 vs. 0.6291).
• Dit is cruciaal omdat cross-space taken vereisen dat het systeem begrijpt hoe losse feiten in verschillende levensdomeinen met elkaar verbonden zijn, iets wat een grafiekstructuur beter kan dan een lineair transcript of vlakke vectorzoekopdracht.

Kosten-Kwaliteit Afweging:

• Engrama bereikt ongeveer 87% van de totale kwaliteit van GPT-4o full-context, maar tegen slechts 20% van de query-kosten ($0.67 vs $3.33).
• Mem0 is nog goedkoper ($0.36), maar levert aanzienlijk minder kwaliteit.

Ablatie-onderzoek:
De auteurs onderzochten twee componenten van Engrama:

1. L1 (Entity-first activatie + query planner): Richt de zoekopdracht op structureel relevante gebieden.
2. L3 (Typed answer layer): Zorgt voor precieze antwoordformaten.

• Verrassende bevinding: Het verwijderen van L1 of L3 verbeterde de totale score, maar verslechterde de cross-space score aanzienlijk. Dit onthult een spanning: de componenten die Engrama superieur maken voor complexe cross-space redenering, kosten punten in andere categorieën. Er is dus een trade-off tussen gespecialiseerde gestructureerde prestaties en algemene optimalisatie.

5. Bijdragen en Betekenis

Primaire Bijdragen:

1. EngramaBench: Een nieuwe benchmark die cross-space redenering en adversarial abstention als eerste-orde doelstellingen behandelt, in plaats van ze te verwaarlozen.
2. Gestuurde Vergelijking: Een bewijs dat full-context prompting globaal wint, maar dat gestructureerde grafische geheugens (Engrama) superieur zijn voor specifieke, complexe redeneertaken tegen lagere kosten.
3. Architecturale Inzicht: Ablaties tonen aan dat mechanismen die cross-space prestaties verbeteren, niet automatisch de totale score maximaliseren. Dit wijst op een ontwerpspanning in huidige geheugenarchitecturen.

Significantie:
Het paper toont aan dat "meer geheugen" (full-context) niet altijd de beste oplossing is voor langdurige interacties. Gestructureerde representaties (grafieken) bieden een meetbaar voordeel bij het verbinden van informatie over verschillende contexten, wat essentieel is voor echte persoonlijke assistenten. De studie waarschuwt echter dat het optimaliseren van één type redenering (zoals cross-space) ten koste kan gaan van de algemene prestaties, en dat toekomstige systemen "selectievere structuur" nodig hebben die sterk is wanneer nodig, maar stil blijft wanneer niet.

Beperkingen:
De benchmark is gebaseerd op synthetische data (geen echte gebruikerslogs), wat noodzakelijk is voor controle, maar betekent dat de resultaten niet direct vertaalbaar zijn naar productie-omgevingen zonder verdere validatie. Ook is de tijdsredenering voor alle systemen (inclusief full-context) nog steeds een uitdaging.