Mnemis: Dual-Route Retrieval on Hierarchical Graphs for Long-Term LLM Memory

Probleemstelling

Met de snelle vooruitgang van Large Language Models (LLM's) is er een groeiende behoefte aan effectieve geheugensystemen die lange-termijn interacties kunnen ondersteunen. Bestaande methoden, zoals Retrieval-Augmented Generation (RAG) en Graph-RAG, vertrouwen voornamelijk op similarity-based retrieval (op basis van gelijkenis). Hoewel deze systemen efficiënt zijn en lijken op het menselijke "Systeem 1" (snelle, intuïtieve verwerking), hebben ze beperkingen:

• Ze worstelen met scenario's die globale redenering vereisen.
• Ze missen vaak een volledig overzicht van alle relevante informatie, vooral wanneer de zoekopdracht een breed perspectief nodig heeft of wanneer informatie subtiel in de tekst is verwerkt (bijv. een vermelding van een stad in een lange conversatie die semantisch zwak verbonden is met de vraag).
• Iteratieve methoden om sub-vragen te genereren falen vaak omdat het model geen globaal overzicht van het geheugen heeft om de oorspronkelijke vraag betekenisvol uit te breiden.

Methodologie: Mnemis

Mnemis is een nieuw geheugenframework dat twee complementaire ophaalroutes integreert, geïnspireerd op de dual-process theorie (Systeem 1 en Systeem 2):

1. Architectuur: Twee Grafen

• Base Graph (Voor Systeem 1): Een traditionele graaf die historische berichten (Episodes) opslaat en deze structureert in Entiteiten (personen, objecten, concepten) en Kanten (relaties, gebeurtenissen). Dit ondersteunt snelle, semantische zoekopdrachten via embedding- en tekstgelijkenis.
• Hierarchical Graph (Voor Systeem 2): Een hiërarchische graaf die Entiteiten abstracteert tot meerdere niveaus van Categorieën. Deze structuur maakt een "top-down" en doelbewuste doorloop van semantische hiërarchieën mogelijk, vergelijkbaar met menselijk semantisch geheugen.

2. Ingestie (Inname) en Ontwerpprincipes
Bij het opbouwen van de hiërarchische graaf worden drie kernprincipes gehanteerd:

• Minimum Concept Abstraction: Categorieën moeten specifiek genoeg zijn om informatief te blijven, maar algemeen genoeg om als abstractie te dienen.
• Many-to-Many Mapping: In tegenstelling tot strikte boomstructuren, kan één onderliggende node (een entiteit) tot meerdere bovenliggende categorieën behoren. Dit stelt het model in staat om informatie vanuit verschillende semantische perspectieven op te halen.
• Compression Efficiency Constraint: Om de efficiëntie te waarborgen, moet elke categorie minimaal $n$ kind-nodes bevatten, en moet het aantal nodes per laag afnemen naarmate de hiërarchie stijgt.

3. Ophaalmechanismen

• Systeem 1: Similarity Search: Voert een snelle zoekopdracht uit op basis van embeddings (cosine similarity) en volledige tekst (BM25) over Episodes, Entiteiten en Kanten. De resultaten worden samengevoegd en opnieuw gerangschikt (Re-ranking).
• Systeem 2: Global Selection: Voert een doelbewuste, top-down navigatie uit door de hiërarchische graaf. Het model begint bij de bovenste laag (bijv. "Geografie"), selecteert relevante categorieën en daalt laag voor laag af tot de specifieke entiteiten. Vervolgens worden alle bijbehorende episodes en kanten opgehaald.
• Fusie: De resultaten van beide routes worden gecombineerd en opnieuw gerangschikt om een context te creëren die zowel semantisch als structureel relevant is.

Belangrijkste Bijdragen

1. Dual-Route Framework: De introductie van Mnemis, dat de snelheid van semantische zoekopdrachten (Systeem 1) combineert met de diepgang van structurele, top-down redenering (Systeem 2).
2. Hiërarchische Graafconstructie: Een verbeterde methode voor het bouwen van een hiërarchisch geheugen met ondersteuning voor veel-op-veel mapping en compressie, wat een completer globaal overzicht biedt dan eerdere Graph-RAG-methoden.
3. State-of-the-Art Prestaties: Uitgebreide experimenten die aantonen dat Mnemis alle bestaande methoden overtreft op lange-termijn geheugentests.

Resultaten

Mnemis werd geëvalueerd op twee belangrijke benchmarks: LoCoMo en LongMemEval-S, met gebruikmaking van GPT-4.1-mini als backend.

• LoCoMo Benchmark: Mnemis behaalde een score van 93.9, wat een significant verbetering is ten opzichte van de beste concurrenten (bijv. EverMemOS met 92.3). De prestaties waren vooral sterk bij complexe taken zoals Multi-Hop redenering (89.7) en Temporele redenering (77.6).
• LongMemEval-S Benchmark: Mnemis behaalde een score van 91.6, opnieuw de hoogste score, met name uitstekend in Single-Session Preference (100.0) en Knowledge Update (93.6).
• Ablatie Studies:
  • Het combineren van Systeem 1 en Systeem 2 leverde de beste resultaten op, wat aantoont dat de routes complementair zijn.
  • Systeem 2 alleen presteerde goed op enumeratieve vragen, maar minder goed op temporele vragen.
  • De methode is robuust tegen variaties in de top-k parameter (aantal opgehaalde items), wat aangeeft dat de structuur van de graaf cruciaal is voor het vinden van relevante informatie zonder overmatige data te hoeven ophalen.

Betekenis en Conclusie

Mnemis vertegenwoordigt een belangrijke stap voorwaarts in de ontwikkeling van AI-geheugens. Het bewijst dat het puur vertrouwen op semantische gelijkenis (zoals bij traditionele RAG) onvoldoende is voor complexe, lange-termijn interacties. Door een hiërarchische structuur te introduceren die globale redenering mogelijk maakt, kan het model informatie vinden die semantisch ver weg ligt maar structureel cruciaal is.

Dit werk suggereert dat toekomstige AI-agenten niet alleen moeten kijken naar "wat lijkt op de vraag", maar ook moeten kunnen "navigeren door het geheugen" om een volledig beeld te vormen. De succesvolle integratie van Systeem 1 en Systeem 2-processen biedt een blauwdruk voor het bouwen van robuustere, schaalbare en menselijker geheugensystemen voor LLM's.