SYNAPSE: Empowering LLM Agents with Episodic-Semantic Memory via Spreading Activation

Probleemstelling: Contextuele Isolatie

Hoewel Large Language Models (LLMs) uitstekend zijn in generalisatie en redeneren binnen een beperkt contextvenster, kampen ze met ernstige beperkingen als autonome agenten die lange-termijn interacties moeten onderhouden. Bestaande oplossingen, zoals Retrieval-Augmented Generation (RAG), baseren zich op statische vector-databases die informatie ophalen op basis van semantische gelijkenis.

De auteurs identificeren een fundamenteel probleem: Contextuele Isolatie.

• Statische Aannames: Traditionele systemen gaan ervan uit dat de relevantie van een herinnering strikt wordt bepaald door de semantische nabijheid tot de huidige query.
• Gebrek aan Redenering: Dit faalt bij complexe taken die causaal of transitief redeneren vereisen. Bijvoorbeeld: als een gebruiker vraagt "Waarom ben ik vandaag angstig?", kan een vector-systeem recente termen over "angst" ophalen, maar faalt het om een schema-conflict van weken geleden te vinden dat de oorzaak is, omdat er geen lexicaal of embedding-overlap is.
• Beperkingen van huidige methoden: Zelfs geavanceerde frameworks zoals MemGPT of GraphRAG zijn vaak beperkt tot query-gedreven ophalen en kunnen geen structureel gerelateerde, maar semantisch verschillende informatie autonoom naar boven halen.

Methodologie: SYNAPSE Architectuur

SYNAPSE (Synergistic Associative Processing & Semantic Encoding) is een hersen-geïnspireerde architectuur die memory niet als een statische bibliotheek, maar als een dynamisch grafisch netwerk modelleert. De kernidee is dat relevantie ontstaat door Spreading Activation (uitstralende activatie) in plaats van vooraf berekende links.

De methode bestaat uit drie hoofdblokken:

1. Unified Episodic-Semantic Graph (Unificatie van Episodisch en Semantisch)

Het geheugen wordt weergegeven als een gerichte graaf $G = (V, E)$ met twee soorten knopen:

• Episodische Nodes ($V_E$): Bevatten ruwe interactielogs (tekst, embedding, tijdstempel).
• Semantische Nodes ($V_S$): Abstracte concepten (entiteiten, voorkeuren) die door de LLM worden geëxtraheerd en samengevoegd uit de logs.
• Randen (Edges):
  • Temporele randen: Koppelen sequentiële episodes.
  • Abstractieranden: Koppelen episodes aan hun geëxtraheerde concepten.
  • Associatieranden: Modelleren latente correlaties tussen concepten.
    Dit zorgt voor een "Bridge Node"-effect, waarbij losse concepten via tussenliggende knopen verbonden kunnen worden.

2. Cognitieve Dynamiek: Spreading Activation

Inspiratie komt uit cognitieve wetenschappen (Collins & Loftus, Anderson). Het systeem injecteert energie in de graaf bij een query en laat deze zich verspreiden:

• Dual Trigger: Een query activeert knopen via zowel lexicaal zoeken (BM25 voor namen) als semantisch zoeken (dense retrieval voor concepten).
• Propagatie met "Fan Effect": Activatie verspreidt zich via randen, maar wordt verdund op basis van het aantal uitgaande verbindingen (fan effect), wat aandachtverdunning simuleert.
• Temporele Verval: Oudere informatie krijgt minder gewicht door een vervalparameter ($\rho$).
• Laterale Inhibitie: Hoog-geactiveerde concepten onderdrukken concurrenten. Dit filtert ruis en voorkomt dat irrelevante "hallucinaties" actief blijven.
• Sigmoid Activering: De potentie wordt omgezet in een eindactiveringswaarde. Het proces convergeert binnen 3 iteraties.

3. Triple-Signal Hybrid Retrieval & Uncertainty Gating

Om de beste resultaten te krijgen, wordt een hybride score gebruikt die drie signalen combineert:

1. Semantische Similariteit: Vector-overlap.
2. Contextuele Activatie: De dynamische activatiegraad van de knoop.
3. Structurele Prioriteit (PageRank): Globale belangrijkheid van hubs (bijv. hoofdpersonages).

Daarnaast is er een Uncertainty-Aware Rejection mechanisme (geïnspireerd op het "Feeling of Knowing" bij mensen). Als de activatie van de beste knoop onder een drempelwaarde ($\tau_{gate}$) ligt, weigert het systeem een antwoord te genereren in plaats van te hallucineren. Dit is cruciaal voor de robustheid tegen adversariale queries.

Belangrijkste Bijdragen

1. Unificatie van Episodisch en Semantisch Geheugen: Een dual-layer topologie die ruwe logs en abstracte concepten synthetiseert, wat de structurele fragmentatie van vlakke vector-opslag oplost.
2. Cognitieve Dynamiek met Onzekerheidsbeheersing: Een ophaalmechanisme dat gebruikmaakt van uitstralende activatie en laterale inhibitie om impliciete relevantie te prioriteren, gekoppeld aan een protocol dat hallucinaties robuust afwijst.
3. State-of-the-Art (SOTA) Prestaties: Een nieuw record op de LoCoMo-benchmark, met name in complexe redeneertaken, met aanzienlijke verbeteringen in efficiëntie.

Resultaten

De evaluatie vond plaats op de LoCoMo-benchmark, een rigoureuze dataset met lange dialogen (gemiddeld 16k tokens) die testen voor langdurig conversatiegeheugen.

• Algemene Prestaties: SYNAPSE behaalde een gewogen gemiddelde F1-score van 40.5, wat een verbetering is van +7.2 punten ten opzichte van de vorige beste methode (A-Mem).
• Complex Redeneren:
  • Multi-hop Redenering: +23% verbetering in nauwkeurigheid (35.7 vs 27.0 bij A-Mem). Het systeem kan losse feiten verbinden via tussenliggende knopen.
  • Temporeel Redeneren: +4.2 punten verbetering (50.1 vs 45.9), dankzij het tijd-gevoelige vervalmechanisme.
  • Adversariale Robuustheid: Een bijna perfecte afwijzingsrate van 96.6 F1 voor queries over niet-bestaande entiteiten, terwijl concurrenten vaak hallucineren.
• Efficiëntie:
  • Token-verbruik: SYNAPSE gebruikt slechts ~814 tokens per query, een reductie van 95% ten opzichte van full-context methoden (zoals MemGPT die ~17k tokens gebruiken).
  • Kosten: 11x goedkoper dan full-context benaderingen, terwijl de prestaties bijna verdubbelen.
  • Latentie: 1.9s gemiddelde latentie, wat 4x sneller is dan full-context methoden.

Betekenis en Impact

SYNAPSE markeert een paradigmaverschuiving in het ontwerp van agent-geheugen:

• Van Zoeken naar Redeneren: Het verlegt de focus van het indexeren van statische documenten naar het redeneren over een dynamisch, geassocieerd netwerk.
• Neuro-symbolische Benadering: Het combineert de schaalbaarheid van neurale netwerken (embeddings) met de structurele precisie van symbolische grafen en cognitieve principes.
• Oplossing voor "Contextual Tunneling": Het lost het probleem op waarbij agenten vastlopen in directe semantische matches en causale ketens missen.
• Praktische Toepasbaarheid: Door de enorme besparing in tokens en kosten maakt het langdurige, persoonlijke AI-agenten haalbaar voor real-world toepassingen zonder de kosten van het invoeren van volledige conversatiegeschiedenissen.

Kortom, SYNAPSE bewijst dat het nabootsen van biologische geheugenmechanismen (zoals uitstralende activatie en laterale inhibitie) essentieel is voor het creëren van robuuste, autonome AI-agenten die complexe, langdurige interacties kunnen onderhouden.