HeLa-Mem: Hebbian Learning and Associative Memory for LLM Agents

Probleemstelling

Grote Taalmodellen (LLM's) die worden gebruikt als agenten, kampen met fundamentele uitdagingen op het gebied van langetermijngeheugen. Bestaande systemen maken vaak gebruik van vaste contextvensters, die niet in staat zijn coherentie te behouden over uitgebreide interacties heen.

• Huidige beperkingen: Bestaande geheugensystemen vertegenwoordigen conversatiegeschiedenis vaak als ongestructureerde inbeddingsvectoren en halen informatie op puur op basis van semantische gelijkenis.
• Het tekort: Deze benadering mist de associatieve structuur van het menselijk geheugen. Bij mensen versterken gerelateerde ervaringen door herhaalde gelijktijdige activering (co-activatie) hun onderlinge verbindingen. Bestaande systemen "onthouden" feiten, maar missen de "continuïteit" van een ontwikkelende relatie of narratief, wat leidt tot gefragmenteerd geheugen, feitelijke inconsistenties en onstabiel gedrag van agenten.

Methodologie: HeLa-Mem Architectuur

De auteurs stellen HeLa-Mem (Hebbian Learning associative Memory) voor, een door de biologie geïnspireerde architectuur die conversatiegeschiedenis modelleert als een dynamische graaf met Hebbiaanse leermechanismen. De architectuur volgt drie neuro-wetenschappelijke principes: associatie, consolidatie en verspreide activering.

De architectuur bestaat uit drie kernmodules:

1. Online Encoding & Associatie (Episodisch Geheugen)

• Dynamische Graaf: Conversatierondes worden opgeslagen als knooppunten in een gewogen graaf.
• Hebbiaanse Leerregels: De verbindingen (randen) tussen knooppunten worden versterkt wanneer ze gelijktijdig worden geactiveerd tijdens het ophalen van informatie. Dit volgt het principe: "Neurons that fire together, wire together".
• Formule: De gewichten van de randen ($w_{ij}$) worden bijgewerkt op basis van co-activatie, met een mechanisme voor synaptische afname (decay) voor niet-gebruikte verbindingen.
  $$w_{ij}^{(t+1)} = (1 - \lambda) \cdot w_{ij}^{(t)} + \eta \cdot I(v_i, v_j \in K_t)$$
  Waarbij $\lambda$ de afname is, $\eta$ de leersnelheid, en $I$ een indicator is voor gelijktijdige activering.

2. Reflectieve Consolidatie (Semantisch Geheugen)

Om te voorkomen dat de graaf onbeperkt groeit en ruis accumuleert, fungeert een Reflective Agent als een "slaap-achtig" consolidatieproces:

• Hub-detectie: De agent identificeert knooppunten met een hoge totale randgewicht (hubs) die veelvuldig worden geactiveerd.
• Hebbiaanse Distillatie: Deze hubs en hun sterk verbonden buren worden samengevat door de LLM tot gestructureerde, herbruikbare semantische kennis (bijv. gebruikersprofielen, feiten, agent-persoonlijkheid).
• Adaptief Vergeten: Knopen die geïsoleerd zijn (lage graad) en lang niet zijn gebruikt, worden verwijderd om de efficiëntie te behouden.

3. Dual-Path Retrieval (Ophalen)

Het ophalen van informatie gebeurt via twee paden die samenwerken:

• Base Activation (Semantisch Pad): Berekent een score op basis van semantische gelijkenis (cosine similarity), tijdsverval en trefwoordoverlapping.
• Spreading Activation (Associatief Pad): Hoge scores verspreiden zich via de Hebbiaanse randen naar gerelateerde knopen, zelfs als deze semantisch ver van de query verwijderd zijn.
• Ranking: Het definitieve resultaat is een combinatie van de top-k resultaten van het semantische pad en aanvullende resultaten van het verspreidingspad die door de associatieve versterking zijn opgehaald.

Belangrijkste Bijdragen

1. HeLa-Mem Framework: Een unificatie van episodisch en semantisch geheugen in een dynamische graafstructuur die gebruikmaakt van Hebbiaanse leerregels om latente context te vangen.
2. Reflectieve Consolidatie: Een mechanisme dat "hub"-clusters automatisch distilleert naar gestructureerde semantische kennis, waardoor de graaf beheersbaar blijft zonder cruciale informatie te verliezen.
3. Dual-Path Retrieval Strategie: Een ophaalmechanisme dat zowel semantische gelijkenis als geleerde associaties benut, wat essentieel is voor multi-hop redenering.
4. Empirische Validatie: Uitgebreide experimenten op het LoCoMo-benchmark tonen superioriteit aan.

Resultaten

De prestaties zijn getest op het LoCoMo-benchmark (ultra-lange dialogen, gemiddeld 300 beurten) met verschillende LLM-backbones (o.a. GPT-4o-mini, GPT-4o, Qwen2.5).

• Prestaties: HeLa-Mem presteert consistent beter dan state-of-the-art methoden zoals MemoryOS, A-Mem, en MemGPT over vier vraagcategorieën: Multi-hop redenering, Temporele taken, Open domein vragen en Single-hop taken.
  • Voorbeeld (GPT-4o-mini): HeLa-Mem behaalde een F1-score van 40,14% voor Multi-hop redenering (vs. 38,39% voor MemoryOS) en 47,29% voor Temporele taken.
• Token-efficiëntie: Een opvallend resultaat is dat HeLa-Mem deze superieure prestaties bereikt met aanzienlijk minder tokens.
  • Gemiddeld verbruik: ~1.010 tokens (tegenover ~16.910 tokens voor de native LoCoMo-baseline).
  • Dit komt doordat het systeem alleen de sterkst geassocieerde herinneringen ophaalt in plaats van de volledige contextvenster te verwerken.
• Ablatie-studie:
  • Het verwijderen van de Reflective Agent leidt tot de grootste daling in prestaties (van 34,74% naar 29,87% gemiddelde F1), wat aantoont dat consolidatie cruciaal is.
  • Het uitschakelen van Spreading Activation heeft een significant negatief effect op Multi-hop redenering, wat bewijst dat associatieve paden nodig zijn om informatie te verbinden die semantisch niet direct lijkt te matchen.

Betekenis en Conclusie

HeLa-Mem vertegenwoordigt een verschuiving van statische, op opslag gerichte geheugensystemen naar dynamische, adaptieve systemen die de plasticiteit van het menselijk bren nabootsen.

• Innovatie: Door Hebbiaanse leerregels toe te passen, kunnen agenten "leren" welke herinneringen samen horen, zelfs als ze geen directe semantische overlap hebben. Dit lost het probleem op van het missen van context in lange conversaties.
• Toekomstperspectief: De studie suggereert dat het integreren van neuro-symbolische dynamiek (associatief leren + semantische distillatie) een veelbelovende richting is voor het ontwikkelen van LLM-agenten die echt levenslang kunnen leren en consistent gedrag kunnen vertonen over meerdere sessies heen.
• Beperkingen: Het systeem heeft een "cold start"-probleem; associatieve gewichten hebben voldoende interactiegeschiedenis nodig om op te bouwen. Ook is de kwaliteit van de distillatie afhankelijk van de onderliggende LLM.

Kortom, HeLa-Mem biedt een robuust kader voor langetermijngeheugen dat niet alleen feiten opslaat, maar de relaties tussen die feiten dynamisch onderhouden, wat essentieel is voor geavanceerde, mensachtige agent-interacties.