Technische Samenvatting: SaliMory: Orchestratie van Cognitief Geheugen voor Conversationele Agenten

1. Probleemdefinitie

Conversationele agenten die zijn ontworpen als levenslange metgezellen vereisen persistent geheugen om context te behouden over interacties heen. Huidige benaderingen kampen echter met twee primaire beperkingen:

• RAG-ruis (Retrieval-Augmented Generation): Het simpelweg uitbreiden van contextvensters of het ophalen van ruwe interactiegeschiedenissen leidt vaak tot ruis, herhaling en irrelevante data die de kwaliteit van redeneringen verslechteren.
• Credit Assignment Bottlenecks: Het trainen van geheugenagenten via standaard Reinforcement Learning (RL) met enkel beloningen op basis van de uiteindelijke uitkomst creëert een ernstig probleem met de toewijzing van krediet (credit assignment). In meerfasige pipelines is het moeilijk te bepalen of een fout in de uiteindelijke respons voortkomt uit slechte geheugenvorming, ineffectieve retrieval of generatiefouten.

Foutanalyse op de LoCoMo-benchmark laat zien dat geheugenfouten (verlies of vervorming van saliente informatie) verantwoordelijk zijn voor tot 52% van de fouten in state-of-the-art baselines, wat aanzienlijk hoger is dan fouten in profielgeneratie of responsgeneratie.

2. Methodologie: Het SaliMory-framework

SaliMory is een agentisch geheugenbeheerframework dat één taalmodel traint om een cognitief gestructureerd geheugensysteem end-to-end te beheren. Het is geïnspireerd door de menselijke cognitieve wetenschap, specifiek het onderscheid tussen werkgeheugen, langetermijnfeitelijke kennis en subjectieve voorkeuren.

2.1 Cognitieve Geheugenarchitectuur

In plaats van een platte buffer onderhoudt SaliMory een gestructureerde geheugenbank $M = (\bar{F}, \bar{P}, \bar{W})$ bestaande uit drie toegewezen opslagplaatsen:

1. Feitelijke Bank ($\bar{F}$): Objectieve, verifieerbare beweringen over de gebruiker (bijv. "lactose-intolerant").
2. Voorkeursbank ($\bar{P}$): Subjectieve smaken en neigingen die fungeren als zachte criteria voor stilistische afstemming (bijv. "verkiest havermelk").
3. Werkgeheugen ($\bar{W}$): Recente, saliente beurten waar de gebruiker waarschijnlijk nog steeds mee bezig is.

2.2 Verenigd Beleid en Rollen

Een enkel beleidsmodel $\pi_\theta$ wordt getraind via RL om drie complementaire rollen uit te voeren, geconditioneerd op verschillende instructieprompts:

• Saliency Filter: Beslist welke conversatiebeurten saliente informatie bevatten die het waard is om op te slaan.
• Memory Booster: Actualiseert en consolideert de feitelijke en voorkeursbanken, en beheert het verschuivende venster van het werkgeheugen.
• Memory Utilizer: Haalt relevante vermeldingen uit de drie opslagplaatsen op en synthetiseert deze tot een query-geadapteerd profiel voor de downstream generator.

De architectuur scheidt de offline geheugenbeheerfase van de runtime-generatiefase. Een bevroren, groot taalmodel ($\pi_{gen}$) genereert de uiteindelijke respons op basis van het gesynthetiseerde profiel, waardoor de geheugenmanager specifiek wordt geoptimaliseerd voor contextcuratie.

2.3 Training: Fase-specifieke Procesbeloningen en Contrastieve Verfijning

Om het credit assignment-probleem op te lossen, introduceert SaliMory twee nieuwe mechanismen:

A. Fase-specifiek Procesbeloningssysteem
In plaats van uitsluitend te vertrouwen op een uiteindelijke uitkomstbeloning, deelt SaliMory het leersignaal op in drie orthogonale beloningen:

1. Responskwaliteit ($R_1$): Een multiplicatieve poort die de uiteindelijke antwoordnauwkeurigheid en personalisatie evalueert. Personalisatie wordt alleen beloond als het antwoord feitelijk correct is.
2. Geheugenkwaliteit ($R_2$): Een asymmetrische straf die de feitelijke getrouwheid en vaagheid van de geheugenbank zelf evalueert, onafhankelijk van het uiteindelijke antwoord. Dit moedigt de booster aan om marginale herinneringen weg te laten in plaats van vage herinneringen te coderen.
3. Utilisatie- en Filterkwaliteit ($R_3$): Evalueert de effectiviteit van het aangepaste profiel (het vastleggen van restricties zonder afleiders) en de nauwkeurigheid van de beslissingen van de saliency filter.

B. Belonings-gedecomposeerde Contrastieve Verfijning
Standaard Group Relative Policy Optimization (GRPO) wijst een enkele advantage-scalar toe aan alle traces, wat kan leiden tot onverdiende gradiënten voor upstream-modules. SaliMory construeert rol-specifieke contrastieve voorkeursparen:

• Booster-paren: Strikt geselecteerd op basis van de geheugenkwaliteitsscore ($R_2$), waarbij de totale episodebeloning wordt genegeerd.
• Utilizer-paren: Geselecteerd op basis van utilisatiescores ($R_3$), maar alleen gevormd als de geheugenbanken van de vergeleken rollouts zeer vergelijkbaar zijn (via Jaccard-gelijkenis). Deze causale gating zorgt ervoor dat de utilizer alleen wordt beloond voor zijn synthesecapaciteit, en niet omdat hij per toeval betere upstream-geheugens heeft ontvangen.

3. Belangrijkste Bijdragen

1. Cognitief Geïnspireerde Architectuur: De scheiding van feitelijke snapshots, subjectieve voorkeuren en kortetermijnwerkgeheugen, beheerd door een verenigde agent die verschillende rollen vervult (filter, booster, utilizer).
2. Geheugen-verankerde RL: Een nieuw trainingsparadigma dat hiërarchische fase-specifieke procesbeloningen combineert met belonings-gedecomposeerde contrastieve verfijning om fijnegranulaire credit assignment te bieden voor meerfasige geheugensystemen.
3. Nieuwe Benchmark en Protocol: De introductie van LoCoMo-P13n, een uitbreiding van de LoCoMo-benchmark met personaliseerbare queries (aanbeveling en impliciete personalisatie), en een meerfasig evaluatieprotocol dat zowel precieze geheugenopname als personalisatiekwaliteit gezamenlijk beoordeelt.

4. Experimentele Resultaten

Geëvalueerd op de LoCoMo en LoCoMo-P13n benchmarks met behulp van een 9B parameter model (Qwen3.5-9B-Instruct) als beleid:

• End-to-End Prestaties: SaliMory bereikt 72,9% end-to-end nauwkeurigheid, waarmee het de state-of-the-art (SOTA) met meer dan 10% overtreft.
• Personalisatie: Het levert een 39,8% "Goede Personalisatie" rate, wat meer dan het dubbele is van de op één na beste baseline (Mem-R1 met 16,3%) en aanzienlijk beter presteert dan zero-shot agentic methoden aangedreven door veel grotere modellen (bijv. Gemini-3-Flash).
• Foutreductie: SaliMory vermindert geheugen-gerelateerde fouten met een derde vergeleken met baselines. Het reduceert "Slechte Personalisatie" (gehallucineerde of intrusieve reacties) bijna tot nul (1,4%).
• Geheugenkwaliteit: Het systeem vermindert vage geheugenvermeldingen tot 19,6% (vs. 35,7% voor Mem-R1) en verhoogt de feitelijke getrouwheid naar 93,9%.
• Efficiëntie: SaliMory bereikt een 76x versnelling in latentie van geheugenvorming (0,5s vs. 38s voor zero-shot) en een 5x reductie in inferentielatentie door een compact profiel te synthetiseren in plaats van ruwe retrieval-chunks te verwerken.
• Generaliseerbaarheid: In real-world Chat AI-verkeersdata verdrievoudigt SaliMory de "Goede Personalisatie" rate meer dan drie keer (van 1,7% naar 5,5%) en verbetert de geheugen-getrouwheid aanzienlijk.

5. Betekenis en Claims

Het artikel stelt dat de fundamentele uitdaging in conversationeel geheugen niet opslag is, maar beheer. SaliMory demonstreert dat door geheugenarchitectuur te funderen in cognitieve principes (het scheiden van feiten, voorkeuren en werkgeheugen) en het credit assignment-probleem op te lossen via gedecomposeerde beloningen en contrastieve verfijning, het mogelijk is om compacte modellen te trainen die massieve zero-shot modellen overtreffen.

De auteurs beweren dat hun aanpak de noodzakelijke "geïsoleerde supervisie" biedt voor afzonderlijke geheugenoperaties, waardoor agenten in staat zijn om gebruikersvoorkeuren betrouwbaar vast te leggen terwijl ze saliente details behouden. Dit framework wordt gepresenteerd als een cruciale stap naar het bouwen van effectieve levenslange digitale metgezellen die een persistente, hoogwaardige context kunnen behouden zonder overweldigd te worden door de interactiegeschiedenis.