Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval

Dit paper introduceert RF-Mem, een adaptief tweestapsretrievalsysteem voor gepersonaliseerde LLM's dat menselijk geheugen nabootst door te schakelen tussen snelle 'familiarity'-herkenning en diepgaande 'recollection'-reconstructie, waardoor het zowel schaalbaar is als nauwkeuriger dan bestaande methoden.

De kern

Stel je voor dat je een zeer slimme, digitale assistent hebt die alles over jou weet: je favoriete restaurants, je oude schoolvrienden, je medische geschiedenis en je dromen voor de toekomst. Dit is een LLM (een grote taalmodel) met een persoonlijk geheugen.

Het probleem is: hoe haal je het juiste stukje informatie op het juiste moment uit dat enorme geheugen?

De meeste huidige systemen doen dit op twee manieren, die beide niet perfect zijn:

1. De "Alles-lezen" methode: Ze proberen alles wat ze over jou weten in één keer te lezen. Dat is als proberen een heel boek te lezen om één zin te vinden. Het duurt te lang en kost te veel energie.
2. De "Snelle Zoek" methode: Ze zoeken alleen naar woorden die precies hetzelfde klinken als je vraag. Dat is als iemand die je kent herkennen aan zijn jas, maar dan vergeten dat hij ook een andere jas heeft. Het is snel, maar vaak onnauwkeurig.

De auteurs van dit paper (RF-Mem) zeggen: "Wacht even! Mensen doen het anders."

De Menselijke Geest: Twee Manieren van Herinneren

Volgens de psychologie gebruiken mensen twee verschillende manieren om te herinneren:

1. Vertrouwdheid (Familiarity): Dit is dat snelle gevoel van "Oh ja, ik ken die persoon!" Het gaat snel, maar het is oppervlakkig. Je weet dat je iemand kent, maar misschien niet precies waar je hem hebt gezien.
   • Analogie: Je loopt langs een straat en herkent een gevel direct. "Die ken ik!" Maar je weet niet precies welk huis het is of wat er binnen gebeurt.
2. Herinnering (Recollection): Dit is het langzame, bewuste proces. Als de snelle herkenning niet genoeg is, ga je nadenken: "Wacht, waar heb ik die gevel gezien? Oh ja, het was bij de koffiebar in Amsterdam, en ik zat daar met mijn oom." Je bouwt een keten van gedachten op om het volledige plaatje te krijgen.
   • Analogie: Je probeert een naam te herinneren. Eerst komt er niets, dan denk je: "Het begon met een M... het was in de zomer... oh ja, Mark!" Je reconstructeert het geheugen stap voor stap.

De Oplossing: RF-Mem (De Slimme Portier)

Deze paper introduceert RF-Mem, een systeem dat deze twee menselijke manieren nabootst. Het werkt als een slimme portier in een enorm hotel (jouw geheugen).

Hoe werkt het?

1. De Snelle Check (Vertrouwdheid):
   Als je een vraag stelt, kijkt de portier eerst snel of er direct een match is.

   • Voorbeeld: Je vraagt: "Wat is mijn favoriete pizza?"
   • Actie: De portier ziet direct een bordje met "Pizza Margherita" hangen. Hij zegt: "Ja, dat is duidelijk!" en geeft je het antwoord direct. Geen gedoe, heel snel.

2. De Slimme Zoektocht (Herinnering):
   Als de portier merkt dat het antwoord niet direct duidelijk is (bijvoorbeeld als je vraag vaag is of complex), schakelt hij over naar de "Herinnering"-modus.

   • Voorbeeld: Je vraagt: "Wat was er met mijn gezondheid vorig jaar?"
   • Actie: De portier ziet geen enkel bordje dat direct past. In plaats van te stoppen, begint hij te zoeken:
     • Stap 1: Hij zoekt naar "gezondheid". Hij vindt een paar dossiers.
     • Stap 2: Hij groepeert deze dossiers (bijv. "dieet", "artsbezoek", "sport").
     • Stap 3: Hij gebruikt de kern van die groepen om een nieuwe, betere vraag te stellen aan zichzelf. "Oké, als het over gezondheid ging, wat zei ik toen over mijn dieet?"
     • Stap 4: Hij herhaalt dit een paar keer, net als een detective die een spoor volgt, totdat hij het volledige verhaal heeft samengesteld.

Waarom is dit zo cool?

• Het bespaart tijd: Als het antwoord makkelijk is, doet het systeem het snel (Vertrouwdheid). Je hoeft niet te wachten op een lange zoektocht voor simpele vragen.
• Het is dieper: Als het antwoord moeilijk is, gaat het systeem dieper graven (Herinnering) en vindt het verbanden die een simpele zoekmachine zou missen.
• Het past zich aan: Het systeem voelt zelf aan of het antwoord "duidelijk" is of "onzeker". Als het onzeker is, schakelt het automatisch over naar de langzamere, maar betere, zoekmethode.

Samenvattend

Stel je voor dat je een vriend hebt die je kent.

• Als je vraagt: "Hoe heet je?", zegt hij direct: "Jan!" (Snel, vertrouwd).
• Als je vraagt: "Wat was het weer in de stad waar we in 2018 waren?", denkt hij even na, roept een beeld op van de stad, de regen, en zegt dan: "Oh ja, het regende pijpenstelen in Londen!" (Langzaam, reconstructie).

RF-Mem is die vriend. Het is niet alleen een database, maar een systeem dat leert hoe het moet zoeken, precies zoals wij mensen dat doen. Hierdoor kunnen AI-assistenten veel persoonlijker en slimmer worden, zonder dat ze traag worden of vergeten wat ze moeten doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval", geschreven in het Nederlands.

1. Probleemstelling

Persoonlijke Large Language Models (LLMs) zijn afhankelijk van geheugenretrieval om gebruikersspecifieke geschiedenissen, voorkeuren en contexten te integreren. Bestaande aanpakken kampen echter met twee fundamentele beperkingen:

• Overbelasting: Het invoeren van alle gebruikersgeschiedenis in de prompt is kostbaar, niet schaalbaar en leidt vaak tot "out-of-context" fouten bij grote corpusgroottes.
• Oppervlakkige zoekopdrachten: De meeste systemen reduceren retrieval tot een "one-shot" similariteitszoekopdracht (top-K). Dit vangt alleen oppervlakkige matches en mist diepere, contextuele verbanden die nodig zijn voor complexe redenering of lang-tail kennis.

De auteurs wijzen erop dat menselijk geheugen werkt via een dubbel-proces theorie (Dual-Process Theory):

1. Familiarity (Vertrouwdheid): Een snelle, intuïtieve herkenning die goed is voor directe feiten, maar vaak onnauwkeurig of oppervlakkig.
2. Recollection (Herinnering): Een langzamere, bewuste reconstructie van context en details, geactiveerd wanneer vertrouwdheid onvoldoende is.

Huidige systemen missen de capaciteit om deze twee paden adaptief te schakelen, wat leidt tot ofwel onvoldoende recall (gemiste context) ofwel overmatige ruis en latentie.

2. Methodologie: RF-Mem

Het paper introduceert RF-Mem (Recollection–Familiarity Memory Retrieval), een framework dat de retrieval-strategie dynamisch aanpast op basis van een "familiarity uncertainty" signaal. Het systeem bestaat uit vijf fasen:

A. Familiarity Uncertainty-Driven Selection (De Schakelaar)

Voordat het systeem kiest voor een pad, voert het een korte "probe" retrieval uit om de zekerheid te meten. Dit gebeurt via twee metrics:

• Gemiddelde Similariteitscore ($\bar{s}$): Hoe sterk de top-K resultaten overeenkomen met de query.
• Entropie ($H(p)$): De onzekerheid in de verdeling van de scores. Lage entropie betekent dat de resultaten geconcentreerd zijn (hoge zekerheid), hoge entropie betekent verspreide resultaten (onzekerheid).

De Schakellogica:

• Familiarity Pad: Wordt geactiveerd als $\bar{s}$ hoog is (directe match) of als $\bar{s}$ gemiddeld is maar de entropie laag is (geconcentreerde bewijslast). Dit resulteert in een snelle, one-shot top-K retrieval.
• Recollection Pad: Wordt geactiveerd als $\bar{s}$ laag is of de entropie hoog is (onzekerheid). Dit activeert een meerlagig, iteratief proces.

B. Recollection Retrieval (Het Iteratieve Proces)

Wanneer het systeem onzekerheid detecteert, schakelt het over naar een bewuste reconstructie:

1. Clusteren: De kandidaat-geheugens uit de probe worden gegroepeerd met KMeans.
2. Centroid Mixing: Voor elk cluster wordt een centroid berekend. Deze wordt gemixt met de originele query via een $\alpha$-mixing strategie:
   $$x^{(r+1)}_b = \text{norm}(\alpha x^{(r)} + (1 - \alpha) g^{(r)}_b + x_t)$$
   Hierbij is $x_t$ de originele query, $g^{(r)}_b$ de centroid, en $\alpha$ een weging. Dit zorgt ervoor dat de zoekopdracht zich uitbreidt naar gerelateerde context zonder de oorspronkelijke intentie volledig te verliezen.
3. Iteratie: Dit "retrieve-cluster-mix" proces wordt herhaald over meerdere rondes (beperkt door beam width $B$, fanout $F$ en maximale rondes $R$), waardoor bewijsketens stap voor stap worden opgebouwd.

3. Belangrijkste Bijdragen

1. Theoretische Grounding: Het eerste framework dat persoonlijke geheugenretrieval expliciet baseert op de cognitieve Recollection-Familiarity dual-process theorie.
2. Adaptieve Schakeling: Een mechanisme dat onzekerheid (via entropie en scores) gebruikt om automatisch te schakelen tussen snelle herkenning en diepe reconstructie.
3. Efficiënte Recollectie: Een methode voor keten-achtige bewijsreconstructie die volledig in de embedding-ruimte plaatsvindt (zonder dure LLM-generatie tussenstappen), waardoor het schaalbaar blijft.
4. Prestaties: RF-Mem bereikt hoge nauwkeurigheid en recall met een latentie die dicht bij die van een simpele one-shot zoekopdracht ligt, terwijl het de kosten van volledige context-invoer vermijdt.

4. Resultaten

De auteurs hebben RF-Mem getest op drie benchmarks: PersonaMem (32K, 128K, 1M tokens), PersonaBench en LongMemEval.

• Genereerprestaties (PersonaMem): RF-Mem overtrof consistent zowel "Full Context" (alle geschiedenis invoeren) als "Dense Retrieval" (standaard top-K).
  • Bij 32K tokens: RF-Mem scoorde 0.6350 vs. 0.6129 voor Full Context, maar met slechts 3.6k tokens input (vs. 24.7k).
  • Bij 1M tokens: Full Context faalde ("OOC" - Out of Context), terwijl RF-Mem stabiel bleef en de beste scores leverde (0.4589).
• Retrieval Prestaties (PersonaBench & LongMemEval):
  • RF-Mem bood de beste balans tussen Recall@K en latentie.
  • Het systeem presteerde beter dan alleen "Familiarity" op complexe, context-rijke taken (zoals "Preference Hard" en sociale vragen) en beter dan alleen "Recollection" op feitelijke taken, dankzij de adaptieve schakeling.
  • Latentie was significant lager dan een altijd-geactiveerde recollectie-modus (bijv. 5.09ms vs 7.09ms bij 32K corpus).
• Robuustheid: Het systeem bleek modulair en werkte goed in combinatie met bestaande indexbouw-methoden (zoals MemoryBank) en query-expansietechnieken (zoals HyDE).

5. Betekenis en Impact

Dit paper is significant omdat het de brug slaat tussen cognitieve psychologie en informatierelevantie in LLM's.

• Schaalbaarheid: Het lost het probleem op van hoe om te gaan met enorme hoeveelheden persoonlijke data zonder de contextvenster van LLM's te overbelasten.
• Efficiëntie: Het toont aan dat "slimmer zoeken" (adaptief) beter werkt dan "meer zoeken" (full context) of "sneller zoeken" (alleen top-K).
• Toekomstperspectief: Het biedt een blauwdruk voor het bouwen van AI-agenten die niet alleen feiten opslaan, maar ook kunnen "nadenken" over hun eigen geheugen door bewust te schakelen tussen intuïtie en analyse, wat essentieel is voor echte personalisatie in complexe scenario's zoals gezondheidszorg of juridisch advies.

Kortom, RF-Mem introduceert een nieuwe standaard voor persoonlijk geheugenretrieval door de menselijke manier van herinneren na te bootsen: snel herkennen waar mogelijk, en diep graven wanneer nodig.