💬 NLP

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

Het artikel introduceert MEMOIR, een framework dat door LLM gegenereerde semantische gedragengeugens uit temporele interactievensters benut om de drift in gebruikersvoorkeuren effectief te modelleren, waarbij wordt aangetoond dat hoewel de geaggregeerde prestaties gelijk zijn aan de sterke UniSRec-baseline, de meest significante en reproduceerbare bijdrage de superieure rangschikkingskwaliteit is, specif</strong> specifiek voor gebruikers aan de uiterste hoge- en lage-driftextremen van het voorkeursspectrum.

Oorspronkelijke auteurs: Younggue Bae

Gepubliceerd 2026-07-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Younggue Bae

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden wat je vriend(in) als verjaardagscadeau wil. Als je alleen kijkt naar wat hij of zij vorige week heeft gekocht, zit je er misschien naast. Misschien heeft hij of zij net een nieuwe videogame gekocht, maar dat betekent niet dat hij of zij er nog een wil; misschien is hij of zij eigenlijk net begonnen met koken. Dit is de kern van recommender systems (aanbevelingssystemen): de computerprogramma's die films, liedjes of schoenen aan ons voorstellen. Lange tijd behandelden deze programma's onze eerdere keuzes als één enkele, statische foto. Ze gingen ervan uit dat als je gisteren van actiefilms hield, je daar voor altijd van zou houden. Maar mensen zijn grillig en veranderlijk. Wij hebben last van preference drift (voorkeursdrift), wat gewoon een chique manier is om te zeggen dat onze smaak in de loop van de tijd evolueert. De grote vraag in dit vakgebied is: Hoe bouwen we een systeem dat niet alleen ziet wie we nu zijn, maar ook het verhaal begrijpt van hoe we hier terecht zijn gekomen en waar we naartoe gaan?

Dit is waar een nieuw framework genaamd MEMOIR om de hoek komt kijken. Denk aan MEMOIR als een superintelligente dagboekhouder voor je online winkelgewoonten. In plaats van alleen naar een lijst met items te kijken waar je op hebt geklikt, hakt MEMOIR je geschiedenis in maandelijkse "hoofdstukken". Voor elke maand gebruikt het een gigantisch, breinachtig computerprogramma (een Large Language Model, of LLM) om een korte, semantische samenvatting van je gedrag te schrijven—zoals: "Deze maand was de gebruiker geobsedeerd door hardloopartikelen en proteïnepoeders."

Maar MEMOIR stopt niet bij het alleen lezen van het dagboek. Het probeert de plot te begrijpen. Het kijkt naar hoe jouw verhaal veranderde van januari naar februari. Verschoof je geleidelijk van casual kleding naar sportkleding? Of schommelde je heen en weer? Om dit te doen, gebruikt MEMOIR een speciale wiskundige truc die contrastive learning (contrastief leren) wordt genoemd. Stel je een spel voor waarbij de computer leert dat "hardloopschoenen" en "yogamatten" bij hetzelfde hoofdstuk van je leven horen, terwijl "pakken" bij een ander hoofdstuk horen. Het dwingt de computer om aandacht te besteden aan de richting van je verandering, niet alleen aan de items zelf.

De onderzoekers testten MEMOIR op echte data van Amazon, waarbij ze keken naar miljoenen recensies van elektronica en kleding. Ze ontdekten iets fascinerends: MEMOIR is ongelooflijk goed in het inschatten van de kwaliteit van aanbevelingen voor mensen die ofwel zeer stabiel zijn in hun smaak, of juist heel snel veranderen. Echter, voor mensen wiens smaak een beetje wankel is of zich in een langzame, verwarrende verschuiving bevindt, deed een ander systeem genaamd UniSRec het iets beter in het simpelweg voorspellen van hoeveel items je zou kunnen aanklikken.

Hier komt de wending die dit artikel bijzonder maakt: de auteurs probeerden uit te zoeken waarom MEMOIR zo goed werkte. Ze haalden de machine uit elkaar, stukje bij beetje, om te zien welk onderdeel het geheime ingrediment was. Ze verwijderden de "richting"-tracker, ze verwijderden de "maandelijkse hoofdstukken", en ze vervingen zelfs het geavanceerde brein door een willekeurige gokker. Tot hun verbazing verklaarde geen van deze afzonderlijke onderdelen het volledige succes. Het is alsof je een winnend sportteam uit elkaar haalt en erachter komt dat er geen enkele speler is die de reden is van de overwinning; het is het hele team dat samenwerkt op een manier die we nog niet volledig begrijpen.

De belangrijkste ontdekking is niet dat MEMOIR overal perfect is, maar juist waar het uitblinkt. Het suggereert dat deze "evolutie-bewuste" aanpak een gamechanger is voor de extremen: de gebruikers die zeer standvastig zijn in hun gewoonten en de gebruikers die razendsnel transformeren. Voor de "middenmoot" houden de oude methoden nog steeds hun eigen terrein. Het artikel concludeert dat, hoewel we niet precies kunnen aanwijzen welk deel van de wiskunde de magie is, het idee om de geschiedenis van een gebruiker te behandelen als een bewegend verhaal in plaats van een statisch snapshot, een krachtige nieuwe richting is. Het is een herinnering dat je, om iemand echt te begrijpen, naar hun hele verhaal moet luisteren, en niet alleen naar de laatste zin die ze schreven.

Technische Samenvatting: MEMOIR – Temporele Gedragsgeheugen voor Aanbevelingen over het Spectrum van Voorkeurverschuiving

1. Probleemstelling

Bestaande sequentiële aanbevelingsmodellen (bijv. SASRec, BERT4Rec) en recente door LLM's verbeterde methoden behandelen gebruikersvoorkeuren doorgaans als statische samenvattingen of als bijproducten van de voorspelling van het volgende item. Ze leren impliciet gedragspatronen, maar falen in het expliciet modelleren van voorkeuvevolutie. De auteurs stellen dat twee gebruikers met identieke huidige aankoopgeschiedenissen zeer verschillende behoeften kunnen hebben als hun trajecten verschillen (bijv. een langdurige fitnessfanaat versus een beginner).

Empirische analyse van de Amazon Reviews 2023-dataset onthult dat voorkeursdrift alomtegenwoordig is:

De gemiddelde Jensen-Shannon divergentie tussen aangrenzende maandelijkse categorieverdelingen is 0,795 (van de 1,0).
92,2% van de items waarmee in een gegeven venster is geïnteracteerd, is nieuw voor de gebruiker.
Zelfs gebruikers in het onderste kwartiel van de driftscores vertonen substantiële verandering.

Huidige door LLM's verbeterde benaderingen gebruiken LLM's vaak als offline preprocessingsstappen om samenvattingen of geaugmenteerde weergaven te genereren voor ID-gebaseerde backbones. Deze semantische signalen worden tijdens de inferentie doorgaans weggegooid, en de kernarchitectuur blijft ID-gebaseerd, waardoor de structuur van de voorkeuvevolutie niet wordt meegenomen in de uiteindelijke aanbevelingsscore.

2. Methodologie: Het MEMOIR-framework

MEMOIR (Memory-based Evolution MOdel for Inference in Recommendation) keert de standaardrelatie om: de LLM fungeert als een eersteklas temporele geheugencoder, en contrastief leren codeert de structuur van evolutie direct in de representatie.

2.1 Architectuurcomponenten

Temporele Segmentatie & Geheugenencodering:
- Gebruikersinteractiegeschiedenissen worden in temporele vensters verdeeld op basis van kalendermaanden.
- Elk venster wordt geserialiseerd naar een natuurlijke taalbeschrijving (bijv. "Gebruiker beoordeelde 'hardloopschoenen' zeer hoog...").
- Een LLM-encoder (TinyLlama-1.1B-Chat met LoRA fine-tuning) brengt deze beschrijvingen in kaart naar semantische geheugenembeddings ( $m_t$ ).
- Dit levert een sequentie van gedragsgeheugens op $M_u = [m_1, \dots, m_W]$ .
Evolutie-behoudende Contrastieve Verliesfunctie ( $L_{evo}$ ):
- Temporele Gladheid ( $L_{smooth}$ ): Dwingt continuïteit af tussen aangrenzende vensters met behulp van een InfoNCE-achtige verliesfunctie, waarbij aangrenzende vensters van dezelfde gebruiker als positieve paren worden behand जुcht.
- Directionele Consistentie ( $L_{dir}$ ): Dwingt af dat de richting van de evolutie coherent blijft. Het berekent richtingvectoren ( $d_t = \hat{m}_{t+1} - \hat{m}_t$ ) en straft mismatch tussen opeenvolgende richtingvectoren af. Dit codeert de inductieve bias dat verschuivingen in voorkeur (bijv. van recreatief naar sportkleding) een consistente traject moeten volgen.
Trajectvoorspelling:
- Een GRU verwerkt de geheugensequentie om een uiteindelijke verborgen toestand te produceren.
- Een MLP projecteert deze toestand om het geheugen van de volgende stap te voorspellen ( $\hat{m}_{W+1}$ ).
- Een traject extrapolatieverlies ( $L_{extrap}$ ) controleert deze voorspelling met behulp van een hold-out laatste venster.
Evolutie-bewuste Aggregatie:
- In plaats van een eenvoudig gemiddelde is de uiteindelijke gebruikersrepresentatie ( $u^*$ $u^{*}$ ) een MLP-fusie van drie signalen:
  - Huidige Toestand: Recentie-gewogen aggregatie van geheugens ( $\bar{m}$ ).
  - Richting: De evolutierichtingvector ( $d$ ).
  - Voorspelde Toekomst: De geëxtrapoleerde geheugen van de volgende stap ( $\hat{m}_{W+1}$ ).
- Dit zorgt ervoor dat gebruikers met identieke huidige toestanden maar verschillende trajecten onderscheidende representaties krijgen.
Gedragsconsistentie Verliesfunctie ( $L_{con}$ ):
- Een regularisator die de afstand tussen de genormaliseerde geaggregeerde geheugen en de genormaliseerde target item-embedding bestraft. Dit verankert het semantische traject aan de werkelijke item-embeddingruimte, om te voorkomen dat het afdrijft naar semantisch losgekoppelde regio's.

2.1 Trainingsdoelstelling

De totale verliesfunctie combineert aanbeveling, evolutie, consistentie en extrapolatie:
$L = L_{rec} + \lambda_1 L_{evo} + \lambda_2 L_{con} + \lambda_3 L_{extrap}$
waarbij $L_{rec}$ een InfoNCE-aanbevelingsverlies is over gebruikers-item dot-producten.

3. Belangrijkste Bijdragen

Architecturale Verschuiving: Stelt een framework voor waarbij de LLM de primaire gebruikersencoder is voor temporele vensters, en contrastief leren het mechanisme is om de evolutiestructuur te leren, in plaats van een aanvullende offline stap.
Evolutie-bewuste Representatie: Introduceert een methode om de huidige toestand, de evolutierichting en de voorspelde toekomst samen te voegen tot één gebruikersembedding.
Drift-gestratificeerde Analyse: Gaat verder dan geaggregeerde metrieken door prestaties te analyseren over een spectrum van gebruikersvoorkeursdrift, waarbij wordt aangetoond dat de winsten geconcentreerd zijn in specifieke gebruikerssegmenten.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de categorieën Electronics en Clothing_Shoes_and_Jewelry van Amazon Reviews 2023 (99.355 gebruikers).

4.1 Geaggregeerde Prestaties

MEMOIR behaalde een NDCG@10 van 0,0643, wat statistisch gelijk is aan de sterkste baseline, UniSRec (0,0641).
De modellen splitsen de vier gerapporteerde metrieken 2–2:
- MEMOIR leidt: NDCG@10 en MRR.
- UniSRec leidt: HR@10 en HR@20.
- Beide presteren aanzienlijk beter dan zes andere baselines (inclusief SASRec, CL4SRec en SRA-CL).
SASRec-Text (SASRec met bevroren semantische embeddings in plaats van ID-embeddings) presteerde slechter dan de standaard SASRec, wat aangeeft dat semantische kenmerken alleen de aanbeveling niet verbeteren zonder specifieke architecturale uitlijningsmechanismen.

4.2 Ablatiestudie

Verrassend genoeg kon geen enkele architecturale component (evolutie-behoudende contrastieve verliesfunctie, directionele consistentie-term of temporele venstersegmentatie) individueel de meerderheid van de winst van MEMOIR ten opzichte van ID-gebaseerde baselines verklaren.

Het verwijderen van een enkele component resulteerde in een prestatie binnen 2% van het volledige model op de geaggregeerde NDCG@10.
Zelfs het vervangen van pretrained item encoders door willekeurige ID-embeddings ("w/ Random-Init Items") leverde de beste NDCG@10 op onder de ablatievarianten (0,0650), wat suggereert dat de geaggregeerde winst niet wordt gedreven door één geïsoleerd onderdeel.

4.3 Drift-gestratificeerde Analyse (De Kernbevinding)

Wanneer de prestaties werden gestratificeerd op basis van een samengestelde voorkeursdrift-score (Hoog, Medium, Laag):

Extremen van Hoge en Lage Drift: MEMOIR presteerde beter dan UniSRec op ranking-kwaliteitsmetrieken (NDCG@10, MRR).
Medium Drift (50% van de gebruikers): UniSRec leidde op alle vier de metrieken.
Conclusie: De geaggregeerde "gelijkspel"-situatie maskeert een specifiek patroon: het voordeel van MEMOIR is geconcentreerd bij de extremen van de driftdistributie, terwijl UniSRec domineert in het middenbereik en bij volume-georiënteerde metrieken (HR) over alle strata heen.

5. Betekenis en Claims

Het artikel stelt dat de meest substantiële en reproduceerbare bevinding niet het geaggregeerde bijna-gelijkspel met UniSRec is, noch de bijdrage van een enkel geablateerd onderdeel, maar de drift-gestratificeerde prestatiepatronen:

MEMOIR is specifiek effectief voor gebruikers aan de hoog- en laag-drift extremen van de distributie, waar het modelleren van het traject (richting en toekomst) een voordeel biedt in de rankingkwaliteit.
De directionele consistentie-aanname van het model (die een monotone drift veronderstelt) is mogelijk minder effectief voor de "medium-drift" gebruikers die meer oscillerende of seizoensgebonden voorkeuren vertonen, wat verklaart waarom UniSRec dit segment domineert.

De auteurs concluderen dat hoewel MEMOIR rijkere evolutie-bewuste representaties biedt, het de eenvoud van inferentie en de milliseconde-latentie van ID-gebaseerde benaderingen (zoals SASRec) inruilt voor de computationele kosten van door LLM's afgeleide vensterembeddings. Het artikel laat de mechanistische verklaring voor waarom de winst zich concentreert bij de drift-extremen open, en identificeert dit als een richting voor toekomstig onderzoek.