Riepilogo Tecnico: MEMOIR – Memoria Comportamentale Temporale per la Raccomandazione attraverso lo Spettro del Drift delle Preferenze

1. Definizione del Problema

I modelli di raccomandazione sequenziale esistenti (ad es., SASRec, BERT4Rec) e i recenti metodi potenziati dagli LLM trattano tipicamente le preferenze degli utenti come riassunti statici o sottoprodotti della predizione del prossimo item. Essi apprendono implicitamente i pattern comportamentali, ma non riescono a modellare esplicitamente l'evoluzione delle preferenze. Gli autori sostengono che due utenti con storie di acquisto attuali identiche possono avere esigenze vastamente diverse se le loro traiettorie differiscono (ad es., un appassionato di fitness di lunga data rispetto a un neofita).

L'analisi empirica del dataset Amazon Reviews 2023 rivela che il drift delle preferenze è pervasivo:

• La divergenza media di Jensen-Shannon tra le distribuzioni di categoria mensili adiacenti è 0,795 (su 1,0).
• Il 92,2% degli item con cui si è interagito in una qualsiasi finestra temporale è nuovo per l'utente.
• Anche gli utenti nel quartile inferiore dei punteggi di drift mostrano cambiamenti sostanziali.

Gli approcci attuali potenziati da LLM utilizzano spesso gli LLM come fasi di pre-elaborazione offline per generare riassunti o viste aumentate per backbone basati su ID. Questi segnali semantici vengono tipicamente scartati al momento dell'inferenza, e l'architettura centrale rimane basata su ID, fallendo nel trasportare la struttura dell'evoluzione delle preferenze nel punteggio di raccomandazione finale.

2. Metodologia: Il Framework MEMOIR

MEMOIR (Memory-based Evolution MOdel for Inference in Recommendation) inverte la relazione standard: l'LLM agisce come un encoder di memoria temporale di prima classe, e l'apprendimento contrastivo codifica la struttura dell'evoluzione direttamente nella rappresentazione.

2.1 Componenti dell'Architettura

1. Segmentazione Temporale e Codifica della Memoria:

   • Le cronologie di interazione dell'utente sono partizionate in finestre temporali basate sui mesi solari.
   • Ogni finestra viene serializzata in una descrizione in linguaggio naturale (ad es., "L'utente ha valutato molto positivamente 'scarpe da corsa'...").
   • Un encoder LLM (TinyLlama-1.1B-Chat con fine-tuning LoRA) mappa queste descrizioni in embedding di memoria semantica ($m_t$).
   • Ciò produce una sequenza di memorie comportamentali $M_u = [m_1, \dots, m_W]$.

2. Perdita Contrastiva di Preservazione dell'Evoluzione ($L_{evo}$):

   • Smoothness Temporale ($L_{smooth}$): Impone continuità tra finestre adiacenti utilizzando una perdita di tipo InfoNCE, trattando le finestre adiacenti dello stesso utente come coppie positive.
   • Consistenza Direzionale ($L_{dir}$): Impone che la direzione dell'evoluzione rimanga coerente. Calcola vettori di direzione ($d_t = \hat{m}_{t+1} - \hat{m}_t$) e penalizza il disallineamento tra vettori di direzione consecutivi. Questo codifica il bias induttivo secondo cui i cambiamenti di preferenza (ad es., da casuale a sportswear) dovrebbero seguire una traiettoria coerente.

3. Predizione della Traiettoria:

   • Una GRU elabora la sequenza di memoria per produrre uno stato nascosto finale.
   • Un MLP proietta questo stato per predire la memoria del passo successivo ($\hat{m}_{W+1}$).
   • Una perdita di estrapolazione della traiettoria ($L_{extrap}$) supervisiona questa predizione utilizzando una finestra finale di hold-out.

4. Aggregazione Consapevole dell'Evoluzione:

   • Inveve di una semplice media, la rappresentazione finale dell'utente ($u^*$) è una fusione MLP di tre segnali:
     • Stato Corrente: Aggregato pesato sulla recenza delle memorie ($\bar{m}$).
     • Direzione: Il vettore di direzione dell'evoluzione ($d$).
     • Futuro Predetto: La memoria del passo successivo estrapolata ($\hat{m}_{W+1}$).
   • Ciò assicura che utenti con stati attuali identici ma traiettorie diverse ricevano rappresentazioni distinte.

5. Perdita di Consistenza Comportamentale ($L_{con}$):

   • Un regolarizzatore che penalizza la distanza tra la memoria aggregata normalizzata e l'embedding dell'item target normalizzato. Questo ancora la traiettoria semantica allo spazio degli embedding degli item effettivi, evitando il drift verso regioni semanticamente distanti.

2.2 Obiettivo di Addestramento

La perdita totale combina raccomandazione, evoluzione, consistenza ed estrapolazione:
$$L = L_{rec} + \lambda_1 L_{evo} + \lambda_2 L_{con} + \lambda_3 L_{extrap}$$
dove $L_{rec}$ è una perdita di raccomandazione InfoNCE sul prodotto scalare utente-item.

3. Contributi Chiave

• Cambio Architetturale: Propone un framework in cui l'LLM è il principale encoder dell'utente per le finestre temporali, e l'apprendimento contrastivo è il meccanismo per apprendere la struttura dell'evoluzione, piuttosto che un semplice passaggio offline ausiliario.
• Rappresentazione Consapevole dell'Evoluzione: Introduce un metodo per fondere lo stato corrente, la direzione dell'evoluzione e il futuro predetto in un singolo embedding utente.
• Analisi Stratificata per il Drift: Va oltre le metriche aggregate per analizzare le prestazioni attraverso uno spettro di drift delle preferenze dell'utente, rivelando che i guadagni si concentrano in specifici segmenti di utenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sulle categorie Electronics e Clothing_Shoes_and_Jewelry di Amazon Reviews 2023 (99.355 utenti).

4.1 Prestazioni Aggregate

• MEMOIR ha raggiunto un NDCG@10 di 0,0643, in parità statistica con il baseline più forte, UniSRec (0,0641).
• I modelli dividono le quattro metriche riportate in 2–2:
  • MEMO-IR guida: NDCG@10 e MRR.
  • UniSRec guida: HR@10 e HR@20.
• Entrambi hanno superato significativamente sei altri baseline (inclusi SASRec, CL4SRec e SRA-CL).
• SASRec-Text (SASRec con embedding semantici congelati che sostituiscono gli embedding ID) è stato meno performante del vanilla SASRec, indicando che le feature semantiche da sole non migliorano la raccomandazione senza specifici meccanismi di allineamento architettonico.

4.2 Studio di Ablazione

Sorprendentemente, nessun singolo componente architettonico (perdita contrastiva di preservazione dell'evoluzione, termine di consistenza direzionale o segmentazione della finestra temporale) ha spiegato individualmente la maggior parte del guadagno di MEMOIR rispetto ai baseline basati su ID.

• Rimuovere qualsiasi singolo componente ha portato le prestazioni entro il 2% dal modello completo su NDCG@10 aggregato.
• Anche sostituire gli encoder degli item pre-addestrati con embedding ID casuali ("w/ Random-Init Items") ha prodotto il miglior NDCG@10 tra le varianti di ablazione (0,0650), suggerendo che il guadagno aggregato non è guidato da un singolo modulo isolato.

4.3 Analisi Stratificata per il Drift (Il Risultato Centrale)

Quando le prestazioni sono state stratificate per un punteggio composito di drift delle preferenze (Alto, Medio, Basso):

• Estremi di Drift Alto e Basso: MEMOIR ha superato UniSRec su metriche di qualità del ranking (NDCG@10, MRR).
• Drift Medio (50% degli utenti): UniSRec ha guidato su tutte e quattro le metriche.
• Conclusione: Il "pareggio" aggregato maschera un pattern specifico: il vantaggio di MEMOIR è concentrato agli estremi della distribuzione del drift, mentre UniSRec domina nella fascia centrale e nelle metriche orientate al volume (HR) attraverso tutti gli strati.

5. Significato e Rivendicazioni

Il paper sostiene che il suo risultato più sostanziale e riproducibile non è il quasi-pareggio aggregato con UniSRec, né il contributo di un singolo componente ablato, ma piuttosto l'insight chiave è il pattern di prestazione stratificato per il drift:

• MEMOIR è specificamente efficace per gli utenti agli estremi del drift alto e basso, dove la modellazione della traiettoria (direzione e futuro) fornisce un vantaggio nella qualità del ranking.
• L'assunzione di consistenza direzionale del modello (che assume un drift monotonico) potrebbe essere meno efficace per gli utenti con "drift medio", che mostrano preferenze più oscillanti o stagionali, spiegando perché UniSRec domina quel segmento.

Gli autori concludono che, sebbene MEMOIR offra rappresentazioni più ricche della consapevolezza dell'evoluzione, scambia la semplicità di inferenza e la latenza sub-millisecondo degli approcci basati su ID (come SASRec) con il costo computazionale degli embedding delle finestre derivati da LLM. Il paper lascia aperta la spiegazione meccanicistica del perché il guadagno si concentri agli estremi del drift, identificando questo come un campo per lavori futuri.