Sintesi Tecnica: Diffusione Consapevole del Tempo basata sulla Disgiunzione delle Preferenze per la Raccomandazione Generativa (TDPM)

1. Definizione del Problema

I Raccomandatori Generativi (GR) sono emersi come un paradigma trasformativo sostituendo i tradizionali ID degli articoli con Indici Semantici (SID), consentendo ai modelli di generare direttamente il prossimo articolo che un utente è probabile che interagisca con esso. Sebbene lavori recenti abbiano esplorato l'uso di modelli di diffusione come backbone per i GR grazie alle loro capacità generative, una limitazione critica rimane: i recenti GR basati su diffusione applicano un processo di diffusione uniforme a tutti gli articoli nella cronologia di interazione di un utente.

Questa uniformità non tiene conto della natura non stazionaria e dellamente variabile nel tempo delle preferenze dell'utente. Nella realtà, le preferenze dell'utente sono modellate da fattori multifaccettati:

• Consistenza a lungo termine: Interessi stabili accumulati nel tempo (ad es. un appassionato di calcio che acquista costantemente attrezzatura).
• Deviazioni a breve termine: Scostamenti improvvisi degli interessi innescati da eventi focali recenti o stimoli esterni (ad es. l'acquisto improvviso di un gamepad).

I modelli di diffusione standard trattano tutti gli articoli storici in modo indiscriminato, assumendo una distribuzione uniforme che contraddice la dinamica temporale del comportamento dell'utente. Questo articolo sostiene che, per colmare questo divario, il processo di diffusione deve essere adattato per integrare esplicitamente le preferenze dell'utente in evoluzione temporale.

2. Metodologia: Framework TDPM

Gli autori propongono TDPM (Time-Aware Diffusion based on Preference Disentanglement), un nuovo framework GR che modifica il processo di diffusione standard per la raccomandazione basata su SID. L'innovazione principale risiede nella disgiunzione della preferenza dell'utente in due componenti distinte per guidare una strategia di masking dei token consapevole del tempo.

2.1 Generazione dell'ID Semantico (SID)

Seguendo i GR basati su SID esistenti, TDPM converte prima i metadati degli articoli (testo, categorie, ecc.) in embedding densi utilizzando un Large Language Model (LLM). Questi embedding vengono poi compressi in SID discreti e multilivello utilizzando la Residual Quantization K-Means (RQ-KMeans). Ciò crea una sequenza di token gerarchica per ogni articolo, preservando la prossimità semantica.

2.2 Disgiunzione delle Preferenze

TDPM decompone la preferenza dell'utente in due variabili latenti:

1. Preferenza di Periodo ($p_{period}$): Rappresenta i profili stabili e a lungo termine dell'utente. È modellata come una funzione monotonicamente crescente dell'indice temporale (posizione nella cronologia), riflettendo l'intuizione che le interazioni recenti hanno un peso maggiore per gli interessi attuali.
2. Preferenza di Punto ($p_{point}$): Rappresenta le deviazioni transitorie e a breve termine degli interessi. È calcolata in base alla deviazione semantica (ad es. distanza del coseno) tra articoli adiacenti nella cronologia di interazione. Una grande deviazione indica uno spostamento improvviso dell'interesse.

2.3 Diffusione dei Token Consapevole del Tempo

Invece della standard aggiunta di rumore, TDPM impiega il token masking consapevole del tempo come processo di diffusione in avanti. La probabilità di masking ($p_j$) per il $j$-esimo articolo nella cronologia è determinata dinamicamente fondendo le preferenze di periodo e di punto:
$$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$$

• Ponderazione Adattiva ($\lambda$): Un iperparametro che bilancia le due preferenze. Fondamentalmente, $\lambda$ non è fisso; segue uno schema di crescita a legge di potenza durante l'addestramento, spostando gradualmente il focus verso la preferenza di periodo man mano che il modello si stabilizza.
• Meccanismo: Gli articoli con probabilità di masking più elevate (che indicano maggiore importanza o deviazione) vengono mascherati più aggressivamente. Ciò costringe il modello a imparare a ricostruire questi segnali critici, catturando così sia i pattern stabili che i cambiamenti improvvisi.

2.4 Strategia di Ottimizzazione

L'addestramento segue un paradigma a due fasi:

1. Fase di Warm-up: Utilizza il masking uniforme dei token per pre-addestrare il modello sul vocabolario SID e sui pattern di co-occorrenza, garantendo un'inizializzazione stabile.
2. Fase di Token Masking Consapevole del Tempo: Sostituisce il masking uniforme con la proposta strategia di disgiunzione delle preferenze. Il SID dell'articolo target è completamente mascherato per allinearsi al compito di inferenza (predizione del prossimo articolo).

2.5 Inferenza

Durante l'inferenza, il modello riceve la cronologia SID dell'utente seguita da $m$ token di maschera. Esegue la generazione autoregressiva utilizzando una ricerca beam constrained guidata da un albero di prefisso (Trie) costruito dal vocabolario SID, garantendo che la sequenza generata corrisponda a un articolo valido.

3. Contributi Chiave

L'articolo rivendica i seguenti contributi:

• Prima Integrazione delle Preferenze in Evoluzione Temporale: Per quanto ne sappiano gli autori, questo è il primo lavoro che integra la proprietà dell'evoluzione temporale della preferenza dell'utente nella raccomandazione generativa basata su diffusione.
• Nuovo Meccanismo di Disgiunzione: La proposta di TDPM, che disgiunge la preferenza dell'utente in una stabile preferenza di periodo e una transitoria preferenza di punto, permettendo al modello di governare adattivamente l'intensità della diffusione per ogni articolo.
• Superiorità delle Prestazioni: Esperimenti estesi dimostrano che TDPM supera significativamente i baseline allo stato dell'arte (inclusi i modelli sequenziali tradizionali, i GR basati su SID e altri raccomandatori basati su diffusione).

4. Risultati Sperimentali

Gli autori hanno valutato TDPM su tre dataset reali pubblici da Amazon: Beauty, Sports and Outdoors, e Toys and Games.

• Baseline: Lo studio confronta TDPM con modelli sequenziali basati su RNN/CNN/Transformer (GRU4Rec, SASRec, BERT4Rec), GR basati su SID (TIGER, LC-Rec) e altri raccomandatori basati su diffusione (PreferDiff, DDSR, PreferGrow).
• Prestazioni: TDPM ha ottenuto miglioramenti significativi rispetto ai migliori metodi baseline.
  • HR@20: Miglioramento fino al 29,21%.
  • NDCG@20: Miglioramento fino al 25,45%.
• Studi di Ablazione:
  • Rimuovendo la Preferenza di Punto, si è verificato un calo delle prestazioni di circa il 10%, indicando la necessità di catturare le deviazioni di interesse.
  • Rimuovendo la Preferenza di Periodo, si è verificato un calo maggiore (~20%), evidenziando che le preferenze stabili a lungo termine formano la base essenziale.
  • Rimuovendo entrambe (tornando al masking uniforme), si è ottenuta la prestazione peggiore, confermando che la standard diffusione uniforme è insufficiente per la raccomandazione sequenziale.
• Sensibilità agli Iperparametri: Lo studio ha rilevato che un equilibrio iniziale moderato ($\lambda_{start} \approx 0,5$) combinato con una grande curvatura di crescita ($k=2,0$) produce risultati ottimali, permettendo al modello di apprendere entrambi i tipi di preferenza prima di concentrarsi sulla consistenza a lungo termine.

5. Significato e Rivendicazioni

L'articolo afferma che il significato primario di TDPM risiede nel colmare il divario tra il processo di diffusione in avanti uniforme dei modelli standard e la distribuzione intrinsecamente non uniforme e in evoluzione temporale delle preferenze dell'utente.

Modellando esplicitamente la consistenza della preferenza e le deviazioni di interesse, TDPM va oltre la natura "agnostica rispetto all'articolo" dei precedenti GR basati su diffusione. Gli autori sostengono che la loro diffusione dei token consapevole del tempo non è solo un miglioramento incrementale, ma un adattamento necessario affinché i modelli di diffusione siano efficaci negli scenari di raccomandazione sequenziale. I risultati suggeriscono che la disgiunzione delle preferenze permette al processo di diffusione di concentrarsi sulle parti più informative della cronologia di interazione, portando a predizioni del prossimo articolo più accurate e robuste.