Riepilogo Tecnico: SISA-Rec

1. Definizione del Problema

Gli attuali sistemi di raccomandazione sequenziale basati su transformer, come SASRec e BERT4Rec, si affidano principalmente agli embedding degli identificatori di item (ID) appresi dai log di interazione. Sebbene efficaci in ambienti con dati densi, questi modelli faticano negli scenari di scarsità (sparsity) e cold-start, dove i dati storici di interazione sono limitati. In tali contesti, il segnale comportamentale (modelli di co-occorrenza) è insufficiente per catturare le preferenze dell'utente.

I tentativi esistenti di incorporare informazioni semantiche (ad esempio, descrizioni testuali, grafi di conoscenza) trattano spesso la semantica come un segnale secondario. Questi approcci elaborano tipicamente i dati semantici attraverso percorsi separati o li fondono solo dopo che la codifica sequenziale è stata completata. Di conseguenza, le relazioni semantiche non influenzano il processo di modellazione sequenziale centrale (il meccanismo di attenzione) stesso, creando un divario persistente tra la modellazione comportamentale e l'ancoraggio semantico. Questa separazione limita la capacità dei modelli di generalizzare quando i dati di interazione sono scarsi.

2. Metodologia

Il framework proposto, SISA-Rec (Semantically Integrated Sequential Recommendation), affronta questo divario integrando il contesto semantico direttamente nel processo di modellazione sequenziale a livello di feature. L'architettura è composta dai seguenti componenti chiave:

Elaborazione dei Dati e Embedding

• Input: Il modello utilizza sequenze di interazione dell'utente e metadati degli item (titoli e categorie) dai dataset Amazon.
• Dual Embedding: Per ogni item, vengono generate due rappresentazioni:
  1. Embedding basato sull'Identificatore: Un vettore denso apprendibile derivato dall'ID dell'item.
  2. Embedding Semantico: Un vettore basato su BERT, congelato (frozen), derivato dalla concatenazione del titolo e della categoria dell'item. Questo viene proiettato per corrispondere alla dimensionalità dell'embedding dell'ID.

Innovazioni Architetturali Core

1. Modulo di Fusione Gated (Gated Fusion Module):

   • Invece di concatenare o sommare gli embedding post-hoc, SISA-Rec impiega un meccanismo di fusione gated al livello di input.
   • Un vettore di gate apprendibile $g$ (calcolato tramite una funzione sigmoid) controlla adattivamente il contributo dell'embedding dell'ID rispetto all'embedding semantico per ogni dimensione: $v_i = g \odot e_{id} + (1-g) \odot e_{sem}$.
   • Ciò assicura che l'informazione semantica plasmi la rappresentazione dell'item prima che avvenga qualsiasi modellazione sequenziale.

2. Self-Attention Sensibile alla Semantica (Semantic-Aware Self-Attention):

   • Il meccanismo di self-attention standard viene modificato per iniettare direttamente la similarità semantica nel calcolo del punteggio di attenzione.
   • Una Matrice di Similarità Semantica ($S$) viene pre-calcolata utilizzando la similarità del coseno tra gli embedding BERT proiettati degli item nella sequenza.
   • Il punteggio di attenzione è calcolato come: $A = \text{softmax}\left(\frac{QK^T}{\sqrt{d}} + \alpha \cdot S\right) \cdot V$, dove $\alpha$ è uno scalare apprendibile.
   • Questo permette a item semanticamente correlati di influenzare il meccanismo di attenzione anche se non sono mai co-occorsi nella cronologia dell'utente.

3. Aggregazione delle Preferenze basata sull'Attenzione (Attention-Based Preference Aggregation):

   • Invece di fare affidamento esclusivamente sull'ultimo stato nascosto (che può essere debole in sequenze brevi), il modello utilizza un vettore di attenzione appreso per calcolare una somma pesata di tutte le posizioni nella sequenza.
   • Questo genera un vettore di preferenza dell'utente completo che tiene conto della diversa importanza delle interazioni passate.

Obiettivo di Addestramento

Il modello è addestrato utilizzando una funzione di perdita congiunta che comprende tre termini:

1. Perdita Bayesian Personalized Ranking (BPR): Ottimizza il ranking degli item osservati rispetto a quelli non osservati.
2. Perdita di Allineamento Contrastivo (Contrastive Alignment Loss): Basata sull'obiettivo InfoNCE, questa perdita allinea la rappresentazione dell'utente comportamentale (derivata dall'aggregazione dell'attenzione) con una rappresentazione dell'utente semantica (derivata dal pooling medio degli embedding BERT). Ciò garantisce la coerenza tra ciò che l'utente ha fatto e il significato degli item.
3. Regolarizzazione $\ell_2$: Previene l'overfitting.

3. Contributi Chiave

Il documento delinea cinque contributi primari:

• Gated Fusion: Un meccanismo che apprende l'equilibrio per dimensione tra gli embedding dell'ID e quelli semantici al livello di input.
• Self-Attention Modificata: Un nuovo meccanismo di attenzione che incorpora direttamente una matrice di similarità semantica nel calcolo del punteggio, permettendo alle relazioni semantiche di guidare la modellazione della sequenza.
• Aggregazione basata sull'Attenzione: Un modulo di rappresentazione dell'utente che aggrega tutte le posizioni della sequenza tramite pesi appresi, anziché utilizzare solo lo stato finale.
• Obiettivo di Addestramento Congiunto: Una funzione di perdita composita che combina BPR e allineamento contrastivo per allineare esplicitamente gli spazi comportamentale e semantico.
• Validazione Empirica: Dimostrazione di un miglioramento della generalizzazione in contesti di scarsità di dati e cold-start su dataset altamente sparsi (99,93% di sparsity).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset Amazon altamente sparsi: Amazon Beauty e Amazon Toys & Games (entrambi con circa il 99,93% di sparsity).

• Prestazioni Complessive: SISA-Rec ha superato i baseline allo stato dell'arte (inclusi BERT4Rec, SASRec, DuoRec e PopRec) in tutte le metriche (HR@K e NDCG@K).
  • Su Amazon Beauty, SISA-Rec ha migliorato l'HR@10 del 16,6% e l'NDCG@10 del 10,3% rispetto a BERT4Rec.
  • Su Amazon Toys & Games, i miglioramenti sono stati ancora più pronunciati: l'HR@10 è aumentato del 23,1% e l'NDCG@10 del 17,9% rispetto a BERT4Rec.
• Analisi Cold-Start: Il modello ha dimostrato i guadagni più significativi per gli utenti con storie di interazione limitate (gruppo Cold: 5–7 interazioni).
  • Nel gruppo cold-start per Amazon Toys & Games, SISA-Rec ha raggiunto un NDCG@10 di 0,3200, superando significativamente BERT4Rec (0,2642) e SASRec (0,1676).
  • Il divario di prestazione si è ridotto per gli utenti "warm" (15+ interazioni), indicando che l'integrazione semantica è più critica quando i segnali comportamentali sono deboli.

5. Significato e Rivendicazioni

Il documento sostiene che la persistente separazione tra la modellazione comportamentale e l'ancoraggio semantico nei framework esistenti impone un limite alle prestazioni, particolarmente in ambienti sparsi. SISA-Rec dimostra che integrare l'informazione semantica direttamente nel meccanismo di attenzione — invece di trattarla come un passaggio di post-elaborazione — porta a raccomandazioni più accurate e affidabili.

Gli autori sottolineano che il valore dell'informazione semantica è più evidente quando i dati sul comportamento dell'utente sono scarsi. Permettendo alle relazioni semantiche di influenzare il processo di modellazione sequenziale stesso, il framework fornisce una soluzione robusta per gli scenari di cold-start in cui i tradizionali modelli di co-occorrenza falliscono. I risultati suggeriscono che i futuri sistemi di raccomandazione sequenziale dovrebbero andare oltre il trattamento della semantica come un segnale ausiliario e invece incorporarla profondamente all'interno dell'architettura core.