MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender

1. Enunciato del Problema

Il paper affronta un'incongruenza critica nei Sistemi di Raccomandazione Generativi (sistemi che utilizzano Modelli Linguistici di grandi dimensioni per generare direttamente gli ID degli elementi). Sebbene questi sistemi sfruttino le capacità di ragionamento dei LM, le loro prestazioni sono altamente sensibili a due fattori:

1. Modelli di Prompt: Le variazioni nelle istruzioni in linguaggio naturale (ad esempio, "prevedi l'elemento successivo" vs. "raccomanda un altro elemento") portano a distribuzioni di output diverse.
2. Tipi di Indicizzazione degli Elementi: I diversi metodi di codifica degli elementi in token (ad esempio, ID Collaborativi basati sul comportamento degli utenti vs. ID Semantici basati sui metadati testuali) catturano aspetti differenti della conoscenza degli elementi.

Il Problema Centrale: Anche con la stessa cronologia di interazioni dell'utente, cambiare il prompt o il tipo di indice comporta previsioni top-$k$ significativamente diverse. Un'analisi preliminare rivela che queste variazioni non sono semplicemente rumore; codificano conoscenza complementare. Ad esempio, meno del 50% degli elementi previsti correttamente si sovrappone tra diversi tipi di indice, e prompt diversi catturano sfumature contestuali distinte. I metodi esistenti si affidano o a una singola vista (trascurando le informazioni complementari) o concatenano in modo ingenuo gli indici (fallendo nel modellare la relazione probabilistica tra le viste), portando a raccomandazioni subottimali e incoerenti.

2. Metodologia: MVIGER

Gli autori propongono MVIGER (Multi-View Variational Integration of GEnerative Recommender), un framework variazionale unificato progettato per integrare sistematicamente queste diverse viste.

A. Generazione di Indici di Elementi Eterogenei

MVIGER costruisce due tipi distinti di indici per ogni elemento per catturare diverse fonti di conoscenza:

• Indice Collaborativo (CeID): Derivato dagli embedding delle interazioni utente-elemento (utilizzando LightGCN).
• Indice Semantico (SeID): Derivato dai metadati degli elementi (titoli, descrizioni) codificati tramite Sentence-T5.
• Quantizzazione: Entrambi gli embedding vengono convertiti in sequenze discrete di token gerarchici utilizzando un Residual Quantized Variational Autoencoder (RQ-VAE). Ciò consente all'LLM di generare in modo autoregressivo gli ID degli elementi token per token.

B. Framework Variazionale Multi-Vista

MVIGER tratta la combinazione di un specifico modello di prompt e un tipo di indice degli elementi come una distinta "vista".

• Variabile Latente: Viene introdotta una variabile latente categorica $z$ per rappresentare la selezione di una vista specifica (modello + indice) per un dato utente.
• Formulazione Probabilistica: L'obiettivo è massimizzare la verosimiglianza marginale dell'elemento target $y^*$ data la cronologia dell'utente $H(u)$:
  $$p(y^*|H(u)) = \sum_{z} p_\theta(y^*|z) p_\psi(z|H(u))$$
  Dove:
  • $p_\theta(y^*|z)$: La Rete di Verosimiglianza (il raccomandatore generativo) che prevede l'elemento data una specifica vista.
  • $p_\psi(z|H(u))$: La Rete Prior, una funzione apprendibile che stima la probabilità che una vista sia rilevante sulla base della cronologia dell'utente.

C. Procedura di Addestramento (Stile EM Variazionale)

Il modello viene addestrato per ottimizzare il Limite Inferiore della Prova (ELBO).

1. Calcolo del Posterior: Il posterior variazionale ottimale $q^*(z|H(u), y^*)$ è derivato in forma chiusa come il prodotto della verosimiglianza e del prior, normalizzato su tutte le viste.
2. Ottimizzazione Disaccoppiata:
   • La Rete di Verosimiglianza ($\theta$) viene aggiornata per massimizzare la log-verosimiglianza attesa sotto il posterior ottimale fisso $q^*$.
   • La Rete Prior ($\psi$) viene aggiornata per minimizzare la divergenza KL tra il prior appreso e il posterior ottimale.
   • Innovazione Chiave: Poiché $q^*$ è calcolato in forma chiusa, i gradienti non fluiscono attraverso di esso, consentendo aggiornamenti stabili e disaccoppiati delle due reti.

D. Inferenza Flessibile

Al momento dell'inferenza, l'elemento target è sconosciuto, quindi il posterior non è accessibile. MVIGER utilizza la Rete Prior appresa per guidare l'integrazione:

1. Selezione Singola Vista: Selezionare la vista più probabile $z^* = \arg\max_z p_\psi(z|H(u))$ per una previsione efficiente.
2. Aggregazione Multi-Vista: Aggregare le previsioni su tutte le viste ponderate dal prior appreso: $p(y|H(u)) = \sum_z p_\theta(y|z) p_\psi(z|H(u))$. Questo sfrutta la conoscenza complementare per una maggiore accuratezza.

3. Contributi Chiave

1. Nuova Formulazione del Problema: Il paper dimostra empiricamente che le variazioni nei prompt e negli indici nei raccomandatori generativi non sono solo fonti di instabilità, ma codificano conoscenza complementare che, se integrata, aumenta significativamente le prestazioni.
2. Framework Variazionale Unificato: MVIGER introduce un modello probabilistico che tratta le diverse combinazioni modello-indice come viste latenti. Apprende un prior condizionato all'utente per selezionare o aggregare adattivamente queste viste, superando i limiti degli approcci a indice fisso o semplice concatenazione.
3. Meccanismo di Inferenza Flessibile: Il framework supporta un compromesso tra efficienza e accuratezza. Gli utenti possono scegliere di eseguire una singola vista (veloce) o aggregare più viste (accurata) senza riaddestramento, controllato dalla distribuzione prior appresa.
4. Prestazioni all'Avanguardia: Estesi esperimenti mostrano che MVIGER supera le basi esistenti (inclusi P5, TIGER, EAGER e metodi basati su LLM) su più dataset.

4. Risultati Sperimentali

• Dataset: Valutato su Amazon Beauty, Amazon Sports e Yelp.
• Prestazioni: MVIGER ha ottenuto il più alto Hit Ratio (H@5, H@10) e NDCG (N@5, N@10) su tutti i dataset.
  • In particolare, MVIGER ha superato basi più grandi basate su LLM (come EAGER-LLM basato su Llama-7B) nonostante utilizzasse un backbone più piccolo (T5-small), dimostrando che l'integrazione efficace della conoscenza complementare è più critica della scala del modello in questo contesto.
• Studi di Ablazione:
  • Selezione dell'Indice: I modelli a singola vista (solo CeID o solo SeID) hanno performato significativamente peggio di MVIGER integrato, confermando la complementarità dei segnali collaborativi e semantici.
  • Aggregazione: L'aggregazione del prior appresa da MVIGER ha superato basi semplici come "Self-Consistency" (voto di maggioranza) e "Uniform Prior" (pesatura uguale), dimostrando il valore dell'apprendimento di pesi specifici per l'utente.
• Analisi del Prior: La visualizzazione del prior appreso ha rivelato che gli utenti a freddo tendono a fare più affidamento sugli ID Semantici (basati sul testo), mentre gli utenti con storie di interazione ricche fanno più affidamento sugli ID Collaborativi (basati sul comportamento). Questo conferma che il modello apprende strategie di pesatura significative e consapevoli del contesto.
• Efficienza: L'overhead di inferenza per la rete prior è trascurabile (~0,01s per utente) e l'elaborazione in batch consente un'inferenza multi-modello efficiente.

5. Significato

• Stabilità nei Raccomandatori Generativi: MVIGER risolve il problema di "instabilità" dei raccomandatori generativi causato dalla sensibilità a prompt/indice trasformandolo in una funzionalità (viste complementari) piuttosto che in un difetto.
• Integrazione Probabilistica: Va oltre la concatenazione euristica o i semplici metodi di ensemble, fornendo un rigoroso framework probabilistico (Inferenza Variazionale) per fondere fonti di informazioni eterogenee.
• Scalabilità e Adattabilità: Il framework non è vincolato a specifici tipi di indice (funziona con CeID/SeID o CID/SemID di P5) e può adattarsi a diversi budget computazionali selezionando il numero di viste da aggregare.
• Direzione Futura: Il lavoro evidenzia che l'apprendimento "Multi-Vista" è una direzione promettente per i sistemi di raccomandazione di prossima generazione, suggerendo che il lavoro futuro potrebbe espandersi per includere visivo, prezzo o conoscenza esterna come viste aggiuntive.