Modeling User Preferences as Distributions for Optimal Transport-Based Cross-Domain Recommendation under Non-Overlapping Settings

Il paper propone DUP-OT, un nuovo framework per la raccomandazione cross-dominio in scenari senza sovrapposizioni che modella le preferenze degli utenti come distribuzioni Gaussiane Miste e le allinea tramite trasporto ottimo per migliorare le previsioni di rating e mitigare il problema del cold-start.

L'essenziale

Immagina di essere un esperto di vini (il tuo "dominio sorgente") che conosce perfettamente i gusti di migliaia di persone, ma ora devi lavorare in una panetteria (il tuo "dominio target") dove non conosci nessuno e hai pochissimi dati su chi compra cosa.

Il problema? Non puoi chiedere ai clienti della panetteria: "Ma tu, che ami il vino rosso, cosa ti piace del pane?". Perché in questo scenario (chiamato non-overlapping), non sai che le stesse persone esistono in entrambi i mondi. I loro nomi sono diversi, le loro carte fedeltà sono diverse. È come se fossero due popolazioni completamente separate.

La maggior parte dei sistemi di raccomandazione attuali fallisce qui: si bloccano perché non trovano "ponti" tra i due mondi.

Gli autori di questo paper, Ziyin Xiao e Toyotaro Suzumura, hanno creato una soluzione geniale chiamata DUP-OT. Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: Le "Liste della Spesa" Rigide

I sistemi tradizionali vedono i gusti di una persona come una lista della spesa fissa e rigida.

• Esempio: "Marco ama il pane, il latte e i biscotti". Punto.
• Il problema è che i gusti umani sono complessi. Marco potrebbe amare il pane croccante la mattina, ma il pane morbido la sera. Una lista fissa non cattura queste sfumature. Inoltre, senza un ponte tra i due mondi, il sistema non può usare la sua conoscenza del vino per aiutare la panetteria.

2. La Soluzione: I Gusti come "Nuvole di Probabilità"

Invece di una lista rigida, DUP-OT immagina i gusti di ogni persona come una nuvola di probabilità (in termini tecnici: un Modello a Mixture di Gaussiane).

• L'analogia: Immagina che i gusti di Marco non siano un punto fisso su una mappa, ma una nuvola di nebbia.
  • Parte della nebbia è densa sopra "pane croccante".
  • Un'altra parte è densa sopra "pane integrale".
  • Un'altra ancora sopra "biscotti".
• Questa "nuvola" cattura la complessità: Marco non è solo un amante del pane, ma ha diverse sfaccettature nel suo amore per il pane.

3. Il Trucco: Il "Trasporto Ottimale" (Il Camionista)

Ora, come facciamo a usare la conoscenza del vino (dominio sorgente) per la panetteria (dominio target) se non conosciamo le stesse persone?

Gli autori usano una tecnica chiamata Trasporto Ottimale (Optimal Transport).

• L'analogia: Immagina che i gusti dei clienti del vino siano pallet di merci in un magazzino, e i gusti dei clienti della panetteria siano buchi vuoti in un altro magazzino.
• Anche se non sai chi è chi, sai che i "gusti per il rosso" nel mondo del vino assomigliano molto ai "gusti per il cioccolato" nel mondo della panetteria.
• Il Trasporto Ottimale è come un camionista super-intelligente. Lui guarda le "nuvole di gusti" del vino e le "nuvole di gusti" della panetteria e dice: "Ok, questa nuvola di 'gusto elegante' nel vino corrisponde perfettamente a quella nuvola di 'gusto raffinato' nella panetteria. Trasporto i dati da lì a qui!".

Non serve che i clienti siano gli stessi; basta che i tipi di gusti siano simili. Il camionista sposta la conoscenza dai pallet del vino ai buchi della panetteria.

4. Come funziona in pratica (I 3 Passaggi)

1. Preparazione (Il Traduttore): Prima di tutto, il sistema legge le recensioni scritte (testo) sia per il vino che per la panetteria e le trasforma in un linguaggio comune (embedding), come se un traduttore rendesse il francese e l'italiano comprensibili a tutti.
2. Creazione delle Nuvole (Modellazione): Invece di dire "Marco piace il pane", il sistema crea una "nuvola" complessa che descrive come Marco ama il pane (con tutte le sue sfumature).
3. Il Viaggio (Allineamento): Il camionista (Trasporto Ottimale) prende le "nuvole" dei clienti del vino e le sposta magicamente nella panetteria. Se un nuovo cliente arriva in panetteria (un "utente freddo", che non ha mai comprato nulla), il sistema guarda la sua nuvola e dice: "Ah, la tua nuvola assomiglia molto a quella di un cliente che amava i vini rossi! Quindi ti consiglio anche questo tipo di pane!".

Perché è importante?

• Risolve il "Freddo" (Cold Start): Aiuta a fare previsioni accurate anche per i clienti nuovi, che non hanno ancora lasciato recensioni, usando la saggezza di un altro mondo.
• È più preciso: Riduce gli errori "catastrofici". Invece di dire "Marco ama tutto" (e sbagliare tutto), il sistema dice "Marco ama il pane croccante ma non quello morbido", basandosi su una mappa di probabilità molto più ricca.

In sintesi:
DUP-OT è come avere un consulente di stile che, anche se non ti conosce personalmente, guarda il tuo guardaroba (i tuoi gusti complessi) e, confrontandolo con quello di milioni di altre persone in un altro negozio, ti dice esattamente quale maglione comprare, anche se non hai mai fatto shopping in quel negozio prima d'ora. Non ha bisogno di sapere il tuo nome, basta che capisca la "forma" dei tuoi gusti.

Sommario tecnico

1. Il Problema

Il lavoro affronta le sfide dei sistemi di raccomandazione tradizionali, in particolare la sparsità dei dati e il problema del cold-start (utenti o nuovi item con poche interazioni storiche).
Sebbene la Raccomandazione Cross-Domain (CDR) cerchi di trasferire conoscenze da un dominio ricco di dati (sorgente) a uno povero (target), la maggior parte degli approcci esistenti presenta due limitazioni critiche:

1. Dipendenza da sovrapposizioni: Molti metodi richiedono utenti o item comuni tra i domini per stabilire connessioni esplicite. Nella realtà, spesso non esistono sovrapposizioni (scenari non-overlapping) a causa di vincoli di privacy o limitazioni di sistema.
2. Rappresentazione rigida: Le preferenze degli utenti sono spesso modellate come vettori discreti fissi. Questa rappresentazione è insufficiente per catturare la natura multi-aspetto e fine-grained degli interessi utente, che possono variare e avere diverse sfumature.

L'obiettivo è quindi sviluppare un framework CDR efficace in assenza di sovrapposizioni, capace di modellare preferenze complesse e trasferirle tra domini.

2. Metodologia: DUP-OT

Gli autori propongono DUP-OT (Distributional User Preferences with Optimal Transport), un framework innovativo che modella le preferenze degli utenti come Distribuzioni (specificamente Mixture Models Gaussiani - GMM) e allinea i domini utilizzando il Trasporto Ottimale (OT).

Il framework si articola in tre fasi principali:

A. Pre-elaborazione Condivisa (Shared Preprocessing)

• Embedding Semantico: Vengono utilizzati recensioni testuali per generare embedding iniziali per utenti e item tramite un codificatore di frasi pre-addestrato (Sentence Encoder) condiviso.
• Riduzione Dimensionalità: Un autoencoder condiviso, addestrato su entrambi i domini, comprime gli embedding in uno spazio latente unificato a bassa dimensionalità. Questo garantisce coerenza semantica tra i domini senza richiedere sovrapposizioni dirette.

B. Modellazione delle Preferenze Utente (GMM)

Invece di vettori puntuali, ogni utente è rappresentato da una Gaussian Mixture Model (GMM) sugli embedding degli item.

• Componenti Condivisi: Per ridurre i costi computazionali, si assume che tutti gli utenti di un dominio condividano un insieme di componenti gaussiane (medie e covarianze) derivanti dal fitting delle GMM sugli item del dominio.
• Pesi Personalizzati: Ogni utente apprende un set di pesi di miscela (mixture weights) specifici su queste componenti condivise tramite una rete MLP. Questo permette di catturare interessi multipli e sfumati.
• Predizione: La previsione della valutazione (rating) si basa sulla distanza di Mahalanobis tra l'item e le componenti gaussiane dell'utente, pesate dai suoi interessi.

C. Allineamento Cross-Domain tramite Trasporto Ottimale (OT)

Questa è la fase cruciale per il trasferimento di conoscenza in assenza di sovrapposizioni:

• Allineamento delle Componenti: Poiché gli utenti non sono condivisi, l'OT non viene applicato a livello di istanze utente, ma tra i set di componenti gaussiane dei due domini.
• Matrice di Trasporto: Viene calcolata una matrice di trasporto ottimale ($T$) minimizzando la distanza di Wasserstein-2 tra le distribuzioni delle componenti del dominio sorgente e quelle del target.
• Trasferimento dei Pesi: I pesi delle preferenze degli utenti del dominio sorgente vengono "trasportati" nel dominio target moltiplicandoli per la matrice $T$.
• Fusione per la Predizione: Durante l'inferenza nel dominio target, la distribuzione finale dell'utente è una combinazione lineare della distribuzione originale (se l'utente ha interazioni nel target) e della distribuzione trasferita (dalla sorgente). Questo aiuta a gestire i casi di cold-start.

3. Contributi Chiave

1. Modellazione Distribuzionale: Superamento della rappresentazione vettoriale discreta a favore di GMM, permettendo una modellazione più ricca e multi-aspetto delle preferenze utente.
2. Framework Non-Overlapping: Proposta di un metodo CDR che funziona rigorosamente senza condividere utenti o item durante l'addestramento, risolvendo un problema pratico spesso ignorato.
3. Integrazione OT-GMM: Un approccio innovativo che utilizza il Trasporto Ottimale per allineare le distribuzioni di preferenze (GMM) tra domini, aggirando la mancanza di entità comuni.
4. Riduzione del Cold-Start: Dimostrazione che le rappresentazioni distribuzionali sono più robuste per gli utenti con pochi dati rispetto ai vettori puntuali.

4. Risultati Sperimentali

Il modello è stato valutato su dataset di recensioni Amazon (Digital Music, Movies & TV, Video Games come sorgenti; Electronics come target).

• Rispetto ai Baseline Single-Domain: DUP-OT (anche senza dati di sorgente, solo con la modellazione GMM) supera significativamente modelli come LightGCN e NeuMF nel dominio target, confermando l'efficacia della rappresentazione distribuzionale.
• Rispetto ai Baseline Cross-Domain (TDAR):
  • DUP-OT ottiene un RMSE (Root Mean Square Error) inferiore rispetto a TDAR. Poiché l'RMSE penalizza fortemente gli errori grandi, questo indica che DUP-OT è molto più efficace nel ridurre le previsioni errate estreme, tipiche degli utenti cold-start.
  • TDAR mostra talvolta un MAE (Mean Absolute Error) leggermente migliore, ma DUP-OT offre una maggiore robustezza contro i "fallimenti catastrofici" di previsione.
• Ablation Study: L'uso delle informazioni del dominio sorgente (tramite OT) migliora costantemente le prestazioni rispetto alla versione senza sorgente, validando l'efficacia del trasferimento di conoscenza.

5. Significatività e Impatto

Questo lavoro è significativo perché:

• Realismo Pratico: Si adatta a scenari reali dove i dati non possono essere condivisi tra piattaforme (es. per privacy), rendendo la CDR applicabile in contesti più ampi.
• Robustezza al Cold-Start: Offre una soluzione teorica e pratica per migliorare la raccomandazione per nuovi utenti, che è uno dei problemi più difficili nel settore.
• Nuova Prospettiva: Sposta il paradigma dalla ricerca di sovrapposizioni esplicite alla modellazione statistica delle preferenze, aprendo la strada a futuri lavori su allineamenti distribuzionali più sofisticati (es. distanze Gromov-Wasserstein).

In sintesi, DUP-OT dimostra che modellare le preferenze come distribuzioni probabilistiche e allinearle tramite Trasporto Ottimale è una strategia superiore per la raccomandazione cross-domain in scenari privi di sovrapposizioni, offrendo maggiore stabilità e accuratezza per gli utenti con dati scarsi.