LLM-Enhanced Multimodal Fusion for Cross-Domain Sequential Recommendation

Il paper propone LLM-EMF, un nuovo approccio per la raccomandazione sequenziale cross-dominio che integra conoscenze di Large Language Models e dati multimodali (testo e immagini) tramite CLIP e meccanismi di attenzione multipla, superando le prestazioni degli stati dell'arte su quattro dataset di e-commerce.

L'essenziale

🍿🍕 Il "Super Consigliere" che legge tra le righe (e guarda le immagini)

Immagina di avere un assistente personale che ti consiglia cosa comprare o guardare.

• Se guardi molti film d'azione, ti consiglierà altri film d'azione.
• Se compri molti utensili da cucina, ti consiglierà altre padelle.

Questo è il problema dei sistemi di raccomandazione attuali: sono come specialisti un po' rigidi. Se sei un appassionato di cucina, il sistema non capisce che la tua passione per le ricette potrebbe piacerti anche quando cerchi un libro di cucina o un film su uno chef. Inoltre, spesso si basano solo sul "codice a barre" dell'oggetto (il suo ID), ignorando che un'immagine di una pizza succosa o una descrizione poetica di un film potrebbero dirti molto di più di un semplice numero.

Gli autori di questo studio hanno creato un nuovo sistema chiamato LLM-EMF. Ecco come funziona, spiegato con metafore semplici:

1. Il "Traduttore Magico" (LLM)

Immagina che ogni prodotto (un libro, una padella, un film) abbia un'etichetta con scritto solo il nome. È noioso e poco informativo.
Il sistema LLM-EMF usa un Intelligenza Artificiale avanzata (come un ChatGPT super istruito) come un "traduttore magico".

• Cosa fa: Prende il titolo di un oggetto e gli chiede: "Dimmi tutto di questo oggetto! Quali sono i suoi segreti? Chi lo ama? A cosa assomiglia?".
• Il risultato: L'IA genera una storia ricca e dettagliata per ogni oggetto. Non è più solo "Libro di cucina", ma "Un libro vibrante che insegna a creare pasta fresca, amato da chi ama il calore della casa e i colori vivaci".
• Perché è utile: Questo permette al sistema di capire che un film su uno chef e un libro di ricette hanno molto in comune, anche se appartengono a categorie diverse.

2. Gli "Occhi" e le "Orecchie" (Fusione Multimodale)

Fino a ora, molti sistemi guardavano solo l'etichetta (il testo) o solo il codice.
LLM-EMF è come un essere umano che usa tutti i sensi:

• Occhi (Immagini): Usa un sistema chiamato CLIP per "guardare" le foto dei prodotti. Se vedi una foto di una pizza, il sistema capisce che è appetitosa, anche senza leggere la descrizione.
• Orecchie (Testo arricchito): Usa le storie generate dall'IA di cui parlavamo prima.
• Memoria (ID): Ricorda anche il codice univoco dell'oggetto.

Il sistema unisce queste tre informazioni (Immagine + Testo Arricchito + Codice) in un unico "super-ritratto" dell'oggetto. È come se invece di guardare solo la copertina di un libro, potessi sentire l'odore della carta, leggere la trama e vedere l'illustrazione interna tutto insieme.

3. Il "Direttore d'Orchestra" (Attenzione Gerarchica)

C'è un altro problema: a volte un utente compra molte cose in un settore (es. cucina) e poche in un altro (es. libri). I vecchi sistemi si confondevano: "Ma questo utente ama davvero i libri o è solo un caso?".
LLM-EMF ha un Direttore d'Orchestra intelligente.

• Questo direttore ascolta tutte le preferenze dell'utente.
• Se l'utente ha comprato 100 padelle e 2 libri, il direttore dice: "Ok, la cucina è importante, ma non ignoriamo i libri! Bilanciamo il volume".
• In questo modo, il sistema non si lascia "trascinare" solo dalla categoria dove l'utente è più attivo, ma capisce le sue vere passioni trasversali.

🏆 Il Risultato: Perché è meglio?

Gli autori hanno provato questo sistema su dati reali di Amazon (cucina vs cibo, film vs libri).
Il risultato? LLM-EMF ha battuto tutti i record precedenti.

• Prima: Il sistema ti diceva: "Hai comprato pasta, ecco un'altra pasta".
• Ora (con LLM-EMF): Il sistema pensa: "Hai comprato pasta e guardato film su chef. Probabilmente ti piacciono le storie di cucina. Ecco un libro di ricette e un documentario su un ristorante italiano".

In sintesi

Questo paper ci dice che per fare le raccomandazioni perfette, non basta guardare cosa hai comprato ieri. Bisogna:

1. Leggere tra le righe usando un'IA che arricchisce le descrizioni (LLM).
2. Guardare le immagini per capire l'atmosfera.
3. Bilanciare tutto in modo intelligente, senza farsi ingannare da chi compra troppo di una sola cosa.

È come passare da un commesso che guarda solo il codice a barre a un amico esperto che conosce i tuoi gusti, vede le foto dei prodotti e ti consiglia esattamente ciò che amerai, anche se è in un reparto diverso del negozio! 🛒✨

Sommario tecnico

1. Il Problema: Raccomandazione Sequenziale Cross-Dominio (CDSR)

La Raccomandazione Sequenziale (SR) tradizionale prevede il prossimo elemento di un utente analizzando la sua cronologia di interazioni all'interno di un singolo dominio. Tuttavia, questo approccio soffre di due limiti principali:

• Sparsità dei dati: In molti domini, le interazioni utente-item sono scarse.
• Bias di dominio: I modelli tendono a sovrappensare i pattern specifici di un dominio, limitando la capacità di generalizzazione.

La Raccomandazione Sequenziale Cross-Dominio (CDSR) cerca di risolvere questi problemi trasferendo conoscenze tra diversi domini (es. da "Cibo" a "Cucina", o da "Film" a "Libri"). Nonostante i progressi, le metodologie esistenti presentano tre lacune critiche:

1. Focus limitato: Si concentrano principalmente sulle dipendenze intra-dominio, trascurando le relazioni inter-dominio.
2. Sottoutilizzo dei dati multimodali: Non sfruttano appieno le informazioni visive (immagini) e testuali (descrizioni, titoli) degli oggetti.
3. Squilibrio dei domini: Anche gli approcci basati su LLM (Large Language Models) esistenti non gestiscono adeguatamente lo squilibrio tra domini, permettendo spesso ai domini con più interazioni di dominare le raccomandazioni, oscurando quelli meno frequentati.

2. Metodologia: Il Framework LLM-EMF

Gli autori propongono LLM-EMF, un framework innovativo che integra l'arricchimento testuale tramite LLM, la fusione multimodale e un meccanismo di attenzione gerarchica bilanciata.

A. Arricchimento Semantico con LLM (Prompt-Based)

Per colmare il divario semantico tra domini diversi, il sistema utilizza un LLM (specificamente Deepseek-r1) per generare attributi testuali aggiuntivi e "agnostici rispetto al dominio".

• Processo: Per ogni elemento, viene creato un prompt che include titolo e dominio. L'LLM genera informazioni contestuali arricchite (parole chiave, attributi specifici, potenziali interessi utente).
• Obiettivo: Creare una rappresentazione semantica che faciliti l'allineamento tra domini diversi, andando oltre il semplice ID dell'oggetto.

B. Integrazione Multimodale (Visione + Testo + ID)

Il framework unifica tre tipi di embedding per rappresentare gli oggetti:

1. Embedding ID: Una matrice apprendibile specifica per gli ID degli oggetti.
2. Embedding Visivo: Generati da un encoder CLIP congelato (frozen) basato sulle immagini degli oggetti.
3. Embedding Testuale: Generati dallo stesso encoder CLIP, ma arricchiti con i testi prodotti dall'LLM.

C. Meccanismo di Attenzione Gerarchica e Bilanciamento

Per gestire le sequenze di interazione, il modello divide i dati in tre sottosequenze:

• $S_X$: Interazioni nel dominio sorgente.
• $S_Y$: Interazioni nel dominio target.
• $S_{X+Y}$: Sequenza fusa mista.

Viene applicato un meccanismo di attenzione multi-strato che processa separatamente queste sequenze. A differenza dei metodi precedenti che usano un'attenzione mista senza controllo, LLM-EMF introduce pesi specifici ($\lambda_1, \lambda_2$) per bilanciare il contributo di ciascun dominio. Questo previene che i domini ad alta frequenza dominino il modello, permettendo una modellazione più equa delle preferenze utente.

D. Previsione

La previsione dell'oggetto successivo avviene calcolando la similarità coseno tra la rappresentazione aggregata della sequenza utente (ottenuta tramite attenzione) e gli embedding degli oggetti candidati (ID, Immagine, Testo). Il punteggio finale è una combinazione pesata delle probabilità derivate dai tre domini.

3. Contributi Chiave

1. Strategia di Arricchimento LLM: Progettazione di un sistema di prompt per generare attributi testuali aggiuntivi che migliorano l'allineamento semantico cross-dominio.
2. Framework di Fusione Multimodale: Unificazione di embedding basati su ID, visione e testo arricchito, gestiti da un meccanismo di attenzione gerarchica che cattura sia le preferenze intra-dominio che inter-dominio.
3. Bilanciamento Esplicito dei Domini: Un meccanismo che regola attivamente l'influenza di ciascun dominio, risolvendo il problema dello squilibrio dei dati che affligge le soluzioni CDSR attuali.

4. Risultati Sperimentali

Il modello è stato valutato su quattro dataset di e-commerce (Amazon), organizzati in due scenari CDSR: "Food-Kitchen" e "Movie-Book".

• Metriche: Mean Reciprocal Rank (MRR) e Normalized Discounted Cumulative Gain (NDCG@5, @10).
• Confronto: LLM-EMF è stato confrontato con metodi SOTA come NCF-MLP, GRU4Rec, SASRec, SR-GNN, MAN, LLMRec e IFCDSR.
• Performance:
  • Nel scenario Food-Kitchen, LLM-EMF ha ottenuto un MRR del 9.24% (Food) e 5.13% (Kitchen), superando il miglior concorrente (MIFN) di circa 0.69 punti percentuali nel Food.
  • Nel scenario Movie-Book, ha raggiunto un MRR del 6.32% (Movie) e 2.86% (Book), superando significativamente i modelli precedenti.
• Studio Ablativo: L'analisi ha dimostrato che ogni componente contribuisce al miglioramento:
  • L'aggiunta della fusione testuale ha aumentato l'MRR di +0.85.
  • L'integrazione dell'LLM ha portato ulteriori guadagni.
  • La fusione visiva ha avuto un impatto critico.
  • La combinazione completa di tutti i moduli ha prodotto le prestazioni massime.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo della raccomandazione sequenziale cross-dominio per diversi motivi:

• Integrazione Sinergica: È il primo framework che combina sistematicamente la conoscenza generata dagli LLM, la fusione multimodale (visivo/testuale) e un bilanciamento esplicito dei domini.
• Superamento del Bias: Dimostra come un'architettura attentiva gerarchica possa mitigare il problema dei domini sbilanciati, un limite comune nelle soluzioni industriali.
• Validità Pratica: I risultati su dataset reali confermano che l'arricchimento semantico tramite LLM, unito alla comprensione visiva, permette di modellare le preferenze utente in modo più olistico e accurato, offrendo raccomandazioni più pertinenti anche in scenari con dati sparsi.

In sintesi, LLM-EMF dimostra che l'uso intelligente degli LLM non solo per generare testo, ma per creare rappresentazioni semantiche ponte tra domini, combinato con dati visivi, è la chiave per la prossima generazione di sistemi di raccomandazione.