Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

1. Il Problema: Il Dilemma dei "Falsi Negativi" nel DPO

Il lavoro affronta una sfida critica nell'applicazione dell'Ottimizzazione Diretta delle Preferenze (DPO), una tecnica di allineamento nata nel campo dei Large Language Models (LLM), ai sistemi di raccomandazione sequenziale multimodale (MSR).

• Contesto: I metodi MSR tradizionali si basano su obiettivi pointwise (es. Cross-Entropy), che trattano tutti gli elementi non cliccati come negativi uguali, ignorando le sfumature delle preferenze relative ("meglio di").
• Il Fallimento del DPO Standard: Nel NLP, i campioni negativi sono risposte errate del modello (veramente indesiderate). Nella raccomandazione con feedback implicito, un elemento non cliccato non è necessariamente un "negativo" (l'utente potrebbe non averlo visto o non averlo notato, ma potrebbe piacergli).
• La Dilemma: Le strategie standard di DPO, come l'estrazione di "hard negatives" (elementi non target con il punteggio più alto), rischiano di selezionare erroneamente positivi non osservati (falsi negativi). Penalizzare aggressivamente questi elementi introduce gradienti di preferenza errati, distorcendo lo spazio di ranking e degradando le prestazioni.

2. Metodologia: RoDPO (Robust Direct Preference Optimization)

Gli autori propongono RoDPO, un framework che risolve il problema dei falsi negativi mantenendo la potenza dell'allineamento delle preferenze.

A. Campionamento Stocastico Top-K (Il Cuore della Soluzione)

Invece di selezionare deterministicamente un singolo "hard negative" (l'elemento con il punteggio più alto tra i non-target), RoDPO introduce una modifica semplice ma efficace:

1. Pool Dinamico: Si costruisce un pool di candidati basato sui Top-K elementi con i punteggi più alti (escluso l'elemento positivo vero $y_w$).
2. Campionamento Stocastico: L'elemento negativo $y_l$ viene campionato uniformemente da questo pool Top-K.

• Vantaggio: Questo approccio mantiene l'intensità del gradiente (poiché il pool contiene elementi difficili) ma introduce una stocasticità controllata. Riduce la probabilità di colpire ripetutamente lo stesso "falso negativo", mitigando i gradienti errati e stabilizzando l'ottimizzazione.

B. Architettura e Scalabilità

• Encoder Multimodale: Il sistema utilizza Transformer specifici per modalità (ID, testo, immagine) fusi in uno spazio condiviso.
• Sparse Mixture-of-Experts (MoE): Per gestire la complessità delle preferenze multimodali senza aumentare eccessivamente i costi di inferenza, viene incorporato un layer MoE sparso. Questo permette di scalare la capacità del modello attivando solo un sottoinsieme di "esperti" (MLP) per ogni input.
• Protocollo di Addestramento in Due Stadi:
  1. Warm-up (Stage 1): Addestramento iniziale con Cross-Entropy (SFT) per stabilizzare lo spazio latente e definire una politica di riferimento ($\pi_{ref}$) affidabile.
  2. Fine-tuning (Stage 2): Ottimizzazione congiunta dell'obiettivo DPO e della Cross-Entropy, mantenendo la politica di riferimento congelata.

3. Contributi Chiave

1. Identificazione del Problema: Dimostrazione che la fragilità del DPO nei sistemi di raccomandazione deriva principalmente dalla strategia di selezione dei negativi in presenza di feedback implicito (falsi negativi).
2. Nuova Strategia di Campionamento: Proposta del Stochastic Top-K Negative Sampling, una modifica "plug-and-play" che bilancia la durezza del segnale (hardness) con la tolleranza ai falsi negativi.
3. Framework Integrato: Sviluppo di RoDPO, che combina allineamento delle preferenze, encoder multimodale e MoE per una scalabilità efficiente.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark reali di Amazon (Toys and Games, Beauty, Home and Kitchen).

• Prestazioni Superiori: RoDPO supera costantemente i baselines più avanzati (inclusi modelli multimodali come HM4SR e IISAN).
  • Miglioramento fino al +5.25% in NDCG@5 e +7.67% in MRR@5 rispetto al miglior baseline sul dataset Toys and Games.
• Analisi dell'Ablazione:
  • Il campionamento "Hard" (Argmax) performa solo leggermente meglio del campionamento casuale, confermando che la penalizzazione aggressiva è dannosa.
  • Il campionamento Top-K Stocastico ottiene i risultati migliori, dimostrando che la stocasticità è cruciale per la robustezza.
  • La rimozione del modulo MoE o dell'obiettivo DPO porta a un calo significativo delle prestazioni.
• Efficienza:
  • Costo di Inferenza: Quasi invariato rispetto ai baselines (0.45s vs 0.42s per batch), poiché il modello di riferimento è congelato e il MoE è sparso.
  • Costo di Addestramento: Leggero aumento trascurabile, dato che il modello di riferimento condivide la stessa architettura di base.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Ponte tra NLP e RecSys: Adatta con successo tecniche di allineamento avanzate (DPO) ai sistemi di raccomandazione, risolvendo il gap fondamentale tra i dati etichettati del NLP e il feedback implicito ambiguo del RecSys.
• Robustezza: Fornisce una metodologia robusta per gestire il rumore nei dati di interazione utente, evitando che il modello impari a penalizzare elementi che potrebbero invece essere di interesse.
• Scalabilità: Dimostra che è possibile migliorare le capacità di ranking complesse (tramite MoE e DPO) senza sacrificare l'efficienza operativa necessaria per il deployment su larga scala.

In sintesi, RoDPO stabilisce un nuovo standard per l'allineamento delle preferenze nei sistemi di raccomandazione sequenziale multimodale, dimostrando che una gestione intelligente dell'incertezza nei campioni negativi è più importante della semplice complessità architetturale.