Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF

Il paper dimostra che l'addestramento supervisionato con pesi esponenziali basati sulla ricompensa (exponential reward-weighted SFT) supera i metodi RLHF nei sistemi di raccomandazione generativi offrendo una soluzione robusta, scalabile e priva di hacking delle ricompense, con garanzie teoriche e un parametro di temperatura interpretabile per bilanciare miglioramento e robustezza.

L'essenziale

Immagina di avere un assistente personale digitale (un "generatore di raccomandazioni") il cui compito è suggerirti film, serie TV o libri.

Fino a poco tempo fa, questo assistente imparava semplicemente guardando cosa facevi tu: se cliccavi su qualcosa, lui pensava "Ok, gli piace questo" e te lo proponeva di nuovo. Questo è come un bambino che imita i genitori senza capire perché fanno certe cose. Il problema? A volte clicchiamo su cose per sbaglio, o su titoli "clickbait" (esca per clic) che ci annoiano dopo due minuti. L'assistente, imitando ciecamente, imparava a suggerire anche queste cose inutili.

Per migliorare, gli scienziati hanno provato a usare tecniche avanzate (come l'RLHF, o "Apprendimento dal Feedback Umano"), simili a quelle usate per insegnare alle intelligenze artificiali a scrivere poesie o rispondere a domande. L'idea era: "Fai un suggerimento, l'utente ti dà un voto (o un like), e l'AI impara da quel voto".

Ma qui c'è un grosso ostacolo.
In un sistema di raccomandazione con milioni di film, l'AI non può vedere tutto. Deve "indovinare" cosa ti piacerà di un film che non hai mai visto. Per farlo, crea un "giudice virtuale" (un modello di ricompensa) che stima i voti.
Il problema è che questo "giudice virtuale" è spesso incompetente. Immagina di chiedere a un critico cinematografico di giudicare 10.000 film basandosi solo su 5 recensioni che ha letto. Si inventerà cose, farà errori grossolani e, peggio ancora, l'AI imparerà a "barare" per compiacere questo giudice sbagliato, suggerendo film che il giudice pensa piaceranno, ma che in realtà sono terribili. È come se un allenatore di calcio, per accontentare un arbitro che non capisce il gioco, facesse fare all'equipe solo movimenti strani che sembrano belli all'arbitro ma non fanno segnare gol.

La Soluzione: Il "Metodo della Temperatura" (Exp-RSFT)

Gli autori di questo paper hanno scoperto un modo più semplice e robusto per addestrare l'assistente, senza bisogno di quel "giudice virtuale" inaffidabile. Lo chiamano Exp-RSFT (SFT a pesatura esponenziale della ricompensa).

Ecco come funziona, con una metafora culinaria:

Immagina di avere un libro di ricette (i dati storici) dove ogni ricetta ha un punteggio di "soddisfazione" (il voto dell'utente).

• Il metodo vecchio (RLHF): Cerca di creare un nuovo chef che impari a prevedere i punteggi di un "assaggiatore fantasma" (il modello di ricompensa). Se l'assaggiatore è confuso, lo chef impara a cucinare piatti strani che piacciono all'assaggiatore ma non alla gente.
• Il metodo nuovo (Exp-RSFT): Non usa nessun assaggiatore fantasma. Prende semplicemente le ricette che hai già cucinato e le ripete, ma le ripete con una frequenza diversa.
  • Se una ricetta ha un punteggio altissimo (es. 5 stelle), la ripeti molto spesso (come se la cucinassi ogni giorno).
  • Se ha un punteggio medio, la ripeti un po'.
  • Se ha un punteggio basso, la ripeti raramente.

Ma c'è un trucco fondamentale: la Temperatura ($\lambda$).

Immagina la temperatura come un regolatore di "entusiasmo" o "prudenza":

1. Temperatura Bassa (Entusiasta/Rischioso): L'AI diventa ossessionata dalle ricette a 5 stelle. Le ripete così tanto da ignorare tutto il resto. È potente, ma se quel voto a 5 stelle era un errore (es. hai dato 5 stelle a un film perché eri ubriaco), l'AI imparerà quell'errore e diventerà pazzesca.
2. Temperatura Alta (Prudente/Noioso): L'AI è molto calma. Ripete le ricette a 5 stelle, ma anche quelle a 3 stelle, quasi come se non stesse imparando nulla di nuovo. È sicura, ma non migliora.
3. Temperatura Giusta (L'Equilibrio): L'AI impara a distinguere le vere perle dalle pietre, ignorando i piccoli errori di voto, ma senza diventare noiosa.

Perché è meglio di tutto il resto?

1. Niente "Giudici Bugiardi": Non serve addestrare un modello separato per giudicare i film. L'AI usa solo i voti reali che hai già dato. Niente barare, niente allucinazioni.
2. Funziona anche con dati "sporchi": Nella vita reale, i voti sono rumorosi (a volte sbagliamo a votare). Questo metodo è come avere un filtro intelligente: se un voto è strano, la "temperatura" lo smorza, impedendo all'AI di impazzire per un singolo errore.
3. Funziona su scala industriale: Hanno provato questo metodo su Netflix e su enormi database di libri e film. Risultato? L'AI suggerisce cose che gli utenti amano davvero, molto meglio dei metodi complessi usati finora.

In sintesi

Questo paper ci dice che per insegnare a un'IA a consigliarci cose, non serve costruire un giudice perfetto (che è impossibile da fare quando ci sono milioni di opzioni). Basta prendere i dati che abbiamo, dare più peso a ciò che è stato apprezzato molto, e usare un semplice "regolatore di temperatura" per bilanciare l'entusiasmo con la prudenza.

È come dire: "Non cercare di indovinare cosa ti piacerà nel futuro. Guarda cosa ti è piaciuto davvero nel passato, ripeti quello, ma con un po' di buon senso per non esagerare".

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF", tradotto e adattato in italiano.

1. Il Problema: Allineamento dei Sistemi di Raccomandazione Generativi

I sistemi di raccomandazione generativi (basati su architetture Transformer come SASRec, HSTU, OneRec) trattano la raccomandazione come un problema di generazione sequenziale, analogo alla previsione del prossimo token nei Large Language Models (LLM). Sebbene l'addestramento iniziale tramite Behavior Cloning (clonazione del comportamento) sia efficace per imitare le interazioni utente, presenta un limite fondamentale: mima indiscriminatamente sia le interazioni di alto valore (es. visualizzazioni complete) sia quelle di basso valore (es. click accidentali o clickbait).

Per superare questo limite, l'obiettivo è allineare il modello alle preferenze reali degli utenti tramite post-training. Tuttavia, l'applicazione delle tecniche standard di Reinforcement Learning from Human Feedback (RLHF) ai sistemi di raccomandazione su larga scala incontra ostacoli critici:

• Inaffidabilità del Reward Model: I modelli di ricompensa devono generalizzare su un catalogo di milioni di item basandosi su dati sparsi (gli utenti interagiscono solo con una frazione minima). Questo porta a errori di estrapolazione che il policy optimizer sfrutta, selezionando item che il modello di ricompensa valuta erroneamente in alto (fenomeno noto come reward hacking).
• Vincoli dell'Apprendimento Offline: In ambito industriale, i dati sono statici e pre-raccolti. Metodi come DPO richiedono coppie di preferenze binarie (difficili da ottenere senza un reward model) e l'RL online è spesso impraticabile.
• Mancanza della Policy di Logging: I dataset offline soffrono di bias di selezione. Correggere questo bias tramite Inverse Propensity Scoring (IPS) è spesso impossibile perché la policy di logging è troppo complessa o inaccessibile, e i pesi IPS soffrono di varianza estrema.

2. Metodologia: Exponential Reward-Weighted SFT (Exp-RSFT)

Gli autori propongono Exp-RSFT, un metodo che evita completamente l'uso di un reward model appreso. Invece di ottimizzare una policy contro un modello di ricompensa, il metodo pesa direttamente gli esempi di addestramento osservati utilizzando una funzione esponenziale della ricompensa osservata.

L'Algoritmo:
L'obiettivo è trovare una nuova policy $\pi$ che massimizzi il vantaggio atteso rimanendo vicina alla distribuzione dei dati originali ($\pi_\beta$), vincolata da una divergenza KL. La soluzione chiusa per la policy ottima è:
$$\pi^*(a|s) \propto \pi_\beta(a|s) \exp\left(\frac{r(s,a)}{\lambda}\right)$$
Dove:

• $r(s,a)$ è la ricompensa osservata direttamente dai dati (es. tempo di visualizzazione, rating).
• $\lambda$ è un parametro di temperatura che controlla il trade-off tra esplorazione e regolarizzazione.
• Non è necessaria la stima della funzione valore ($V$) o dell'advantage ($A$), poiché nel setting a contextual bandit il termine di baseline si annulla nella normalizzazione.

L'addestramento avviene tramite una Supervised Fine-Tuning (SFT) pesata, dove la funzione di perdita è:
$$\mathcal{L}(\theta) = -\sum_{(s,a,r) \in D} \exp\left(\frac{r}{\lambda}\right) \log \pi_\theta(a|s)$$

Vantaggi Chiave:

• Immunità al Reward Hacking: Non queryando un reward model, il metodo non può sfruttare errori di generalizzazione.
• Nessun IPS: Non richiede la conoscenza della policy di logging o pesi di propensione.
• Completamente Offline: Funziona su dataset statici senza interazione online.

3. Contributi Teorici

Il paper fornisce garanzie teoriche solide per questo approccio in presenza di rumore:

1. Miglioramento Monotono (Senza Rumore): Se le ricompense sono vere, la policy ottenuta è garantitamente migliore o uguale alla policy di comportamento originale.
2. Garanzie sotto Rumore: Gli autori dimostrano che, anche con ricompense rumorose (assumendo rumore sub-Gaussiano), il gap di performance scala solo logaritmicamente con la dimensione del catalogo ($O(\sigma \sqrt{\log |A|})$). Questo rende il metodo scalabile anche per cataloghi enormi.
3. Trade-off Robustezza-Miglioramento: Viene provato che il parametro $\lambda$ controlla esplicitamente il compromesso tra robustezza al rumore e miglioramento della policy.
   • $\lambda$ piccolo: Agisce in modo aggressivo sulle ricompense alte, ma amplifica la sensibilità al rumore.
   • $\lambda$ grande: Soppone il rumore ma spinge la policy verso il comportamento originale (nessun miglioramento).
   • Esiste un valore ottimo di $\lambda$ che massimizza le performance (curva a "U" invertita).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset open-source (MovieLens 1M, MovieLens 20M, Amazon Books) e su un dataset proprietario su larga scala di Netflix.

Baselines Confrontate:

• Behavior Cloning (BC): Addestramento standard senza ottimizzazione della ricompensa.
• Reward-SFT: SFT con pesi lineari sulle ricompense.
• DPO (Direct Preference Optimization): Ottimizzazione diretta delle preferenze (implementata in variante online con reward model).
• PPO (Proximal Policy Optimization): Approccio RLHF standard con reward model.

Risultati Principali:

• Collasso di PPO e DPO: Su tutti i dataset, sia PPO che DPO hanno subito un collasso catastrofico nelle metriche di raccomandazione reali (es. NDCG, Hit Rate). Questo è dovuto al fatto che i reward model non sono riusciti a generalizzare bene sul catalogo, portando gli algoritmi a "hackerare" il reward model selezionando item che ottenevano punteggi alti artificialmente ma che gli utenti non gradivano.
• Superiorità di Exp-RSFT: Il metodo proposto ha consistemente superato tutte le baselines su tutti i dataset. Ha dimostrato di essere semplice, scalabile e robusto.
• Validazione del Parametro $\lambda$: L'analisi empirica conferma la teoria: variando $\lambda$ si osserva una curva a campana (inverted-U) nelle performance. Valori intermedi (es. $\lambda \approx 0.5 - 1.0$) offrono il miglior equilibrio, confermando che $\lambda$ agisce come un regolarizzatore interpretabile.
• Confronto con Reward Model: I reward model appresi hanno mostrato errori (MSE/MAE) spesso superiori o comparabili a semplici baselines (es. media globale o media per item), confermando l'inutilità di affidarsi a tali modelli in questo contesto.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

1. Ridefinisce il Post-Training per la Raccomandazione: Dimostra che l'approccio RLHF complesso (con reward model e PPO/DPO) è spesso controproducente per i sistemi di raccomandazione generativi su larga scala a causa del problema di generalizzazione del reward model.
2. Semplificazione Pratica: Introduce un metodo che richiede solo un singolo iperparametro interpretabile ($\lambda$), eliminando la necessità di addestrare reward model complessi, calcolare pesi IPS o gestire interazioni online.
3. Robustezza Teorica: Fornisce la prima garanzia teorica di miglioramento della policy in setting offline con rumore e cataloghi grandi, spiegando matematicamente perché l'aggiustamento esponenziale funziona meglio di quello lineare.

In sintesi, il paper sostiene che per i sistemi di raccomandazione industriali, l'aggiustamento esponenziale delle ricompense osservate (Exp-RSFT) è superiore, più sicuro e teoricamente fondato rispetto alle tecniche RLHF tradizionali, offrendo una soluzione pratica per allineare i modelli alle preferenze utente senza i rischi di reward hacking.