Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

Riepilogo Tecnico: FiMi-RM (Bias Fitting to Mitigate Length Bias of Reward Model in RLHF)

Problematica

Il Reinforcement Learning from Human Feedback (RLHF) è il framework standard per allineare i Large Language Models (LLM) alle preferenze umane. Tuttavia, questo processo è suscettibile al reward hacking, in cui la policy sfrutta le falle nel modello di ricompensa (reward model) addestrato per massimizzare i punteggi senza aderire realmente all'intento umano. Una forma prevalente di questo hacking è il bias di lunghezza (length bias), in cui i modelli di ricompensa favoriscono sistematicamente le risposte più lunghe indipendentemente dalla loro reale qualità. Ciò porta a generazioni eccessivamente verbiose nei modelli a valle.

Le strategie di mitigazione esistenti soffrono di limitazioni significative:

1. Mancanza di Caratterizzazione: Alcuni approcci (ad es., RRM) tentano di bilanciare le distribuzioni dei dati o utilizzano framework causali senza modellare esplicitamente la forma del bias.
2. Assunzioni Lineari: Molti metodi (ad es., Length Penalty, ODIN, Huang et al.) assumono una relazione lineare tra la lunghezza della risposta e la ricompensa. Essi sottraggono o utilizzano un coefficiente fisso basato sulla lunghezza o una regressione lineare per disaccoppiare la lunghezza dalla qualità.
3. Inadeguatezza: Queste assunzioni lineari non riescono a catturare la natura complessa e non lineare del modo in cui la lunghezza interagisce con i punteggi di ricompensa, in particolare i pattern complessi osservati in diversi regimi di lunghezza.

Metodologia: FiMi-RM

Gli autori propongono FiMi-RM (Bias Fitting to Mitigate Length Bias of Reward Model), un framework progettato per apprendere e correggere autonomamente i pattern di bias non lineari sottostanti. L'approccio opera in tre fasi distinte:

1. Fase di Warm-Up (Riscaldamento):

   • Un modello di ricompensa standard ($model_r$) viene addestrato utilizzando la perdita Bradley-Terry sui dati di preferenza.
   • Fondamentalmente, questa fase preserva l'inerente bias di lunghezza del modello di ricompensa invece di tentare di correggerlo immediatamente. Ciò assicura che il modello possieda una forte e sistematica tendenza ad assegnare punteggi più alti alle risposte più lunghe, fornendo un target chiaro per la successiva fase di fitting.

2. Fase di Length Bias Fitting (Adattamento del Bias di Lunghezza):

   • Un modello di fitting leggero ($model_f$) viene introdotto per caratterizzare esplicitamente la relazione tra la lunghezza della risposta ($len(y)$) e l'output della ricompensa influenzato dal bias ($r$).
   • Architettura: Lo scalare della lunghezza viene proiettato in uno spazio di feature a $d$ dimensioni (utilizzando un Length Encoding ispirato al Positional Encoding), elaborato attraverso un'architettura ResNet e passato attraverso una testa di proiezione lineare per predire la ricompensa ($\hat{r}$).
   • Obiettivo: Il modello di fitting è addestrato per minimizzare la discrepanza tra la sua predizione ($\hat{r}$) e l'effettivo output del modello di ricompensa ($r$). L'ottimizzazione utilizza una perdita di correlazione di Pearson ($L_{pearson}$) per massimizzare la correlazione tra le ricompense predette e quelle reali.
   • Insight Chiave: L'uso della perdita di Pearson allinea i pattern di correlazione senza imporre un vincolo di linearità al modello di fitting stesso. Il $model_f$ basato su ResNet è libero di apprendere dipendenze complesse e non lineari.

3. Fase di Length Debiasing (Rimozione del Bias di Lunghezza):

   • Il modello di ricompensa originale viene perfezionato (fine-tuned) per disaccoppiare i suoi output dalla lunghezza della risposta pur preservando la sua capacità di modellare le preferenze umane.
   • Meccanismo di Addestramento: Il framework impiega una strategia di addestramento alternata tra il modello di ricompenza e il modello di fitting.
   • Funzione di Perdita: Il modello di ricompensa è ottimizzato utilizzando una perdita composita:
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$: Forza l'output del modello di ricompensa a essere non correlato con la predizione del modello di fitting (rimuovendo efficacementamente il bias appreso).
     • $L_{BT}$: La standard perdita Bradley-Terry, che assicura che il modello mantenga la sua capacità discriminativa per le preferenze umane.
   • La funzione indicatrice $I(step)$ alterna i passi di addestramento tra il fitting del bias e il debiasing del modello di ricompensa.

Contributi Chiave

1. Modellazione del Bias Non Lineare: Il paper introduce un framework multi-stadio che apprende autonomamente la relazione non lineare tra la lunghezza della risposta e la ricompensa "hackerata", andando oltre le semplicistiche assunzioni lineari dei lavori precedenti.
2. Validazione Empirica della Non-Linearità: Attraverso il processo di fitting, gli autori identificano un pattern di bias multi-stadio:
   • Risposte brevi (<100 token): Esibiscono una forte correlazione lineare dove la ricompensa aumenta con la lunghezza.
   • Risposte più lunghe: La relazione si appiattisce e, in alcuni casi, mostra una leggera tendenza al ribasso, indicando che l'effetto positivo della lunghezza sulla ricompensa diminuisce o si inverte per output estesi.
3. Valutazione Completa: Il metodo è validato attraverso l'analisi della distribuzione lunghezza-ricompensa, i tassi di vittoria controllati per la lunghezza e le distribuzioni della lunghezza delle risposte attraverso molteplici algoritmi di allineamento (DPO e Best-of-N).

Risultati Sperimentali

Gli autori hanno valutato FiMi-RM utilizzando i modelli Qwen2.5-7B e Gemma2-9B sul dataset Anthropic HH, confrontandolo con Vanilla Reward Models, Length Penalty e ODIN.

• Accuratezza delle Preferenze: FiMi-RM ha ottenuto un'accuratezza più equilibrata tra i subset in cui la risposta scelta era più lunga (C-longer) rispetto a quella più corta (R-longer). Sebbene l'accuratezza complessiva sul subset C-longer sia diminuita leggermente, gli autori sostengono che ciò indichi la rimozione riuscita della "scorciatoia della lunghezza" piuttosto che una perdita di comprensione semantica.
• Distribuzione Lunghezza-Ricompensa: I grafici a dispersione hanno rivelato che FiMi-RM produce una distribuzione di ricompensa più simmetrica e piatta attraverso i bin di lunghezza rispetto ai baseline, confermando un efficace debiasing.
• Performance a Valle (BoN & DPO):
  • Tassi di Vittoria (Win Rates): FiMi-RM ha ottenuto il più alto Length-Controlled Win Rate (LC-WR) e lo standard Win Rate (WR) sia nelle impostazioni Best-of-N (BoN) che in Direct Preference Optimization (DPO).
  • Verbosità: Il metodo ha ridotto significativamente la lunghezza media dei token delle risposte generate rispetto a Vanilla RM e Length Penalty, mantenendo o migliorando le performance su benchmark come MT-Bench e IFEval.
  • Bias di Selezione: Nella selezione BoN, FiMi-RM ha dimostrato una preferenza più forte per output concisi rispetto a ODIN, che tendeva a spostare le preferenze verso risposte di media lunghezza piuttosto che verso quelle brevi.

Significatività e Rivendicazioni

Il paper sostiene che FiMi-RM offra un approccio più preciso ed efficace per mitigare il bias di lunghezza modellando esplicitamente la natura non lineare del problema. Disaccoppiando la lunghezza dalla ricompensa senza compromettere le capacità fondamentali di modellazione delle preferenze, il metodo consente alle pipeline di RLHF di generare risposte che siano allo stesso tempo di alta qualità e appropriatamente concise.

Gli autori osservano che, sebbene il loro metodo riduca efficacemente le correlazioni spurie, la questione se le preferenze umane siano interamente indipendenti dalla lunghezza rimanga aperta. Riconoscono che in certi contesti (ad es., compiti che richiedono spiegazioni dettagliate), una correlazione positiva tra lunghezza e qualità può essere genuina. Tuttavia, il loro framework distingue con successo tra il bias sfruttabile e la preferenza genuina, portando a un allineamento del modello più sicuro ed efficace.