RewardBench 2: Advancing Reward Model Evaluation

1. Il Problema

I Reward Models (RM) sono fondamentali nel post-training dei modelli linguistici (LLM), in particolare per l'allineamento tramite Reinforcement Learning from Human Feedback (RLHF), il filtraggio dei dati e le tecniche di scaling durante l'inferenza (come il Best-of-N sampling). Tuttavia, l'ecosistema di valutazione dei RM è ancora in fase di sviluppo e presenta diverse criticità:

• Disallineamento tra benchmark e prestazioni reali: I modelli che ottengono punteggi elevati sui benchmark esistenti (come RewardBench) spesso non si traducono in migliori prestazioni nei task a valle (downstream tasks).
• Semplicità eccessiva: I benchmark attuali tendono a essere troppo facili, con modelli che raggiungono punteggi molto alti, rendendo difficile distinguere le capacità reali.
• Contaminazione dei dati: Molti benchmark riutilizzano prompt e risposte da valutazioni downstream già esistenti, il che può portare a una sovrastima delle prestazioni a causa della contaminazione dei dati.
• Mancanza di correlazione con l'addestramento RLHF: Non è chiaro quanto un punteggio di accuratezza su un benchmark predica l'efficacia di un RM quando utilizzato per addestrare policy tramite algoritmi come PPO (Proximal Policy Optimization).

2. Metodologia: REWARDBENCH 2

Il paper introduce REWARDBENCH 2, un nuovo benchmark multi-abilità progettato per essere più rigoroso, sfidante e correlato alle prestazioni reali.

Costruzione del Dataset

• Prompt Umani Inediti: A differenza dei lavori precedenti, REWARDBENCH 2 utilizza prompt umani mai visti prima, estratti dal pipeline WildChat (con consenso utente), evitando la contaminazione con i dati delle valutazioni downstream.
• Formato di Valutazione: Il benchmark utilizza un formato "Best-of-4". Per ogni prompt, vengono presentate 4 completazioni: 1 scelta (corretta) e 3 rifiutate (errate o distrattori). Questo riduce la baseline casuale dal 50% (nel formato classico 1 vs 1) al 25%, aumentando lo spazio per il miglioramento (hillclimbing).
• Sei Domini di Valutazione:
  1. Factuality: Rilevazione di allucinazioni ed errori fattuali.
  2. Precise Instruction Following (IF): Capacità di seguire vincoli specifici (es. "non usare la lettera 'u'").
  3. Math: Risoluzione di problemi matematici da scuola media a livello universitario.
  4. Safety: Capacità di rifiutare prompt dannosi o di fornire risposte sicure.
  5. Focus: Capacità di fornire risposte pertinenti e di alta qualità rispetto a risposte fuori tema.
  6. Ties (Nuovo): Un dominio unico che testa la calibrazione del RM quando esistono multiple risposte corrette (es. "Nomina un colore dell'arcobaleno"). Il RM deve preferire le risposte corrette rispetto a quelle errate, ma non deve mostrare preferenze arbitrarie tra le risposte corrette.

Metriche

• La metrica principale è l'accuratezza (selezione della risposta corretta tra 4 opzioni).
• Per il dominio "Ties", la metrica è un punteggio ponderato che valuta sia l'accuratezza che la coerenza del margine di reward tra risposte corrette ed errate.

3. Contributi Chiave

1. Benchmark Sfidante e Correlato: REWARDBENCH 2 è significativamente più difficile di RewardBench (i modelli leader scendono di circa 20 punti in media) e mostra una forte correlazione con le prestazioni nei task downstream.
2. Analisi dell'Addestramento dei RM: Gli autori hanno addestrato 120 nuovi Reward Models controllando variabili come:
   • Base Model: Llama 3.1, Qwen 2.5, Tulu.
   • Dati di Addestramento: Mix di preferenze Tulu e Skywork.
   • Epochs: Hanno scoperto che addestrare per più di un epoch (es. 2 epochs) può migliorare le prestazioni, sfidando la pratica comune di fermarsi a un solo epoch per evitare l'overfitting.
3. Scoperta Critica su RLHF (On-Policy vs Off-Policy): L'analisi ha rivelato un fattore determinante per le prestazioni in RLHF: l'allineamento della lineage.
   • Un RM addestrato su un modello base (es. Llama) funziona bene solo se la policy da addestrare è della stessa famiglia (es. Llama).
   • Se c'è un disallineamento (es. RM basato su Llama usato per addestrare una policy Tulu), le prestazioni downstream crollano drasticamente, anche se il RM ha un punteggio altissimo sul benchmark.
4. Correlazione Differenziata:
   • Best-of-N (Inference-time scaling): I punteggi del benchmark sono fortemente correlati (Pearson 0.87) con le prestazioni nel Best-of-N sampling.
   • RLHF (PPO): La correlazione è debole se non si considera il contesto di addestramento (on-policy vs off-policy).

4. Risultati Principali

• Prestazioni dei Modelli Esistenti: I modelli leader su RewardBench (es. Skywork-Reward, LMUnit) ottengono punteggi mediamente 20 punti più bassi su REWARDBENCH 2. Ad esempio, nei domini "Precise IF" e "Math", i migliori modelli scendono sotto il 40% e il 70% di accuratezza rispettivamente.
• Impatto del Base Model: Modelli base diversi conferiscono capacità diverse ai RM. Ad esempio, i modelli basati su Qwen 2.5 eccellono in matematica, mentre quelli basati su Llama 3.1 Instruct mostrano prestazioni più bilanciate.
• Addestramento Multi-Epoch: L'addestramento per 2 epochs ha prodotto alcuni dei modelli migliori, suggerendo che la pratica di un solo epoch potrebbe essere subottimale per certi setup.
• Correlazione Downstream:
  • Il benchmark predice bene le prestazioni nel Best-of-N sampling.
  • Per il PPO, un RM con alto punteggio su REWARDBENCH 2 garantisce buone prestazioni solo se è "On-Policy" (stessa famiglia del modello policy) e "In-Distribution" (addestrato su dati simili a quelli usati nel PPO). I modelli "Off-Policy" con alti punteggi sul benchmark falliscono nel migliorare la policy.

5. Significato e Implicazioni

REWARDBENCH 2 rappresenta un passo avanti fondamentale nella valutazione dei Reward Models, spostando il focus da semplici metriche di accuratezza su dati contaminati a una valutazione olistica e contestuale.

• Per la Ricerca: Fornisce un nuovo standard per testare la robustezza e la capacità di generalizzazione dei RM, introducendo sfide come il dominio "Ties" e l'uso di prompt umani reali.
• Per la Pratica Industriale: Il paper avverte che non basta scegliere il RM con il punteggio più alto su un benchmark generico per l'addestramento RLHF. È cruciale considerare la lineage del modello (stessa famiglia base) e la distribuzione dei dati di addestramento.
• Futuro: Suggerisce che le framework di valutazione devono evolversi per includere non solo l'accuratezza, ma anche il contesto situazionale (on-policy/off-policy) e la calibrazione delle distribuzioni di reward, specialmente per applicazioni critiche come la sicurezza e il ragionamento complesso.

In sintesi, il paper dimostra che mentre REWARDBENCH 2 è un eccellente indicatore per tecniche di inferenza come il Best-of-N, l'uso efficace in RLHF richiede una selezione del Reward Model basata sulla compatibilità architetturale e distributiva, non solo sul punteggio del benchmark.