Sintesi Tecnica: PEBS per la Calibrazione del Modello di Ricompensa nel RLHF

Definizione del Problema

Il Reinforcement Learning from Human Feedback (RLHF) aggrega tipicamente le preferenze di migliaia di annotatori in un singolo modello di ricompensa (RM) globale. Le pipeline standard raggruppano tutte le valutazioni in una singola funzione di verosimiglianza, adattando un singolo calibratore affine globale (pendenza e offset). Questo approccio collassa i valutatori che utilizzano la scala di valutazione 0–100 con offset e pendenze sistematicamente differenti in un unico adattamento "valutatore medio". Di conseguenza, il modello risultante non corrisponde alla calibrazione di alcun singolo annotatore, confondendo l'eterogeneità della calibrazione con il segnale di ricompensa. Questo degrado nell'accuratezza per singolo annotatore persiste anche quando l'accuratezza del modello aggregato è elevata, potenzialmente danneggiando le perdite (loss) sensibili alla calibrazione utilizzate in Direct Preference Optimization (DPO) e Proximal Policy Optimization (PPO).

Metodologia: PEBS

Il documento propone PEBS (Per-rater Empirical-Bayes Shrinkage), uno stimatore post-hoc a forma chiusa progettato per correggere la calibrazione affine specifica per ogni annotatore senza riaddestrare il modello di ricompensa di base.

Meccanismo Core

PEBS opera sugli output di un modello di ricompensa condiviso $\hat{r}_\phi$. Per ogni annotatore $j$, modella il suo punteggio di preferenza continuo $s_{ji}$ come una trasformazione lineare della predizione scalare del modello:
$$s_{ji} = \alpha_j \hat{r}_\phi(x_{ji}) + \beta_j + \epsilon_{ji}$$
dove $\alpha_j$ è la pendenza moltiplicativa per ogni annotatore e $\beta_j$ è l'offset additivo.

La procedura segue un processo in tre fasi:

1. Stima Locale: Per ogni annotatore con dati sufficienti ($n_j \geq 6$ in PRISM), viene utilizzato il Minimi Quadrati Ordinari (OLS) per stimare i parametri locali $(\hat{\alpha}^{OLS}_j, \hat{\beta}^{OLS}_j)$.
2. Stima della Varianza: Viene utilizzato il metodo dei momenti (MoM) per stimare la varianza cross-cluster ($\hat{\tau}^2$) dei parametri locali attraverso la popolazione.
3. Empirical-Bayes Shrinkage: Le stime locali sono rimpicciolite (shrunk) verso la media della popolazione ($\alpha_{pop}, \beta_{pop}$) utilizzando il peso empirical-bayes di Morris–James–Stein:
   $$\hat{\alpha}^{shrunk}_j = \omega_j \hat{\alpha}^{OLS}_j + (1 - \omega_j) \alpha_{pop}$$
   dove $\omega_j = \hat{\tau}^2 / (\hat{\tau}^2 + V(\hat{\alpha}^{OLS}_j))$. Questo peso penalizza automaticamente gli annotatori con alta varianza di campionamento (tipicamente quelli con meno valutazioni $n_j$).

Proprietà Teoriche

• Invarianza della Pair-Accuracy: La Proposizione 1 stabilisce che se le pendenze rimpicciolite rimangono positive, la mappa affine è strettamente monotona. Pertanto, PEBS preserva l'ordinamento delle risposte (argmax) e non altera i benchmark di pair-accuracy (ad es., RewardBench 2). Il suo valore risiede esclusivamente nel migliorare le metriche sensibili alla calibrazione come la Root Mean Squared Error (RMSE) e la Bradley-Terry Negative Log-Likelihood (NLL).
• Inequality Oracle: Il Teorema 1 fornisce un'inequality oracle per lo shrinkage della pendenza, dimostrando che il rischio dello stimatore PEBS rimane entro un fattore $(1 + c/J)$ rispetto a uno stimatore oracle che conosce la vera varianza, con un esplicito valore costante $c$.
• Forecaster: Una funzione $g$ di Morris a forma chiusa permette ai professionisti di prevedere il potenziale guadagno di RMSE applicando PEBS a un nuovo corpus utilizzando solo un breve campione pilota, validato con un errore entro lo 0,2 percentuale su corpora a valutazione continua.

Contributi Chiave

1. Calibrazione Post-Hoc a Forma Chiusa: PEBS introduce una classica correzione statistica (Efron–Morris–James–Stein partial pooling) nella pipeline RLHF, operando a valle delle predizioni scalari di qualsiasi modello di ricompensa senza richiedere il riaddestramento del modello.
2. Validazione Empirica: Il metodo dimostra riduzioni significative della RMSE tenuta in fuori (held-out) per utente su molteplici dataset e modelli di base.
3. Caratterizzazione dell'Ambito: Il documento definisce rigorosamente i confini della trasferibilità del metodo, identificando specifiche interazioni tra l'architettura del modello (dense vs. MoE) e le teste di addestramento (coerenza vs. verbosità) che determinano successo o fallimento.
4. Indipendenza Demografica: L'analisi mostra che il raggruppamento demografico (età, genere, regione, ecc.) non può sostituire la calibrazione per singolo utente, poiché solo una piccola frazione della varianza è spiegata dalla demografia, confermando che l'eterogeneità è specifica dell'annotatore individuale.

Risultati Sperimentali

• Dataset PRISM: Sul corpus di allineamento PRISM utilizzando un modello di base Qwen-2.5-7B, PEBS ha ridotto la RMSE held-out per utente dell'8,58% rispetto al baseline della pendenza della popolazione raggruppata. Questo miglioramento era statisticamente significativo ($p < 10^{-108}$) e ha superato il naive per-user OLS, che soffre di overfitting su piccoli campioni.
• Replicazione Cross-Corpus: Il metodo si è replicato su PluriHarms (valutazioni di danno) con una riduzione della RMSE del 9,66% e sugli attributi di HelpSteer2. Ha inoltre mostrato guadagni positivi su un dataset multi-corpus raggruppato.
• Trasferibilità del Modello di Base:
  • Successo: La procedura si è trasferita con successo all'interno della famiglia Qwen-2.5 e sul riferimento Phi-3-medium-14B (guadagno medio +42,15% su 5 seed).
  • Fallimento/Inversione: Su basi dense della famiglia Llama addestrate su una testa di "coerenza", la procedura ha prodotto guadagni negativi (ad es., -171% su Llama-3-8B), suggerendo che il fallimento è dovuto a una specifica interazione tra l'architettura densa e la testa di coerenza piuttosto che a un bias generale di verbosità.
• Impatto a Valle: In un probe PPO pre-registrato, il modello di ricompensa non corretto è collassato a una divergenza KL $\geq 1,0$, mentre il braccio con PEBS-shrinkage è rimasto stabile.

Significato e Rivendicazioni

Il documento posiziona PEBS come una necessaria correzione per il "problema della validità della misurazione" nel RLHF, dove un singolo RM globale non riesce a rappresentare i singoli annotatori.

• Calibrazione vs. Selezione: Gli autori chiariscono che PEBS affronta l'asse della calibrazione (scala e offset dei punteggi) piuttosto che l'asse della selezione (scelta della migliore risposta). Migliora le perdite dipendenti dall'entità del punteggio (RMSE, NLL) ma lascia invariati i metrica basate sul ranking.
• Allineamento Pluralistico: PEBS opera su un quarto asse dell'allineamento pluralistico: l'eterogeneità della calibrazione. Mentre il lavoro esistente si concentra sul disaccordo dei contenuti (assi distribuzionale, steerable o Overton), PEBS affronta il fatto che diversi valutatori mappano lo stesso output del modello su scale personali differenti.
• Modestia sulla Generalizzazione: Gli autori dichiarano esplicitamente che la procedura non generalizza universalmente su tutte le architetture. Il "cambio di segno" osservato sui modelli della famiglia Llama sotto l'addestramento di coerenza indica un limite strutturale, e il metodo non è presentato come una correzione agnostica rispetto agli attributi per tutte le pipeline RLHF.
• Compromesso per i Valutatori Minoritari: Il documento riconosce il classico compromesso dello shrinkage: sebbene PEBS migliori le prestazioni medie, rimpicciolisce aggressivamente i valutatori con pochi dati (spesso provenienti da popolazioni sottorappresentate) verso la media. Gli autori raccomandano audit per i valutatori minoritari quando le decisioni politiche dipendono da casi estremi reali e rari.

In sintesi, PEBS offre un metodo a forma chiusa e computazionalmente gratuito per recuperare la calibrazione per singolo annotatore nel RLHF, riducendo significativamente l'errore di predizione per i singoli utenti pur mantenendo le proprietà di ranking del modello di ricompensa di base.