Riepilogo Tecnico: Apprendimento delle Preferenze Bayesiane per Modelli di Ricompensa Guidabili al Momento dell'Esecuzione

Enunciato del Problema

I modelli di ricompensa (RM) sono fondamentali per allineare i modelli linguistici alle preferenze umane tramite l'Apprendimento per Rinforzo dal Feedback Umano (RLHF). Tradizionalmente, i modelli di ricompensa basati su classificatori sono addestrati come stimatori statici dei parametri del modello di Bradley-Terry (BT) utilizzando un dataset fisso. Una volta addestrati, questi modelli mancano di adattabilità; non possono adeguarsi a distribuzioni di preferenze non viste o a compromessi dinamici (ad esempio, bilanciare l'utilità rispetto alla sicurezza) senza un nuovo addestramento. Inoltre, i modelli di ricompensa basati su classificatori standard sono soggetti a "sovra-ottimizzazione", dove le probabilità di preferenza convergono a 1, portando a ottimi locali che non riescono a catturare la vera complessità delle preferenze umane. Sebbene gli approcci "LLM-as-a-Judge" offrano flessibilità, spesso dipendono da modelli proprietari con elevati costi computazionali. Il lavoro affronta la necessità di un RM basato su classificatori efficiente, che rimanga adattabile al momento dell'esecuzione ed eviti la sovra-ottimizzazione.

Metodologia: Modellazione della Ricompensa Variazionale in Contesto (ICRM)

Gli autori propongono la Modellazione della Ricompensa Variazionale in Contesto (ICRM), un quadro bayesiano che tratta la modellazione della ricompensa come inferenza variazionale ammortizzata su una probabilità di preferenza latente.

Formulazione Principale

1. Definizione della Variabile Latente: Il modello introduce una variabile casuale latente $z \in [0, 1]$ che rappresenta la probabilità che una risposta scelta $y_w$ sia preferita rispetto a una risposta rifiutata $y_l$ dato un prompt $x$ e un insieme di dimostrazioni in contesto $C$.
2. Prior e Posterior Beta:
   • Il modello BT è specializzato per $N=2$ (una coppia), dove la verosimiglianza dell'esito della preferenza segue una distribuzione Bernoulli parametrizzata da $z$.
   • Un prior Beta $p(z) = \text{Beta}(\alpha_0, \beta_0)$ è posto su $z$. Gli autori utilizzano tipicamente un prior uniforme $(\alpha_0, \beta_0) = (1, 1)$ per rappresentare un punto di partenza non informativo.
   • Il posterior approssimato $q_\theta(z | x, y_w, y_l, C)$ è parametrizzato da una rete neurale con una testa di proiezione bidimensionale, che produce un punteggio di utilità $u_\theta$ e un punteggio di confidenza (evidenza) $s_\theta$.
   • Il posterior è riparametrizzato come $\text{Beta}(\alpha_q, \beta_q)$ dove:
     • $\mu = \sigma(u_w - u_l)$ rappresenta la media del posterior (probabilità di preferenza).
     • $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ rappresenta la concentrazione (confidenza).
     • $\alpha_q = \mu\tau$ e $\beta_q = (1-\mu)\tau$.

Obiettivo di Apprendimento

Il modello è addestrato massimizzando il Limite Inferiore dell'Evidenza (ELBO), minimizzando la perdita negativa ELBO:
$$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$$

• Termine di Ricostruzione: Il primo termine misura quanto bene il posterior spiega la preferenza osservata. Per una distribuzione Beta, questo ha una forma chiusa che coinvolge la funzione digamma $\psi$. Minimizzare questo spinge $\mu$ verso 1 per la risposta scelta.
• Termine di Regularizzazione: Il secondo termine è la divergenza KL tra il posterior appreso e il prior fisso. L'iperparametro $\lambda(N)$ è una funzione monotonicamente decrescente del numero di dimostrazioni in contesto $N$.
  • Quando $N$ è piccolo, $\lambda(N)$ è grande, costringendo il posterior a rimanere vicino al prior (alta incertezza).
  • Man mano che $N$ aumenta, $\lambda(N)$ diminuisce, permettendo al termine di ricostruzione di dominare e al modello di formare un posterior sicuro e guidato dai dati.

Garanzie Teoriche

Gli autori dimostrano che l'obiettivo regolarizzato con KL previene la modalità di fallimento da "sovra-ottimizzazione" comune nei modelli BT standard.

• Lemma 3.1: Man mano che la probabilità di preferenza $\mu \to 1$, il gradiente della perdita rispetto al punteggio di utilità è penalizzato da un fattore proporzionale a $1/\epsilon$ (dove $\epsilon = 1-\mu$), prevenendo una massimizzazione incontrollata.
• Teorema 3.2: Il minimizzatore globale della funzione di perdita è garantito di giacere nell'interno del dominio ($0 < \mu^* < 1$ e $0 < \tau^* < \infty$), assicurando che il modello non collassi su soluzioni di frontiera.

Contributi Chiave

1. Apprendimento delle Preferenze Variazionale Principiato: ICRM permette ai RM di inferire preferenze al momento dell'esecuzione da pochi esempi in contesto (few-shot). L'obiettivo regolarizzato con KL garantisce un ottimo globale interno, temperando la massimizzazione eccessiva delle medie di preferenza.
2. Guidabilità Singola e Multi-Obiettivo: La progettazione variazionale consente sia una guidabilità direzionale (adattarsi a direzioni di preferenza specifiche) sia una guidabilità calibrata (codificare il grado di spostamento della preferenza). Si estende a scenari multi-obiettivo, permettendo al modello di navigare i compromessi tra obiettivi conflittuali (ad esempio, sicurezza vs. utilità) mescolando dimostrazioni in contesto.
3. Parametrizzazione di Ricompense Verificabili: Il quadro è applicato all'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). Il modello interpreta i punteggi di utilità e confidenza per generare un segnale di ricompensa che è sia direzionale sia calibrato all'affidabilità del contesto, superando i verificatori standard e i modelli BT in compiti di ragionamento matematico.

Risultati Sperimentali

Gli autori hanno valutato ICRM utilizzando i backbones Qwen3-4B e Llama-3.2-3B contro baseline che includono modelli di ricompensa basati su classificatori standard (BTRM, ArmoRM, GRM) e giudici generativi (LLM-as-a-Judge, GRAM-r2).

• Guidabilità Calibrata: Su coppie di preferenze di dilemmi morali, ICRM ha dimostrato la capacità di seguire il grado di spostamento della preferenza specificato dalla composizione delle dimostrazioni in contesto. Man mano che il numero di dimostrazioni ($N$) aumentava da 8 a 64, l'Errore di Calibrazione Atteso (ECE) diminuiva da 0.099 a 0.076, superando la baseline LLM-as-a-Judge.
• Guidabilità Direzionale: Su benchmark come SafeRLHF e HHH-Alignment, ICRM si è adattato a etichette di preferenza "invertite" (dove le risposte dannose erano etichettate come scelte) con alta accuratezza (fino all'89%), mentre le baseline statiche non sono riuscite ad adattarsi.
• Prestazioni RM-Bench: Aumentare il numero di dimostrazioni in contesto ha migliorato significativamente l'accuratezza su RM-Bench. Con $N=64$, ICRM ha raggiunto un'accuratezza media del 70.8%, in aumento dal 60.5% a $N=1$, superando la baseline LLM-as-a-Judge (70.3%).
• Compromessi Multi-Obiettivo: Nel dominio della sicurezza di RM-Bench, ICRM ha prodotto fronti di Pareto lisci tra i comportamenti "Dovrebbe Rispondere" e "Dovrebbe Rifiutare". L'ipervolume (HV) di questi fronti è aumentato con $N$, dimostrando che ICRM può espandere la regione di compromesso raggiungibile, una capacità che manca ai RM statici.
• Applicazione RLVR: In compiti di ragionamento matematico utilizzando il dataset INTELLECT-MATH, una policy addestrata con ricompense ICRM ha raggiunto un'accuratezza del 53.8% su MATH-500, superando le policy addestrate con un verificatore gold (50.4%) e un modello di ricompensa BT standard (51.4%).

Significato e Affermazioni

Il lavoro afferma che ICRM fornisce una strada teoricamente fondata e praticamente efficace verso modelli di ricompensa che possono adattarsi a standard di preferenze non visti dopo l'addestramento. Trattando le preferenze come probabilità latenti con posteriori Beta condizionati alle dimostrazioni in contesto, ICRM unifica la regolarizzazione bayesiana con la guidabilità in contesto.

Gli autori sottolineano che questo approccio:

• Risolve la natura statica dei tradizionali modelli di ricompensa basati su classificatori senza il sovraccarico computazionale dei giudici generativi proprietari.
• Fornisce un meccanismo principiato per mitigare la sovra-ottimizzazione della ricompensa attraverso la regolarizzazione KL.
• Abilita un controllo dinamico al momento dell'esecuzione sull'allineamento multi-obiettivo, permettendo una navigazione continua degli spazi di preferenza piuttosto che punti operativi fissi.

Il lavoro suggerisce che la futura modellazione della ricompensa può spostarsi oltre i dataset fissi verso un allineamento dinamico guidato dalle dimostrazioni, sebbene gli autori notino limitazioni riguardanti i vincoli sulla lunghezza del contesto e la necessità di salvaguardie contro la guida dei modelli verso comportamenti dannosi.