Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback

Questo lavoro presenta un quadro teorico fondato per la modellazione delle ricompense che tratta i feedback umani su scala Likert come un problema di regressione ordinale, derivando funzioni di perdita probabilistiche che apprendono automaticamente le soglie e superano i metodi euristici esistenti per allineare i modelli linguistici alle preferenze umane.

L'essenziale

Immagina di dover insegnare a un robot (un'intelligenza artificiale) cosa piace e cosa non piace agli esseri umani. Fino a poco tempo fa, il metodo principale era molto semplice: si mostravano al robot due risposte e gli si chiedeva: "Quale delle due è migliore?". Il robot doveva scegliere A o B. Era come un voto a due opzioni: "Sì" o "No", "Buono" o "Cattivo".

Questo metodo, chiamato Bradley-Terry, funziona bene, ma è un po' limitante. Nella vita reale, le nostre preferenze sono più sfumate. Se chiedi a qualcuno: "Quanto è meglio la pizza A rispetto alla pizza B?", la risposta non è solo "A è meglio". Potrebbe essere: "A è leggermente meglio", "A è molto meglio" o "A è incredibilmente meglio".

Il problema è che i metodi attuali trattano queste sfumature come se fossero tutte uguali, o usano delle "scorciatoie" matematiche un po' arbitrarie per adattarle al modello binario. È come se cercassi di misurare la temperatura con un termometro che può solo dire "caldo" o "freddo", ignorando se fa 20 gradi o 40 gradi.

La Soluzione: Un Termometro a Gradi Precisi

Gli autori di questo paper (presentato alla conferenza ICLR 2026) hanno detto: "Basta con le scorciatoie! Usiamo un approccio matematico solido che rispetti la natura delle nostre preferenze".

Hanno trasformato il problema in una regressione ordinale. Per usare un'analogia semplice:

• Il vecchio metodo (Binario): È come avere una scala che può solo dire "Sopra" o "Sotto". Se metti un libro su un tavolo, il sistema dice solo "È sopra il tavolo". Non sa dire quanto è alto.
• Il nuovo metodo (Ordinale): È come avere una scala con dei gradini precisi. Il sistema non solo sa che il libro è sopra il tavolo, ma può dirti: "È sul gradino 3, che significa 'leggermente sopra', oppure sul gradino 5, che significa 'molto sopra'".

Come funziona la loro "Scalata"?

Immagina che lo spazio delle risposte sia una lunga strada. Il nostro obiettivo è dividere questa strada in zone (o gradini) usando dei paletti (chiamati "thresholds" o soglie).

1. I Paletti: Invece di inventare a mano dove mettere i paletti (es. "mettiamo che 'leggermente meglio' sia a 1 metro e 'molto meglio' a 3 metri"), il loro metodo impara da solo dove posizionarli guardando i dati.
2. L'Apprendimento: Il modello guarda migliaia di esempi di preferenze umane. Se vede che quando la differenza di qualità è piccola, gli umani dicono "leggermente meglio", e quando è grande dicono "molto meglio", il modello sposta i suoi paletti virtuali per adattarsi perfettamente a queste osservazioni.
3. Niente Regole Fisse: Non c'è bisogno di dire al computer "se la differenza è X, allora è Y". Il computer scopre da solo queste regole matematiche.

Perché è così importante?

Il paper dimostra tre cose fondamentali con analogie pratiche:

1. Meno Errori "Catastrofali":
   Immagina che il vecchio modello, quando sbaglia, pensi di essere sicurissimo di aver ragione. Esempio: sceglie una risposta terribile invece di una buona, ma lo fa con un voto altissimo. È come un giudice che condanna un innocente con una sentenza severissima.
   Il nuovo modello, quando sbaglia, lo fa con dubbio. Se sbaglia, lo fa su casi molto simili, dove la differenza è minima. È come un giudice che esita prima di condannare. Questo è cruciale per l'IA: è meglio sbagliare con cautela che sbagliare con arroganza.

2. Robustezza agli Errori Umani:
   Gli umani a volte sbagliano a votare. A volte dicono "molto meglio" quando intendevano "leggermente meglio".

   • Se il rumore è sistematico (es. tutti gli umani sono un po' troppo entusiasti e spostano tutti i voti di un gradino in su), il nuovo modello è bravissimo a correggersi da solo, come se dicesse: "Ah, vedo che tutti sono un po' esagerati, aggiusto i miei paletti e continuo a capire il vero significato".
   • Se il rumore è casuale (caos totale), il modello degrada in modo gentile, senza crollare completamente subito.

3. Migliore Comprensione della "Forza" del Giudizio:
   Il nuovo modello non si limita a dire "A è meglio di B". Impara a dire "A è meglio di B, e la differenza è significativa". Questo permette di creare assistenti IA più fini, che capiscono le sfumature della conversazione umana.

In Sintesi

Questo paper è come passare da un sistema di voto a due opzioni (Sì/No) a un sistema di valutazione a stelle (da 1 a 5), ma con una differenza enorme: invece di inventare regole su come calcolare le stelle, hanno creato una matematica elegante che impara da sola quanto vale ogni stella basandosi su come gli umani le usano davvero.

Il risultato? Un'Intelligenza Artificiale che non solo sa cosa preferiamo, ma capisce quanto lo preferiamo, commettendo meno errori gravi e adattandosi meglio alle imperfezioni dei dati umani. È un passo avanti fondamentale per rendere le nostre interazioni con le macchine più naturali e precise.

Sommario tecnico

1. Il Problema

L'allineamento dei grandi modelli linguistici (LLM) con le preferenze umane si basa tradizionalmente sul Modello di Bradley-Terry (BT), che tratta i dati di feedback come confronti binari (es. "Risposta A è migliore di Risposta B"). Tuttavia, nelle annotazioni umane reali, gli annotatori spesso forniscono feedback più ricchi su scale ordinali (es. scale Likert: "migliore in modo significativo", "leggermente migliore", "trascurabilmente migliore").

I metodi attuali per sfruttare questi dati ordinali si basano su euristiche ad-hoc (come l'aggiunta di margini fissi, la scalatura della funzione di perdita o l'uso di etichette soft probabilistiche arbitrarie). Questi approcci presentano due limiti fondamentali:

1. Mancano di un modello matematico coerente su come vengono generate le preferenze ordinarie.
2. Richiedono la sintonizzazione manuale di iperparametri (es. quanto grande deve essere il margine tra "leggermente" e "significativamente"?), che non hanno un'interpretazione chiara e rendono i metodi fragili e specifici per dataset.

2. Metodologia

Gli autori propongono di riformulare il problema del Reward Modeling (RM) con feedback ordinale come un problema di regressione ordinale discreta, un quadro statistico ben consolidato. Invece di modificare arbitrariamente la perdita BT, derivano funzioni di perdita principiate direttamente dal modello.

Formulazione del Problema

Dato un prompt $x$ e due risposte $y, y'$, l'annotatore fornisce un'etichetta $z \in \{-K, \dots, 0, \dots, K\}$ che indica la direzione e l'intensità della preferenza. L'obiettivo è apprendere una funzione di ricompensa $r_\phi(x, y)$ tale che la differenza $s_\phi(x, y, y') = r_\phi(x, y) - r_\phi(x, y')$ rispetti la struttura ordinale.

Approcci Proposti

Il framework introduce $2K$ soglie ($\zeta$) che partizionano lo spazio delle ricompense continue in intervalli corrispondenti ai livelli ordinali. Vengono proposti due metodi principali:

1. Approccio Probabilistico (Negative Log-Likelihood - NLL):

   • Assume che gli annotatori seguano un modello ordered logit.
   • La probabilità di osservare un livello $z$ è modellata come la differenza tra le probabilità cumulative ai bordi dell'intervallo corrispondente.
   • La funzione di perdita minimizza il negativo log-verosimiglianza, penalizzando l'assegnazione di bassa probabilità al livello osservato.

2. Approccio basato sui Margini (All-Threshold Loss - AT):

   • Ispirato ai metodi a grande margine, non assume un modello probabilistico specifico.
   • Penalizza direttamente le violazioni delle soglie: la differenza di ricompensa deve essere maggiore di tutte le soglie inferiori al livello vero e minore di tutte le soglie superiori.
   • Accumula penalità per ogni violazione di soglia, rendendo gli errori più gravi (lontani dal livello vero) più costosi.

Innovazioni Chiave

• Apprendimento delle Soglie: A differenza delle euristiche, le soglie $\zeta$ sono apprese direttamente dai dati insieme ai parametri del modello di ricompensa, eliminando la necessità di fissare margini manuali.
• Simmetria vs. Asimmetria: Il framework permette di imporre vincoli di simmetria ($\zeta_{-k} = -\zeta_k$), basati sul teorema che dimostra come la simmetria nelle preferenze umane implichi soglie simmetriche, oppure di apprendere soglie asimmetriche per catturare bias cognitivi.
• Regolarizzazione: Viene introdotto un termine di regolarizzazione L2 sulle soglie. Senza di esso, il problema di ottimizzazione ammette soluzioni illimitate (le soglie e le ricompense possono scalare all'infinito riducendo la perdita a zero), portando a instabilità numerica.

3. Risultati Sperimentali

Il framework è stato valutato su dataset reali con annotazioni Likert (HelpSteer2 e HelpSteer3) e testato su benchmark standard (RewardBench, RM-Bench) utilizzando modelli come Llama-3.1-8B, Mistral-7B e Zephyr-7B.

• Prestazioni Superiori: L'approccio NLL-Simmetrico ha ottenuto risultati costantemente superiori o competitivi rispetto alle euristiche (Margin BT, Scaled BT, Soft Label), migliorando le prestazioni medie del 2-5% su diverse categorie (Chat, Ragionamento, Sicurezza, Codice).
• Calibrazione e Gravità degli Errori: Il modello ordinale riduce la gravità media degli errori del 87% rispetto al BT standard. Mentre il BT commette errori con margini di ricompensa molto grandi (fino a 20), il modello ordinale commette errori solo su casi ambigui con margini bassi (< 2.5). Questo è cruciale per la sicurezza e l'ottimizzazione RL.
• Accuratezza Ordinale: Il modello raggiunge un'accuratezza esatta del ~55% e un'accuratezza entro un livello del ~85% sui dati di validazione, dimostrando di apprendere la struttura fine delle preferenze e non solo l'ordinamento binario.
• Robustezza al Rumore: Il framework mostra una forte robustezza al rumore sistematico (shift delle etichette), mantenendo prestazioni stabili anche con il 100% di corruzione sistematica, grazie alla capacità delle soglie apprese di assorbire i bias.
• Training Congiunto vs. Calibrazione Post-hoc: L'addestramento congiunto di ricompensa e soglie supera significativamente l'approccio di calibrazione post-hoc (dove le soglie vengono apprese su un modello BT congelato), confermando che l'informazione ordinale deve essere appresa insieme alla funzione di ricompensa.

4. Contributi Chiave

1. Primo Framework Principiato: Fornisce il primo quadro matematico rigoroso per incorporare preferenze su scala Likert nel training dei modelli di ricompensa, superando le modifiche ad-hoc ai modelli binari.
2. Derivazione Teorica: Deriva funzioni di perdita (NLL e AT) e dimostra teoremi sulla necessità di regolarizzazione per soluzioni limitate e sulla simmetria delle soglie in presenza di preferenze simmetriche.
3. Miglioramento della Calibrazione: Dimostra che l'uso di feedback ordinale porta a modelli di ricompensa meglio calibrati, riducendo drasticamente la probabilità di assegnare punteggi di ricompensa erroneamente alti a risposte indesiderate.
4. Estensibilità: Il framework è progettato per essere esteso ad algoritmi come il Direct Preference Optimization (DPO), permettendo di sfruttare feedback ordinale anche nell'ottimizzazione diretta della politica.

5. Significato

Questo lavoro segna un cambio di paradigma fondamentale nell'allineamento degli LLM. Sposta l'attenzione dalla semplice classificazione binaria (migliore/peggiore) alla modellazione della grandezza della preferenza. Sfruttare l'informazione ordinale intrinseca nei dati umani non solo migliora le metriche di accuratezza, ma produce modelli di ricompensa più affidabili e sicuri, riducendo il rischio di ottimizzare politiche basate su segnali di ricompensa "confidenti ma sbagliati". Fornisce inoltre una base matematica solida per future ricerche su feedback strutturati più complessi (es. punteggi multi-aspetto, incertezza).