Preference learning in shades of gray: Interpretable and bias-aware reward modeling for human preferences

1. Il Problema

L'apprendimento delle preferenze umane nei Large Language Models (LLM) attraverso il Reward Modeling (RM) presenta sfide fondamentali legate alla natura soggettiva e sfumata dei dati di addestramento.

• Segnali deboli e soggettivi: A differenza delle attività di apprendimento supervisionato standard con etichette chiare (es. "corretto" vs "errato"), il reward modeling si basa su confronti relativi ("scelte di grigio" o shades of gray). Il modello deve imparare a distinguere tra due risposte imperfette, dove la differenza è spesso sottile e contestuale.
• Complessità multidimensionale: Le preferenze umane sono una combinazione complessa di fattori come utilità, sicurezza, correttezza, cortesia e chiarezza. Tuttavia, il modello riceve solo un segnale scalare unidimensionale (quale risposta è preferita), senza decomposizione esplicita dei criteri sottostanti.
• Rumore e incoerenza: Le annotazioni umane possono essere inconsistenti (diversi annotatori hanno preferenze diverse) e i dataset contengono casi limite dove la distinzione tra risposta scelta e rifiutata è minima.
• Limiti degli approcci attuali: Gli studi preliminari mostrano che i modelli basati esclusivamente su embedding testuali faticano a generalizzare, ottenendo prestazioni (ROC-AUC) inferiori a 0,74, e rischiano di apprendere pattern superficiali (es. favorire risposte più lunghe) invece di comprendere la qualità intrinseca.

2. Metodologia

Gli autori propongono un framework ibrido di reward modeling che integra rappresentazioni testuali con segnali strutturati interpretabili, utilizzando il dataset Anthropic HH-RLHF.

• Rappresentazione Ibrida: Oltre all'input testuale (prompt + risposta), il modello viene arricchito con quattro feature strutturate:
  1. Lunghezza della risposta: Numero di token o caratteri.
  2. Indicatori di rifiuto: Segnali binari o probabilistici che indicano se il modello ha rifiutato di rispondere.
  3. Punteggi di tossicità: Valutazione del contenuto dannoso.
  4. Similarità semantica: Similarità tra prompt e risposta.
• Architettura del Modello:
  • Viene utilizzato un encoder transformer pre-addestrato (es. DeBERTa-v3, GPT-2, Pythia).
  • La funzione di reward $r_\theta(x, y)$ è definita come una combinazione lineare e interattiva:
    $$r_\theta(x, y) = w^\top h_\theta(x, y) + \phi^\top f(x, y) + \psi^\top(h_\theta(x, y) \odot f(x, y))$$
    Dove $h_\theta$ è la rappresentazione testuale, $f$ è il vettore delle feature strutturate e $\odot$ rappresenta le interazioni (es. prodotti bilineari) tra testo e feature.
  • Adattamento Efficiente (LoRA): Per l'addestramento, viene applicata l'adattazione a basso rango (LoRA) agli strati di attenzione, aggiornando solo un sottoinsieme di parametri per migliorare l'efficienza.
• Obiettivo di Addestramento: Minimizzazione della Negative Log-Likelihood basata sulla distribuzione di Bradley-Terry, massimizzando la differenza di reward tra la risposta scelta ($y^+$) e quella rifiutata ($y^-$).
• Analisi di Bias e Interpretabilità:
  • Utilizzo di SHAP e LIME per analizzare l'importanza dei token e delle feature a livello di decisione.
  • Valutazione dell'amplificazione del bias analizzando le correlazioni tra le feature (es. lunghezza) e il reward predetto.

3. Contributi Chiave

1. Framework di Feature Augmentation: Dimostrazione che l'integrazione di segnali strutturati interpretabili (lunghezza, tossicità, ecc.) supera i limiti dei modelli basati solo su testo, catturando aspetti espliciti di sicurezza e rilevanza.
2. Miglioramento delle Prestazioni: Il metodo ibrido ha portato a miglioramenti consistenti su 10 diversi LLM, con un aumento del 14% nel ROC-AUC (da 0,74 a 0,84) e un aumento significativo dell'accuratezza a coppie (pairwise accuracy).
3. Interpretabilità Fine-Grained: L'uso di SHAP e LIME ha rivelato che le decisioni del modello dipendono dal contesto e dall'inquadramento sicuro/sostenitivo del linguaggio, non dalla semplice presenza di parole chiave. Ad esempio, parole come "alcol" possono avere un impatto positivo se usate in un contesto di riduzione del danno.
4. Analisi del Bias: Lo studio ha mostrato che, sebbene le singole feature abbiano effetti marginali deboli (es. la lunghezza da sola non è un forte discriminatore), le loro interazioni influenzano significativamente l'apprendimento delle preferenze, evidenziando il rischio di amplificazione del bias se non gestite correttamente.

4. Risultati Sperimentali

• Dataset: Anthropic HH-RLHF (160.800 esempi di training, 8.550 di test).
• Modelli Testati: 10 LLM diversi (inclusi GPT-2, DeBERTa-v3, Pythia, Starling-RM, ecc.).
• Prestazioni:
  • Baseline (Solo testo): ROC-AUC massimo di 0,74 (DeBERTa-v3-RM).
  • Approccio Ibrido (Feature Augmented): ROC-AUC massimo di 0,84 (+14%) e accuratezza a coppie di 0,83.
  • Modello Migliore: DeBERTa-v3-Large ha ottenuto le prestazioni superiori.
• Analisi Ablativa:
  • La tossicità si è rivelata la feature singola più influente.
  • La similarità semantica ha migliorato la capacità di valutare la rilevanza contestuale.
  • La combinazione di tutte le feature ha prodotto un guadagno superiore alla somma delle singole parti, confermando l'importanza delle interazioni non lineari.
• Analisi del Bias:
  • Le risposte scelte sono leggermente più lunghe (+16 caratteri in media) e hanno toni leggermente più positivi, ma le distribuzioni si sovrappongono fortemente.
  • La tossicità è un fattore discriminante (le risposte rifiutate tendono ad avere punteggi di tossicità più alti), ma la maggior parte dei dati ha livelli di tossicità bassi.
  • La cortesia e il sentiment hanno un impatto marginale se presi singolarmente.

5. Significato e Conclusioni

Il paper dimostra che il reward modeling per l'allineamento degli LLM non può basarsi esclusivamente su rappresentazioni testuali latenti, che spesso catturano solo pattern superficiali.

• Impatto Pratico: L'approccio ibrido proposto offre un proxy scalabile e più affidabile per il giudizio umano, riducendo la dipendenza da costose annotazioni umane e migliorando la sicurezza e la qualità delle risposte in domini critici (sanità, educazione).
• Trasparenza: L'integrazione di tecniche di XAI (SHAP/LIME) rende il processo decisionale del reward model trasparente, permettendo di identificare se il modello sta imparando criteri di qualità reali o sta sfruttando bias superficiali.
• Direzioni Future: La ricerca suggerisce l'incorporazione di segnali multimodali, l'uso di inferenza causale per disentanglare i fattori di preferenza e l'estensione a dataset più diversificati per mitigare ulteriormente i bias.

In sintesi, il lavoro propone un passo avanti verso reward model più robusti, interpretabili e consapevoli dei bias, essenziali per lo sviluppo di sistemi di IA allineati e sicuri.