🤖 AI

Mitigating Cognitive Bias in RLHF by Altering Rationality

Questo articolo propone un metodo per mitigare il bias cognitivo nel Reinforcement Learning from Human Feedback (RLHF) regolando dinamicamente il parametro di razionalità durante l'apprendimento della ricompensa, utilizzando un LLM come giudice per identificare e ridurre il peso dei confronti umani distorti, addestrando così modelli più robusti anche su dataset imperfetti.

Autori originali: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

Pubblicato 2026-05-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come prendere buone decisioni. Il metodo standard per farlo si chiama RLHF (Reinforcement Learning from Human Feedback, Apprendimento per Rinforzo da Feedback Umano). Mostri al robot due risposte diverse a una domanda, chiedi a un essere umano quale delle due sia migliore e il robot imita quella scelta.

Il problema, secondo questo documento, è che gli esseri umani non sono insegnanti perfetti. A volte commettiamo errori a causa delle scorciatoie innate del nostro cervello, note come bias cognitivi.

Pensa ai bias cognitivi come a un paio di occhiali distorti. Quando li indossi, potresti vedere il mondo chiaramente, ma a volte vedi cose che in realtà non ci sono, oppure trascuri dettagli importanti. Un esempio famoso è il "Problema di Linda": se dici a qualcuno che Linda è una studentessa di filosofia femminista, potrebbe irrazionalmente pensare che sia più probabile che sia una "cassiera femminista" piuttosto che semplicemente una "cassiera", anche se matematicamente la seconda opzione deve essere più probabile. Se un essere umano indossa questi "occhiali distorti" mentre insegna al robot, il robot impara a indossarli a sua volta.

Il Vecchio Metodo vs. Il Nuovo Metodo

Il Vecchio Metodo (Occhiali Fissi):
Nell'addestramento tradizionale, il robot assume che l'insegnante umano sia ugualmente affidabile per ogni singola domanda. Tratta ogni voto del tipo "Mi piace questa risposta" con lo stesso peso, come un insegnante che assegna la stessa valutazione a ogni studente indipendentemente dal fatto che stesse prestando attenzione o sognando ad occhi aperti. I ricercatori chiamano questo un "parametro di razionalità" fisso (chiamiamolo Beta). È come assumere che l'insegnante umano sia sempre al 100% sobrio e concentrato.

Il Nuovo Metodo (Occhiali Dinamici):
Le autrici, Tiffany Horter e il suo team, propongono un approccio più intelligente. Suggeriscono che il robot dovrebbe chiedersi: "È probabile che questo insegnante umano sia influenzato da un bias in questo momento?"

Hanno costruito un sistema che agisce come un supervisore a controlli a campione. Prima che il robot impari dalla scelta di un umano, una seconda intelligenza artificiale (un "LLM come giudice") esamina la domanda e la scelta dell'umano per vedere se puzza di bias cognitivo.

Se il supervisore pensa: "Ah, questo sembra un classico tranello di bias", dice al robot di abbassare il volume su quel feedback umano. Riduce il valore "Beta", rendendo quella specifica lezione meno importante.
Se il supervisore pensa: "Questa sembra una scelta solida e razionale", alza il volume, permettendo al robot di imparare pesantemente da essa.

L'Analogia: La Classe Rumorosa

Immagina una classe dove l'insegnante sta cercando di insegnare matematica agli studenti (l'IA).

Il Problema: A volte l'insegnante è stanco, distratto o cade in una domanda trabocchetto. Se gli studenti copiano gli errori dell'insegnante, falliscono il test.
Il Vecchio Metodo: Gli studenti copiano tutto ciò che l'insegnante scrive alla lavagna, assumendo che l'insegnante abbia sempre ragione.
Il Nuovo Metodo: Gli studenti hanno un assistente intelligente seduto accanto a loro. Quando l'insegnante scrive una risposta, l'assistente sussurra: "Ehi, penso che l'insegnante stia sbagliando qui a causa di una domanda trabocchetto". Gli studenti ignorano quindi quella risposta specifica e si concentrano su quelle in cui l'insegnante sembra lucido.

Cosa è Successo Quando L'hanno Provato?

I ricercatori hanno testato questo approccio su due serie di domande insidiose progettate per mettere in difficoltà la logica umana (come il "Problema di Linda" e scenari di diagnosi medica).

Ha impedito al robot di copiare gli errori: Anche quando il robot è stato addestrato su dati in cui gli esseri umani erano per lo più sbagliati (biasati), il nuovo metodo ha aiutato il robot a capire la risposta corretta. Ha imparato a ignorare gli "occhiali distorti" e a trovare la verità.
Non ha rotto il robot: Il robot non si è confuso né ha dimenticato come fare altre cose. È rimasto intelligente nelle attività generali, migliorando solo nella capacità di ignorare i bias.
Ha funzionato anche con un supervisore "difettoso": Il sistema non aveva bisogno di un supervisore perfetto per individuare ogni singolo bias. Anche se il supervisore aveva ragione solo l'80% delle volte, il robot imparava comunque meglio rispetto a non avere alcun supervisore.

La Grande Conclusione

Il documento sostiene che non dovremmo trattare il feedback umano come un segnale perfetto e immutabile. Invece, dovremmo trattarlo come un segnale rumoroso che cambia a seconda del contesto. Regolando dinamicamente quanto peso diamo al feedback umano in base alla probabilità che sia influenzato da un bias, possiamo costruire un'IA più razionale e meno propensa a ereditare i nostri difetti umani.

In breve: Non ascoltare solo ciò che dicono gli esseri umani; ascolta come lo dicono, e adatta il tuo apprendimento di conseguenza.

Riepilogo Tecnico: Mitigazione del Bias Cognitivo nell'RLHF Alterando la Razionalità

Enunciato del Problema

L'Apprendimento per Rinforzo da Feedback Umano (RLHF) si basa sul presupposto che gli annotatori umani esprimano preferenze che riflettano fedelmente le loro intenzioni latenti. Tuttavia, questo presupposto è difettoso perché il giudizio umano è frequentemente soggetto a bias cognitivi (ad esempio, la fallacia della congiunzione, il bias di ancoraggio, la fallacia dei costi irrecuperabili). Nelle pipeline RLHF standard, queste deviazioni sistemiche sono trattate come rumore stocastico uniforme. Il processo di apprendimento modella tipicamente le preferenze umane utilizzando una formulazione razionale di Boltzmann, dove un parametro di razionalità fisso, $\beta$ , governa la coerenza tra le differenze di ricompensa latenti e le preferenze a coppie osservate.

Trattare $\beta$ come una costante globale presuppone implicitamente un'affidabilità uniforme degli annotatori in tutti i contesti. Di conseguenza, quando i dati di addestramento contengono bias cognitivi sistematici, il modello di ricompensa appreso incorpora questi bias, causando che i Modelli Linguistici di Grande Dimensione (LLM) a valle riproducano o addirittura amplifichino comportamenti irrazionali. Il problema centrale affrontato è come rendere l'RLHF robusto a feedback umani imperfetti in cui le deviazioni dalla razionalità non sono casuali, ma dipendenti dal contesto e sistematiche.

Metodologia

Gli autori propongono un framework che tratta la razionalità come dipendente dal contesto e dall'annotazione, piuttosto che fissa. Invece di un $\beta$ globale, introducono un parametro di razionalità dinamico e dipendente dall'istanza, $\beta_{new}$ , che modula il peso di ogni coppia di preferenze durante l'apprendimento della ricompensa in base alla probabilità stimata di bias cognitivo.

1. Parametro di Razionalità Dinamico ( $\beta_{new}$ )

Il metodo sostituisce il $\beta$ fisso con una funzione della probabilità di bias stimata ( $D_f$ ) per un confronto specifico:
$\beta_{new} = \text{logistico}(k \cdot (\theta - D_f))$
Dove:

$D_f \in [0, 1]$ è la probabilità stimata che il feedback osservato sia influenzato da un bias cognitivo.
$\theta$ è un parametro di soglia che determina quando il feedback inizia a essere sottopesato.
$k$ controlla la pendenza della transizione.

Quando $D_f$ è bassa (bassa probabilità di bias), $\beta_{new}$ si avvicina a 1, assegnando un peso elevato alla preferenza. All'aumentare di $D_f$ , $\beta_{new}$ diminuisce verso 0, riducendo efficacemente l'influenza di giudizi potenzialmente distorti sul modello di ricompensa.

2. Rilevamento del Bias (Stima di $D_f$ )

Per stimare $D_f$ , gli autori adottano un approccio "LLM come giudice". Un LLM pronto all'uso (ad esempio, ChatGPT 5.2 Thinking o Mistral-7B-Instruct) valuta ogni esempio di addestramento (prompt, risposte candidate e la preferenza scelta) per prevedere la probabilità di bias.

Valutazione a Coppie: Il giudice identifica quale delle due risposte candidate è più distorta.
Calibrazione: Un passaggio di calibrazione leggero corregge gli errori sistematici di direzione tra diversi tipi di bias utilizzando un minimo set di validazione tenuto da parte.
Granularità: Crucialmente, $D_f$ è definita rispetto alla risposta scelta all'interno di uno scenario specifico, non allo scenario stesso. Questo permette al sistema di mantenere segnali informativi da scenari che inducono bias in cui l'annotatore evita con successo il bias (ad esempio, un annotatore addestrato statisticamente che rifiuta correttamente la fallacia della congiunzione).

3. Pipeline di Addestramento

Modello di Ricompensa: Un modello di ricompensa (inizializzato da Mistral-7B) viene addestrato utilizzando una funzione di perdita in cui il peso di ogni coppia è condizionato da $\beta_{new}$ .
Ottimizzazione della Politica: La politica a valle viene affinata utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) con il modello di ricompensa congelato e consapevole del bias.
Dataset: Il metodo è validato su due dataset progettati per elicitarre bias cognitivi: il Dataset BRU (205 domande, 8 tipi di bias) e il Dataset CogBias (30.000 casi, 30 tipi di bias). Per simulare modalità di fallimento realistiche dell'RLHF, i dati di addestramento sono costruiti in modo che le risposte distorte siano preferite rispetto alle risposte ground-truth in una frazione regolabile di casi (ad esempio, rapporto 3:1).

Contributi Chiave

Razionalità Dipendente dal Contesto: Il documento sfida l'assunzione standard di un parametro di razionalità fisso nell'RLHF, proponendo invece che $\beta$ dovrebbe variare in base all'affidabilità di specifiche istanze di feedback.
Meccanismo di Sottopesatura Dinamica: Gli autori introducono un meccanismo per adattare dinamicamente $\beta$ utilizzando un rilevatore di bias basato su LLM, permettendo al sistema di sottopesare confronti distorti preservando al contempo segnali informativi da giudizi non distorti all'interno dello stesso contesto.
Robustezza al Rilevamento Imperfetto: Il metodo dimostra efficacia anche quando il rilevatore di bias (l'LLM come giudice) è imperfetto o rumoroso, a condizione che l'accuratezza del rilevatore rimanga al di sopra di una certa soglia (circa 57-60%).

Risultati Sperimentali

Gli autori hanno valutato il loro approccio sui dataset BRU e CogBias, confrontando il metodo $\beta$ dinamico con baseline che utilizzano valori di $\beta$ fissi (0.1, 0.5, 0.9, 1.0) e assegnazioni casuali di $\beta$ .

Riduzione della Propagazione del Bias: Sul dataset CogBias, il modello debiasato ha raggiunto un'accuratezza ground-truth del 67.6%, un miglioramento significativo rispetto al modello base non affinato (42.4%) e alle baseline addestrate sugli stessi dati distorti (che sono collassate a un'accuratezza di ~1.7%). Sul dataset BRU, il modello debiasato ha migliorato l'accuratezza dell'8.3% rispetto al modello base, nonostante fosse stato addestrato su dati distorti in rapporto 3:1.
Robustezza al Feedback Distorto: Il metodo ha prevenuto con successo il "collasso verso preferenze distorte" osservato nelle baseline. Anche quando i dati di addestramento contenevano un rapporto 5:1 di preferenze distorte rispetto a quelle ground-truth, il modello $\beta$ dinamico ha mantenuto un'accuratezza significativamente superiore rispetto alle baseline a $\beta$ fisso.
Preservazione delle Prestazioni Generali: La valutazione sul dataset TruthfulQA non ha mostrato un degrado significativo delle prestazioni generali (cambiamento non significativo di -0.5%), indicando che l'intervento riduce selettivamente il bias senza sacrificare la capacità complessiva.
Cross-Architettura e Trasferibilità: L'approccio ha prodotto miglioramenti statisticamente significativi su diverse architetture di modelli (Mistral-7B e Qwen3-8B). Inoltre, un modello affinato sul piccolo dataset BRU ha trasferito con successo la sua capacità di mitigare il bias di ancoraggio al più grande dataset CogBias, migliorando l'accuratezza ground-truth dal 37.7% al 44.3%.

Significato e Affermazioni

Il documento sostiene che un allineamento efficace nell'RLHF dipende meno dall'ottenere feedback umani idealizzati e perfettamente razionali e più dalla modellazione delle distorsioni intrinseche in quel feedback. Riformulando i dati di preferenza come dipendenti dal contesto e sistematicamente distorti, gli autori dimostrano che i modelli di ricompensa possono essere addestrati a sfruttare feedback imperfetti senza collassare nei loro bias.

Gli autori affermano che il loro lavoro contribuisce a una direzione crescente nella ricerca sull'allineamento: allontanarsi dall'assunzione di una razionalità uniforme verso metodi che rilevano, modellano e si adattano ai bias cognitivi. Sostengono che trattare $\beta$ come un segnale di fedeltà del feedback, piuttosto che come una costante fissa, permette agli LLM di approssimare un ragionamento deliberativo invece di ereditare euristiche umane. Il documento conclude che, sebbene il successo del metodo dipenda parzialmente dall'accuratezza del rilevatore di bias, l'intervento rimane robusto anche con giudici imperfetti, suggerendo che la robustezza all'incoerenza umana non richiede modelli perfetti della cognizione.