Debiasing Reward Models via Causally Motivated Inference-Time Intervention

1. Enunciato del Problema

I Modelli di Ricompensa (RM) sono componenti critici nell'Apprendimento per Rinforzo dal Feedback Umano (RLHF), utilizzati per allineare i Modelli Linguistici di Grandi Dimensioni (LLM) alle preferenze umane. Tuttavia, gli RM sono soggetti a correlazioni spurie (bias) in cui assegnano punteggi più alti alle risposte basandosi su caratteristiche stilistiche superficiali piuttosto che sull'effettiva utilità o veridicità.

• Bias Comuni: Il documento identifica cinque bias specifici:
  1. Lunghezza: Preferenza per risposte più lunghe indipendentemente dalla qualità.
  2. Paragrafi: Preferenza per strutture multi-paragrafo.
  3. Sovrapposizione: Preferenza per risposte che si sovrappongono lessicalmente al prompt.
  4. Punti Esclamativi: Preferenza per punteggiatura entusiasta.
  5. Testo in Grassetto: Preferenza per il grassetto Markdown usato per l'enfasi.
• Limitazioni delle Soluzioni Esistenti:
  • Metodi in fase di addestramento: Richiedono il riaddestramento degli RM o la raccolta di nuovi dati, il che è costoso e lento nell'adattarsi a nuovi tipi di bias.
  • Metodi in fase di inferenza: Gli approcci esistenti (ad es. Penalità di Lunghezza, Regressione Localmente Ponderata) si concentrano tipicamente solo sulla lunghezza della risposta. Spesso creano un compromesso prestazionale, migliorando le prestazioni su sottoinsiemi non distorti mentre degradano le prestazioni su sottoinsiemi distorti (o viceversa), fallendo nel generalizzare attraverso molteplici tipi di bias.

2. Metodologia: CIRM (Intervento Causale per Modelli di Ricompensa)

Gli autori propongono CIRM, un metodo di intervento in fase di inferenza a livello di neurone che non richiede riaddestramento. Il metodo si basa sull'Analisi di Mediazione Causale.

A. Identificazione dei Neuroni Specifici per il Bias

1. Analisi di Correlazione: Gli autori calcolano la correlazione di Spearman $\rho$ tra l'attivazione di ogni neurone nell'RM e l'entità di specifiche caratteristiche spurie (ad es. conteggio dei token per la lunghezza, conteggio di "!" per i punti esclamativi).
2. Selezione: Identificano i primi e gli ultimi $k$ neuroni con la correlazione assoluta più alta per ogni tipo di bias. Questi sono definiti neuroni specifici per il bias.
3. Localizzazione: L'analisi rivela che questi neuroni sono prevalentemente situati negli strati iniziali del transformer e in specifici strati di proiezione (proiezioni Query, Up e Gate), suggerendo che i bias sono codificati tramite trasformazioni di caratteristiche superficiali piuttosto che attraverso un elaborazione semantica profonda.

B. Meccanismo di Intervento Causale

Gli autori modellano il processo decisionale dell'RM utilizzando un grafo causale in cui:

• $x$: Input (coppia Query-Risposta).
• $m$: Mediatore (Attivazioni dei neuroni specifici per il bias).
• $r$: Esito (Punteggio di ricompensa).

Gli RM standard stimano l'Effetto Totale (TE) dell'input sulla ricompensa, che include sia il valore reale del contenuto sia il bias spurio mediato da $m$. Per debiasare, CIRM mira a stimare l'Effetto Diretto Controllato (CDE).

• Intervento: In fase di inferenza, le attivazioni dei neuroni specifici per il bias identificati ($m(x)$) vengono sostituite con un valore statico $m^*$, specificamente l'attivazione mediana osservata su un dataset di validazione.
• Formula: Invece di calcolare $r_\theta(x_1, m(x_1)) - r_\theta(x_2, m(x_2))$, il modello calcola:
  $$\hat{CDE} = r_\theta(x_1, m^*) - r_\theta(x_2, m^*)$$
• Effetto: Fissando il mediatore a un valore mediano neutrale, l'influenza delle caratteristiche spurie sulla previsione della ricompensa viene soppressa, isolando il contributo del contenuto effettivo.

3. Contributi Chiave

1. Nuovo Metodo in Fase di Inferenza: Introduzione di CIRM, un metodo che debiasa gli RM in fase di inferenza intervenendo su meno del 2% dei neuroni totali, evitando il costo del riaddestramento.
2. Mitigazione Multi-Bias senza Compromessi: Dimostrazione che CIRM mitiga efficacemente cinque distinti tipi di bias simultaneamente. Crucialmente, evita il comune "compromesso prestazionale" osservato nei lavori precedenti, migliorando l'accuratezza sui sottoinsiemi non distorti mantenendo o migliorando i punteggi sui sottoinsiemi distorti.
3. Miglioramento dell'Allineamento a Valle: Dimostrazione che l'uso di RM debiasati con CIRM per l'annotazione delle preferenze (addestramento DPO) porta a LLM con un migliore allineamento. Piccoli RM (2B e 7B) equipaggiati con CIRM hanno raggiunto prestazioni comparabili a un RM all'avanguardia da 70B su benchmark come AlpacaEval e MT-Bench.
4. Interpretabilità Meccanicistica: Fornitura di prove che i segnali di bias sono codificati principalmente negli strati iniziali degli RM, offrendo un'idea di come gli RM sfruttino indizi superficiali.

4. Risultati Sperimentali

Benchmark dei Modelli di Ricompensa (RewardBench & RM-Bench)

• Prestazioni: CIRM ha migliorato l'accuratezza sui sottoinsiemi non distorti per i bias di lunghezza, sovrapposizione e punti esclamativi.
• Risoluzione del Compromesso: A differenza della Penalità di Lunghezza (LP) e della Regressione Localmente Ponderata (LWR), che spesso degradavano le prestazioni sui sottoinsiemi distorti per correggere quelli non distorti, CIRM ha migliorato o mantenuto le prestazioni su entrambi.
• Robustezza: Su RM-Bench (che testa la robustezza a sottili variazioni stilistiche), CIRM ha evitato il degrado delle prestazioni sulle partizioni "Facili" (dove lo stile vince solitamente) che affliggeva altri metodi.

Benchmark di Allineamento (AlpacaEval 2.0, MT-Bench, TruthfulQA)

• Addestramento DPO: Gli LLM (Llama-3-8B, Gemma-2-9B) addestrati su dataset di preferenze annotati da RM debiasati con CIRM hanno mostrato:
  • Tassi di Vittoria (Win Rates - WR) e Tassi di Vittoria Controllati per la Lunghezza (Length-Controlled Win Rates - LCWR) più alti su AlpacaEval.
  • Punteggi migliorati su MT-Bench.
  • Veridicità: Prestazioni migliorate su TruthfulQA, suggerendo che la rimozione del bias di formato costringe il modello a dare priorità alla correttezza fattuale.
• Efficienza: I piccoli RM (2B/7B) con CIRM hanno superato o eguagliato la baseline INF-ORM da 70B sui compiti di allineamento, dimostrando l'efficacia della tecnica di debiasing.

Studi di Ablazione

• Intervento Simultaneo: La mitigazione simultanea di tutti e cinque i bias ha prodotto i migliori risultati, suggerendo un'interazione tra i diversi segnali di bias.
• Amplificazione del Bias: Gli RM vanilla spesso amplificavano i bias (ad es. generando risposte più lunghe e verbose) durante il DPO. CIRM ha ridotto significativamente questa amplificazione senza rendere le risposte innaturalmente corte (un effetto collaterale di LP/LWR).

5. Significato e Conclusione

Questo documento presenta un passo significativo in avanti nel rendere l'RLHF più affidabile ed efficiente.

• Economicità: Operando in fase di inferenza e richiedendo solo un piccolo dataset di validazione per la regolazione degli iperparametri, CIRM offre un'alternativa leggera al costoso riaddestramento.
• Generalizzabilità: Il metodo è agnostico rispetto al modello e applicabile a varie architetture RM.
• Sicurezza e Veridicità: Disaccoppiando i segnali di ricompensa dalla formattazione superficiale, CIRM aiuta a prevenire l'"hacking della ricompensa" in cui i modelli imparano a ingannare il sistema con lo stile piuttosto che con la sostanza, portando ad assistenti AI più veritieri e utili.

Gli autori concludono che l'intervento causale in fase di inferenza è uno strumento potente e generalizzabile per migliorare l'affidabilità dei Modelli di Ricompensa e il successivo allineamento dei Modelli Linguistici di Grandi Dimensioni. Il lavoro futuro potrebbe estendere questo ad altri tipi di bias (ad es. liste) e ad altri componenti della pipeline RLHF.