Debiasing Reward Models via Causally Motivated Inference-Time Intervention

1. Probleemstelling

Reward Models (RMs) zijn kritieke componenten in Reinforcement Learning from Human Feedback (RLHF), gebruikt om Large Language Models (LLMs) af te stemmen op menselijke voorkeuren. RMs zijn echter vatbaar voor schijnbare correlaties (biases), waarbij ze hogere scores toekennen aan antwoorden op basis van oppervlakkige stilistische kenmerken in plaats van daadwerkelijke bruikbaarheid of waarheidsgetrouwheid.

• Veelvoorkomende Biases: Het paper identificeert vijf specifieke biases:
  1. Lengte: Voorkeur voor langere antwoorden, ongeacht de kwaliteit.
  2. Alinea's: Voorkeur voor meerdelige alinea-structuren.
  3. Overlap: Voorkeur voor antwoorden die lexicaal overlappen met de prompt.
  4. Uitroeptekens: Voorkeur voor enthousiaste leestekens.
  5. Vette tekst: Voorkeur voor Markdown-vetgedrukte tekst die wordt gebruikt voor nadruk.
• Beperkingen van Bestaande Oplossingen:
  • Methoden tijdens het trainen: Vereisen het hertrainen van RMs of het verzamelen van nieuwe data, wat kostbaar is en traag aan te passen aan nieuwe bias-types.
  • Methoden tijdens het inferentieproces: Bestaande benaderingen (bijv. Length Penalty, Locally Weighted Regression) richten zich doorgaans alleen op de lengte van het antwoord. Ze creëren vaak een prestatie-trade-off, waarbij de prestaties op niet-bias-gedreven subsets verbeteren ten koste van de prestaties op bias-gedreven subsets (of omgekeerd), en falen om te generaliseren over meerdere bias-types.

2. Methodologie: CIRM (Causal Intervention for Reward Models)

De auteurs stellen CIRM voor, een neuron-level interventiemethode tijdens het inferentieproces die geen hertraining vereist. De methode is gebaseerd op Causal Mediation Analysis.

A. Identificatie van Bias-specifieke Neuronen

1. Correlatieanalyse: De auteurs berekenen de Spearman's $\rho$-correlatie tussen de activatie van elke neuron in de RM en de grootte van specifieke schijnbare kenmerken (bijv. token-aantal voor lengte, aantal "!" voor uitroeptekens).
2. Selectie: Ze identificeren de bovenste en onderste $k$ neuron met de hoogste absolute correlatie voor elk bias-type. Deze worden bias-specifieke neuron genoemd.
3. Lokalisatie: Analyse toont aan dat deze neuron voornamelijk voorkomen in de vroege lagen van de transformer en in specifieke projectielagen (Query, Up en Gate projecties), wat suggereert dat biases worden gecodeerd via ondiepe kenmerktransformaties in plaats van diepe semantische verwerking.

B. Causaal Interventiemechanisme

De auteurs modelleren het beslissingsproces van de RM met behulp van een causaal grafiek waarbij:

• $x$: Input (Query-Antwoord paar).
• $m$: Mediator (Activaties van bias-specifieke neuron).
• $r$: Outcome (Reward score).

Standaard RMs schatten het Totale Effect (TE) van de input op de reward, wat zowel de ware inhoudswaarde als de schijnbare bias omvat die wordt gemedieerd door $m$. Om te debiasen, streeft CIRM naar het schatten van het Gereguleerde Directe Effect (CDE).

• Interventie: Tijdens het inferentieproces worden de activaties van de geïdentificeerde bias-specifieke neuron ($m(x)$) vervangen door een statische waarde $m^*$, specifiek de mediaan-activatie waargenomen over een validatiedataset.
• Formule: In plaats van $r_\theta(x_1, m(x_1)) - r_\theta(x_2, m(x_2))$ te berekenen, berekent het model:
  $$\hat{CDE} = r_\theta(x_1, m^*) - r_\theta(x_2, m^*)$$
• Effect: Door de mediator te fixeren op een neutrale mediaanwaarde, wordt de invloed van de schijnbare kenmerken op de rewardvoorspelling onderdrukt, waardoor de bijdrage van de daadwerkelijke inhoud wordt geïsoleerd.

3. Belangrijkste Bijdragen

1. Nieuwe Methode tijdens het Inferentieproces: CIRM introduceert een methode die RMs tijdens het inferentieproces debiaset door in te grijpen op minder dan 2% van de totale neuron, waardoor de kosten van hertraining worden vermeden.
2. Multi-Bias Mitigatie zonder Trade-offs: Het wordt aangetoond dat CIRM effectief vijf verschillende types biases gelijktijdig mitigeert. Cruciaal is dat het de gebruikelijke "prestatie-trade-off" uit eerdere werken vermijdt; het verbetert de nauwkeurigheid op niet-bias-gedreven subsets terwijl het de scores op bias-gedreven subsets behoudt of verbetert.
3. Verbetering van Downstream Alignment: Het wordt aangetoond dat het gebruik van met CIRM gedebiasete RMs voor voorkeursannotatie (DPO-training) leidt tot LLM's met betere alignment. Kleine RMs (2B en 7B) uitgerust met CIRM behaalden prestaties die vergelijkbaar waren met een state-of-the-art 70B RM op benchmarks zoals AlpacaEval en MT-Bench.
4. Mechanistische Interpretatie: Het biedt bewijs dat bias-signalen voornamelijk worden gecodeerd in de vroege lagen van RMs, wat inzicht geeft in hoe RMs oppervlakkige aanwijzingen exploiteren.

4. Experimentele Resultaten

Reward Model Benchmarks (RewardBench & RM-Bench)

• Prestaties: CIRM verbeterde de nauwkeurigheid op niet-bias-gedreven subsets voor lengte-, overlap- en uitroepteken-biases.
• Oplossing van Trade-offs: In tegenstelling tot Length Penalty (LP) en Locally Weighted Regression (LWR), die vaak de prestaties op bias-gedreven subsets verslechterden om de niet-bias-gedreven subsets te fixeren, verbeterde of behield CIRM de prestaties op beide.
• Robuustheid: Op RM-Bench (dat robuustheid test tegen subtiele stilistische variaties) vermijdt CIRM de prestatiedegradatie op "Easy" splits (waar stijl meestal wint) die andere methoden parten speelde.

Alignment Benchmarks (AlpacaEval 2.0, MT-Bench, TruthfulQA)

• DPO Training: LLM's (Llama-3-8B, Gemma-2-9B) getraind op voorkeursdatasets die zijn geannoteerd door met CIRM gedebiasete RMs, toonden:
  • Hogere Win Rates (WR) en Length-Controlled Win Rates (LCWR) op AlpacaEval.
  • Verbeterde scores op MT-Bench.
  • Waarheidsgetrouwheid: Verbeterde prestaties op TruthfulQA, wat suggereert dat het verwijderen van formatbias het model dwingt prioriteit te geven aan feitelijke correctheid.
• Efficiëntie: Kleine RMs (2B/7B) met CIRM presteerden beter dan of gelijk aan de 70B INF-ORM-baseline op alignment-taken, wat de effectiviteit van de debiasingstechniek bewijst.

Ablatiestudies

• Gelijktijdige Interventie: Het gelijktijdig mitigeren van alle vijf biases leverde de beste resultaten op, wat wijst op een wisselwerking tussen verschillende bias-signalen.
• Bias-Versterking: Vanille RMs versterkten biases vaak (bijv. het genereren van langere, meer omvangrijke antwoorden) tijdens DPO. CIRM verminderde deze versterking aanzienlijk zonder antwoorden onnatuurlijk kort te maken (een neveneffect van LP/LWR).

5. Betekenis en Conclusie

Dit paper presenteert een significante stap voorwaarts in het betrouwbaarder en efficiënter maken van RLHF.

• Kosteneffectiviteit: Door te opereren tijdens het inferentieproces en slechts een kleine validatiedataset te vereisen voor het afstemmen van hyperparameters, biedt CIRM een lichtgewicht alternatief voor dure hertraining.
• Generaliseerbaarheid: De methode is model-agnostisch en toepasbaar op verschillende RM-architecturen.
• Veiligheid en Waarheidsgetrouwheid: Door reward-signalen te ontkoppelen van oppervlakkige opmaak, helpt CIRM "reward hacking" te voorkomen, waarbij modellen het systeem leren te gamed met stijl in plaats van inhoud, wat leidt tot waarachtigere en behulpzamere AI-assistenten.

De auteurs concluderen dat causale interventie tijdens het inferentieproces een krachtig, generaliseerbaar hulpmiddel is voor het verbeteren van de betrouwbaarheid van Reward Models en de daaropvolgende alignment van Large Language Models. Toekomstig werk kan dit uitbreiden naar andere bias-types (bijv. lijsten) en andere componenten van de RLHF-pijplijn.