🤖 AI

Mitigating Cognitive Bias in RLHF by Altering Rationality

Dit artikel stelt een methode voor om cognitieve bias in Reinforcement Learning from Human Feedback (RLHF) te mitigeren door de rationaliteitsparameter tijdens het beloningsleren dynamisch aan te passen, waarbij een LLM als rechter wordt ingezet om bevooroordeelde menselijke vergelijkingen te identificeren en af te waarderen, waardoor robuustere modellen worden getraind, zelfs op imperfecte datasets.

Oorspronkelijke auteurs: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

Gepubliceerd 2026-05-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe hij goede beslissingen moet nemen. De standaardmethode hiervoor heet RLHF (Versterkt Leren uit Menselijke Feedback). Je toont de robot twee verschillende antwoorden op een vraag, vraagt een mens welke beter is, en de robot leert die keuze na te bootsen.

Het probleem, volgens dit artikel, is dat mensen geen perfecte docenten zijn. Soms maken we fouten door de ingebouwde afkortingen in onze hersenen, bekend als cognitieve vooroordelen.

Denk aan cognitieve vooroordelen als een paar vervormende brillen. Als je ze draagt, zie je de wereld misschien helder, maar soms zie je dingen die er niet echt zijn, of mis je belangrijke details. Een beroemd voorbeeld is het "Linda-probleem": als je iemand vertelt dat Linda een feministische filosofiestudente is, denken ze misschien irrationeel dat ze waarschijnlijker een "feministe bankbediende" is dan gewoon een "bankbediende", terwijl wiskundig gezien de tweede optie waarschijnlijker moet zijn. Als een mens deze "vervormende brillen" draagt terwijl hij de robot leert, leert de robot ze ook te dragen.

De Oude Manier versus de Nieuwe Manier

De Oude Manier (Vaste Brillen):
Bij traditionele training gaat de robot ervan uit dat de menselijke docent voor elke afzonderlijke vraag even betrouwbaar is. Hij behandelt elke stem "Ik vind dit antwoord beter" met hetzelfde gewicht, net als een docent die elke student hetzelfde cijfer geeft, ongeacht of ze aandachtig waren of droomden. De onderzoekers noemen dit een vaste "rationaliteitsparameter" (laten we hem Beta noemen). Het is alsof je ervan uitgaat dat de menselijke docent altijd 100% nuchter en gefocust is.

De Nieuwe Manier (Dynamische Brillen):
De auteurs, Tiffany Horter en haar team, stellen een slimmere aanpak voor. Zij suggereren dat de robot moet vragen: "Is deze menselijke docent op dit moment waarschijnlijk bevooroordeeld?"

Ze bouwden een systeem dat fungeert als een controleur die steekproeven doet. Voordat de robot leert van een menselijke keuze, bekijkt een tweede AI (een "LLM als rechter") de vraag en de menselijke keuze om te zien of het ruikt naar een cognitief vooroordeel.

Als de controleur denkt: "Ah, dit lijkt op een klassieke valstrik van vooroordelen", dan zegt hij tegen de robot om het volume van die menselijke feedback te verlagen. Hij verlaagt de "Beta"-waarde, waardoor die specifieke les minder belangrijk wordt.
Als de controleur denkt: "Dit lijkt op een solide, rationele keuze", dan zet hij het volume omhoog, zodat de robot er veel van leert.

De Analogie: Het Lawaaierige Klaslokaal

Stel je een klaslokaal voor waar de docent probeert studenten (de AI) wiskunde te leren.

Het Probleem: Soms is de docent moe, afgeleid of valt hij voor een valstrikvraag. Als de studenten de fouten van de docent kopiëren, zakken ze voor het examen.
De Oude Methode: De studenten kopiëren alles wat de docent op het bord schrijft, ervan uitgaande dat de docent altijd gelijk heeft.
De Nieuwe Methode: De studenten hebben een slimme assistent naast zich zitten. Wanneer de docent een antwoord schrijft, fluistert de assistent: "Hé, ik denk dat de docent hier een fout maakt vanwege een valstrikvraag." De studenten negeren dan dat specifieke antwoord en focussen op de antwoorden waar de docent scherp lijkt.

Wat Gebeurde Er Toen Ze Het Probeerden?

De onderzoekers testten dit op twee sets van lastige vragen die bedoeld waren om menselijke logica op de proef te stellen (zoals het "Linda"-probleem en scenario's voor medische diagnose).

Het stopte de robot met het kopiëren van fouten: Zelfs toen de robot werd getraind op data waar mensen meestal fout zaten (bevooroordeeld), hielp de nieuwe methode de robot om het juiste antwoord te vinden. Hij leerde de "vervormende brillen" te negeren en de waarheid te vinden.
Het brak de robot niet: De robot raakte niet in de war of vergat hoe hij andere dingen moest doen. Hij bleef slim in algemene taken, terwijl hij gewoon beter werd in het negeren van vooroordelen.
Het werkte zelfs met een "gebrekkige" controleur: Het systeem had geen perfecte controleur nodig om elk enkel vooroordeel op te sporen. Zelfs als de controleur maar 80% van de tijd gelijk had, leerde de robot nog steeds beter dan zonder enige controleur.

De Grote Kernboodschap

Het artikel stelt dat we menselijke feedback niet moeten behandelen als een perfect, onveranderlijk signaal. In plaats daarvan moeten we het behandelen als een ruisig signaal dat verandert afhankelijk van de context. Door dynamisch aan te passen hoeveel gewicht we toekennen aan menselijke feedback, gebaseerd op hoe waarschijnlijk het is dat deze bevooroordeeld is, kunnen we AI bouwen die rationeler is en minder waarschijnlijk onze menselijke gebreken erft.

Kortom: Luister niet alleen naar wat mensen zeggen; luister naar hoe ze het zeggen, en pas je leren dienovereenkomstig aan.

Technische Samenvatting: Het Mitigeren van Cognitieve Bias in RLHF door Rationaliteit te Veranderen

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) steunt op de premisse dat menselijke annotatoren voorkeuren uiten die hun latente intenties trouw weerspiegelen. Deze premisse is echter gebrekkig, omdat menselijk oordeel vaak onderhevig is aan cognitieve bias (bijvoorbeeld de conjunctiefout, ankerbias, de zinkkostenval). In standaard RLHF-pijplijnen worden deze systematische afwijkingen behandeld als uniforme stochastische ruis. Het leerproces modelleert menselijke voorkeuren doorgaans met een Boltzmann-rationaliteitsformulering, waarbij een vaste rationaliteitsparameter, $\beta$ , de consistentie tussen latente beloningsverschillen en waargenomen paarvoorkeuren regelt.

Het behandelen van $\beta$ als een globale constante impliceert een uniforme betrouwbaarheid van annotatoren over alle contexten heen. Bijgevolg, wanneer trainingsdata systematische cognitieve bias bevat, verankert het geleerde beloningsmodel deze bias, waardoor downstream Large Language Models (LLM's) irrationeel gedrag reproduceren of zelfs versterken. Het kernprobleem dat wordt aangepakt, is hoe RLHF robuust kan worden gemaakt tegen imperfecte menselijke feedback, waarbij afwijkingen van rationaliteit niet willekeurig zijn, maar contextafhankelijk en systematisch.

Methodologie

De auteurs stellen een kader voor dat rationaliteit behandelt als context- en annotatieafhankelijk in plaats van vast. In plaats van een globale $\beta$ introduceren ze een dynamische, instantie-afhankelijke rationaliteitsparameter, $\beta_{new}$ , die het gewicht van elk voorkeurspaar tijdens het beloningsleerproces moduleert op basis van de geschatte waarschijnlijkheid van cognitieve bias.

1. Dynamische Rationaliteitsparameter ( $\beta_{new}$ )

De methode vervangt de vaste $\beta$ door een functie van de geschatte biaswaarschijnlijkheid ( $D_f$ ) voor een specifieke vergelijking:
$\beta_{new} = \text{logistic}(k \cdot (\theta - D_f))$
Waarbij:

$D_f \in [0, 1]$ de geschatte waarschijnlijkheid is dat de waargenomen feedback beïnvloed wordt door cognitieve bias.
$\theta$ een drempelparameter is die bepaalt wanneer feedback begint te worden afgezwakt.
$k$ de steilheid van de overgang controleert.

Wanneer $D_f$ laag is (lage biaswaarschijnlijkheid), nadert $\beta_{new}$ 1, waardoor een hoog gewicht op de voorkeur wordt gelegd. Naarmate $D_f$ toeneemt, daalt $\beta_{new}$ naar 0, waardoor de invloed van potentieel bevooroordeelde oordelen op het beloningsmodel effectief wordt afgezwakt.

2. Biasdetectie ( $D_f$ -schatting)

Om $D_f$ te schatten, maken de auteurs gebruik van een "LLM-as-judge"-benadering. Een kant-en-klare LLM (bijvoorbeeld ChatGPT 5.2 Thinking of Mistral-7B-Instruct) evalueert elk trainingsvoorbeeld (prompt, kandidaatantwoorden en de gekozen voorkeur) om de waarschijnlijkheid van bias te voorspellen.

Paarwijze Evaluatie: De rechter identificeert welke van twee kandidaatantwoorden meer bevooroordeeld is.
Calibratie: Een lichtgewicht calibratiestap corrigeert systematische directionele fouten over verschillende biassoorten heen met behulp van een minimaal vastgehouden validatieset.
Granulariteit: Cruciaal is dat $D_f$ wordt gedefinieerd met betrekking tot het gekozen antwoord binnen een specifiek scenario, en niet het scenario zelf. Dit stelt het systeem in staat om informatieve signalen te behouden uit bias-inducerende scenario's waar de annotator de bias succesvol vermijdt (bijvoorbeeld een statistisch getrainde annotator die de conjunctiefout correct afwijst).

3. Trainingspijplijn

Beloningsmodel: Een beloningsmodel (geïnitieerd vanuit Mistral-7B) wordt getraind met een verliesfunctie waarbij het gewicht van elk paar conditioneel is op $\beta_{new}$ .
Beleidsoptimalisatie: Het downstream-beleid wordt fijngefineerd met Group Relative Policy Optimization (GRPO) met het bevroren, bias-bewuste beloningsmodel.
Datasets: De methode wordt gevalideerd op twee datasets die zijn ontworpen om cognitieve bias op te roepen: de BRU Dataset (205 vragen, 8 biassoorten) en de CogBias Dataset (30.000 gevallen, 30 biassoorten). Om realistische RLHF-foutmodi te simuleren, wordt de trainingsdata zodanig geconstrueerd dat bevooroordeelde antwoorden in een instelbaar deel van de gevallen de voorkeur krijgen boven grond-waarheid antwoorden (bijvoorbeeld een verhouding van 3:1).

Belangrijkste Bijdragen

Contextafhankelijke Rationaliteit: Het paper daagt de standaardveronderstelling van een vaste rationaliteitsparameter in RLHF uit, en stelt in plaats daarvan voor dat $\beta$ moet variëren op basis van de betrouwbaarheid van specifieke feedbackinstanties.
Dynamisch Afzwakkingsmechanisme: De auteurs introduceren een mechanisme om $\beta$ dynamisch aan te passen met behulp van een op LLM gebaseerde biasdetector, waardoor het systeem bevooroordeelde vergelijkingen kan afzwakken terwijl informatieve signalen van onbevooroordeelde oordelen binnen dezelfde context behouden blijven.
Robuustheid tegen Imperfecte Detectie: De methode toont effectiviteit zelfs wanneer de biasdetector (de LLM-as-judge) imperfect of ruisend is, mits de nauwkeurigheid van de detector boven een bepaalde drempel blijft (ongeveer 57-60%).

Experimentele Resultaten

De auteurs evalueerden hun aanpak op de BRU- en CogBias-datasets, waarbij ze de dynamische $\beta$ -methode vergeleken met baselines die vaste $\beta$ -waarden (0,1, 0,5, 0,9, 1,0) en willekeurige $\beta$ -toewijzingen gebruikten.

Vermindering van Biaspropagatie: Op de CogBias-dataset bereikte het debiasde model een grond-waarheid nauwkeurigheid van 67,6%, een aanzienlijke verbetering ten opzichte van het niet-fijngefineerde basismodel (42,4%) en baselines die op dezelfde bevooroordeelde data waren getraind (die instortten tot ongeveer 1,7% nauwkeurigheid). Op de BRU-dataset verbeterde het debiasde model de nauwkeurigheid met 8,3% ten opzichte van het basismodel, ondanks dat het was getraind op 3:1 bevooroordeelde data.
Robuustheid tegen Bevooroordeelde Feedback: De methode voorkwam succesvol de "instorting naar bevooroordeelde voorkeuren" die bij baselines werd waargenomen. Zelfs wanneer trainingsdata een verhouding van 5:1 bevooroordeelde tot grond-waarheid voorkeuren bevatte, behield het dynamische $\beta$ -model aanzienlijk hogere nauwkeurigheid dan baselines met vaste $\beta$ .
Behoud van Algemene Prestaties: Evaluatie op de TruthfulQA-dataset toonde geen significante verslechtering van de algemene prestaties (een niet-significante verandering van -0,5%), wat aangeeft dat de interventie selectief bias reduceert zonder de algehele capaciteit te offeren.
Cross-architectuur en Transferbaarheid: De aanpak leverde statistisch significante verbeteringen op over verschillende modelarchitecturen (Mistral-7B en Qwen3-8B). Bovendien slaagde een model dat was fijngefineerd op de kleine BRU-dataset erin om zijn vermogen om ankerbias te mitigeren over te dragen naar de grotere CogBias-dataset, waardoor de grond-waarheid nauwkeurigheid steeg van 37,7% naar 44,3%.

Betekenis en Beweringen

Het paper betoogt dat effectieve uitlijning in RLHF minder afhankelijk is van het verkrijgen van geïdealiseerde, perfect rationele menselijke feedback, en meer van het modelleren van de vervormingen die inherent zijn aan die feedback. Door voorkeursdata te herformuleren als contextafhankelijk en systematisch bevooroordeeld, tonen de auteurs aan dat beloningsmodellen kunnen worden getraind om imperfecte feedback te benutten zonder in zijn bias te instorten.

De auteurs beweren dat hun werk bijdraagt aan een groeiende richting in uitlijningsonderzoek: weg bewegen van de veronderstelling van uniforme rationaliteit naar methoden die cognitieve bias detecteren, modelleren en zich daaraan aanpassen. Zij stellen dat het behandelen van $\beta$ als een signaal van feedbacktrouw, in plaats van een vaste constante, LLM's in staat stelt deliberatief redeneren te benaderen in plaats van menselijke heuristieken te erven. Het paper concludeert dat, hoewel het succes van de methode deels afhankelijk is van de nauwkeurigheid van de biasdetector, de interventie robuust blijft zelfs met imperfecte rechters, wat suggereert dat robuustheid tegen menselijke inconsistentie geen perfecte modellen van cognitie vereist.