💬 NLP

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

Dit artikel toont aan dat het inzetten van reinforcement learning met resultaatgerichte beloningen om vooraf getrainde grote taalmodellen te verfijnen, hen in staat stelt om als tweeledige cognitieve modellen te dienen die tegelijkertijd een sterke voorspellende nauwkeurigheid bereiken en interpreteerbare natuurlijke taalverklaringen genereren voor risicovolle menselijke keuzes.

Oorspronkelijke auteurs: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: AI Leren "Hardop Na te Denken"

Stel je voor dat je een superintelligente student hebt (een Large Language Model, of LLM) die ongelooflijk goed is in het raden wat je de volgende stap gaat zetten. Als je hen een lastig wiskundig probleem laat zien, kunnen ze meestal het juiste antwoord geven. Maar als je vraagt hoe ze dat antwoord hebben gevonden, zeggen ze misschien alleen maar: "Ik wist het gewoon," of geven ze een vage uitleg die niet echt ergens op slaat.

In de wereld van de psychologie willen wetenschappers modellen die niet alleen het antwoord raden (menselijk gedrag voorspellen), maar ook verklaren waarom mensen die keuzes maken (het cognitieve mechanisme onthullen).

Dit paper stelt de vraag: Kunnen we een AI leren om niet alleen menselijke beslissingen te voorspellen, maar ook om "hardop na te denken" op een manier die daadwerkelijk de menselijke psychologie verklaart?

Het Experiment: Het "Risicovolle Keuze" Spel

Om dit te testen, gebruikten de onderzoekers een klassiek psychologisch spel genaamd "risicovolle keuze". Stel je voor dat je twee opties krijgt aangeboden:

Optie A: Je krijgt gegarandeerd $27.
Optie B: Je hebt 90% kans om $25 te krijgen, maar 10% kans om $92 te krijgen.

De meeste mensen moeten kiezen tussen een veilige weddenschap en een riskant gokje. De onderzoekers hadden een enorme dataset van duizenden echte mensen die deze keuzes maakten. Ze wilden een AI trainen om naar de opties te kijken en te zeggen: "70% van de mensen kiest Optie A, en 30% kiest Optie B."

De Drie Trainingsmethoden

De onderzoekers probeerden drie verschillende manieren om de AI deze taak te leren, vergelijkbaar met drie verschillende coachingstijlen:

De "Memoriseerder" (Standaard Training): Ze lieten de AI duizenden voorbeelden zien van vragen en de juiste antwoorden. De AI leerde het patroon te kopiëren. Het werd goed in het raden van de percentages, maar het leerde niet echt waarom. Het was als een student die het antwoordenblad uit het hoofd heeft geleerd, maar de wiskunde erachter niet kan uitleggen.
De "Gemaskeerde Memoriseerder" (Centaur-stijl): Dit is een geavanceerde versie van de eerste methode waarbij de AI wordt gedwongen zich alleen te concentreren op de cijfers in het antwoord, en de rest van de tekst te negeren. Ook dit werd goed in het raden, maar genereerde nog steeds geen goede uitleg.
De "Coach met een Scorebord" (Reinforcement Learning - RL): Dit is de ster van de show. Hier mocht de AI een "Chain of Thought" (een stapsgewijs redeneerproces) schrijven voordat hij het uiteindelijke antwoord gaf.
- De Twist: De AI kreeg niet alleen punten voor het juiste antwoord. Het kreeg punten gebaseerd op hoe dicht de uiteindelijke voorspelling bij lag van wat echte mensen daadwerkelijk deden.
- Het Resultaat: Om de punten te verdienen, besefte de AI dat hij moest "denken" als een psycholoog. De AI begon dingen te schrijven als: "Mensen zijn risicomijdend," of "Ze berekenen de verwachte waarde." Door te proberen het spel te winnen (het menselijke data te matchen), leerde de AI per ongeluk de psychologische regels te verwoorden die mensen volgen.

De Resultaten: De AI Wordt een Psycholoog

De onderzoekers ontdekten dat de "Coach met een Scorebord" (RL) methode een gamechanger was om twee redenen:

Het Voorspelde Goed: Het was net zo goed in het raden van wat mensen zouden kiezen als de andere methoden.
Het Legde Goed Uit: De "hardop nadenkende" delen (de Chain of Thought) waren daadwerkelijk hoogwaardige psychologische verklaringen.
- De Analogie: Stel je voor dat de andere methoden een weer-app zijn die zegt: "Het gaat regenen." De RL-methode is als een meteoroloog die zegt: "Het gaat regenen omdat een koufront botst met warme lucht, wat zorgt voor een lagedrukgebied."
- De AI begon echte psychologische concepten te gebruiken zoals Risicomijdendheid (mensen haten verliezen), Verwachte Waarde (het rekenwerk doen op de kansen) en het Zekerheidseffect (mensen houden van een gegarandeerde winst).

De Vereiste van "Slimheid"

Er was echter een addertje onder het gras. De onderzoekers probeerden deze zelfde "Coach"-methode op een kleiner, zwakker AI-model.

De Analogie: Stel je voor dat je een complexe strategie probeert te leren aan een peuter versus een student. De peuter (het kleine model) kon de wiskunde of de strategie niet begrijpen, zelfs niet met de coach. Het raakte alleen maar in de war en gaf slechte antwoorden.
De Bevinding: De "Coach"-methode werkte alleen omdat het basis-AI al slim genoeg was om de concepten te begrijpen. Als de AI niet slim genoeg is om "Verwachte Waarde" te begrijpen, kun je het niet trainen om het uit te leggen.

De "Vormveranderende" Test

Om te bewijzen dat de AI niet simpelweg inget toenende zinnen herhaalde, veranderden de onderzoekers de regels van het spel. In plaats van echte menselijke data, voerden ze de AI data die gegenereerd was door een robot die alleen om wiskunde (Verwachte Waarde) gaf.

Het Resultaat: De AI veranderde direct van "denkwijze". Het stopte met praten over menselijke angsten en risicomijdendheid en begon puur over wiskunde en logica te praten.
De Les: Dit bewees dat de AI niet alleen een script kopieerde; het paste zijn redenering daadwerkelijk aan om overeen te komen met de data waarop het werd getraind. Het "leerde" echt de regels van het specifieke spel dat het speelde.

Samenvatting

Dit paper laat zien dat als je een slimme AI traint om menselijk gedrag te voorspellen met behulp van een beloningssysteem (zoals een score in een videogame), de AI vanzelf zal beginnen te "hardop na te denken" met dezelfde psychologische regels die mensen gebruiken. Het verandert de AI van een simpele gokker in een model dat kan verklaren waarom we de keuzes maken die we maken. Dit werkt echter alleen als de AI al slim genoeg is om die concepten te begrijpen.

Technische Samenvatting: Het gebruik van Reinforcement Learning om Large Language Models te trainen om menselijke beslissingen uit te leggen

Probleemstelling

Een centrale uitdaging in de cognitieve modellering is het ontwikkelen van systemen die niet alleen menselijk gedrag met hoge nauwkeurigheid voorspellen, maar ook interpreteerbare inzichten bieden in de onderliggende cognitieve mechanismen. Hoewel neurale netwerkmodellen die getraind zijn op grootschalige gedragsgegevens vaak een sterke voorspellende prestatie leveren, functioneren ze meestal als "black boxes", die een beperkt theoretisch begrip bieden van de gevangen cognitieve processen. Hoewel recent werk (bijv. het Centaur-model) heeft aangetoond dat Large Language Models (LLMs) effectief kunnen worden gefinetuned om menselijk gedrag te voorspellen, missen deze modellen vaak het vermogen om expliciete, natuurlijke taalverklaringen te genereren over waarom die voorspellingen worden gedaan. Dit artikel adresseert het dilemma van het balanceren van voorspellende nauwkeurigheid met interpreteerbaarheid door te onderzoeken of LLMs kunnen dienen als dual-purpose cognitieve modellen die zowel kunnen voorspellen als verklaren.

Methodologie

De auteurs stellen een raamwerk voor om LLMs te trainen het genereren van expliciete redeneersporen (Chain-of-Thought, of CoT) te laten verklaren die menselijke risicovolle keuzes verklaren. De studie richt zich op het domein van de menselijke risicovolle keuze (beslissingen tussen veilige en risicovolle opties) met behulp van de choices13k dataset (Peterson et al., 2021).

Experimentele Opzet

Het backbonemodel dat wordt gebruikt is Qwen-2.5-7B-Instruct. De auteurs vergelijken drie verschillende post-training strategieën toegepast op Low-Rank Adaptation (LoRA) modules:

Supervised Fine-Tuning (SFT): Standaard autoregressieve training op menselijke keuzegegevens geformatteerd als JSON.
Centaur-stijl SFT: Een variant waarbij alleen tokens die overeenkomen met menselijke keuzeverhoudingen (omsloten door speciale haakjes) bijdragen aan de loss, waarbij de redeneertokens tijdens de training worden gemaskeerd.
Reinforcement Learning (RL): De auteurs gebruiken Group Relative Policy Optimization (GRPO) met outcome-gebaseerde beloningen.

De RL-benadering

In de RL-setting genereert het model meerdere kandidaat-completions (inclusief CoT-redenering en een uiteindelijke JSON-voorspelling) voor een gegeven probleem. De beloningsfunctie is strikt outcome-gebaseerd en gekoppeld aan de grondwaarheid van menselijk gedrag:

Correctheid-beloning: Gedefinieerd als $1 - |o_B - p_B|$ , waarbij $o_B$ de voorspelde waarschijnlijkheid van het model voor Optie B is en $p_B$ de empirische proportie is van mensen die voor Optie B kiezen.
Formaat-beloning: Een bonus (tot 0,5) voor het genereren van een structureel geldige JSON-output waarbij de voorspelling de redenering volgt.
Coherentie-beperkingen: Het model wordt gestraft als de voorspelde waarschijnlijkheden niet optellen tot 1 of buiten het bereik van [0, 1] vallen.

De RL-training maakt gebruik van een groepsgrootte van 12 kandidaten per prompt en hanteert het "GRPO Done Right" algoritme, dat de beloningsnormalisatie naar standaarddeviatie weglaat om bias naar vraag-niveau moeilijkheidsgraad te voorkomen.

Controle-experimenten

Om de adaptiviteit van de redeneersporen te valideren, hebben de auteurs de volgende experimenten uitgevoerd:

Data-controle: Het vervangen van menselijke data door synthetische data gegenereerd door een expected-value maximalisatie model om te zien of de CoT zich aanpast aan de nieuwe datastructuur.
Model-controle: Het repliceren van het experiment met een kleiner, zwakker backbonemodel (Gemma-2-2B-Instruct) om de afhankelijkheid van modelcapaciteit te testen.

Belangrijkste Resultaten

Voorspellende Prestaties

Vergelijkbare Nauwkeurigheid: Bij de laatste checkpoints bereikte het RL-getrainde model een voorspellende nauwkeurigheid (Mean Squared Error op de testset) die vergelijkbaar is met zowel standaard SFT als Centaur-stijl SFT ( $M \approx 0,0148$ voor RL vs. $0,0144$ voor SFT). Statistische tests toonden geen significante verschillen aan tussen de methoden.
Leer-efficiëntie: RL bereikte een snellere reductie in voorspellingsfout relatief aan het aantal verwerkte trainingsvoorbeelden vergeleken met SFT, hoewel het hogere computationele kosten met zich meebracht door het genereren van meerdere kandidaten per stap.
Afhankelijkheid van Modelcapaciteit: Wanneer toegepast op het zwakkere Gemma-2-2B model, presteerde RL aanzienlijk slechter dan SFT-methoden. Het zwakkere model slaagde er niet in om het cruciale cognitieve mechanisme van "expected value berekening" te genereren, wat leidde tot slechte voorspellende prestaties.

Kwaliteit van Redenering (CoT)

Emergentie van Redenering: In tegen tegenstelling tot SFT en Centaur-modellen (die niet expliciet getraind zijn om redenering te genereren), produceerde het RL-model consistent gedetailleerde CoT-redeneringen voorafgaand aan de uiteindelijke voorspelling.
Cognitieve Mechanismen: Analyse van de door RL gegenereerde CoTs onthulde de emergentie van specifieke cognitieve mechanismen, met name Expected Value berekening en Risico-aversie (Risk Aversion), die ongeveer 29–36% van de redeneertokens vormden. Andere geïdentificeerde mechanismen waren Loss Aversion, het Certainty Effect en Probability Weighting.
Adaptiviteit: In het data-controle experiment, toen getraind op synthetische expected-value data, verschoof de redenering van het RL-model naar een sterke focus op expected value berekeningen, wat aantoont dat de CoT zich aanpast aan de structuur van de trainingsdata in plaats van statisch te blijven.
Causale Invloed: Een "CoT swapping" experiment toonde aan dat het gebruik van de RL-model CoT om het backbonemodel te sturen de voorspellingsfout aanzienlijk verminderde, terwijl het gebruik van de oorspronkelijke CoT van het backbone-model met het RL-model de fout verhoogde. Dit suggereert dat de door RL gegenereerde redenering causaal verbonden is met de verbeterde voorspellingen.
Menselijke Evaluatie: In een kleinschalige menselijke evaluatie beoordeelden experts de CoTs van het RL-model als redelijker dan die van het backbone-model in 61,5% van de gevallen.

Betekenis en Claims

Het artikel claimt aan te tonen dat Reinforcement Learning met outcome-gebaseerde beloningen (RLVR) in staat is om hoogwaardige, interpreteerbare redeneersporen uit LLMs te extraheren die dienen als verbale theorieën over menselijke besluitvorming.

Dual-Purpose Modellering: Het werk vestigt dat LLMs kunnen fungeren als cognitieve modellen die tegelijkertijd menselijk gedrag voorspellen en natuurlijke taalverklaringen bieden van de cognitieve mechanismen die deze gedragingen drijven.
Rationaliteit vs. Heuristieken: De bevindingen suggereren dat, in tegenstelling tot sommige literatuur die de nadruk legt op heuristieken en biases, rationele karakterisaties (specifiek expected value berekening en risico-aversie) dominante krachten kunnen zijn bij het verklaren van menselijke risicovolle keuzes wanneer men deze door de lens van deze modellen bekijkt.
Elicitatie Hypothese: De resultaten ondersteunen de "elicitation hypothesis", die suggereert dat RL niet noodzakelijkerwijs nieuwe capaciteiten leert, maar eerder latente theoretische kennis die al aanwezig is in de pre-trained LLM blootlegt en versterkt. Bij consequentie is het succes van deze aanpak sterk afhankelijk van de capaciteit van het backbone-model; zwakkere modellen falen in het extraheren van de noodzakelijke redeneringsmechanismen.
Schaalbaarheid: De methode biedt een schaalbaar alternatief voor handmatige cognitieve modellering of expert-gestuurde modelontdekking, door automatisch interpreteerbare theorieën te genereren uit grootschalige gedragsgegevens zonder dat daarvoor expliciete symbolische programmering of human-in-the-loop feedback voor elke beslissing nodig is.

De auteurs concluderen dat hoewel RL post-training computationeel duurder is dan SFT, het een unieke route biedt naar de ontwikkeling van cognitieve modellen die zowel kwantitatief accuraat als kwalitatief interpreteerbaar zijn.