Asymmetric Reinforcement Learning Explains Human Choice Patterns in Decision-making Under Risk

Dit onderzoek toont aan dat een risicosensitief leermodel met asymmetrische leersnelheden menselijke keuzes onder risico beter verklaart dan symmetrische modellen, waarbij de afgeleide waardesignalen zowel de keuze als de reactietijd voorspellen.

De kern

De Sterrenkaart van de Menselijke Keuze: Waarom we soms sneller leren van winst dan van verlies

Stel je voor dat je een nieuw bordspel speelt. Je krijgt kaarten en moet gokken of jouw kaart hoger of lager is dan die van je tegenstander. Als je goed raadt, win je geld; als je fout zit, verlies je geld. Na een tijdje begin je patronen te zien: "Oh, als ik een 2 trek, is de kans groot dat de tegenstander een hogere kaart heeft."

Maar hoe leert je brein dit precies? Is het een eerlijk proces waarbij winst en verlies even zwaar wegen? Of is er een scheefheid in ons systeem?

Dit onderzoek, uitgevoerd door wetenschappers van de Universiteit van Utah, probeert dit raadsel op te lossen. Ze hebben een nieuw spel bedacht (het 'Sterling-spel') en gekeken hoe mensen erin leren. Hier is wat ze ontdekten, vertaald naar simpele taal.

1. Het Spel: Een Gokpartij met Kaarten

Deelnemers kregen een kaart te zien (bijvoorbeeld een 4) en moesten gokken of de verborgen kaart van de tegenstander hoger of lager was.

• Winst: +$0,50
• Verlies: -$0,50

Het interessante was dat de 'bak' met kaarten veranderde. Soms zaten er veel lage kaarten in (een 'lage bak'), soms veel hoge kaarten (een 'hoge bak'), en soms waren ze allemaal even vaak aanwezig (een 'neutrale bak'). Soms wisselde de bak elke keer (onvoorspelbaar), en soms bleef hij een tijdje hetzelfde (voorspelbaar).

2. De Drie Hypothesen: Hoe leert ons brein?

De onderzoekers dachten aan drie manieren waarop ons brein dit spel zou kunnen leren:

• De Eerlijke Leraar (Symmetrisch): Deze theorie zegt dat ons brein een eerlijke weegschaal is. Een winst van $0,50 weegt precies even zwaar als een verlies van $0,50. We leren even snel van beide.
• De Twee Gescheiden Boeken (Dual-Q): Hierbij houdt ons brein twee aparte notitieboeken bij: één voor 'Hoeveel geld kan ik winnen?' en één voor 'Hoeveel risico loop ik?'.
• De Partijdige Leraar (Asymmetrisch / Risico-gevoelig): Dit is de theorie die het onderzoek ondersteunt. Het idee is dat ons brein niet eerlijk is. We leren vaak sneller of dieper van winst dan van verlies, of andersom. Het is alsof je brein een 'leer-snelheid' heeft die verandert afhankelijk van of je wint of verliest.

3. De Grote Ontdekking: Ons Brein is een 'Partijdige Leraar'

Toen de onderzoekers de keuzes van de mensen vergeleken met computersimulaties van deze drie theorieën, bleek één model het beste te passen: Het Risico-gevoelige (RS) model.

De Metafoor van de Leer-snelheid:
Stel je voor dat je brein een student is die een nieuwe taal leert.

• Bij het Eerlijke model zou de student elke fout en elke succesvolle zin even snel opschrijven in zijn woordenboek.
• Bij het Partijdige model (wat de mensen deden) schrijft de student succesvolle zinnen (winsten) heel snel en duidelijk op, maar schrijft hij fouten (verliezen) misschien wat minder snel of met een andere kleur inkt.

In dit spel bleek dat mensen hun verwachtingen aanpasten op basis van of ze wonnen of verloren, maar dat deze aanpassing niet gelijk was. Het model dat deze 'scheefheid' in de leer-snelheid nam, voorspelde de keuzes van de mensen het nauwkeurigst.

4. Waarom is dit belangrijk?

Dit klinkt misschien als een klein detail, maar het heeft grote gevolgen:

• Verklaring voor Risicogedrag: Het helpt uitleggen waarom mensen soms risicovolle beslissingen nemen. Als we verlies minder 'zwaar' laten wegen dan winst (of andersom), kunnen we in een valkuil stappen die we niet zouden zien als we eerlijk waren.
• Snelheid van Denken: Het onderzoek keek ook naar hoe snel mensen dachten. Mensen dachten sneller als het antwoord duidelijk was (bijvoorbeeld een 9 in een bak met lage kaarten) en langzamer als het moeilijk was (een 5 in een neutrale bak). Het 'Partijdige model' voorspelde ook deze snelheid perfect.
• Gezondheid: Dit is relevant voor mensen met verslavingen of gokproblemen. Bij deze groepen is de balans tussen winst en verlies vaak nog meer verstoord. Als we begrijpen hoe hun brein leert (dat ze verlies misschien negeren of winst overdrijven), kunnen we betere behandelingen bedenken.

5. Een Kijkje in de 'Kliniek'

Interessant genoeg deden ook patiënten met epilepsie mee. Hun brein leek op dat van de gezonde mensen: ze maakten dezelfde keuzes, maar ze waren iets langzamer in hun reactie. Dit zegt iets moois: het manier waarop we leren en beslissen (de software) is hetzelfde, maar de snelheid waarmee het brein die beslissing uitvoert (de hardware) kan verschillen.

Conclusie

Ons brein is geen perfecte computer die alles eerlijk weegt. Het is meer zoals een mens die een beetje partijdig is: we leren op een unieke manier van winst en verlies, en die 'partijdigheid' is eigenlijk de sleutel tot het begrijpen van waarom we doen wat we doen in onzekere situaties.

De onderzoekers zeggen eigenlijk: "Als je wilt begrijpen waarom mensen gokken of risico's nemen, moet je stoppen met denken dat ze eerlijk rekenen. Ze rekenen met een scheef oog, en dat is precies wat hen menselijk maakt."

Technische samenvatting

Probleemstelling

Menselijke beslissingen onder onzekerheid worden gevormd door ervaring, maar de computationele mechanismen die verwachtingen en ervaring vertalen naar keuzes, blijven een onderwerp van debat in de neurowetenschap en cognitieve wetenschap. Bestaande studies benadrukken Reinforcement Learning (RL) als een unificerend kader. Echter, het is onduidelijk of menselijk gedrag onder risico het beste wordt beschreven door:

1. Symmetrische updates: Waaruit en verlies even zwaar wegen bij het bijwerken van waarden.
2. Asymmetrisch leren: Waarbij beloningen (rewards) en verliezen (losses) ongelijk worden gewogen (bijvoorbeeld sneller leren van winst dan van verlies, of vice versa).

De huidige literatuur mist een duidelijk antwoord op welke leerstrategie trial-by-trial keuzes en reactietijden (RT) het beste verklaart, vooral in contexten met variërende onzekerheid en uitkomstenverdelingen.

Methodologie

1. Experimenteel Paradigma: De "Starling Task"
De auteurs ontwikkelden een nieuwe statische risicotaking-taak waarbij 47 deelnemers (37 niet-epileptisch, 10 epileptisch) een spel speelden:

• Opdracht: Deelnemers zagen een kaart met een getal (1-9) en moesten beslissen of hun kaart hoger of lager was dan die van een onzichtbare tegenstander.
• Feedback: Een correcte keuze leverde +$0,50 op, een foutieve keuze –$0,50.
• Blokkenstructuur:
  • Fix-blokken (3 stuks): De verdeling van de kaarten was constant per blok (Uniform, Laag-geschaard, of Hoog-geschaard). Deelnemers leerden de "base rates" (priors) van elk blok.
  • Mix-blok: De verdeling wisselde per trial. De kleur van de kaart gaf aan welke verdeling (Uniform, Laag, Hoog) op dat moment actief was. Dit introduceerde contextuele onzekerheid.

2. Computatiemodels
Vijf kandidaat-RL-modellen werden gefit op de trial-by-trial data van individuele deelnemers om te bepalen welk model het menselijk gedrag het beste verklaart:

1. Win-Stay/Lose-Shift (WSLS): Een simpele heuristiek.
2. Rescorla-Wagner (RW) met $\epsilon$-Greedy: Symmetrisch leren met een beleid dat exploitatie combineert met sporadische exploratie.
3. Rescorla-Wagner (RW) met Softmax: Symmetrisch leren met een probabilistisch beleid dat exploratie en exploitatie balanceert.
4. Risk-Sensitive (RS) Model: Een RW-uitbreiding met asymmetrische leersnelheden ($\alpha_+$ voor positieve RPE's en $\alpha_-$ voor negatieve RPE's). Dit model test expliciet of winst en verlies ongelijk worden verwerkt.
5. Dual-Q Model: Houdt twee aparte waarden bij: één voor verwachte beloning en één voor risico (onzekerheid).

3. Analyse

• Modelselectie: Gebruik van Akaike Information Criterion (AIC) en Bayesian Information Criterion (BIC) voor modelvergelijking.
• Validatiemetrics: Nauwkeurigheid, precisie, recall en specificiteit van de modelvoorspellingen versus daadwerkelijke keuzes.
• Latente variabelen: Onderzoek naar hoe de afgeleide Q-waarden (waardeverschillen $\Delta Q$) correleren met keuze en reactietijd (RT) via lineaire en logistische regressie.

Belangrijkste Resultaten

1. Superioriteit van het Risk-Sensitive (RS) Model
Het RS-model met asymmetrische leersnelheden presteerde consistent beter dan alle andere modellen op alle evaluatiemetrics (nauwkeurigheid, precisie, recall, specificiteit).

• Het RS-model verklaarde de trial-by-trial keuzes en de totale beloningsverlooptrajecten van de meeste deelnemers (31 van de 47) beter dan de alternatieven.
• Modellen die symmetrisch leren aannamen (WSLS, $\epsilon$-Greedy, Softmax) of risico en beloning strikt gescheiden hielden (Dual-Q), boekten minder goede resultaten.

2. Gedragspatronen en Contextuele Onzekerheid

• Base-rate verwaarlozing: In de "Fix"-blokken leunden deelnemers sterk op de prior-kansen van het blok (de uitgestrekte middelpunten in de Sigmoid-krommen). In het "Mix"-blok, waar de context per trial veranderde, verschoof het keuzemiddelpunt terug naar het objectieve centrum (kaart 5). Dit suggereert dat deelnemers bij hoge contextuele onzekerheid minder vertrouwen op geleerde priors en meer op trial-specifiek bewijs.
• Reactietijden (RT): De RT's waren het langst bij kaarten dicht bij de beslissingsgrens (middenwaarden) en korter bij extreme waarden. In het Mix-blok verdwenen de asymmetrieën in RT-verdeling tussen de verschillende decks, wat aangeeft dat onzekerheid de invloed van specifieke deck-priors op het gedrag reduceert.

3. Klinische Vergelijking (Epilepsie vs. Niet-Epileptisch)

• Hoewel epileptische deelnemers significant langzamere keuzereactietijden hadden, waren hun keuzepolitiek en leerpatronen (nauwkeurigheid, totale beloning) vergelijkbaar met die van niet-epileptische deelnemers.
• Dit suggereert dat het computationele mechanisme voor risicobeoordeling (het asymmetrische leren) behouden blijft, zelfs wanneer de uitvoeringssnelheid (motorisch of verwerkingstempo) verminderd is.

4. Mechanistische Inzichten

• De analyse van de Q-waarden toonde aan dat het RS-model de sterkste en meest niet-lineaire scheiding tussen waarden produceerde, wat overeenkomt met de waargenomen zekerheid van deelnemers bij extreme kaarten.
• De regressieanalyse bevestigde dat de waardeverschillen ($\Delta Q$) uit het RS-model de sterkste voorspeller waren voor zowel de keuze (richting) als de snelheid van de reactie.

Bijdragen en Significatie

1. Theoretische Bijdrage
De studie biedt sterk empirisch bewijs dat menselijk leren onder risico asymmetrisch is. Mensen updaten hun waarden niet op dezelfde manier voor winst en verlies. Dit lost een langdurige discussie op over de aard van RL in menselijke besluitvorming en ondersteunt het idee dat asymmetrisch leren een efficiënte benadering is van distributief RL (waarbij verschillende delen van de uitkomstverdeling ongelijk worden verwerkt).

2. Methodologische Vooruitgang
De paper introduceert de "Starling Task", een robuust, online uitvoerbaar paradigma dat specifiek is ontworpen om de interactie tussen priors, trial-specifiek bewijs en onzekerheid te manipuleren. Dit biedt een standaard voor toekomstig onderzoek naar risicogedrag.

3. Toepassing in de Klinische Wetenschap
De bevindingen hebben directe relevantie voor de computatiele psychiatrie. Het feit dat epileptische patiënten dezelfde leerstrategieën gebruiken maar langzamer reageren, suggereert dat modelgebaseerde analyses van leermechanismen robuust zijn, zelfs bij populaties met motorische of cognitieve vertragingen. Dit opent de deur voor het gebruik van asymmetrische RL-modellen om stoornissen zoals gokverslaving of verslaving te bestuderen, waar vaak sprake is van verstoord leren van negatieve feedback.

Conclusie
De auteurs concluderen dat het Risk-Sensitive model met asymmetrische leersnelheden een beknopt, identificeerbaar en mechanistisch interpreteerbaar kader biedt voor menselijk gedrag in risicovolle beslissingssituaties. Het benadrukt dat het onderscheid tussen hoe mensen leren van winst versus verlies cruciaal is om menselijke keuzes onder onzekerheid te begrijpen.