Stimulus prior and reward probability differentially affect response bias in perceptual decision making

Uit vijf experimenten met ratten blijkt dat beloningskansen de responsbias in perceptuele besluitvorming sterker beïnvloeden dan stimulusratio's door hogere leersnelheden, terwijl bestaande modellen deze differentiële effecten niet volledig kunnen verklaren.

De kern

De Beslissingsbalans: Waarom Honden (en Ratten) Liever Luisteren naar Beloning dan naar Kansen

Stel je voor dat je een spelletje speelt waarbij je twee deuren moet kiezen. Achter de ene deur zit een traktatie, achter de andere niets. Je hebt een "beslissingsbalans" in je hoofd die bepaalt welke deur je kiest. Als je vaak traktaties krijgt bij de linkse deur, kantelt die balans naar links.

Dit is precies wat wetenschappers onderzochten bij ratten. Ze keken hoe dieren beslissingen nemen in een auditief spelletje en hoe twee dingen hun "beslissingsbalans" beïnvloeden:

1. Hoe vaak een geluid klinkt (de kans).
2. Hoe vaak je een beloning krijgt als je op dat geluid reageert (de waarde).

Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. De Beloning is de Baas (Niet de Kans)

In de eerste twee experimenten gaven ze de ratten een keuze.

• Situatie A: Een geluid klinkt heel vaak (80% van de tijd), maar de beloning is altijd 50/50.
• Situatie B: Een geluid klinkt maar half zo vaak (50/50), maar als je erop reageert, krijg je veel vaker een beloning.

Het resultaat: De ratten luisterden veel harder naar de beloning dan naar de kans.

• De analogie: Stel je voor dat je elke dag op de bus stapt. In Stad A komt de bus 80% van de tijd, maar je krijgt nooit een gratis koffie. In Stad B komt de bus maar 50% van de tijd, maar als hij er is, krijg je altijd een gratis koffie.
  • De ratten (en waarschijnlijk ook wij) zeggen: "Ik ga naar Stad B!" Ze passen hun gedrag veel sneller en extremer aan op de koffie (beloning) dan op het feit dat de bus vaker komt (kans).

2. Het "Leer-tempo" Verschilt

De wetenschappers keken ook hoe snel de ratten leerden.

• Als de kans veranderde (de bus kwam vaker), leerden de ratten langzaam.
• Als de beloning veranderde (de koffie kwam vaker), leerden ze tien keer sneller.

Het is alsof je een nieuwe route naar school loopt. Als je ziet dat er een nieuwe stoplicht is (een verandering in de omgeving), loop je voorzichtig. Maar als je ziet dat er op die route een ijskar staat (een verandering in beloning), ren je er direct naartoe! De beloning schakelt een "super-snel" leermechanisme in.

3. De Strijd: Kans vs. Beloning

In een derde experiment gaven ze de ratten een lastige situatie:

• Geluid A kwam vaak voor (hoge kans), maar gaf weinig beloning.
• Geluid B kwam zelden voor (lage kans), maar gaf veel beloning.

Wat deden de ratten? Ze negeerden de frequentie en kozen voor de beloning. Ze dachten: "Het is zeldzaam, maar als ik het raak, krijg ik de jackpot!"
Dit was een verrassing voor de computermodellen. De modellen dachten dat de ratten de kansen en beloningen zouden optellen tot een perfecte balans. Maar de ratten deden het anders: ze zagen de beloning als veel belangrijker dan de frequentie.

4. De "Dichtheid" van de Beloning doet er niet toe

In de laatste experimenten keken ze naar de dichtheid van de beloning.

• Scenario A: Je krijgt 100% van de tijd een beloning (maar dan kleine).
• Scenario B: Je krijgt 25% van de tijd een beloning (maar dan grote).

De vraag was: Leer je sneller als je vaak kleine beloningen krijgt, of als je zelden grote beloningen krijgt?
Het antwoord: Nee. Het maakt voor het leertempo van de ratten niet uit of de beloning "dicht" (vaak) of "dun" (zelden) is. Ze leerden even snel in beide gevallen. Dit is anders dan wat sommige theorieën voorspellen, die zeggen dat je in een "arm" milieu sneller moet leren om te overleven. De ratten deden dat niet.

Waarom zijn de oude theorieën niet goed genoeg?

De wetenschappers probeerden drie verschillende computermodellen om het gedrag van de ratten te voorspellen.

1. Model 1 & 2: Deze dachten dat de ratten alleen keken naar "Hoe vaak heb ik een beloning gekregen?"
2. Model 3: Dit model keek naar "Wat is de waarde van mijn actie?"

Geen van deze modellen kon het gedrag in het derde experiment (waar kans en beloning tegen elkaar streden) goed voorspellen.
De conclusie: De ratten hebben blijkbaar een intern geheugen voor hoe vaak een geluid klinkt. Ze weten niet alleen "Ik kreeg een beloning", maar ook "Dit geluid kwam vaak voor". Ze combineren deze twee informatiebronnen op een manier die we nog niet volledig begrijpen.

De Grote Les

Dit onderzoek laat zien dat onze hersenen (en die van ratten) niet simpelweg een rekenmachine zijn die kansen en beloningen optelt.

• Beloning is de krachtige motor die ons gedrag snel verandert.
• Kans (hoe vaak iets gebeurt) is een subtiele factor die we ook onthouden, maar die minder snel ons gedrag verandert.

Als we in de toekomst betere modellen willen maken voor hoe mensen en dieren beslissingen nemen, moeten we stoppen met denken dat we alleen naar beloningen kijken. We moeten ook begrijpen dat we een soort "intern radar" hebben dat bijhoudt hoe vaak dingen in onze wereld voorkomen, en dat we deze twee dingen op een heel complexe manier met elkaar verwerken.

Kortom: Als je iemand iets wilt leren, is het niet genoeg om iets vaak te laten zien. Je moet zorgen dat het belonend is. En als je wilt dat ze het echt snappen, moet je ze laten zien dat het iets is dat ze vaak tegenkomen, maar de beloning is de echte sleutel tot succes.

Technische samenvatting

Probleemstelling

Signal Detection Theory (SDT) is de standaard voor het analyseren van perceptuele beslissingen. Een centrale aanname van SDT is dat een subject een statisch beslissingscriterium hanteert om een waarneming te vergelijken met een drempel. Echter, empirisch bewijs toont aan dat dit criterium niet statisch is, maar fluctueert op trial-basis en beïnvloedbaar is door experimentele manipulaties, zoals ongelijke stimuluspresentatiekansen (SPP) en ongelijke beloningskansen (RP).

Hoewel er modellen bestaan die het steady-state gedrag beschrijven (waar het criterium zich na langere tijd vestigt), is de onderliggende mechanisme voor de trial-basis aanpassing van het criterium slecht begrepen. Specifiek is onduidelijk of stimuli-prioriteiten (hoe vaak een stimulus voorkomt) en beloningskansen (hoe vaak een antwoord wordt beloond) het leerproces op dezelfde manier beïnvloeden. Bestaande modellen voorspellen vaak dat deze factoren equivalent werken, maar dit is experimenteel niet voldoende getoetst.

Methodologie

De auteurs voerden vijf experimenten uit met negen mannelijke ratten in een auditieve discriminatietask (twee stimuli, twee keuzeopties). De ratten moesten een van twee tonen (S1 of S2) onderscheiden en reageren door in een linker- of rechterneuspoort te prikken. Correcte antwoorden werden beloond met water.

Experimentele Opzet:

1. Experiment 1 & 2: Isolatie van effecten. In Exp. 1 varieerden de stimulusverhoudingen (SPP) terwijl beloningen constant bleven. In Exp. 2 varieerden de beloningsverhoudingen (RP) terwijl stimuli constant bleven.
2. Experiment 3: Directe confrontatie. SPP en RP werden tegen elkaar ingezet met tegengestelde verhoudingen (bijv. S1 komt vaker voor, maar S2 wordt vaker beloond). Dit test of de effecten elkaar opheffen of dat één factor domineert.
3. Experiment 4 & 5: Invloed van beloningsdichtheid (globale beloningsrate). In Exp. 4 werd alleen de dichtheid gevarieerd. In Exp. 5 werd dichtheid gecombineerd met asymmetrische beloningskansen.

Modellering:
De auteurs pasten drie trial-basis leermodellen aan op de data en vergeleken deze via Maximum Likelihood schatting en simulaties:

1. Gewijzigd KDB-model: Gebaseerd op Kac, Dorfman en Biderman. Het criterium verschuift met een vaste stapgrootte ($\Delta$) na een beloning, met een "lek" parameter ($\gamma$) om drift te voorkomen.
2. Davison-Tustin (DT) model: Combineert SDT met de Matching Law. De stapgrootte van het criterium hangt af van de huidige positie en de gevoeligheid voor beloning ($a$).
3. Reinforcement Learning (RL) model: Gebaseerd op Lak et al. (2020b). Subjects houden "actie-waarden" bij die vermenigvuldigd worden met de perceptuele zekerheid (Q-waarden). Updates gebeuren via een leercoëfficiënt ($\alpha$) en een reward prediction error.

De modellen werden geëvalueerd op hun vermogen om de data te fitten (NLL/BIC) en om het gedrag in forward-simulaties te reproduceren.

Belangrijkste Bijdragen

1. Differentiatie tussen SPP en RP: Het onderzoek levert overtuigend bewijs dat manipulaties van beloningskansen (RP) een veel sterkere invloed hebben op het leerproces en de responsbias dan manipulaties van stimuluspresentatiekansen (SPP).
2. Lerendheidssnelheid: De studie toont aan dat de lerendheidssnelheid (learning rate) bij RP-manipulaties meer dan tien keer zo hoog is als bij SPP-manipulaties.
3. Falen van bestaande modellen: Geen van de drie geteste modellen (KDB, DT, RL) kon het gedrag in Experiment 3 (waar SPP en RP tegen elkaar werkten) correct voorspellen. Dit suggereert dat bestaande modellen stimulus-prioriteiten niet expliciet representeren of dynamisch updaten.
4. Beloningsdichtheid: Er werd geen consistent effect gevonden van de globale beloningsdichtheid op de lerendheidssnelheid, in tegenstelling tot eerdere bevindingen in andere contexten.

Resultaten

• Experiment 1 vs. 2: Hoewel beide manipulaties een bias veroorzaakten, was de bias bij RP-manipulaties (Exp. 2) sterker en extremer dan bij SPP-manipulaties (Exp. 1). De steady-state criteria waren extremer in Exp. 2.
• Modelparameters:
  • In het KDB-model was de verhouding $\Delta / (1-\gamma)$ (bepalend voor de stevigheid van de bias) aanzienlijk hoger in Exp. 2.
  • In het DT-model was de parameter $a$ (gevoeligheid voor beloning) hoger in Exp. 2.
  • In het RL-model was de leercoëfficiënt $\alpha$ meer dan een orde van grootte hoger in Exp. 2.
• Experiment 3: De dieren vertoonden een duidelijke bias naar de optie met de hogere beloningskans, zelfs als de stimuluskans voor de andere optie hoger was. De optimale beslissing (geen bias) werd genegeerd. Geen enkel model kon dit voorspellen; de modellen voorspelden een neutraal criterium omdat ze uitgingen van een statische verhouding van stimulus en beloning.
• Experiment 4 & 5: Variatie in beloningsdichtheid (hoe vaak er überhaupt beloond werd) had geen systematisch effect op de lerendheidssnelheid. Hoewel modellen met meerdere leercoëfficiënten per conditie beter fitte (lagere BIC), toonden de geschatte waarden geen patroon dat correleerde met de dichtheid.

Significantie en Conclusie

De studie concludeert dat subjecten niet alleen reageren op de verhouding van beloningen, maar dat ze waarschijnlijk expliciete representaties hebben van stimulus-prioriteiten of zelfs de volledige stimulusverdeling.

• Theoretische Implicatie: Bestaande modellen die aannemen dat het criterium alleen wordt bijgesteld op basis van respons-beloning-contingenties (zoals KDB en DT) of statische priors (zoals de standaard RL-versie), zijn onvolledig. Ze kunnen het gedrag niet verklaren wanneer SPP en RP conflicteren.
• Toekomstige Richting: Toekomstige modellen moeten in staat zijn om stimulus-prioriteiten dynamisch te leren en bij te werken, mogelijk via sensorische voorspellingsfouten. Dit is essentieel om perceptuele besluitvorming onder variabele omstandigheden volledig te begrijpen.
• Verschil met Menselijk Gedrag: De auteurs merken op dat hun resultaten (RP > SPP effect) tegengesteld zijn aan sommige menselijke studies waar SPP vaak een sterkere, quasi-optimale bias veroorzaakt. Dit zou kunnen liggen aan het verschil tussen manipulatie via kans (in dit dieronderzoek) versus magnitude (vaak bij mensen).

Kortom, dit onderzoek benadrukt dat de mechanismen achter het aanpassen van beslissingscriteria complexer zijn dan tot nu toe gedacht en dat de herkomst van de informatie (stimulusfrequentie vs. beloningsfrequentie) fundamenteel verschillende leerprocessen activeert.