Trial-by-Trial Behavioral Adaptation in a Restless Bandit Task: A Mixed-Effects Modeling Approach

Elke dag maken we keuzes in een wereld die nooit stilstaat. De koffiebar die vanochtend de beste optie was, kan morgen overvol zijn; de route naar het werk die gisteren snel was, kan vandaag geblokkeerd zijn. Om door dit verschuivende landschap te navigeren, moet ons brein voortdurend wat we weten bijwerken en ons gedrag aanpassen. Dit proces van leren van ervaring terwijl de regels van het spel veranderen, is een centraal raadsel voor wetenschappers die bestuderen hoe wij denken en beslissen. Een krachtige manier waarop onderzoekers dit verkennen, is via een opzet die een "restless bandit" (rusteloze bandit) taak wordt genoemd. Stel je voor dat je voor vier gokautomaten zit. In een standaardspel leer je misschien welke het meest uitbetaalt en blijf je daarop wedden. Maar in een rusteloze versie veranderen de machines hun uitbetalingspercentages terwijl je speelt. De machine die zojuist goed uitbetaalde, kan plotseling stoppen met uitbetalen, terwijl een andere die stil was, kan beginnen uit te betalen. Om goed te presteren, kun je niet alleen vertrouwen op een vaste regel; je moet blijven kijken, leren en je keuzes in realtime aanpassen.

Een nieuwe studie door onderzoeker Erfan Jaripour werpt een frisse blik op hoe mensen met dit soort dynamische uitdagingen omgaan. In plaats van te proberen te raden welke verborgen mentale berekeningen mensen gebruiken om deze beslissingen te nemen, richt de studie zich volledig op wat zichtbaar en meetbaar is: de werkelijke keuzes die mensen maken, de beloningen die ze krijgen, hoe snel ze reageren en wanneer ze besluiten hun aandacht naar een andere optie te verleggen. Door een enorme verzameling gegevens te analyseren van bijna duizend mensen die een vierkeuzeversie van dit spel speelden, heeft de onderzoeker in kaart gebracht hoe gedrag van het ene moment naar het andere verandert. Het doel was niet om een complex computermodel van het brein te bous, maar om een precies, statistisch portret te schetsen van hoe menselijke besluitvorming evolueert wanneer de omgeving weigert hetzelfde te blijven.

De onderzoeker onderzocht gegevens van 965 deelnemers die in totaal meer dan 139.000 individuele keuzes maakten. Elke persoon speelde een spel waarbij hij herhaaldelijk één van de vier opties moest kiezen. De waarde van deze opties veranderde in de loop van de tijd, wat drie verschillende versies van het spel creëerde met licht afwijkende patronen van verandering. De onderzoeker volgde vier specifieke zaken: of de persoon de optie koos die op dat moment het meest uitbetaalde, hoeveel geld ze daadwerkelijk wonnen, hoe snel ze hun keuze maakten en of ze overstapten naar een andere optie dan de optie die ze net daarvoor hadden gekozen. Om deze enorme hoeveelheid gegevens te begrijpen, werd een geavanceerde statistische methode gebruikt die rekening kon houden met het feit dat elk persoon anders is. Deze aanpak stelde hen in staat om de algemene trends over de hele groep te zien, terwijl ook respect werd getoond voor de unieke manier waarop elk individu zich aanpaste aan de veranderende regels.

De meest opvallende ontdekking was dat mensen niet simpelweg beter worden in het spel via een rechte, gestage lijn. Als je de waarschijnlijkheid zou uitzetten van iemand die de beste optie kiest over de tijd, zou de lijn niet onder een constante hoek omhoog gaan. In plaats daarvan kromde de lijn. De studie vond dat de vorm van deze curve sterk afhankelijk was van de specifieke versie van het spel dat werd gespeeld. In één versie van het spel volgde de waarschijnlijkheid van het kiezen van de beste optie een pad dat omhoog kromde, wat duidt op een gestage verbetering die versnelde. In een andere versie van het spel kromde het pad omlaag, wat aangeeft dat hoewel mensen aanvankelijk verbeterden, hun vermogen om met de beste keuze vast te houden afvlakte of op een andere manier verschoof. Dit betekent dat de manier waarop mensen zich aanpassen geen enkelvoudig, universeel proces is; het wordt diepgaand gevormd door de specifieke structuur van de veranderende omgeving waarin zij zich bevinden.

De studie onthulde ook dat mensen aanzienlijk variëren in hoe ze beginnen en hoe ze veranderen. Sommige deelnemers begonnen het spel met een hoge neiging om de beste optie te kiezen, terwijl anderen lager begonnen. Belangrijker nog was dat de manier waarop ze in de loop van de tijd veranderden, uniek was voor hen. Sommige mensen vertoonden een snelle initiële verbetering die daarna afnam, terwijl anderen een ander leerpatroon vertoonden. De statistische modellen bevestigden dat deze verschillen in basisprestaties en in de snelheid en vorm van het leren echt en consistent waren, en niet slechts willekeurige ruis. Dit benadrukt dat hoewel er algemene patronen zijn in hoe mensen zich aanpassen, het specifieke traject van die aanpassing een zeer persoonlijke ervaring is.

Het bekijken van de andere verstrekte maten gaf een verdere nuance aan het beeld. Het bedrag aan geld dat mensen daadwerkelijk wonnen, kwam niet altijd overeen met het patroon van hun keuzes. Zelfs wanneer mensen vaker de beste optie kozen, kon de totale beloning die ze ontvingen op een andere manier veranderen, afhankelijk van de spelversie. Dit laat zien dat het maken van de "juiste" keuze en het ontvangen van een hoge beloning gerelateerde maar verschillende uitkomsten zijn in een veranderende omgeving. Verder veranderde ook de snelheid van de besluitvorming in de loop van de tijd. Naarmate het spel vorderde, werden mensen over het algemeen sneller en namen ze minder tijd om hun keuzes te maken. Deze versnelling gebeurde echter met een vergelijkbare snelheid, ongeacht welke versie van het spel werd gespeeld, wat suggereft dat de algemene beoefening van het maken van beslissingen voor iedereen efficiënter werd, zelfs als de specifieke strategie voor het kiezen van de beste optie verschilde.

De onderzoeker keek ook hoe vaak mensen hun keuzes veranderden. Over het algemeen wisselden mensen minder vaak naarmate het spel vorderde, wat suggereert dat ze een ritme vonden. Echter, de snelheid waarmee ze stopten met wisselen hing af van de spelversie. In één versie van het spel verminderden mensen hun wisselen veel scherper dan in een andere. Dit geeft aan dat de omgeving de speler zelf een signaal geeft of het de moeite waard is om vast te houden aan een keuze of om nieuwe opties te verkennen. De studie merkte zorgvuldig op dat hoewel deze patronen beschrijven wat mensen precies deden, ze niet de verborgen mentale machinerie erachter verklaren. De onderzoeker heeft niet gemeten wat mensen dachten, geloofden of in hun hoofd berekenden. Hij mat simpelweg de output: de keuzes, de snelheid en de beloningen.

Dit onderscheid is cruciaal. De studie bewijst dat waarneembaar gedrag in een dynamische wereld complexe, niet-lineaire patronen volgt die variëren per persoon en per omgeving. Het laat zien dat aanpassing geen eenvoudige, rechte lijn van verbetering is, maar een kromme, verschuivende proces. Door deze patronen met een dergelijke precisie in kaart te brengen, biedt de studie een solide fundament voor toekomstig onderzoek. Wetenschappers kunnen nu deze gedetailleerde beschrijvingen van echt gedrag gebruiken om theorieën over hoe het brein leert te testen. Ze kunnen vragen of specifieke computermodellen van leren de exacte curves en variaties kunnen reproduceren die in deze gegevens worden gezien. Tot die tijd staat de studie als een heldere, kwantitatieve beschrijving van hoe menselijk gedrag buigt en verschuift wanneer de wereld om hen heen weigert stil te staan. Het bevestigt dat in een rusteloze wereld onze keuzes niet statisch zijn; het is een continue, evoluerende dans van aanpassing, gevormd door zowel de regels van het spel als de unieke geest van de speler.