Inferring the causes of noise from binary outcomes: A normative theory of learning under uncertainty

Deze studie presenteert een normatief raamwerk en een computatiemodel dat, gevalideerd door menselijke experimenten, in staat is om de oorzaken van ruis (volatiliteit versus stochasticiteit) te onderscheiden op basis van binaire uitkomsten, waardoor lerende systemen hun leersnelheid adaptief kunnen aanpassen aan de omgevingsonzekerheid.

De kern

De Kunst van het Leren in een Onvoorspelbare Wereld: Een Simpele Uitleg

Stel je voor dat je op een strand loopt en probeert te raden waar een zeeleeuw zich zal bevinden. Soms blijft hij aan de linkerkant, soms springt hij plotseling naar de rechterkant. Maar er is een addertje onder het gras: soms is de zeeleeuw gewoon niet te voorspellen (hij is onrustig), en soms is het gewoon het toeval dat een schatje verplaatst (de golven).

Deze wetenschappelijke studie, geschreven door Xiaotong Fang en Payam Piray, onderzoekt hoe onze hersenen leren om dit onderscheid te maken. Ze kijken naar twee soorten "ruis" of onzekerheid:

1. Volatiliteit (De Onrustige Zeeleeuw): De werkelijkheid verandert echt. De zeeleeuw is van kant veranderd. Als dit gebeurt, moet je snel leren en je oude kennis vergeten.
2. Stochasticiteit (De Luie Golven): De zeeleeuw zit nog steeds op zijn plek, maar de golven (toeval) zorgen dat het eruitziet alsof hij weg is. Als dit gebeurt, moet je rustig blijven en niet te snel je mening wijzigen, want het was waarschijnlijk maar een eenmalige blunder.

Het Probleem: De Verkeerde Gidsen

Vroeger hadden wetenschappers modellen (rekenregels) om te voorspellen hoe we leren. Maar die modellen waren gemaakt voor een wereld met doorlopende cijfers (zoals de temperatuur of de snelheid van een auto). Ze probeerden die regels op ja/nee-situaties toe te passen (zoals "ja, er is een schat" of "nee, er is geen schat").

Dat is alsof je probeert een boterham te snijden met een hamer. Het werkt niet goed. De oude modellen maakten een fout: ze dachten dat elke verrassing (een onverwachte uitkomst) betekende dat de wereld veranderde. Ze konden niet goed zien of het de zeeleeuw was die verhuisde, of gewoon de golven die speelden. Hierdoor leerden mensen in hun modellen te snel of te traag, afhankelijk van de situatie.

De Oplossing: Een Nieuw Kompas (PF-HMM)

De auteurs van dit papier hebben een nieuwe, slimmere manier bedacht. Ze noemen hun model PF-HMM.

• HMM (Hidden Markov Model): Denk hieraan als een zeer nauwkeurige detective. Deze detective weet dat de wereld uit twee soorten "ruis" bestaat. Hij gebruikt een speciaal rekenblad dat perfect werkt voor ja/nee-situaties. Hij kan precies berekenen: "Is de kans groot dat de zeeleeuw verhuisd is, of is het gewoon toeval?"
• PF (Particle Filtering): Dit is als een leger van kleine, virtuele detectives die allemaal een eigen theorie hebben. Sommige denken dat de zeeleeuw onrustig is, anderen denken dat de golven het doen. Na elke nieuwe observatie (een nieuwe schat of geen schat) kijken ze welke theorie het beste past. De slechte theorieën worden weggegooid, de goede theorieën krijgen meer gewicht.

Door deze twee te combineren, kan het model leren om de oorzaak van de verwarring te vinden, zelfs als het zelf niet weet hoe onvoorspelbaar de wereld is.

Wat Vonden Ze in de Experimenten?

De auteurs lieten echte mensen een spelletje spelen (het "Zeeleeuw-spel" en een variant met schildpadden). Ze manipuleerden de situatie:

• Soms veranderde de zeeleeuw vaak van kant (hoge volatiliteit).
• Soms waren de golven erg onvoorspelbaar (hoge stochasticiteit).

De resultaten waren verrassend en logisch:

1. Bij een onrustige zeeleeuw: Mensen leerden heel snel. Ze pasten zich direct aan, precies zoals het model voorspelde.
2. Bij onvoorspelbare golven: Mensen leerden juist langzamer. Ze twijfelden en keken naar meer bewijs voordat ze hun mening veranderden. Ze wisten instinctief: "Dit is waarschijnlijk toeval, ik moet niet te snel reageren."

Bovendien merkten ze op dat mensen trager waren om te beslissen als het voor hen moeilijk was om te raden of het de zeeleeuw of de golven waren. Hun hersenen werkten harder om de oorzaak te vinden.

Waarom is dit belangrijk?

Dit onderzoek is niet alleen leuk voor de theorie, het heeft ook grote gevolgen voor de geestelijke gezondheid.

Stel je iemand voor met een depressie. Die persoon ziet misschien een negatieve gebeurtenis (een afwijzing) en denkt direct: "Het is mijn schuld, de wereld is veranderd en ik ben een mislukking." Ze attribueren het toeval (stochasticiteit) ten onrechte aan een verandering in de werkelijkheid (volatiliteit). Ze leren te snel dat ze "fout" zijn, omdat ze niet kunnen onderscheiden tussen "toeval" en "een echt probleem".

Dit nieuwe model helpt ons te begrijpen hoe onze hersenen normaal gesproken dit onderscheid maken, en wat er misgaat bij psychische aandoeningen. Het biedt een nieuwe manier om te kijken naar hoe mensen leren in een chaotische wereld, en hoe we dat proces kunnen verbeteren.

Kort samengevat:
Onze hersenen zijn slimme detectives die proberen te raden of de wereld verandert of dat het gewoon toeval is. Dit papier laat zien dat we dit heel goed kunnen, zolang we de juiste rekenregels gebruiken. Als we dat niet doen, kunnen we in de war raken en onnodig snel of traag leren. De nieuwe "detective-regels" van de auteurs helpen ons om die verwarring op te lossen.

Technische samenvatting

Probleemstelling

Leren in onzekere omgevingen vereist het onderscheiden van twee fundamenteel verschillende bronnen van ruis (noise):

1. Volatiliteit (Vluchtigheid): Veranderingen in de onderliggende toestand van de omgeving (de "waarheid" verandert).
2. Stochasticiteit (Willekeur): Ruis in de waarneming zelf, waarbij de uitkomst niet perfect de onderliggende toestand weerspiegelt (de "waarheid" blijft gelijk, maar de meting is onbetrouwbaar).

De kernuitdaging is dat beide bronnen leiden tot dezelfde waarneembare verschijnselen: onverwachte uitkomsten. Een leerder moet kunnen infereren of een onverwachte uitkomst het gevolg is van een verandering in de wereld (wat snelle aanpassing vereist) of slechts toeval is (wat langzamere aanpassing vereist).

Het bestaande probleem: De meeste eerdere modellen zijn ontworpen voor continue uitkomsten (waar de Kalman-filter de standaard is). Wanneer deze modellen worden toegepast op binair data (bijv. win/verlies, ja/nee), worden er vaak ad-hoc benaderingen gebruikt (zoals het toepassen van een sigmoid-functie op continue latente variabelen). Dit introduceert theoretische inconsistenties:

• Stochasticiteit wordt niet expliciet gemodelleerd als een parameter.
• Leertempo's stijgen onterecht na grote verrassingen, zelfs als de volatiliteit nul is (een artefact van de benadering).
• Het is onmogelijk om volatiliteit en stochasticiteit correct van elkaar te scheiden in binaire settings.

Methodologie

De auteurs ontwikkelen een nieuw normatief raamwerk dat specifiek is ontworpen voor binaire uitkomsten, zonder terug te grijpen naar benaderingen voor continue data.

1. Generatief Model (Hidden Markov Model - HMM):
In plaats van een aangepaste Kalman-filter, gebruiken ze een HMM dat direct is gebaseerd op binaire latente toestanden ($x_t$) en binaire uitkomsten ($o_t$).

• Volatiliteit ($v$): Bestuurt de waarschijnlijkheid dat de verborgen toestand $x_t$ verandert tussen $t-1$ en $t$.
• Stochasticiteit ($s$): Bestuurt de waarschijnlijkheid dat de waargenomen uitkomst $o_t$ afwijkt van de ware toestand $x_t$.
• Exacte Inferentie: Voor een HMM met bekende parameters is de inferentie analytisch oplosbaar (via Bayesiaanse updates) en leidt tot een exacte posterior-verdeling over de verborgen toestand.

2. PF-HMM Model (Particle Filtering + HMM):
In realistische scenario's zijn de waarden van $v$ en $s$ niet bekend en moeten ze uit de data worden afgeleid. Omdat exacte inferentie over zowel de toestand als de veranderende parameters niet meer mogelijk is, combineren de auteurs:

• Particle Filtering (PF): Een sequentiële Monte Carlo-methode om de dynamische parameters $v_t$ en $s_t$ te schatten. Het model houdt een populatie "deeltjes" (hypothese-combinaties van $v$ en $s$) bij.
• Rao-Blackwellized PF: Voor elk deeltje (met geschatte $v$ en $s$) wordt de inferentie over de verborgen toestand $x_t$ uitgevoerd via de exacte HMM-algoritme. Dit maakt de berekening efficiënter en nauwkeuriger.
• Het model leert dus dynamisch de bron van de ruis toe te schrijven aan óf volatiliteit óf stochasticiteit.

3. Experimenteel Ontwerp:
De theorie werd getest met menselijke deelnemers in twee experimenten (een "zeeleeuw"-taak voor beloning en een "schildpad"-taak voor vermijding van verlies):

• 2x2 Factorieel Ontwerp: Vier blokken met systematisch gemanipuleerde waarden voor zowel volatiliteit als stochasticiteit (Laag/Laag, Laag/Hoog, Hoog/Laag, Hoog/Hoog).
• Deelnemers moesten leren welke optie de beste was op basis van binaire feedback, zonder kennis van de onderliggende parameters.

Belangrijkste Bijdragen

1. Normatief Raamwerk voor Binaire Data: Het eerste model dat een strikt Bayesiaanse, exacte inferentie biedt voor het scheiden van volatiliteit en stochasticiteit in binaire omgevingen, zonder de theoretische valkuilen van Kalman-filter-benaderingen.
2. PF-HMM Algoritme: Een nieuwe computationele architectuur die HMM combineert met Particle Filtering om zowel de verborgen toestand als de onbekende ruisparameters in real-time te schatten.
3. Ablatie-analyses: Het model toont aan wat er gebeurt als een van de inferentiemechanismen faalt (bijv. als het systeem volatiliteit negeert, wordt alle ruis ten onrechte toegeschreven aan stochasticiteit, wat leidt tot pathologisch gedrag). Dit biedt een theoretische basis voor het begrijpen van psychiatrische aandoeningen.
4. Validatie van Menselijk Gedrag: Experimenteel bewijs dat mensen in staat zijn om deze complexe onderscheiding te maken, wat eerder in twijfel werd getrokken.

Resultaten

• Simulaties: De PF-HMM-simulaties bevestigden de normatieve voorspelling: het leertempo neemt toe bij hoge volatiliteit (om snel te reageren op veranderingen) en neemt af bij hoge stochasticiteit (om ruis te filteren door meer data te middelen).
• Menselijk Gedrag (Zeeleeuw & Schildpad taak):
  • Deelnemers pasten hun leertempo's aan op een manier die consistent was met het model: leertempo's waren hoger in blokken met hoge volatiliteit en lager in blokken met hoge stochasticiteit.
  • Er was geen significant interactie-effect, wat aangeeft dat de twee factoren onafhankelijk worden verwerkt.
  • Reaktietijden: Deelnemers reageerden langzamer wanneer de "deeltje-variabiliteit" laag was. Dit suggereert dat het cognitief moeilijker is om de bron van de ruis te identificeren wanneer de verschillende hypotheses (deeltjes) in het model moeilijk van elkaar te onderscheiden zijn.
• Modelvergelijking: De PF-HMM presteerde significant beter dan bestaande alternatieven (zoals de Pearce-Hall associability-modellen en de binaire Hierarchical Gaussian Filter) in het verklaren van het menselijke gedrag, zowel in de nieuwe data als in bestaande openbare datasets.

Significantie

• Theoretische Correctie: Het paper corrigeert een fundamentele tekortkoming in de leertheorie voor binaire data. Het toont aan dat eerdere modellen de leermechanismen verkeerd interpreteerden door de wiskundige structuur van binaire data te negeren.
• Klinische Relevantie: Het model biedt een nieuw perspectief op psychiatrische aandoeningen (zoals depressie, angst en schizofrenie). Het suggereert dat symptomen kunnen voortkomen uit een mislukking in het "explaining away"-mechanisme: patiënten kunnen stochasticiteit (toeval) verkeerd interpreteren als volatiliteit (systematische verandering/falen), wat leidt tot maladaptief leren en zelfblame.
• Toekomstige Richtingen: Het raamwerk opent de deur voor het integreren van onzekerheidsschatting in complexere taken zoals planning en reinforcement learning, waarbij agenten niet alleen moeten voorspellen, maar ook moeten beslissen onder onzekerheid.

Kortom, dit werk levert een wiskundig zuivere en experimenteel gevalideerde theorie aan voor hoe organismen leren in een wereld vol met zowel veranderlijke regels als willekeurige ruis, specifiek wanneer de feedback slechts uit twee opties bestaat.