Humans use a dual policy to improve inferences during epistemic information seeking

Drie studies tonen aan dat mensen bij het zoeken naar epistemische informatie een tweestapsbeleid hanteren dat begint met 'streaking' (herhaaldelijk testen van opties) gevolgd door onzekerheidsgestuurde exploratie, een strategie die de inferentie-accuraatheid verbetert en verschilt van het gedrag van kunstmatige neurale netwerken.

De kern

Hoe mensen leren: Waarom we soms eerst 'vastzitten' voordat we echt zoeken

Stel je voor dat je in een grote, onbekende stad bent en je wilt weten welke van de twee restaurants het beste eten serveert. Je hebt twee opties: Restaurant A en Restaurant B. Je weet nog niets over ze. Hoe ga je te werk?

Dit onderzoek van Cao en collega's kijkt precies naar dit soort situaties, maar dan in een experiment met "tassen vol juwelen" in plaats van restaurants. Ze ontdekten dat mensen een heel slimme, maar soms verwarrende strategie gebruiken om de wereld te leren kennen als er geen directe beloning (zoals geld of eten) bij komt kijken.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen.

1. Twee manieren om te spelen: "De Jager" vs. "De Ontdekker"

De onderzoekers lieten mensen twee soorten spelletjes spelen:

• Het Jagers-spel (MATCH): Hier was er een doel. Je moest zo veel mogelijk blauwe juwelen verzamelen. Elke keer als je een blauw juweel kreeg, was dat een "punt". Dit is als een jager die honger heeft. Hij wil direct eten. Hij probeert snel te vinden waar het lekkerste eten is en blijft daar dan hangen.
• Het Ontdekkers-spel (GUESS): Hier was er geen beloning tijdens het spelen. Je moest alleen proberen te raden welke tas welke kleur juwelen had. Pas aan het einde kreeg je een punt als je het goed had. Dit is als een ontdekker die een kaart wil maken. Hij wil de wereld begrijpen, niet direct eten.

2. Het geheim van de "Streak" (De vasthoudende fase)

In het Jagers-spel gedroegen mensen zich logisch: ze zochten het beste restaurant en bleven daar.

Maar in het Ontdekkers-spel gebeurde er iets vreemds. Voordat mensen echt gingen zoeken naar het onbekende, deden ze iets wat we "streaking" noemen.

• De Analogie: Stel je voor dat je twee nieuwe boeken wilt lezen. In plaats van elke dag een paar pagina's van boek A en dan een paar pagina's van boek B te lezen (om te vergelijken), lees je eerst alleen boek A. Je leest het hele eerste hoofdstuk, misschien zelfs het hele boek, voordat je ook maar één pagina van boek B opent. Pas daarna ga je naar boek B.
• Wat deden de mensen? Ze bleven eerst herhaaldelijk kiezen voor dezelfde tas (bijvoorbeeld: Tas A, Tas A, Tas A, Tas A...) voordat ze switchten naar Tas B. Ze "testten" hun hypothese over die ene tas grondig voordat ze de andere probeerden.

Dit klinkt misschien niet slim (want je leert minder snel over Tas B), maar het bleek juist heel nuttig voor de menselijke hersenen.

3. Waarom doen we dit? (De "Ruis" in onze hersenen)

Waarom kiezen mensen voor deze "vastzittende" strategie als computers dat niet doen?

• De Hersenen zijn niet perfect: Onze hersenen zijn als een radio met wat statische ruis. Als je snel heen en weer schakelt tussen Tas A en Tas B, wordt het signaal verward door die ruis. Het is moeilijk om te weten of Tas A echt blauw is of dat je gewoon een "ruisje" hebt gehoord.
• De "Streak" als filter: Door eerst lang op Tas A te blijven focussen, versterk je het signaal. Het is alsof je de radio op één frequentie houdt tot het geluid helder is. Pas als je zeker bent van Tas A, switch je.
• De Computers: De onderzoekers bouwden slimme computerprogramma's (neuronale netwerken). Deze computers leerden heel snel om de beste strategie te vinden (altijd kiezen voor de tas waar je het minst zeker van bent), maar ze ontdekten nooit die "streak"-strategie. Ze switchten te snel. Dit betekent dat "vastzitten" een menselijke eigenschap is die helpt om onze eigen onvolkomenheden (de ruis) te compenseren.

4. Iedereen is anders: De "Geduldige" vs. De "Slimme"

Het onderzoek keek ook naar verschillen tussen mensen:

• De "Geduldige" (Laag Need for Cognitive Closure): Sommige mensen houden niet van onzekerheid en willen snel een antwoord. Deze mensen deden minder "streaking". Ze switchten te snel en maakten daardoor meer fouten.
• De "Slimme" (Hoog ICAR): Mensen met een hogere algemene redeneer-vaardigheid waren beter in het vinden van de juiste balans. Ze konden goed inschatten welke tas ze nog niet kenden (onzekerheid) en gebruikten die kennis slim.

Conclusie: Twee strategieën in één

De grote les van dit papier is dat mensen niet alleen "slim" of "dom" zijn. We gebruiken een dubbele strategie:

1. Lokaal (Korte termijn): We zijn eerst een beetje koppig ("streaking"). We blijven bij één optie hangen om het goed te begrijpen, omdat onze hersenen ruis hebben en we niet snel willen switchen.
2. Globaal (Lange termijn): Daarna gaan we slim zoeken en kiezen we de optie waar we het minst van weten, om onze kennis te vergroten.

Dit is iets dat computers niet vanzelf doen. Het toont aan dat onze "onvolmaakte" manier van denken (zoals even vasthouden aan één idee) eigenlijk een slimme truc is om de wereld beter te begrijpen, vooral als we geen directe beloning nodig hebben om te leren.

Kort samengevat: Als je de wereld wilt leren kennen, is het soms slim om eerst even vast te houden aan één ding (een "streak") om het goed te snappen, voordat je gaat springen naar het volgende. Dat is hoe onze hersenen werken!

Technische samenvatting

Probleemstelling

Mensen staan dagelijks voor het "explore-exploit-dilemma": kiezen tussen het veilig benutten van bekende opties of het verkennen van onbekende opties om meer te leren. Traditioneel wordt dit onderzocht in de context van beloningsmaximalisatie (bijv. bandit-taken), waarbij informatie verzameling dient als middel om toekomstige beloningen te voorspellen.

Echter, veel vormen van exploratie in het dagelijks leven zijn epistemisch (gericht op kennisverwerving) en niet direct gekoppeld aan onmiddellijke of toekomstige beloningen. De vraag is hoe mensen informatie verzamelen wanneer de "prijs" van informatie (de beloning) volledig is losgekoppeld van de uitkomst. Bestaande theorieën voorspellen vaak een optimale strategie gebaseerd op onzekerheidsreductie, maar het is onduidelijk of mensen hierin slagen en welke cognitieve mechanismen hierbij een rol spelen, vooral in afwezigheid van beloningsdrang.

Methodologie

De auteurs voerden drie studies uit met in totaal 702 deelnemers, waarbij ze een sequentiële steekproeftaak ontwierpen om beloningsgedreven en epistemische exploratie te dissociëren.

1. Experimenteel Paradigma:

   • MATCH-voorwaarde (Beloning): Deelnemers moesten geselecteerde edelstenen (gems) matchen met een doelformaat (bijv. blauw). Het doel was het maximaliseren van de opbrengst door de optie te kiezen die het meest overeenkwam met de doelformaat. Dit simuleert een klassieke bandit-taak.
   • GUESS-voorwaarde (Epistemisch): Er was geen doelformaat. Deelnemers moesten de dominante kleur van twee onbekende zakken (opties) leren door steekproeven te nemen. Aan het einde van een spel (8-20 beurten) moesten ze raden welke kleur bij een willekeurige zak hoorde. Hier was de enige "beloning" de nauwkeurigheid van de uiteindelijke inferentie; er was geen directe beloning tijdens het verzamelen van data.
   • Stimuli: De opties werden voorgesteld als zakken met edelstenen van verschillende vormen en kleuren. De verdeling van kleuren was probabilistisch (bijv. 2/3 blauw, 1/3 oranje), waardoor elke steekproef log-evidence (logLR) opleverde.

2. Computational Modeling:

   • De auteurs ontwikkelden een suboptimale bewijsaccumulatiemodel. Dit model omvatte:
     • Global Policy: Gevoeligheid voor beloning ($\beta_v$) of onzekerheid ($\beta_c$).
     • Local Policy (Streaking): Een drempelmechanisme ($\theta$) en een herhalingsbias ($\varepsilon$) die deelnemers aanzetten om dezelfde optie herhaaldelijk te kiezen ("streaking") totdat er voldoende bewijs is verzameld om de hypothese te bevestigen.
     • Cognitieve beperkingen: Een "leak" parameter ($\delta$) voor geheugenverlies en een "noise" parameter ($\sigma$) voor ruis in het leerproces.
   • Neurale Netwerken (RNN's): Recurrente Neuronale Netwerken werden getraind met verschillende doelen (beloningsmaximalisatie, state-prediction, en een hybride meta-cognitieve doelstelling) om te testen of deze strategieën emergeren zonder menselijke cognitieve beperkingen.

3. Individuele Verschillen:

   • Er werden psychologische vragenlijsten afgenomen, waaronder de Need for Cognitive Closure Scale (NFCS) en de International Cognitive Ability Resource (ICAR), om te correleren met de modelparameters.

Belangrijkste Resultaten

1. Dubbele Politiek (Dual Policy) bij Mensen:

   • In de MATCH-voorwaarde volgden deelnemers een beloningsgeleid beleid, waarbij ze geleidelijk convergeren naar de meest belonende optie.
   • In de GUESS-voorwaarde vertoonden deelnemers een tweestapsstrategie:
     • Stap 1: "Streaking": Aan het begin van het spel herhaalden deelnemers systematisch dezelfde optie (bijv. AAAAA, dan BBBB) voordat ze overschakelden. Dit is een lokaal, suboptimaal beleid vanuit een normatief perspectief, maar dient om een voorlopige hypothese te testen.
     • Stap 2: Onzekerheidsgeleid zoeken: Na deze vroege "streaks" schakelden deelnemers over naar een beleid dat gericht was op het maximaliseren van onzekerheidsreductie (het kiezen van de minst bekende optie).
   • Deze "streaking" was afwezig in de MATCH-voorwaarde.

2. Functie van Streaking:

   • Hoewel streaking lokaal suboptimaal lijkt, verbeterde het de algehele inferentienauwkeurigheid, vooral in aanwezigheid van ruis in het leerproces (noisy belief updating).
   • Simulaties toonden aan dat streaking helpt om de impact van ruis te verminderen door de bewijsaccumulatie op één optie te concentreren, wat de stabiliteit van de overtuiging vergroot voordat er wordt gewisseld.

3. RNN's vs. Mensen:

   • RNN's die waren getraind om de verborgen staten te voorspellen (GUESS-taak), slaagden erin een onzekerheidsgeleid beleid te leren, maar faalden volledig om de vroege "streaking"-strategie te ontwikkelen.
   • Zelfs met een hybride doelstelling (maximalisatie van meta-cognitieve zekerheid) leerden de netwerken alleen de optimale onzekerheidsreductie, niet de menselijke streaking. Dit suggereert dat streaking een specifiek menselijk kenmerk is, gedreven door cognitieve beperkingen (zoals ruis) die niet inherent zijn aan standaard RNN-architecturen.

4. Individuele Verschillen en Psychologische Traits:

   • Er werd een dissociatie gevonden tussen twee cognitieve kenmerken:
     • Streaking (EoS): Voorspeld door een lage "Need for Cognitive Closure" (NFCS). Mensen met een hoge behoefte aan sluiting staken minder in het testen van hypotheses via streaking.
     • Onzekerheidsgeleid zoeken ($\beta_c$): Voorspeld door hogere algemene redeneervaardigheid (ICAR).
   • Deelnemers die zowel meer streaking als een sterker onzekerheidsgeleid beleid vertoonden, presteerden het beste. Dit toont aan dat deze twee strategieën niet in een afweging staan, maar synergetisch werken.

Bijdragen en Significance

• Nieuw Inzicht in Epistemische Exploratie: Het paper biedt een nieuw kader voor informatiezoekgedrag dat losstaat van beloningsmaximalisatie. Het toont aan dat mensen een hybride strategie gebruiken die lokale, heuristische regels (streaking) combineert met globale, onzekerheidsgeleide optimalisatie.
• Adaptiviteit van Suboptimaliteit: De studie laat zien dat wat eruitziet als een cognitieve fout (herhaaldelijk kiezen zonder direct bewijs voor wisseling) eigenlijk adaptief kan zijn in een omgeving met ruis. Streaking fungeert als een buffer tegen ruis in het leerproces.
• Menselijke vs. Kunstmatige Intelligentie: De dissociatie tussen menselijk gedrag en RNN-gedrag benadrukt dat menselijke cognitieve beperkingen (zoals ruis en geheugenlekken) niet alleen beperkingen zijn, maar ook de vorming van specifieke, adaptieve strategieën (zoals streaking) kunnen sturen die kunstmatige systemen niet spontaan ontwikkelen.
• Computational Phenotyping: De auteurs tonen aan dat specifieke cognitieve beleidsvormen (streaking vs. onzekerheidsreductie) correleren met verschillende psychologische constructen (NFCS vs. ICAR), wat suggereert dat persoonlijkheid en cognitieve vaardigheid verschillende lagen van het besluitvormingsproces beïnvloeden.

Kortom, dit onderzoek onthult dat menselijke informatiezoekgedrag wordt gedicteerd door een complexe interactie tussen globale optimalisatie en lokale, door beperkingen gestuurde strategieën, wat een dieper inzicht geeft in hoe mensen leren in onzekere omgevingen zonder directe beloning.