🧬 biology

Entrenchment in Human Exploration: A Future-Path Model of Early Convergence

Dit artikel introduceert een cognitief model van "entrenchment" (verankering) in menselijke exploratie, waarbij wordt aangetoond dat mensen voortijdig settelen op suboptimale opties door hun eigen toekomstige keuzes te simuleren, een mechanisme dat uniek de toegenomen niet-greedy gedrag met langere horizonten verklaart en zich onderscheidt van standaard exploratiestrategieën zoals UCB of Thompson sampling.

Oorspronkelijke auteurs: Shinji Nakazato

Gepubliceerd 2026-08-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shinji Nakazato

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Mensen worden voortdurend geconfronteerd met een fundamentele keuze: moeten we vasthouden aan wat we weten dat werkt, of moeten we iets nieuws proberen om te zien of het beter is? Dit dilemma, dat wetenschappers kennen als de exploratie-exploitatie-tradeoff, is de motor van het leren. Wanneer we exploreren, verzamelen we informatie over de wereld; wanneer we exploiteren, gebruiken we die informatie om de beste beloning te krijgen. Ideaal gezien balanceren we deze twee driften: voldoende samplen om de beste optie te vinden en dan vervolgens settelen om ervan te genieten. Echter, in veel situaties lijken mensen te vroeg te stoppen met zoeken. Ze houden zich vast aan een keuze die niet echt de beste is en blijven die maken, zelfs wanneer er betere opties beschikbaar zijn. Deze hardnekkige persistentie, die onderzoekers "entrenchment" (verankering) noemen, suggereert dat onze hersenen de toekomst op een manier simuleren die ons in suboptimale gewoonten gevangen houdt.

Een nieuwe studie door Shinji Nakazato aan de Tokyo University of Science biedt een frisse verklaring voor waarom dit gebeurt. Het onderzoek stelt voor dat wanneer we onze huidige keuzes evalueren, we niet alleen naar de onmiddellijke beloning kijken. In plaats daarvan draaien we een mentale simulatie van onze eigen toekomstige beslissingen, waarbij we ons voorstellen wat we hierna zullen doen. Cruciaal is dat de studie suggereert dat we deze simulatie uitvoeren terwijl we onze huidige overtuigingen ongewijzigd laten, alsof we in de toekomst nooit zullen leren of onze meningen zullen bijstellen. Deze mentale afkorting creëert een specifieke vorm van onzekerheid over ons toekomstige pad. Het model laat zien dat wanneer de tijdshorizon lang is — wat betekent dat we nog veel beslissingen moeten nemen — deze gesimuleerde onzekerheid groot genoeg wordt om ons de beste bekende optie te laten verlaten en richting slechtere opties te laten driften. De bevindingen dagen het idee uit dat mensen altijd proberen hun beloningen te maximaliseren, en suggereren in plaats daarvan dat onze eigen interne simulaties van de toekomst ons kunnen misleiden.

Om dit idee te testen, analyseerde de onderzoeker gegevens uit twee verschillende soorten experimenten waarbij mensen spellen speelden die gepaard gingen met herhaalde keuzes. In één reeks experimenten, bekend als de Wilson-taak, werden deelnemers geconfronteerd met een eenvoudig spel met twee opties. De onderzoekers controleerden het spel zorgvuldig zodat de kennis van de deelnemers over de opties aan het begin van een beslissing identiek was, maar het aantal toekomstige beurten dat zij moesten spelen varieerde. In sommige gevallen wisten deelnemers dat ze nog slechts één beurt over hadden; in andere gevallen wisten ze dat ze nog zes beurten over hadden. Als mensen simpelweg probeerden de beste optie te vinden, zou hun gedrag in beide gevallen hetzelfde moeten zijn omdat hun kennis hetzelfde is. Echter, de gegevens toonden een duidelijk verschil: wanneer deelnemers wisten dat ze nog meer beurten over hadden, waren ze aanzienlijk eerder geneigd de optie te kiezen die niet de beste was. Dit resultaat was zo sterk dat het niet verklaard kon worden door standaardtheorieën over hoe mensen leren, of door het idee dat ze simpelweg voorzichtiger of nieuwsgieriger waren. Het enige model dat dit specifieke patroon kon reproduceren, was het model gebaseerd op de "toekomstige pad"-simulatie, waarbij de besluitvormer zijn toekomstige keuzes voorstelt zonder te anticiperen op het feit dat hij iets nieuws zal leren.

De studie ging verder om dit gedrag te onderscheiden van andere vormen van exploratie. Soms kiezen mensen doelbewust een slechtere optie om meer informatie te verzamelen over de best mogende keuze; dit wordt gerichte exploratie genoemd. Om te zien of de hardnekkige keuzes in de studie een vorm van slimme exploratie waren of simpelweg het vastzitten, keek de onderzoeker naar een tweede, complexer spel gespeeld op een rooster met vele mogelijke locaties. In dit spel was de werkelijke beste locatie bekend bij de onderzoekers. De analyse onthulde dat wanneer mensen in de situaties met een lange horizon niet-optimale keuzes maakten, ze overwegend bewogen naar locaties die daadwerkelijk slechter waren, en niet naar de beste locatie. Ze waren niet aan het exploreren om het optimum te vinden; ze waren er vanaf te drijven. Dit bevestigde dat het gedrag inderdaad "entrenchment" was, een zelfversterkende lus waarbij een persoon vast komt te zitten op een suboptimale keuze omdat de mentale simulatie van de toekomst die keuze aantrekkelijker doet lijken dan hij in werkelijkheid is.

Het onderzoek onderzocht ook hoe de omvang van de keuzeset dit gedrag beïnvloedt. In het rooster-spel moesten deelnemers kiezen tussen 30 of 121 verschillende locaties. Het model voorspelde dat het hebben van meer opties de onzekerheid in de mentale simulatie van de toekomst zou vergroten, waardoor het nog waarschijnlijker werd dat mensen vast zouden komen te zitten op een slechte keuze. De gegevens ondersteunden dit: naarmate het aantal beschikbare opties toenam, steeg ook de mate waarin mensen vasthielden aan een niet-optimale keuze. Bovendien vond de studie dat wanneer het verschil in waarde tussen de beste optie en de op één na beste optie zeer duidelijk was, mensen minder snel vast kwamen te zitten. Maar wanneer de kloof klein was, of wanneer de toekomst ver weg leek, werd de neiging om te volharden met een middelmatige keuze sterker.

Deze bevindingen schetsen een beeld van menselijke besluitvorming die minder gaat over kille berekening en meer over de beperkingen van onze verbeelding. De studie suggereert dat onze hersenen niet altijd vooruitkijken om de toekomst te optimaliseren; soms kijken ze vooruit en zien ze een mist van mogelijkheden die het huidige, vertrouwde pad veiliger doet lijken, zelfs wanneer dat nergens toe leidt. Door onszelf in de toekomst te simuleren alsof we nooit van mening zullen veranderen, creëren we onbedoeld een barrière voor het leren. Het onderzoek beweert niet dat dit een fout is in de menselijke intelligentie, maar eerder een structureel kenmerk van hoe wij tijd en onzekerheid verwerken. Het laat zien dat het mechanisme dat we gebruiken om ons leven te plannen — ons voorstellen wat we hierna gaan doen — soms juist hetgeen kan zijn dat ons verhindert het beste pad vooruit te vinden. De resultaten waren robuust over duizenden proeven en bleven standhouden, zelfs toen de onderzoekers andere verklaringen, zoals eenvoudige fouten of een algemene voorkeur voor variatie, uitsloten.

Uiteindelijk biedt het artikel een wiskundig kader dat dit specifieke type vastzitten vangt. Het laat zien dat de waarschijnlijkheid van het maken van een niet-optimale keuze toeneemt naarmate de resterende tijd groter wordt en naarmate het aantal opties uitbreidt. Dit is het tegenovergestelde van wat traditionele theorieën over rationeel leren voorspellen, die suggereren dat het hebben van meer tijd mensen juist helpt om de beste oplossing te vinden. De studie bevestigt dat voor menselijke leerlingen het hebben van meer tijd ons er eigenlijk eerder toe kan brengen om genoegen te nemen met minder. Het onderzoek laat de vraag open hoe de hersenen precies deze toekomstige onzekerheid berekenen, maar het stelt onomstotelijk vast dat de manier waarop we onze toekomstige keuzes voorstellen een krachtige drijfveer is van ons huidige gedrag, in staat om ons vast te leggen in patronen die niet in ons belang zijn.

Technische Samenvatting: Verankering in Menselijke Exploratie

Probleemstelling
Menselijke leerlingen in exploratie-exploitatie-taken vertonen vaak "verankering" (entrenchment): een patroon waarbij zij de exploratie eerder beëindigen dan de waarde van de informatie rechtvaardigt en volhouden met een niet-optimale optie. Hoewel de bestaande literatuur deze vroege convergentie identificeert (bijv. Daw et al., 2006; Wilson et al., 2014), is er een tekort aan computationeel-cognitieve verklaringen die dit mechanisme formeel kunnen modelleren. Standaard algoritmen voor beloningszoeken (bijv. GP-UCB, Thompson sampling) voorspellen dat langere beslissingshorizonten de waarschijnlijkheid vergroten om de optimale optie te kiezen. Daarentend worstelen economische kosteringsgebaseerde kaders met empirische identificatie en tractabiliteit in continue omgevingen. Dit artikel beoogt verankering te formaliseren als een specifiek cognitief mechanisme dat niet-greedy keuzes genereert, met name naarmate de beslissingshorizon langer wordt, waarmee het onderscheid wordt gemaakt van gerichte onzekerheidsverkenning.

Methodologie en Theoretisch Kader
Het artikel stelt een cognitief model voor waarbij een beslisser (decision-maker, DM) een huidige optie evalueert door hun eigen toekomstige keuzes te simuleren onder overtuigingen die vaststaan op het moment van evaluatie. Deze "toekomstige padverdeling" ( $q$ ) vertegenwoordigt de projectie van de DM van daaropvolgende keuzes.

Modelopzet: De omgeving wordt gemodelleerd als een Gaussian Process (GP) bandit-probleem, waarbij de latente beloningsfunctie $f$ wordt geleerd via GP-regressie. De DM observeert ruisende beloningen $r_t = f(x_t) + \epsilon_t$ .
Simulatie van het Toekomstige Pad: Op tijdstip $t$ neemt de DM een toekomstig keuzepad aan waarbij de huidige actie vaststaat, en daaropvolgende acties $X_{t+1}, \dots, X_T$ onafhankelijk en identiek verdeeld (i.i.d.) worden getrokken uit een distributie $q$ over de optieset $D$ . Cruciaal is dat de DM niet anticipeert dat hun toekomstige zelf de overtuigingen zal bijwerken op basis van nieuwe informatie (een structuur van geanticipeerde nut met vaste overtuigingen).
Keuzestatistiek: Door de GP-posterior te combineren met het gesimuleerde toekomstige pad, leidt de auteur een gesloten vorm van een keuzestatistiek af, $\hat{\kappa}_q$ $\overset{κ}{^}_{q}$ , die de waarschijnlijkheid bepaalt van het kiezen van de posterior-beste optie versus een niet-greedy optie:
$\hat{\kappa}_q = \frac{\Delta\mu_{t-1}}{\sqrt{\Delta V_{t-1} + 2(S-1)V_q + 2S\rho^2}}$
Waarbij:
- $\Delta\mu_{t-1}$ het posterior gemiddelde voordeel van de beste optie is.
- $\Delta V_{t-1}$ de posterior variantie van het gemiddelde gat is.
- $S = \sum_{i=0}^{A-1} \gamma^{2i}$ een horizon-afhankelijke schaalfactor is ( $A$ is de resterende horizon, $\gamma$ is de kortingsfactor).
- $V_q$ de variantie van het gesimuleerde toekomstige pad onder de GP-posterior is.
- $\rho^2$ de observatieruis is.
  De waarschijnlijkheid van het kiezen van de niet-greedy optie is $1 - \Phi(\hat{\kappa}_q)$ .

Belangrijkste Bijdragen

Formalisering van Verankering: Het artikel definieert verankering als een tweefasige gebeurtenis: (a) het kiezen van een niet-posterior-greedy optie, en (b) het handhaven van die rangorde na het observeren van beloningen door GP-shrinkage (lock-in). Het model biedt een gesloten uitdrukking voor de waarschijnlijkheid van fase (a) zonder een zoekkostenfunctie te schatten.
Nieuwe Comparatieve Statieken: De afgeleide statistiek levert voorspellingen op die de tekens van beloningsmaximaliserende algoritmen tegenspreken. Specifiek voorspelt het model dat een langere resterende horizon ( $A$ ) of een meer gespreide toekomstige pad ( $V_q$ ) de waarschijnlijkheid van een niet-greedy keuze vergroot. Dit komt omdat de variantieterm in de noemer van $\hat{\kappa}_q$ schaalt met de horizon, waardoor de signaal-ruisverhouding van het greedy voordeel afneemt.
Onderscheid van Gerichte Exploratie: In tegen tegenstelling tot onzekerheidsgerichte exploratie (die streeft naar het verminderen van onzekerheid over het globale optimum), voorspelt dit model dat niet-greedy keuzes bewegen naar werkelijk inferieure opties, gedreven door de variantie van het gesimuleerde toekomstige pad in plaats van een strategische zoektocht naar het optimum.

Empirische Resultaten
De auteur test het model tegen twee publiekelijk beschikbare datasets: de Wilson Horizon Task (twee-armige bandit met binnen-onderwerp horizon-manipulatie) en de Wu GP Bandit task (ruimtelijk gecorreleerde bandits op 1D en 2D grids).

Horizon-effect (Voorspelling P1): In de Wilson-taak, waar de posterior per ontwerp gelijk is over de condities, neemt de snelheid van niet-greedy keuzes significant toe wanneer de horizon wordt uitgebreid van $H=1$ naar $H=6$ (van 15,4% naar 26,3%). Maximum-likelihood vergelijkingen laten zien dat horizon-vrije regels (Softmax, Thompson Sampling, GP-UCB) dit effect niet kunnen reproduceren bij enige parameterwaarde, terwijl de toekomstige-pad-regel dat wel kan.
Posterior Gap Effect (Voorspelling P3): In beide datasets, naarmate de posterior gemiddelde gap ( $\Delta\mu$ ) tussen de beste en de op één na beste optie toeneemt, neemt de waarschijnlijkheid van niet-greedy keuzes af, wat consistent is met het model.
Keuzeset Grootte (Voorspelling P2): Het model voorspelt dat grotere keuzesets verankering verhogen via $V_q$ . Hoewel dit beschrijvend standhoudt over de datasets (het vergelijken van $|D|=2$ met $|D|=30/121$ ), is dit niet geïdentificeerd als een gecontroleerd binnen-taak effect vanwege collineariteit met de taakidentiteit.
Aard van Niet-Greedy Keuzes: Analyse van de Wu-taak onthult dat niet-greedy keuzes voornamelijk bewegen naar opties met strikt lagere ware waarden (regret-verhogend), in plaats van naar het globale optimum. Dit onderscheidt verankering van gerichte exploratie.

Betekenis en Claims
Het artikel beweert een mechanisme te bieden dat verankering genereert als een aanpasbaar, gesloten model, waarmee het wordt gescheiden van beloningszoekende exploratie en kosten-gebaseerde stopregels. De primaire empirische bijdrage is de demonstratie dat menselijk keuzegedrag een horizon-afhankelijke toename in niet-greedy selectie vertoont die structureel onmogelijk is voor standaard horizon-vrije algoritmen om te repliceren.

De auteur merkt bescheiden op dat de empirische validatie "sign-consistentie" vaststelt in plaats van volledige structurele identificatie van parameters zoals de kortingsfactor $\gamma$ of de specifieke vorm van $q$ . Het model slaagt erin om horizon-vrije verklaringen en eenvoudige keuzeruis te elimineren, maar een volledige scheiding van horizon-afhankelijke gerichte exploratie vereist verdere binnen-onderwerp ontwerpen. Het artikel concludeert dat de "toekomstige padverdeling" dient als een gereduceerde-vorm primitief die het cognitieve mechanisme van vroege convergentie en lock-in in menselijke exploratie vastlegt.

Meer zoals dit