Dynamic distortion of inferred reward probability shapes choice over time

Deze studie toont aan dat keuzes in tijd-afhankelijke situaties worden gevormd door twee interactieve principes: een dynamische, systematisch vervormde mapping van geschatte beloningskansen naar keuze, en een door beloningskansen gemoduleerde temporele precisie die afwijkt van de Weber-wet.

De kern

Titel: Waarom we soms te vroeg of te laat reageren: Een reis door tijd en beloning

Stel je voor dat je in een donkere kamer staat. Iemand zegt: "Wacht tot je een geluid hoort, en dan moet je snel kiezen: links of rechts duwen." Maar er is een geheim: wanneer dat geluid klinkt, bepaalt of je links of rechts een prijs wint.

• Als het geluid snel klinkt, win je met links.
• Als het geluid laat klinkt, win je met rechts.
• Ergens in het midden is het 50/50.

Deze studie van Matthias Grabenhorst en Laurence Maloney kijkt naar hoe ons brein dit raadsel oplost. Het is een beetje alsof je probeert een danspas te leren waarbij de muziek steeds van tempo verandert, maar je mag niet naar de muziek luisteren, je moet alleen op je eigen gevoel van tijd vertrouwen.

Hier zijn de twee grote ontdekkingen, vertaald naar alledaagse taal:

1. Ons brein is geen perfecte rekenmachine (maar wel slim)

Als je een robot zou zijn, zou je precies weten: "Op seconde 0,8 is de kans 60% dat links wint, dus ik kies 60% van de tijd voor links." Dit heet "nabootsen" (mimicking).

Maar mensen doen dat niet. Ons brein doet iets interessants: het vervormt de kansen.

• Als de kans op winst laag is (bijvoorbeeld 20%), denken we dat het nog lager is dan het is.
• Als de kans op winst hoog is (bijvoorbeeld 80%), denken we dat het nog hoger is.

De analogie: Stel je voor dat je door een gekleurd glas kijkt. Als de zon schijnt (hoge kans op winst), ziet het er nog felder uit. Als het bewolkt is (lage kans), ziet het er nog donkerder uit.
Dit klinkt misschien als een fout, maar het is eigenlijk een slimme truc. Door de kansen extremer te maken, nemen we sneller en duidelijker beslissingen. Het is alsof je de knoppen van je radio harder draait: het geluid is niet natuurgetrouw, maar je hoort de muziek veel beter. De onderzoekers noemen dit een "lineaire transformatie in log-odds ruimte" (een moeilijke wiskundige term), maar simpel gezegd: we maken de kansen "scherper" om sneller te kiezen.

2. Tijd voelt anders afhankelijk van wat er te winnen valt

In de oude theorieën over tijd (de "Weber-wet") dachten we dat tijd als een meetlat werkt: hoe langer je wacht, hoe onnauwkeuriger je gevoel voor tijd wordt. Alsof je horloge langzaam begint te haperen naarmate de minuten voorbijgaan.

Deze studie toont aan dat dit niet zo werkt. In plaats van dat tijd zelf de onnauwkeurigheid bepaalt, is het de beloning die de tijd meet.

De analogie:

• Situatie A (Saai): Je staat in een wachtrij waar je niets wint. Je kijkt naar je horloge en denkt: "Hoe lang is het al?" Je gevoel voor tijd is wazig, alsof je door een wazig raam kijkt.
• Situatie B (Belangrijk): Je staat in dezelfde wachtrij, maar op dat specifieke moment kun je een grote prijs winnen. Plotseling wordt je gevoel voor tijd scherp. Je voelt elke seconde alsof je een scherp mes in je hand hebt.

Het brein focust zijn energie op de momenten die belangrijk zijn voor de beloning. Als de kans op winst groot is, is je tijdsgevoel super-nauwkeurig. Als de kans klein is, is je tijdsgevoel wazig. Het is alsof je brein een zoomlens heeft die automatisch inzoomt op de momenten waar het geld te verdienen valt.

Wat betekent dit voor ons allemaal?

Deze studie laat zien dat we niet alleen "tijd" en "geld" apart berekenen. Ons brein koopt deze twee dingen samen in één pakketje.

1. We zijn niet perfect, maar we zijn efficiënt: We maken geen 1-op-1 kopieën van de kansen, maar we "scherpen" ze aan om sneller te kunnen beslissen.
2. Ons tijdsgevoel is flexibel: We zijn niet slordig met tijd omdat het lang duurt; we zijn slordig omdat het op dat moment niet belangrijk genoeg is. Als er iets belangrijks op het spel staat, wordt ons tijdsgevoel plotseling superscherp.

Kortom: Ons brein is geen saaie klok die altijd even hard tikt. Het is een slimme manager die zijn tijd en aandacht toewijst aan de momenten waar het echt toe doet. En dat is precies waarom we soms te enthousiast of te voorzichtig reageren: we proberen de beste deal te sluiten in een wereld waar tijd en beloning voortdurend veranderen.

Technische samenvatting

Probleemstelling

Veel beslissingen worden geactiveerd door discrete gebeurtenissen waarbij de timing bepaalt welke opties worden beloond. In deze context ontbreekt vaak informatieve zintuiglijke informatie tussen gebeurtenissen, waardoor gedrag moet vertrouwen op interne schattingen van latente variabelen: voornamelijk de verstreken tijd en de kansen op beloning.

Bestaande computationele kaders (zoals evidence-accumulatiemodellen of standaard versterkingsleer) zijn niet ontworpen voor dit regime, waar de beloningskans een dynamische functie is van de tijd. De centrale vraag is hoe agenten onzekerheid over de verstreken tijd combineren met onzekerheid over de beloning, wanneer de beloningskans zelf verandert over de tijd. Er zijn twee concurrerende hypotheses over de aard van deze onzekerheid:

1. Weber's Wet (Temporele Blurring): Onzekerheid in tijdschatting neemt lineair toe met de verstreken duur, onafhankelijk van de beloningskans.
2. Probabilistische Blurring: Onzekerheid wordt gemoduleerd door de verwachte beloning; tijdstippen met een hoge beloningskans worden preciezer vertegenwoordigd dan tijdstippen met een lage kans.

Daarnaast is het onbekend hoe dynamisch afgeleide beloningskansen (in plaats van expliciete kansen) worden vertaald naar keuzes en of er sprake is van systematische distorties in deze vertaling.

Methodologie

Experimenteel Ontwerp:

• Taak: Een "Set-Go" taak waarbij deelnemers een waarschuwingssignaal (Set) kregen, gevolgd door een doelsignaal (Go) na een willekeurige interval (Go-time) getrokken uit een uniforme verdeling (0,4s tot 1,4s).
• Beloningsstructuur: Bij het Go-signaal moesten deelnemers kiezen tussen links of rechts. De kans op beloning voor links nam af naarmate de tijd vorderde, terwijl de kans voor rechts toenam. Er waren vier experimentele condities met verschillende krommen en kruispunten (waar $P(R|links) = P(R|rechts) = 0,5$).
• Deelnemers: 12 gezonde volwassenen voerden de taak uit over twee dagen, resulterend in 31.931 geanalyseerde trials.

Computationele Modellen:
De auteurs formaliseerden de keuze als een inferentieprobleem onder dubbele onzekerheid (tijd en beloning). Ze vergeleken drie modelvarianten om de keuze waarschijnlijkheid te voorspellen:

1. Niet-verduisterd DLLO: Directe toepassing van een lineaire transformatie in log-odds ruimte op de objectieve beloningskansen.
2. Temporeel verduisterd DLLO: Beloningskansen worden "vervagen" met een Gaussische kern waarvan de standaardafwijking ($\sigma$) lineair toeneemt met de tijd ($\sigma = \varphi \cdot t$), conform Weber's wet.
3. Probabilistisch verduisterd DLLO: Beloningskansen worden verduisterd met een kern waarvan de variantie omgekeerd evenredig is met de beloningskans (hoge kans = hoge precisie).

DLLO-Model (Dynamic Log-Odds Linear Operator):
De kern van de analyse is het DLLO-model, dat de relatie tussen objectieve beloningskans $p(t)$ en subjectieve keuzekans $\pi(p(t))$ beschrijft via een lineaire transformatie in log-odds ruimte:
$$DLLO(\pi(p(t))) = \gamma \cdot Lo(p(t)) + (1 - \gamma) \cdot Lo(p_0)$$
Waarbij:

• $Lo(x) = \log(\frac{x}{1-x})$ de log-odds transformatie is.
• $\gamma$ de hellingparameter is (schalingsfactor).
• $p_0$ het vaste punt is (waarbij de kans op zichzelf wordt afgebeeld).
• $\gamma = 1$ correspondeert met "mimicking" (1-op-1 mapping), en $\gamma \to \infty$ met een optimale stapfunctie (deterministische keuze).

Belangrijkste Resultaten

1. Systematische Distorsie van Beloningskansen:

   • De keuze van deelnemers benaderde de optimale strategie, maar volgde geen strikte stapfunctie en geen 1-op-1 mapping (mimicking).
   • De relatie tussen objectieve en subjectieve kansen was sigmoïdaal. Dit werd perfect vastgelegd door het DLLO-model met een hellingparameter $\gamma$ tussen 1,71 en 2,20.
   • Dit betekent dat deelnemers kleine kansen overgewaardeerden en grote kansen ondergewaardeerden, wat leidt tot een keuze die dichter bij de optimale stapfunctie ligt dan bij een simpele imitatie van de kansen, maar niet volledig deterministisch is.

2. Probabilistische Blurring vs. Weber's Wet:

   • Het model dat uitging van probabilistische blurring (waarbij tijdsprecisie wordt gemoduleerd door de verwachte beloning) paste de data significant beter dan het model gebaseerd op Weber's wet (temporele blurring).
   • Dit weerlegt de klassieke aanname dat tijdsonzekerheid puur een functie is van de verstreken duur. In plaats daarvan wordt tijdsprecisie toegewezen aan momenten met hoge verwachte beloning.

3. Optimaliteit en Parameter $\gamma$:

   • De gevonden waarden voor $\gamma$ (rond 1,8 - 2,2) bevinden zich in een "hoog-rendementsgebied". Een kleine toename van $\gamma$ vanaf 1 leidt tot een grote stijging in verwachte beloning, terwijl verdere toename (naar $\infty$) slechts marginale winst oplevert.
   • De parameter $p_0$ (het kruispunt) varieerde enigszins, maar had weinig invloed op de totale beloning, wat suggereert dat deze vooral reflecteert in latente inferentie-bias in plaats van strategische aanpassing.

Bijdragen

• Unificatie van Tijd en Beloning: Het artikel biedt een unificerend computationeel kader dat intervaltiming, beloningsschatting en waarschijnlijkheidsdistorsie combineert als een gezamenlijk inferentieproces over latente variabelen.
• Nieuw Mechanisme voor Tijdsprecisie: Het toont aan dat tijdsrepresentaties niet statisch zijn volgens Weber's wet, maar dynamisch worden afgestemd op de behoeften van beloningsmaximalisatie (reward-contingent temporal precision).
• Dynamische Log-Odds Transformatie: Het introduceert het DLLO-model als een robuust mechanisme om te verklaren hoe dynamisch afgeleide kansen (in tegenstelling tot statische, expliciete kansen) worden vertaald naar gedrag.

Significantie

De bevindingen hebben belangrijke implicaties voor de neurowetenschap en de theorie van besluitvorming:

• Neurobiologische Implicaties: De resultaten suggereren dat neurale systemen tijdsrepresentaties kunnen moduleren op basis van verwachte beloning, mogelijk via dopaminerge signalen (voorspellingsfouten), wat een mechanistische link legt tussen motivatie en tijdsperceptie.
• Algemene Toepasbaarheid: Het model verklaart gedrag in complexe, dynamische omgevingen waar beloningen niet statisch zijn, maar afhangen van timing. Dit is relevant voor sociale interacties, motorische vaardigheden en adaptief gedrag.
• Beperkingen van Bestaande Modellen: Het toont aan dat standaard versterkingsleermodellen en evidence-accumulatiemodellen tekortschieten in scenario's zonder continue zintuiglijke input, en dat een benadering via "dual uncertainty inference" noodzakelijk is.

Kortom, het paper identificeert twee interactieve principes die menselijk gedrag vormen wanneer tijd en beloning moeten worden afgeleid: een systematische, lineaire transformatie van afgeleide kansen in log-odds ruimte, en een beloningsafhankelijke modulatie van tijdsprecisie.