Dynamic distortion of inferred reward probability shapes choice over time

Die Studie zeigt, dass menschliche Entscheidungen in zeitbasierten Aufgaben durch eine dynamische Verzerrung der geschätzten Belohnungswahrscheinlichkeit und eine belohnungsabhängige zeitliche Präzision geprägt sind, wobei die zeitliche Unsicherheit nicht dem Weber-Gesetz folgt.

Das Wesentliche

Stellen Sie sich vor, Sie stehen an einer Kreuzung, an der sich die Ampel nicht nach einer festen Zeit, sondern nach einem geheimen, sich ständig ändernden Plan verhält.

Das ist im Grunde das Rätsel, das Matthias Grabenhorst und Laurence Maloney in ihrer Studie lösen wollten. Sie haben untersucht, wie unser Gehirn Entscheidungen trifft, wenn die Belohnung davon abhängt, wann wir handeln, und wir dabei nicht genau wissen, wie viel Zeit vergangen ist.

Hier ist die Erklärung der Studie, übersetzt in eine einfache Geschichte mit ein paar kreativen Vergleichen:

1. Das Spiel: Die unsichtbare Ampel

Stellen Sie sich ein Spiel vor:

• Eine Warnung (ein Licht) geht an.
• Dann passiert eine Weile nichts.
• Dann kommt ein Signal (die "Go"-Ampel), und Sie müssen sofort entscheiden: Drücken Sie den linken oder den rechten Knopf?

Das Tückische: Die Wahrscheinlichkeit, dass Sie einen Punkt (eine Belohnung) bekommen, ändert sich ständig, je nachdem, wie lange Sie gewartet haben.

• Frühes Drücken: Der linke Knopf ist super, der rechte bringt nichts.
• Spätes Drücken: Der rechte Knopf ist super, der linke bringt nichts.
• Genau in der Mitte: Beide sind gleich gut.

Das Problem für Ihr Gehirn: Es gibt keine Uhr, die tickt. Sie müssen das verstrichene Zeitgefühl innen schätzen. Und diese Schätzung ist nie 100 % genau.

2. Die zwei großen Entdeckungen

Die Forscher haben herausgefunden, dass unser Gehirn zwei besondere Tricks anwendet, um in diesem chaotischen Spiel gut zu bestehen:

Trick Nr. 1: Der "Verzerrte Kompass" (Die Wahrscheinlichkeits-Transformation)

Wenn Sie die Wahrscheinlichkeit für eine Belohnung berechnen, macht Ihr Gehirn keine exakte Kopie. Es verzerrt die Zahlen absichtlich.

• Die Analogie: Stellen Sie sich vor, Sie schauen durch eine spezielle Brille. Wenn die Chancen auf einen Gewinn sehr niedrig sind (z. B. 10 %), sieht Ihre Brille sie etwas größer (vielleicht 20 %). Wenn die Chancen sehr hoch sind (z. B. 90 %), sieht die Brille sie etwas kleiner (vielleicht 80 %).
• Warum? Wenn Sie die Chancen genau so nehmen, wie sie sind, zögern Sie in der Mitte zu lange. Durch diese "Verzerrung" werden Sie aber entschlossener. Sie drücken den Knopf, bei dem Sie sich sicherer fühlen, statt zu schwanken. Es ist wie ein Korrekturmechanismus, der uns hilft, schneller zu entscheiden, auch wenn wir nicht zu 100 % sicher sind.

Trick Nr. 2: Der "Aufmerksamkeits-Fokus" (Die Zeit-Ungenauigkeit)

Das ist vielleicht die überraschendste Erkenntnis. Klassische Theorien sagen: "Je länger man wartet, desto ungenauer wird das Zeitgefühl" (wie ein Uhrwerk, das mit der Zeit immer mehr nachgeht).

Die Studie zeigt aber etwas anderes: Unsere Zeit-Ungenauigkeit hängt davon ab, wie wichtig der Moment ist.

• Die Analogie: Stellen Sie sich vor, Sie laufen durch einen dunklen Wald.
  • Wenn Sie wissen, dass in einer bestimmten Gegend ein Schatz liegt (hohe Belohnungswahrscheinlichkeit), leuchtet Ihre Taschenlampe dort sehr hell und scharf. Sie sehen jede Wurzel und jeden Stein genau. Ihre Zeitwahrnehmung ist hier extrem präzise.
  • Wenn Sie wissen, dass in einer anderen Gegend nur Müll liegt (niedrige Belohnung), wird die Taschenlampe dunkel und verschwommen. Es ist Ihnen egal, ob Sie dort eine Sekunde zu früh oder zu spät sind.
• Das Fazit: Unser Gehirn investiert seine "Zeit-Energie" nur dort, wo es sich lohnt. Es ist nicht die Dauer der Zeit, die uns ungenau macht, sondern die Belohnung, die wir erwarten.

3. Warum ist das wichtig?

Bisher dachten viele Wissenschaftler, dass wir wie Roboter funktionieren: Wir zählen Sekunden und addieren Belohnungen. Diese Studie zeigt, dass wir viel intelligenter und flexibler sind.

Unser Gehirn kombiniert zwei Dinge:

1. Es verzerrt die Wahrscheinlichkeiten, um entschlossener zu handeln.
2. Es fokussiert seine Zeitmessung genau dort, wo die Belohnung am höchsten ist.

Es ist, als würde unser Gehirn sagen: "Ich weiß nicht genau, wie viel Zeit vergangen ist, aber ich weiß, dass es jetzt gerade wichtig ist. Also werde ich hier besonders genau hinsehen und eine klare Entscheidung treffen, auch wenn ich nicht perfekt bin."

Zusammenfassung in einem Satz

Unser Gehirn ist kein starrer Taktgeber, sondern ein cleverer Manager, der seine Zeit-Wahrnehmung genau dort schärft, wo die Belohnung winkt, und dabei die Wahrscheinlichkeiten so verzerrt, dass wir mutig und schnell entscheiden, statt zu zögern.

Technische Zusammenfassung

Titel: Dynamische Verzerrung der inferierten Belohnungswahrscheinlichkeit formt die Wahl über die Zeit

1. Problemstellung und Hintergrund

Viele Entscheidungen werden durch diskrete Ereignisse ausgelöst, deren Timing bestimmt, welche Optionen belohnt werden. In solchen Szenarien fehlt oft sensorische Information zwischen den Ereignissen. Das Verhalten muss daher auf internen Schätzungen latenter Variablen basieren: der verstrichenen Zeit und der zeitabhängigen Belohnungswahrscheinlichkeit.

Bisherige rechnerische Rahmenwerke (z. B. Modelle der Evidence-Akkumulation oder Reinforcement Learning) sind für diesen Regime nicht optimal ausgelegt, da sie entweder sensorische Evidence-Akkumulation annehmen oder die Unsicherheit in der Zeitwahrnehmung nicht explizit mit der Unsicherheit in der Belohnungsschätzung koppeln.
Die zentrale offene Frage ist, wie Agenten Unsicherheiten über die verstrichene Zeit mit Unsicherheiten über die Belohnung kombinieren, wenn die Belohnungswahrscheinlichkeit selbst zeitlich variiert. Zwei konkurrierende Hypothesen stehen sich gegenüber:

1. Weber'sches Gesetz (Zeit-basierte Unsicherheit): Die Unsicherheit in der Zeitwahrnehmung skaliert linear mit der verstrichenen Dauer (temporales „Verschmieren").
2. Probabilistisches Verschmieren (Belohnungsbasierte Unsicherheit): Die Unsicherheit wird durch die erwartete Belohnung moduliert; Zeitpunkte mit hoher Belohnungswahrscheinlichkeit werden präziser repräsentiert als solche mit niedriger Wahrscheinlichkeit.

2. Methodik

Experimentelles Design:

• Aufgabe: Ein „Set-Go"-Paradigma. Ein Warnsignal (Set) wird von einem Zielsignal (Go) gefolgt. Der Zeitabstand (Go-Time) wurde aus einer gleichmäßigen Verteilung im Bereich von 0,4 bis 1,4 Sekunden gezogen.
• Belohnungsstruktur: Nach dem Go-Signal mussten die Teilnehmer zwischen zwei Aktionen (Links vs. Rechts) wählen. Die Belohnungswahrscheinlichkeit für jede Aktion änderte sich dynamisch über die Zeit:
  • Die Wahrscheinlichkeit für „Links" nahm mit der Zeit ab.
  • Die Wahrscheinlichkeit für „Rechts" nahm mit der Zeit zu.
  • Die Summe der Wahrscheinlichkeiten betrug zu jedem Zeitpunkt 1.
  • Es gab einen „Crossover-Punkt", an dem beide Optionen gleich wahrscheinlich belohnt wurden.
• Bedingungen: Vier verschiedene Bedingungen mit unterschiedlichen Steigungen und Crossover-Punkten der Belohnungskurven wurden getestet.
• Teilnehmer: 12 gesunde Erwachsene, insgesamt 31.931 analysierte Versuche.

Modellierung:
Die Autoren entwickelten ein Modell, das die Wahl als Inferenzproblem unter doppelter Unsicherheit (Zeit und Belohnung) formalisiert.

1. DLLO-Modell (Dynamic Log-Odds Linear Operator): Um zu beschreiben, wie objektive Belohnungswahrscheinlichkeiten $p(t)$ in subjektive Wahlwahrscheinlichkeiten $\pi(p(t))$ transformiert werden, wurde eine lineare Transformation im Log-Odds-Raum verwendet:
   $$DLLO(\pi(p(t))) = \gamma \cdot Lo(p(t)) + (1-\gamma) \cdot Lo(p_0)$$
   Dabei ist $Lo(x) = \log(x/(1-x))$ die Log-Odds-Transformation, $\gamma$ ein Steigungsparameter und $p_0$ ein Fixpunkt.
   • $\gamma = 1$: Exakte 1-zu-1-Abbildung (Mimicking).
   • $\gamma \to \infty$: Optimale Schritt-Funktion (immer die beste Option wählen).
   • $1 < \gamma < \infty$: Sigmoidale Verzerrung.
2. Vergleich von Unsicherheitsmodellen: Das DLLO-Modell wurde mit drei Varianten der Unsicherheitsmodellierung kombiniert:
   • Nicht-verschmiert (keine Unsicherheit).
   • Zeitlich verschmiert (Weber-Gesetz: $\sigma \propto t$).
   • Probabilistisch verschmiert (Unsicherheit $\sigma$ ist invers zur Belohnungswahrscheinlichkeit).

3. Wichtige Ergebnisse

A. Systematische Verzerrung der Belohnungswahrscheinlichkeit (DLLO):

• Das Verhalten der Teilnehmer näherte sich der optimalen Strategie an, folgte ihr aber nicht exakt.
• Die Wahlwahrscheinlichkeiten zeigten eine sigmoidale Verzerrung der objektiven Belohnungswahrscheinlichkeiten.
• Das DLLO-Modell passte die Daten hervorragend an (adjustiertes $R^2 > 0,99$).
• Der Steigungsparameter $\gamma$ lag konsistent im Bereich von 1,71 bis 2,20. Dies bedeutet, dass die Teilnehmer kleine Belohnungswahrscheinlichkeiten überschätzten und große unterschätzten, was die Wahl in Richtung der optimalen Schritt-Funktion drückte, ohne diese vollständig zu erreichen.
• Ökonomische Implikation: Die Beziehung zwischen $\gamma$ und dem erwarteten Belohnungswert ist nichtlinear. Kleine Erhöhungen von $\gamma$ (von 1 auf ~2) führen zu großen Gewinnsteigerungen, während weitere Erhöhungen abnehmende Grenzerträge zeigen. Das Verhalten der Teilnehmer befand sich in einem „High-Yield"-Bereich des Parameterraums.

B. Belohnungskontingente Zeitunsicherheit:

• Der Vergleich der Unsicherheitsmodelle zeigte, dass das probabilistisch verschmierte Modell die Daten deutlich besser erklärte als das zeitbasierte Weber-Modell.
• Die zeitliche Präzision war nicht von der verstrichenen Dauer abhängig, sondern von der erwarteten Belohnung: Zeitpunkte mit hoher Belohnungswahrscheinlichkeit wurden mit geringerer Unsicherheit (höherer Präzision) repräsentiert.
• Dies widerspricht der klassischen Weber'schen Annahme, dass Zeitunsicherheit linear mit der Dauer skaliert.

C. Crossover-Verschiebungen ($p_0$):

• Der Parameter $p_0$ (der Punkt, an dem die Wahl indifferent ist) variierte leicht zwischen den Bedingungen, hatte aber einen geringen Einfluss auf den Gesamtertrag im Vergleich zu $\gamma$. Die Verschiebungen deuten auf latente Inferenzverzerrungen hin, die jedoch aufgrund der flachen Gewinnkurve nahe dem Crossover-Punkt kostengünstig sind.

4. Bedeutung und Schlussfolgerungen

Die Studie identifiziert zwei interagierende rechnerische Prinzipien, die das Verhalten bei zeitabhängigen Entscheidungen mit latenten Variablen bestimmen:

1. Dynamische Abbildung: Inferierte Belohnungswahrscheinlichkeiten werden systematisch durch eine lineare Transformation im Log-Odds-Raum verzerrt, bevor sie in eine Handlung umgesetzt werden. Dies ist eine Erweiterung von Prospect-Theorie-Konzepten auf dynamische, zeitbasierte Inferenz.
2. Belohnungsbasierte zeitliche Präzision: Die Unsicherheit in der Zeitwahrnehmung wird nicht durch die reine Zeitdauer, sondern durch die Relevanz der Belohnung moduliert. Das Gehirn allociert zeitliche Präzision dort, wo sie für die Belohnungsmaximierung am wichtigsten ist.

Fazit:
Die Autoren schlagen einen einheitlichen Rahmen vor, der Intervall-Timing, Belohnungsschätzung und Wahrscheinlichkeitstransformation verbindet. Das Verhalten wird als optimale Inferenz unter dualer Unsicherheit interpretiert, bei der das System einen Kompromiss zwischen der Kosten der Informationsverarbeitung und dem erwarteten Nutzen eingeht. Die Ergebnisse deuten darauf hin, dass neuronale Mechanismen der Zeitwahrnehmung eng mit dem Belohnungssystem verknüpft sind, um die zeitliche Auflösung situationsabhängig zu optimieren.