Stimulus prior and reward probability differentially affect response bias in perceptual decision making

Die Studie zeigt, dass bei Ratten in auditiven Diskriminierungsaufgaben die Lernrate für Belohnungsverhältnisse deutlich höher ist als für Stimuluswahrscheinlichkeiten, was darauf hindeutet, dass die Entscheidungsstrategie auf einer expliziten Repräsentation dieser Wahrscheinlichkeiten beruht, die von bestehenden Modellen nicht vollständig erfasst wird.

Das Wesentliche

Das große Rätsel: Wie treffen wir Entscheidungen?

Stell dir vor, du bist ein Detektiv. Du hörst ein Geräusch und musst entscheiden: Ist es ein Hund (Stimulus 1) oder eine Katze (Stimulus 2)?
In der Wissenschaft gibt es eine alte Theorie (die "Signal Detection Theory"), die sagt: Wir haben eine innere "Schwelle" oder einen "Richtwert".

• Wenn das Geräusch lauter als dieser Richtwert ist -> "Hund!"
• Wenn es leiser ist -> "Katze!"

Die Theorie ging früher davon aus, dass dieser Richtwert starr ist wie ein Betonblock. Aber die Forscher haben herausgefunden: Nein, unser Gehirn ist flexibler. Wir passen diesen Richtwert ständig an, je nachdem, was passiert.

Die große Frage dieser Studie: Was bringt uns dazu, unseren Richtwert schneller oder stärker zu verschieben?

1. Häufigkeit: Kommt der "Hund" öfter vor als die Katze? (Stimulus-Wahrscheinlichkeit)
2. Belohnung: Bekomme ich mehr Leckerlis, wenn ich "Hund" sage, oder wenn ich "Katze" sage? (Belohnungswahrscheinlichkeit)

Das Experiment: Ratten als Detektive

Die Forscher (Christina Koß und ihr Team) haben neun Ratten in ein Labor geschickt. Die Ratten mussten in einem kleinen Raum lauschen.

• Es gab zwei Töne (wie Hund und Katze).
• Wenn die Ratte den richtigen Ton errat und in das richtige Loch stocherte, gab es ein Wassertropfen als Belohnung.
• Die Forscher haben die Regeln des Spiels immer wieder geändert.

Die drei wichtigsten Entdeckungen

1. Belohnung ist mächtiger als Häufigkeit

Stell dir vor, du spielst ein Spiel.

• Szenario A: Der "Hund" kommt in 80 % der Fälle vor, aber du bekommst für beide Antworten gleich viel Belohnung.
• Szenario B: Der "Hund" kommt nur in 50 % vor, aber wenn du "Hund" sagst, bekommst du doppelt so viele Leckerlis wie für "Katze".

Das Ergebnis: Die Ratten passten ihr Verhalten viel schneller und extremer an, wenn sich die Belohnung änderte (Szenario B), als wenn sich nur die Häufigkeit änderte (Szenario A).

• Die Analogie: Stell dir vor, du bist ein Verkäufer.
  • Wenn du hörst, dass "Kunden mit roten Hüten" (Häufigkeit) öfter kommen, wirst du vielleicht vorsichtig einen roten Hut tragen.
  • Aber wenn du hörst, dass "Kunden mit roten Hüten" dir doppelt so viel Geld geben (Belohnung), wirst du sofort einen riesigen roten Hut aufsetzen und laut schreien!
  • Die Ratten lernten: "Geld (Wasser) zählt mehr als Statistik."

2. Das Gehirn lernt anders, wenn es um Geld geht

Die Forscher haben drei Computer-Modelle getestet, um zu verstehen, wie die Ratten im Kopf rechnen.

• Modell 1 & 2 (Die alten Klassiker): Diese Modelle sagten voraus, dass Häufigkeit und Belohnung den Richtwert gleich stark beeinflussen sollten. Das passte aber nicht zu den Ratten.
• Modell 3 (Lern-Modell): Dieses Modell hat gezeigt, dass die Ratten bei Belohnungsänderungen viel schneller lernen (wie ein Turbo-Modus). Bei reinen Häufigkeitsänderungen waren sie viel langsamer.
• Das Fazit: Die Ratten haben im Kopf nicht nur eine Liste mit "Was kommt wie oft vor?", sondern sie speichern aktiv: "Was bringt mir gerade den meisten Gewinn?" und passen sich daran extrem schnell an.

3. Die Menge der Belohnung ist egal

Die Forscher haben auch getestet: Was passiert, wenn die Belohnung insgesamt seltener wird? (Also weniger Wasser pro Stunde, aber immer noch fair verteilt).

• Die Vermutung: Vielleicht lernen die Ratten in einer "dünnen" Belohnungs-Welt schneller, weil sie verzweifelter sind?
• Das Ergebnis: Nein. Es machte keinen Unterschied, ob sie viel oder wenig Wasser bekamen. Solange das Verhältnis fair blieb, lernten sie gleich schnell.
• Die Analogie: Es ist egal, ob du in einem Restaurant mit 100 Gästen oder nur mit 5 Gästen arbeitest. Wenn du für jeden Gast den gleichen Trinkgeld-Anteil bekommst, arbeitest du gleich gut. Die absolute Menge der Gäste (Belohnungsdichte) ändert nichts an deiner Strategie.

Warum ist das wichtig?

Bisher dachten viele Wissenschaftler, unser Gehirn rechnet wie ein einfacher Computer: "Stimuliere A öfter -> passe dich an."
Diese Studie zeigt: Nein, unser Gehirn ist ein geschickter Investor.
Es ignoriert reine Statistiken oft zugunsten von direkten Gewinnen. Wenn wir uns in einer Situation befinden, in der wir uns anpassen müssen, zählt für uns das "Was bringt mir was?" viel mehr als das "Wie oft passiert das?".

Zusammengefasst in einem Satz:
Unsere Entscheidungsregeln sind nicht starr; wir verschieben sie viel schneller und drastischer, wenn es um Belohnungen geht, als wenn sich nur die Wahrscheinlichkeiten ändern – und das passiert unabhängig davon, wie viel Belohnung insgesamt im Spiel ist.

Die Forscher hoffen nun, dass zukünftige Modelle für künstliche Intelligenz oder Psychologie diesen "Investoren-Modus" im Gehirn besser einbauen, damit Computer und Menschen noch besser verstehen, wie wir Entscheidungen treffen.

Technische Zusammenfassung

Titel: Stimulus prior und Reward Probability beeinflussen die Antwortverzerrung (Response Bias) in der perceptuellen Entscheidungsfindung unterschiedlich

Autoren: Christina Koß, Jan Hendrik Blanke, Luis de la Cuesta-Ferrer, Frank Jäkel, Maik C. Stüttgen

---

1. Problemstellung und Hintergrund

Die Signalentdeckungstheorie (Signal Detection Theory, SDT) ist der Standardrahmen zur Analyse perceptueller Entscheidungen. Ein zentrales Axiom der SDT ist die Annahme, dass ein Beobachter eine statische Entscheidungsschwelle (Criterion, $c$) verwendet, um sensorische Evidenz in zwei Kategorien zu unterteilen.

• Das Problem: Obwohl die Grundannahmen der SDT gut belegt sind, zeigt sich in der Praxis, dass die Entscheidungsschwelle nicht statisch ist, sondern sich trial-by-trial (von Versuch zu Versuch) anpasst.
• Die offene Frage: Es ist unklar, wie genau diese Anpassung erfolgt und ob verschiedene experimentelle Manipulationen – nämlich ungleiche Stimulus-Präsentationswahrscheinlichkeiten (SPP/SPR) und ungleiche Belohnungswahrscheinlichkeiten (Reward Probability, RP/RR) – den Lernprozess der Schwelle auf identische Weise beeinflussen.
• Hypothese: Bisherige Modelle (wie das Matching Law oder einfache Reinforcement-Learning-Ansätze) gehen oft davon aus, dass SPR und RR äquivalente Effekte haben oder dass nur relative Belohnungsraten zählen. Diese Studie testet, ob dies zutrifft und ob die globale Belohnungsdichte (Reward Density) die Lernrate beeinflusst.

2. Methodik

Versuchspersonen und Aufgabe:

• Subjekte: 9 männliche Ratten.
• Aufgabe: Ein Zwei-Stimulus, Zwei-Wahl-Verhör (Auditory Discrimination Task). Die Ratten mussten zwischen zwei akustischen Stimuli (S1, S2) unterscheiden, die aus Tonchords bestanden.
• Reaktion: Ein rechter (R1) oder linker (R2) Nasenpuff. R1 war korrekt bei S1, R2 bei S2.
• Belohnung: Wasser als Belohnung bei korrekten Antworten.

Experimentelles Design (5 Experimente):

1. Exp. 1 (SPR variiert): Ungleiche Wahrscheinlichkeiten für S1 vs. S2 (z.B. 1:4), konstante Belohnungswahrscheinlichkeit (0.5).
2. Exp. 2 (RR variiert): Konstante Stimulus-Wahrscheinlichkeit (1:1), aber ungleiche Belohnungswahrscheinlichkeiten für die Antworten (z.B. 1:4).
3. Exp. 3 (Kombiniert & Gegeneinander): SPR und RR wurden so manipuliert, dass sie sich widersprachen (z.B. S1 häufiger, aber S2 höher belohnt). Dies testete, welcher Faktor dominiert.
4. Exp. 4 (Reward Density variiert): Symmetrische SPR und RR (1:1), aber die absolute Wahrscheinlichkeit einer Belohnung wurde variiert (0.25 bis 1.0), um den Effekt der globalen Belohnungsrate auf die Lerngeschwindigkeit zu testen.
5. Exp. 5 (Interaktion): Kombination aus asymmetrischem RR und variierter Reward Density.

Analyse und Modellierung:

• Verhaltensanalyse: Anpassung eines SDT-Modells mit einer Schwelle pro Session (OCPS), um die Antwortverzerrung (Bias) zu quantifizieren.
• DT-Gesetz: Anpassung des Davison-Tustin-Gesetzes (Matching Law) zur Überprüfung der stationären Zustände.
• Trial-by-Trial Modelle: Drei verschiedene Modelle wurden an die Daten angepasst und simuliert:
  1. Modifiziertes KDB-Modell: Basierend auf Kac, Dorfman & Biderman. Annahme einer statischen sensorischen Verteilung und einer Schwelle, die sich nach belohnten Trials um einen festen Schritt $\Delta$ verschiebt, mit einem "Leck"-Parameter $\gamma$ zur Stabilisierung.
  2. DT-Modell: Kombination von SDT und Matching Law. Die Schrittgröße der Schwelle hängt von der aktuellen Schwellenposition und der Sensitivität gegenüber Belohnung ($a$) ab.
  3. RL-Modell (Reinforcement Learning): Basierend auf Lak et al. (2020). Tiere speichern "Action Values" ($V$), die mit der sensorischen Evidenz multipliziert werden (Q-Werte). Die Werte werden basierend auf dem Reward Prediction Error aktualisiert.

3. Wichtige Beiträge und Ergebnisse

A. Differentialer Effekt von SPR vs. RR (Exp. 1, 2, 3)

• Ergebnis: Manipulationen der Belohnungswahrscheinlichkeit (RR) hatten einen deutlich stärkeren Effekt auf die Antwortverzerrung als Manipulationen der Stimulus-Wahrscheinlichkeit (SPR).
• Beobachtung: Bei gleichen Verhältnissen (z.B. 1:4) waren die stationären Entscheidungsschwellen in Exp. 2 (RR) extremer als in Exp. 1 (SPR).
• Modell-Ergebnis:
  • Die Lernraten (angepasstes $\Delta$ im KDB-Modell, $\Delta_{max}$ im DT-Modell, $\alpha$ im RL-Modell) waren in Exp. 2 um mehr als eine Größenordnung höher als in Exp. 1.
  • Im Exp. 3 (widersprüchliche SPR und RR) wichen die Tiere systematisch von der optimalen, neutralen Schwelle ab und orientierten sich stärker an der Belohnungswahrscheinlichkeit.
  • Versagen der Modelle: Kein einziges der drei getesteten Modelle konnte das Verhalten in Exp. 3 korrekt vorhersagen. Alle Modelle sagten eine neutrale Schwelle voraus (da $\pi_1 \rho_1 = \pi_2 \rho_2$), während die Tiere eine klare Verzerrung zeigten. Dies deutet darauf hin, dass die Modelle die Stimulus-Wahrscheinlichkeiten nicht explizit repräsentieren oder deren Einfluss unterschätzen.

B. Effekt der Reward Density (Exp. 4, 5)

• Ergebnis: Es gab keinen konsistenten Effekt der globalen Belohnungsdichte auf die Lernrate.
• Beobachtung: In Exp. 4 (nur Dichte variiert) zeigten sich keine systematischen Änderungen in der Schwelle oder der Anpassungsgeschwindigkeit.
• Modell-Ergebnis:
  • In Exp. 5 verbesserte die Einführung unterschiedlicher Lernraten für verschiedene Bedingungen die Modellanpassung (niedrigerer BIC-Wert), aber die gefitteten Lernraten zeigten keinen systematischen Zusammenhang mit der Reward Density (manchmal höher bei hoher Dichte, manchmal niedriger).
  • Dies widerlegt die Hypothese, dass niedrige Belohnungsumgebungen automatisch zu höheren Lernraten führen.

4. Signifikanz und Schlussfolgerungen

• Hauptkonklusion: Stimulus-Priors (SPR) und Belohnungswahrscheinlichkeiten (RR) beeinflussen das Kriteriumslernen nicht äquivalent. Tiere repräsentieren offenbar entweder Stimulus-Wahrscheinlichkeiten explizit oder ganze Stimulus-Verteilungen, was in aktuellen SDT-basierten Lernmodellen fehlt.
• Kritik an bestehenden Modellen:
  • Das KDB- und DT-Modell gehen von einer Gleichgewichtsposition aus, die nur vom Verhältnis $\pi_1 \rho_1 / \pi_2 \rho_2$ abhängt. Da dies in Exp. 3 konstant war, sagten sie keine Verzerrung voraus, was falsch war.
  • Das RL-Modell scheiterte daran, weil es von einem festen Stimulus-Prior ($\pi=0.5$) ausgeht und keine Mechanismen zur dynamischen Anpassung dieses Priors bei sich ändernden SPRs besitzt.
• Implikationen für die Zukunft:
  • Zukünftige Modelle müssen Stimulus-Priors explizit repräsentieren und Mechanismen enthalten, um diese Priors trial-by-trial zu aktualisieren (z.B. durch sensorische Vorhersagefehler).
  • Die Unterscheidung zwischen Belohnungswahrscheinlichkeit und Belohnungsgröße (Magnitude) sowie deren Interaktion mit SPR bleibt ein wichtiges Forschungsfeld, da menschliche Studien oft andere Ergebnisse zeigen (z.B. durch Manipulation der Magnitude statt der Wahrscheinlichkeit).
  • Die globale Belohnungsdichte scheint keinen direkten, systematischen Einfluss auf die Lerngeschwindigkeit in diesem perceptuellen Kontext zu haben, im Gegensatz zu Beobachtungen in anderen Verhaltenskontexten (z.B. bei Affen in "Win-Stay/Lose-Switch"-Szenarien).

Zusammenfassend liefert diese Studie starke empirische Belege dafür, dass die Annahme einer reinen Antwort-basierten Anpassung der Entscheidungsschwelle unzureichend ist. Eine vollständige Theorie der perceptuellen Entscheidungsfindung muss die separate und unterschiedliche Gewichtung von Stimulus-Häufigkeit und Belohnungswahrscheinlichkeit sowie die explizite Repräsentation von Stimulus-Verteilungen beinhalten.