Inferring the causes of noise from binary outcomes: A normative theory of learning under uncertainty

Diese Studie entwickelt ein normatives Rahmenwerk, das mithilfe eines Hidden-Markov-Modells und Partikelfilterung die Ursachen von Rauschen (Volatilität versus Stochastizität) aus binären Ergebnissen ableitet und durch ein Experiment mit menschlichen Teilnehmern bestätigt, dass diese ihre Lernraten entsprechend anpassen.

Das Wesentliche

Zusammenfassung: Wie wir lernen, zwischen „echten Änderungen" und „Pech" zu unterscheiden

Stellen Sie sich vor, Sie sind ein Seelöwe an einem Strand. Ihr Job ist es, zu erraten, auf welcher Seite des Strandes (links oder rechts) sich heute die Schatztruhen befinden. Aber es gibt ein Problem: Sie können den Seelöwen nicht direkt sehen, der die Truhen bringt. Sie sehen nur, ob Sie nach einem Klick auf „Links" oder „Rechts" eine Truhe finden oder leer ausgehen.

Das ist das Herzstück dieses wissenschaftlichen Artikels: Wie lernen wir aus binären Ergebnissen (Gewinn/Verlust) in einer unvorhersehbaren Welt?

Die Forscher (Xiaotong Fang und Payam Piray von der USC) haben herausgefunden, dass unser Gehirn zwei völlig verschiedene Arten von „Rauschen" oder Unsicherheit unterscheiden muss, um klug zu lernen.

1. Die zwei Arten von Unsicherheit: Der wilde Seelöwe vs. die verrückten Wellen

Stellen Sie sich zwei Szenarien vor, in denen Sie nach „Links" klicken, aber keine Truhe finden:

• Szenario A: Der wilde Seelöwe (Volatilität)
  Der Seelöwe hat sich heute entschieden, plötzlich auf die andere Seite zu gehen. Die Regeln haben sich geändert!
  • Was Ihr Gehirn tun sollte: „Okay, die alten Informationen sind wertlos! Ich muss sofort lernen und mich anpassen." -> Schnelles Lernen.
• Szenario B: Die verrückten Wellen (Stochastik/Zufall)
  Der Seelöwe ist noch immer auf der richtigen Seite, aber eine große Welle hat die Truhe einfach weggespült oder verdeckt. Das war nur Pech.
  • Was Ihr Gehirn tun sollte: „Oh, das war nur ein Zufall. Ich sollte nicht in Panik geraten. Ich warte lieber ab und sammle mehr Beweise." -> Langsames Lernen.

Das große Problem: Für Sie als Beobachter sehen beide Szenarien genau gleich aus (kein Gewinn). Die Herausforderung für das Gehirn ist es, herauszufinden: „War es ein echter Wechsel der Regeln oder nur ein zufälliger Fehler?"

2. Das alte Problem: Die falsche Brille

Bisher haben Wissenschaftler Modelle benutzt, die eigentlich für kontinuierliche Daten gemacht waren (wie Temperatur oder Geschwindigkeit, wo man Werte wie 3,5 oder 4,2 messen kann). Als sie diese Modelle auf binäre Daten (nur Ja/Nein, Gewinn/Verlust) angewendet haben, mussten sie Tricks anwenden.

Das war wie der Versuch, ein digitales Foto (Pixel) mit einer analogen Filmkamera zu entwickeln. Es funktionierte nicht richtig. Diese alten Modelle dachten oft: „Oh, das Ergebnis war überraschend! Ich muss sofort alles ändern!" – egal, ob es ein echter Wechsel war oder nur Zufall. Das führte zu Fehlern im Verständnis, wie wir lernen.

3. Die neue Lösung: Der „PF-HMM"-Detektiv

Die Autoren haben einen völlig neuen Ansatz entwickelt, den sie PF-HMM nennen. Man kann sich das wie einen hochmodernen Detektiv vorstellen, der zwei Werkzeuge kombiniert:

1. Der HMM (Hidden Markov Model): Das ist der eigentliche Fallstrick. Er ist perfekt darauf ausgelegt, mit Ja/Nein-Daten zu arbeiten. Er fragt: „Wenn ich annehme, die Regeln sind stabil, wie wahrscheinlich ist dann dieses Ergebnis?"
2. Der PF (Particle Filter): Das ist der Assistent, der die Unsicherheit über die Regeln selbst berechnet. Er wirft tausende von „Hypothesen-Papierfliegern" in die Luft.
   • Ein Papierflieger sagt: „Die Regeln ändern sich oft!"
   • Ein anderer sagt: „Die Regeln sind stabil, aber das Wetter ist schlecht."
   • Wenn ein neues Ergebnis kommt, überleben nur die Papierflieger, die das Ergebnis am besten erklären. Die anderen werden aussortiert.

Das Geniale daran: Dieser neue Detektiv kann lernen, ob das „Rauschen" von den Regeln kommt (Volatilität) oder vom Zufall (Stochastik), und passt sein Lernverhalten perfekt an.

4. Der Experiment: Seelöwen und Schildkröten

Um zu testen, ob Menschen das auch können, ließen die Forscher 73 Teilnehmer ein Spiel spielen (das „Seelöwen-Spiel").

• In manchen Blöcken wechselte der Seelöwe oft die Seite (hohe Volatilität).
• In anderen Blöcken war der Seelöwe stabil, aber die Wellen waren unvorhersehbar (hohe Stochastik).

Das Ergebnis war erstaunlich: Die Menschen lernten genau wie der Computer-Detektiv!

• Wenn die Regeln oft wechselten, lernten sie schnell.
• Wenn nur das Wetter (der Zufall) schlecht war, lernten sie langsam und blieben ruhig.

Sie haben also unbewusst die Quelle des „Fehlers" richtig identifiziert.

5. Warum ist das wichtig? (Die psychologische Bedeutung)

Warum sollten wir uns dafür interessieren? Weil dieses Missverständnis von „echten Änderungen" und „Zufall" eine große Rolle bei psychischen Erkrankungen spielen könnte.

• Bei Depression: Ein depressiver Mensch könnte einen zufälligen Misserfolg (eine Welle, die die Truhe wegschlägt) falsch interpretieren. Er denkt: „Die Regeln haben sich geändert! Ich bin ein Versager, die Welt ist gegen mich!" (Falsche Zuordnung von Zufall zu Volatilität). Das führt zu einem Teufelskreis aus Selbstvorwürfen.
• Bei Angststörungen: Jemand könnte eine stabile Situation als extrem unvorhersehbar wahrnehmen und ständig in Panik geraten, weil er denkt, die Regeln ändern sich jede Sekunde.

Fazit

Dieser Artikel zeigt uns, dass unser Gehirn (und unsere Computermodelle) nicht nur lernen müssen, sondern auch lernen müssen, was sie lernen. Wir müssen unterscheiden zwischen „Die Welt hat sich geändert" und „Ich hatte heute Pech".

Die Forscher haben einen neuen, sauberen mathematischen Rahmen geschaffen, der zeigt, wie wir das tun sollten. Und das Beste: Unsere menschlichen Gehirne machen das in der Praxis bereits ziemlich gut – solange wir nicht von negativen Gedankenmustern blockiert werden.

Kurz gesagt: Wir sind alle kleine Detektive, die versuchen, zwischen dem wilden Seelöwen und den verrückten Wellen zu unterscheiden, um nicht den falschen Weg zu gehen.

Technische Zusammenfassung

1. Problemstellung

Das zentrale Problem der Studie ist die Unterscheidung zwischen zwei fundamentalen Quellen von Unsicherheit (Rauschen) in Lernumgebungen:

• Volatilität (Volatility): Änderungen im zugrunde liegenden versteckten Zustand der Umwelt (z. B. eine Änderung der Kontingenzen).
• Stochastizität (Stochasticity): Zufälliges Rauschen in der Beobachtung selbst, während der Zustand stabil bleibt (z. B. ein zufälliger Fehler bei der Ausgabe).

Bei binären Outcomes (z. B. Gewinn/Verlust, Ja/Nein) ist es für einen Lernenden schwierig zu unterscheiden, ob ein unerwartetes Ergebnis auf eine Änderung des Zustands (Volatilität) oder auf zufälliges Rauschen (Stochastizität) zurückzuführen ist.

• Theoretisches Defizit: Bisherige Modelle (wie der Kalman-Filter oder der Hierarchical Gaussian Filter, HGF) wurden für kontinuierliche Outcomes entwickelt. Ihre Anwendung auf binäre Daten erfordert oft ad-hoc-Approximationen (z. B. Sigmoid-Transformationen), die zu theoretischen Inkonsistenzen führen. Ein Hauptproblem ist, dass diese Modelle die Lernrate oft fälschlicherweise bei jedem überraschenden Ereignis erhöhen, selbst wenn die Volatilität null ist und das Ereignis nur auf Stochastizität beruht.
• Klinische Relevanz: Eine falsche Zuordnung von Rauschen kann zu pathologischen Lernmustern führen (z. B. bei Depressionen, wo zufällige Misserfolge fälschlicherweise als systematische Umweltveränderungen interpretiert werden).

2. Methodik

Die Autoren entwickeln einen normativen Rahmen, der die diskrete Natur binärer Daten explizit berücksichtigt.

A. Generatives Modell (Hidden Markov Model - HMM)
Statt kontinuierliche Modelle an binäre Daten anzupassen, nutzen die Autoren ein Hidden Markov Model (HMM), das für binäre latente Zustände ($x_t \in \{0,1\}$) und binäre Beobachtungen ($o_t \in \{0,1\}$) konzipiert ist.

• Zustandsübergang: Der versteckte Zustand wechselt mit einer Wahrscheinlichkeit $v$ (Volatilität).
• Beobachtungsprozess: Das Ergebnis wird mit einer Wahrscheinlichkeit $s$ (Stochastizität) vom wahren Zustand verfälscht.
• Inferenz: Im Gegensatz zum Kalman-Filter, der Mittelwert und Varianz aktualisiert, aktualisiert das HMM die Posterior-Wahrscheinlichkeit $P(x_t=1 | o_{1:t})$ rekursiv über exakte Bayes'sche Updates. Dies ermöglicht eine analytisch lösbare Inferenz, wenn $v$ und $s$ bekannt sind.

B. PF-HMM (Particle Filtering + HMM)
Da $v$ und $s$ in realen Szenarien unbekannt sind, kombinieren die Autoren das HMM mit Particle Filtering (PF).

• Ansatz: Es wird eine Population von „Partikeln" (Hypothesen) über die möglichen Werte von $v$ und $s$ unterhalten.
• Rao-Blackwellized PF: Da die Inferenz über den versteckten Zustand $x_t$ bei gegebenen $v$ und $s$ exakt durch das HMM gelöst werden kann, wird diese Kombination genutzt. Die Partikel schätzen die Parameter $v_t$ und $s_t$, während das HMM für jedes Partikel den Zustand $x_t$ berechnet.
• Algorithmus: Auf jeder Trial werden Partikel basierend auf der Likelihood der neuen Beobachtung gewichtet und neu abgetastet (Resampling), um die Schätzungen von Volatilität und Stochastizität dynamisch anzupassen.

C. Experimentelles Design

• Aufgabe: Ein probabilistischer Umkehr-Lernaufgabe (Reversal Learning) mit binärem Feedback.
• Design: Ein $2 \times 2$-Faktoriendesign, das systematisch hohe/niedrige Volatilität und hohe/niedrige Stochastizität manipuliert.
• Experimente:
  1. Seelöwen-Aufgabe (Sea Lion Task): 73 Teilnehmer suchten nach Schätzen; Belohnung basierte auf der Seite des Seelöwen (Belohnungssuche).
  2. Schildkröten-Aufgabe (Turtle Task): 30 Teilnehmer; identisches Design, aber mit Vermeidung von Verlusten (Loss Avoidance).
  3. Validierung: Analyse bestehender öffentlicher Datensätze (Jang et al., 2019; Piray et al., 2019).

3. Wichtige Beiträge

1. Normativer Rahmen für binäre Daten: Entwicklung eines HMM-basierten Modells, das die diskrete Struktur von binären Outcomes respektiert und keine Approximationen wie Sigmoid-Funktionen benötigt.
2. PF-HMM Modell: Ein neues rechnerisches Modell, das Partikel-Filtering mit HMM kombiniert, um Volatilität und Stochastizität gleichzeitig und dynamisch aus binären Outcomes zu inferieren.
3. Theoretische Vorhersage der Lernrate: Das Modell sagt voraus, dass die optimale Lernrate bei hoher Volatilität steigt (schnelle Anpassung) und bei hoher Stochastizität sinkt (langsame Anpassung, um Rauschen zu mitteln).
4. Ablationsstudien: Simulationen zeigen, dass das Fehlen eines Inferenzmechanismus (z. B. Unfähigkeit, Stochastizität zu erkennen) zu pathologischen Lernmustern führt, bei denen Rauschen der einen Quelle der anderen fälschlicherweise zugeschrieben wird („Explaining Away"-Fehler).

4. Ergebnisse

• Simulationen:

  • Das optimale HMM (mit bekannten Parametern) zeigt die erwartete inverse Beziehung: Hohe Volatilität $\rightarrow$ hohe Lernrate; Hohe Stochastizität $\rightarrow$ niedrige Lernrate.
  • Das PF-HMM (mit unbekannten Parametern) rekonstruiert die wahren Parameter $v$ und $s$ erfolgreich und zeigt dieselben Lernraten-Muster wie das optimale Modell.
  • Ablationsmodelle zeigen, dass das Ignorieren eines Faktors zu einer systematischen Fehlattribution führt (z. B. wird Stochastizität fälschlicherweise als Volatilität interpretiert, was zu einer übermäßigen Lernrate führt).

• Humanverhalten (Seelöwen- und Schildkröten-Aufgabe):

  • Teilnehmer passten ihre Lernraten signifikant an: Sie lernten schneller bei hoher Volatilität und langsamer bei hoher Stochastizität.
  • Die Reaktionszeiten (RT) waren langsamer, wenn die Unterscheidung zwischen den Rauschquellen schwierig war (niedrige Varianz der Partikel-Likelihoods), was darauf hindeutet, dass die kognitive Anstrengung der Inferenz die RT beeinflusst.
  • Diese Effekte waren sowohl bei Belohnungssuche als auch bei Verlustvermeidung konsistent.

• Modellvergleich:

  • Eine Bayes'sche Modellselektion (BIC) zeigte, dass das PF-HMM die Verhaltensdaten deutlich besser erklärt als etablierte Alternativen wie das Pearce-Hall-Modell (PHA) oder der binäre HGF.
  • Das PF-HMM hatte die höchste Modellfrequenz und eine geschützte Überschreitungswahrscheinlichkeit von 1.00 in allen getesteten Datensätzen.

5. Bedeutung und Fazit

• Theoretischer Durchbruch: Die Arbeit löst das Problem der Trennung von Volatilität und Stochastizität bei binären Outcomes, das bisher durch die Anwendung kontinuierlicher Modelle (Kalman-Filter) verzerrt wurde. Sie bietet eine mathematisch fundierte, normative Theorie für Lernen unter Unsicherheit in diskreten Umgebungen.
• Klinische Implikationen: Das Modell liefert einen Rahmen, um zu verstehen, wie psychische Störungen (z. B. Depression, Angststörungen) durch eine Fehlattribution von Rauschquellen entstehen könnten. Beispielsweise könnte eine gestörte Unterscheidung dazu führen, dass zufällige negative Ereignisse (Stochastizität) als systematische Umweltveränderungen (Volatilität) interpretiert werden, was zu maladaptivem Selbstvorwurf führt.
• Allgemeingültigkeit: Die Ergebnisse gelten sowohl für Belohnungs- als auch für Vermeidungslernen und wurden durch die Analyse unabhängiger Datensätze validiert.
• Zukunftsperspektive: Die Autoren sehen Potenzial, diesen Rahmen auf komplexere Planungsprobleme (Reinforcement Learning) und latente Ursacheninferenz (Structural Learning) zu erweitern, um zu verstehen, wie das Gehirn kausale Strukturen in unsicheren Umgebungen konstruiert.

Zusammenfassend bietet das Paper einen robusten, normativen Ansatz, der zeigt, dass Menschen in der Lage sind, die Quelle von Unsicherheit in binären Umgebungen präzise zu inferieren, und liefert ein neues Werkzeug, um Lernstörungen in psychiatrischen Populationen zu untersuchen.