🧠 neuroscience

The unique value of zero prediction errors in reinforcement learning

Diese Studie zeigt, dass Null-Vorhersagefehler nicht bloß neutrale Ereignisse sind, sondern psychologisch und computergestützt signifikant sind, indem sie das momentane Glücksempfinden, distinkte Überzeugungszustände und die neuronale Feedbackverarbeitung aktiv formen, um das anschließende Lernen beim menschlichen Reinforcement Learning zu beeinflussen.

Ursprüngliche Autoren: Lloyd, B., Kikumoto, A., Wurm, F., Vives, M.-L.

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lloyd, B., Kikumoto, A., Wurm, F., Vives, M.-L.

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Gehirn wäre ein superintelligenter Wettervorhersager. Jeden Morgen raten Sie, ob es regnen wird, und dann prüfen Sie den Himmel. Normalerweise findet Lernen statt, wenn man falsch liegt. Wenn Sie sagen „sonnig“ und es regnet in Strömen, sagt Ihr Gehirn: „Ups! Aktualisiere die Vorhersage!“ Das ist die klassische Vorstellung von Lernen: Fehler treiben uns voran.

Aber was passiert, wenn Sie perfekt richtig liegen? Sie sagen „sonnig“ und die Sonne scheint. In der alten Denkweise war dies einfach ein langweiliger „Keine Neuigkeiten“-Moment. Ihr Gehirn sollte die Achsel zucken und weitermachen, weil es keinen Fehler gab, den man korrigieren müsste.

Eine neue Studie deutet darauf hin, dass es ein riesiges, aufregendes Ereignis für Ihr Gehirn ist, wenn man perfekt richtig liegt. Es ist nicht nur ein „Null-Fehler“; es ist ein besonderes Signal, das einen glücklicher macht, die Art und Weise, wie wir lernen, verändert und das Gehirn sogar auf eine einzigartige Weise zum Leuchten bringt.

Das Gefühl des „Perfekten Treffers“

Die Forscher gestalteten ein Spiel, bei dem Menschen eine Zahl erraten mussten, die als Nächstes erscheinen würde. Die Zahlen stammten aus einer Wolke von Möglichkeiten – manchmal war die Wolke eng (einfach zu erraten), manchmal breit und chaotisch (schwer zu erraten).

Hier ist der Clou: Die Forscher manipulierten heimlich 15 von 80 Runden so, dass die Zahl, die erschien, exakt mit der Vermutung des Spielers übereinstimmte. Die Spieler wussten nicht, dass dies geschah; sie dachten einfach, sie hätten Glück.

Als die Forscher die Spieler fragten: „Wie glücklich sind Sie gerade?“, war die Antwort überraschend. Die Menschen waren am glücklichsten, nicht wenn sie einen riesigen, unerwarteten Bonus erhielten, sondern wenn ihre Vorhersage perfekt genau war. Es war wie ein „Sweet Spot“ der Freude. Wenn sie ein bisschen oder viel daneben lagen, sank das Glücksempfinden. Aber dieser perfekte „Bullseye“-Moment? Das war der Höhepunkt.

Die Studie legt nahe, dass unser Gehirn diesen „perfekten Match“ als eine spezielle Belohnung an sich behandelt, getrennt von der bloßen Erzielung eines guten Preises. Es ist das Gefühl von: „Ich wusste es! Ich wusste es wirklich!“

Das „Zwei-Spuren“-Gehirn

Wie nutzt das Gehirn also diesen perfekten Moment? Die Forscher testeten drei Ideen:

Der alte Weg: Perfekte Übereinstimmungen bewirken nichts Besonderes; Lernen findet nur statt, wenn man falsch liegt.
Der „klebrige“ Weg: Perfekte Übereinstimmungen machen einen einfach nur stur, sodass man weiterhin das Gleiche rät.
Der „Zwei-Spuren“-Weg (Der Gewinner): Wenn man perfekt richtig liegt, erstellt das Gehirn eine geheime, separate Datei nur für diese perfekten Momente.

Die Studie fand heraus, dass die „Zwei-Spuren“-Idee am besten passte. Sie legt nahe, dass das Gehirn bei einer perfekten Vorhersage nicht einfach nur ignoriert. Stattdessen öffnet es einen speziellen Ordner namens „Null Vorhersagefehler“. Es behält einen separaten Glauben darüber, wie die Dinge funktionieren, der ausschließlich auf den Zeiten basiert, in denen man richtig lag.

Dies gilt insbesondere dann, wenn die Welt verwirrend ist (hohe Unsicherheit). Wenn die Dinge chaotisch und schwer vorhersehbar sind, fühlt sich das Richtigliegen wie eine massive Erleichterung an. Die Studie fand heraus, dass Menschen, die Unsicherheit generell hassen (sie werden ängstlich, wenn Dinge unvorhersehbar sind), sich noch stärker auf diesen „perfekten Match“-Ordner verlassen. Sie klammerten sich fester an die Momente, in denen sie recht hatten, um sich sicher zu fühlen.

Der „P3“-Funke des Gehirns

Um zu sehen, was im Kopf passierte, brachten die Forscher Elektroden an den Kopfschuppen von 40 Freiwilligen an, um deren Gehirnwellen zu lesen.

Sie fanden heraus, dass das Gehirn nicht einfach still wurde, wenn eine perfekte Vorhersage stattfand. Es feuerte einen deutlichen elektrischen Funken ab, eine große Welle der Aktivität, die als P3-Antwort bezeichnet wird, und diese sah anders aus als wenn die Menschen falsch lagen.

Hier ist der coolste Teil: Die Größe dieses Gehirnfunken sagte voraus, was die Person als Nächstes tun würde, aber in entgegengesetzte Richtungen, je nach Situation:

Wenn sie falsch lagen: Ein größerer Gehirnfunke bedeutete, dass sie ihre Vermutung beim nächsten Mal stark ändern würden. (Der Funke sagte: „Okay, großer Fehler, lass uns das korrigieren!“)
Wenn sie richtig lagen: Ein größerer Gehirnfunke bedeutete, dass sie an ihrer Vermutung noch mehr festhalten würden. (Der Funke sagte: „Perfekt! Das halten wir fest! Ändere gar nichts!“)

Es ist, als ob das Gehirn dasselbe „Alarm“-Signal verwendet, um entweder in Panik zu geraten und einen Fehler zu beheben oder um einen Erfolg zu feiern und darauf zu beharren.

Was das bedeutet

Die Studie besagt nicht, dass dies ein magisches Heilmittel für irgendetwas ist oder dass es in jeder einzelnen Situation funktioniert. Sie legt nahe, dass „richtig liegen“ ein mächtiges, aktives Lernwerkzeug ist und nicht nur eine Pausentaste.

Wenn wir die Welt perfekt vorhersagen, verharren wir nicht einfach nur still. Wir erleben einen Schub an Glück, unser Gehirn baut eine spezielle „Ich hatte recht“-Erinnerung auf, und wir nutzen diesen Moment, um unsere Überzeugungen zu stabilisieren, besonders wenn die Welt sich chaotisch anfühlt. Es stellt sich heraus, dass das Richtigliegen genauso wichtig für das Lernen ist wie das Falschliegen.

Technisches Resümee: Der einzigartige Wert von Null-Vorhersagefehlern im Reinforcement Learning

Problemstellung

Die Theorie des Reinforcement Learning (RL) postuliert traditionell, dass Lernen durch Vorhersagefehler (Prediction Errors, PEs) vorangetrieben wird – also die Diskrepanz zwischen erwarteten und beobachteten Ergebnissen. In Standardmodellen (z. B. Rescorla & Wagner, 1) werden Ergebnisse, die den Erwartungen perfekt entsprechen (Null-PEs), als das Fehlen eines Lernsignals behandelt, das über den Belohnungswert selbst hinaus keinen informativen Wert besitzen. Dieses Framework lässt jedoch die Frage offen, ob „perfekte Vorhersagen“ psychologisch neutral sind oder ob sie distinkte, informative Ereignisse darstellen, die Affekt, Glaubensaktualisierung und neuronale Prozesse aktiv mitgestalten. Insbesondere ist unklar, ob Null-PEs einzigartige computationalen Mechanismen auslösen, wie etwa die Bildung separater latenter Glaubenszustände, insbesondere in unsicheren Umgebungen oder bei Individuen mit hoher Intoleranz gegenüber Unsicherheit.

Methodik

Die Studie verwendete einen multimodalen Ansatz, der Verhaltensexperimente, computergestützte Modellierung und Elektrophysiologie (EEG) kombinierte, um die Auswirkungen von Null-PEs zu untersuchen.

Experimentelles Design:

Aufgabe: Die Teilnehmer führten eine „Zahlengenerator-Aufgabe“ durch, bei der sie Belohnungen vorhersagten, die aus Gaußschen Verteilungen mit variierenden Breiten (niedrige, mittlere, hohe Unsicherheit) gezogen wurden.
Manipulation: Ohne das Wissen der Teilnehmer wurden 18,75 % der Durchgänge (15 von 80 pro Block) experimentell so gesteuert, dass das Belohnungsergebnis exakt mit der Vorhersage übereinstimmte, wodurch „Null-Vorhersagefehler“ erzeugt wurden.
Maße:
- Affekt: Die Teilnehmer berichteten alle drei Durchgänge über ihr momentanes Glücksempfinden.
- Verhalten: Durchgangsweise Vorhersage-Updates wurden aufgezeichnet.
- Neural: In einer Teilgruppe der Teilnehmer ( $N=40$ ) wurde eine belohnungsgebundene EEG-Messung durchgeführt, um ereigniskorrelierte Potenziale (ERPs) zu analysieren.
Teilnehmer: Es wurden zwei Experimente durchgeführt: eine Online-Studie ( $N=97$ ) und eine EEG-Laborstudie ( $N=40$ ), insgesamt $N=137$ .

Computergestützte Modellierung:
Drei Reinforcement-Learning-Modelle wurden mittels hierarchischer Bayes-Inferenz verglichen:

PH-standard: Ein Standard-Pearce-Hall-Modell, bei dem die Lernraten mit der Magnitude des PE skalieren; Null-PEs produzieren kein Update.
PH-persist: Eine Erweiterung, bei der Null-PEs einen „Persistenz“-Zustand induzieren, der zukünftige Vorhersagen in Richtung des bestätigten Ergebnisses verzerrt.
ZePE (Zero Prediction Error) Modell: Ein neuartiges Modell, das vorschlägt, dass Null-PEs die Bildung eines distinkten latenten Glaubenszustands ( $B_{zero}$ ) auslösen, der parallel zum Standard-Glaubenszustand ( $B_{std}$ ) verfolgt wird. Die endgültige Vorhersage ist eine gewichtete Mischung aus diesen beiden Zuständen, gesteuert durch einen Parameter $\omega$ .

Analyse:

Verhalten: Mixed-Effects-Regressionen analysierten Glücksbewertungen und Vorhersage-Updates.
Modellvergleich: Leave-one-out-Kreuzvalidierung (LOO) und die erwartete Log-Prädiktiv-Dichte (ELPD) wurden verwendet, um das am besten passende Modell zu bestimmen.
EEG: Mass-Univariate-Regression (GLM) und Cluster-basierte Permutationstests analysierten die neuronalen Reaktionen auf PEs. Psychophysikalische Interaktionsanalysen (PPI) testeten, ob die residuele neuronale Aktivität nachfolgende Verhaltens-Updates vorhersagte.

Kernergebnisse

1. Affektive Auswirkung: Null-PEs maximieren das Glücksempfinden

Entgegen der Annahme, dass Glück linear mit positiven PEs skaliert, berichteten die Teilnehmer nach Null-PEs über das höchste momentane Glücksempfinden.

Das Glücksempfinden folgte einer Invertierten-U-Beziehung zur PE-Magnitude, mit einem Maximum bei Null und einem Abfall sowohl bei großen positiven als auch bei großen negativen PEs.
Die Modellierung des Glücksempfindens bestätigte, dass das Hinzufügen eines spezifischen Terms für Null-PEs die Modellgüte im Vergleich zu Modellen, die sich nur auf die Belohnungsgröße und Standard-PEs stützen, signifikant verbesserte. Null-PEs waren der stärkste Prädiktor für Glück, noch vor dem Belohnungsausgang selbst.

2. Verhaltenelle Adaptation: Das ZePE-Modell

Das ZePE-Modell lieferte die beste Anpassung an die Verhaltensdaten in beiden Experimenten und übertraf die PH-standard- und PH-persist-Modelle signifikant.

Distinkter latenter Zustand: Die Daten stützen die Hypothese, dass Null-PEs einen separaten latenten Glaubenszustand induzieren, der die nachfolgende Aktualisierung leitet.
Unsicherheit als Modulator: Der Gewichtungsparameter $\omega$ (der den Einfluss des Null-PE-Zustands steuert) stieg mit der Umweltunsicherheit. Teilnehmer verließen sich in Blöcken mit hoher Unsicherheit stärker auf den Null-PE-Zustand.
Individuelle Unterschiede: Höhere Werte auf der Skala der Intoleranz gegenüber Unsicherheit (IUS) korrelierten mit höheren $\omega$ -Werten, was darauf hindeutet, dass Individuen, die Unsicherheit aversiv gegenüberstehen, größeren Wert auf perfekte Vorhersagen legen, um ihre Überzeugungen zu stabilisieren.
Update-Muster: Null-PEs wurden von größeren absoluten Vorhersage-Updates in Blöcken mit niedriger Unsicherheit gefolgt, und dieser Effekt verstärkte sich unter höherer Unsicherheit, was darauf hindeutet, dass perfekte Vorhersagen die Lernmechanismen aktiv formen, anstatt lediglich bestehende Überzeugungen zu bestätigen.

3. Neuronale Signaturen: Distinkte EEG-Reaktionen

EEG-Analysen zeigten, dass Null-PEs distinkte neuronale Reaktionen hervorrufen, die sich von Standard-PEs unterscheiden.

ERP-Komponenten: Null-PEs lösten eine robuste, anhaltende späte positive Reaktion (P3-ähnlich) über frontozentralen und zentralparietalen Elektroden aus (500–800 ms), die in ihrer Magnitude mit großen positiven PEs vergleichbar und signifikant größer als andere PE-Bedingungen war.
Kodierung des latenten Zustands: Regressionsanalysen zeigten, dass die EEG-Aktivität bei Null-PE-Durchgängen Abweichungen vom Null-PE-latenten Glaubenszustand ( $B_{zero}$ ) verfolgte, während Standard-Durchgänge Abweichungen vom Standard-Glaubenszustand ( $B_{std}$ ) verfolgten.
Neural-Behavioral Coupling: Die residuele EEG-Aktivität (die nicht durch die Modelle erklärt wurde) sagte nachfolgende Updates in entgegengesetzte Richtungen voraus, abhängig vom Durchgangstyp:
- Standard-Durchgänge: Stärkere residuele Aktivität sagte ein verstärktes Update (Lernen) voraus.
- Null-PE-Durchgänge: Stärkere residuele Aktivität sagte ein abgeschwächtes Update (Glaubensverfestigung/Entrenchment) voraus.
- Dieses Kopplungsmuster wurde durch $\omega$ moduliert, wobei ein höheres $\omega$ die Dissoziation verstärkte.

Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Studie den ersten systematischen Beleg dafür liefert, dass Null-Vorhersagefehler keine neutralen Ereignisse sind, sondern distinkte, informative Signale, die das menschliche Lernen aktiv gestalten.

Herausforderung der Orthodoxie: Die Ergebnisse stellen die Standard-RL-Annahme infrage, wonach Lernen ausschließlich durch Mismatch stattfindet. Stattdessen ist „Trial-and-Hit“ (perfekte Vorhersage) ein komplementärer Lernmechanismus.
Intrinsische Belohnung: Perfekte Vorhersagen scheinen intrinsisch belohnend zu sein und generieren einen positiven Affekt unabhängig von der externen Belohnungsgröße, wahrscheinlich aufgrund der erfolgreichen Auflösung von Unsicherheit.
Computationaler Mechanismus: Die Studie schlägt vor, dass das Gehirn parallele latente Glaubenszustände für Standard- und Null-PEs aufrechterhält. Die Gewichtung dieser Zustände ( $\omega$ ) ist ein flexibler Kontrollparameter, der durch Umweltunsicherheit und individuelle Merkmale (Intoleranz gegenüber Unsicherheit) beeinflusst wird.
Neuronale Spezifität: Null-PEs aktivieren spezifische neuronale Schaltkreise (reflektiert in P3-ähnlicher Aktivität), die dazu dienen, Überzeugungen zu stabilisieren, anstatt sie zu aktualisieren, und fungieren als Mechanismus für die „Glaubensverfestigung“, wenn die Umgebung erfolgreich vorhergesagt wird.

Die Arbeit kommt zu dem Schluss, dass perfekte Vorhersagen essenziell für das Lernen sind, da sie dazu dienen, Überzeugungen zu stabilisieren und Unsicherheit zu reduzieren, insbesondere für Individuen, die Unsicherheit aversiv erleben. Dies deutet auf eine komplexere Lernarchitektur hin, in der die Bestätigung von Erwartungen computational ebenso bedeutsam ist wie deren Verletzung.