Model-based and model-free valuation signals in the human brain vary markedly in their relationship to individual differences in human behavioral control

Eine große fMRT-Studie mit 179 Teilnehmern zeigt, dass neuronale modellfreie Belohnungssignale im ventromedialen präfrontalen Kortex unabhängig vom individuellen Verhalten ubiquitär sind, während modellbasierte Signale nur bei Personen auftreten, die dieses Verhalten auch auf verhaltensbiologischer Ebene zeigen, wobei das Fehlen beider mit Defiziten bei der Bildung interner Umweltmodelle einhergeht.

Das Wesentliche

Das große Rätsel: Wie trifft unser Gehirn Entscheidungen?

Stell dir vor, dein Gehirn ist wie ein riesiges, hochmodernes Verkehrssystem in einer Stadt. Wenn du eine Entscheidung treffen musst (z. B. welchen Weg du zur Arbeit nimmst), nutzt dieses System im Grunde zwei verschiedene Navigations-Apps:

1. Die "Gewohnheits-App" (Modell-frei): Diese App sagt: "Hey, letzte Woche war der Weg über die Hauptstraße schnell und hat dich zum Ziel gebracht. Also fahr heute auch wieder dorthin!" Sie lernt durch bloßes Ausprobieren und Belohnung. Sie braucht kein Kartenwissen, nur Erfahrung.
2. Die "Planer-App" (Modell-basiert): Diese App ist viel schlauer, aber auch langsamer. Sie sagt: "Moment, ich habe eine Karte. Ich weiß, dass die Hauptstraße heute Stau hat, weil dort eine Baustelle ist. Ich berechne im Kopf die beste Route, auch wenn ich sie noch nie gefahren bin." Sie baut ein mentales Modell der Welt auf.

Normalerweise nutzen wir eine Mischung aus beiden. Aber die Frage war: Warum nutzen manche Menschen fast nur die Planer-App, andere fast nur die Gewohnheits-App, und wieder andere gar keine von beiden richtig?

Die große Studie: 179 Menschen im MRT

Die Forscher haben 179 Personen in einen MRT-Scanner gelegt (ein riesiges Magnetgerät, das wie ein "Gehirn-Fernseher" funktioniert). Sie ließen sie ein Spiel spielen, das wie ein kosmischer Schatzsucher aussah:

• Du wählst ein Raumschiff (Gelb oder Blau).
• Das Schiff fliegt zu einem Planeten (Rot oder Grün). Meistens landet das gelbe Schiff auf Rot, aber manchmal (selten) landet es auf Grün.
• Auf dem Planeten findest du entweder einen wertvollen Edelstein (Belohnung) oder einen nutzlosen Stein.

Das Ziel: Finde heraus, welches Schiff zu welchem Planeten führt und wo die Edelsteine liegen.

Was haben sie herausgefunden?

Die Forscher haben die Gehirnaktivität mit den Entscheidungen der Menschen verglichen. Hier sind die drei wichtigsten Entdeckungen, einfach erklärt:

1. Die "Planer-App" ist nur da, wenn sie gebraucht wird

Bei den Menschen, die im Spiel wirklich gut geplant haben (die "Planer"), leuchtete ein bestimmter Bereich im Gehirn auf – das ventromediale präfrontale Cortex (vmPFC). Man kann sich das wie eine Leuchte im Kontrollraum vorstellen.

• Das Überraschende: Bei den Menschen, die nicht geplant haben (die nur auf Gewohnheit setzten), war diese Leuchte im Planer-Modus aus.
• Die Erkenntnis: Das Gehirn schaltet die "Planer-App" nur dann ein, wenn die Person sie tatsächlich nutzt. Wenn jemand nicht plant, baut er sich auch kein mentales Modell der Welt auf. Es ist, als würde man ein GPS-Gerät kaufen, aber es nie einschalten – dann leuchtet auch kein Bildschirm.

2. Die "Gewohnheits-App" ist immer an (auch wenn man sie nicht nutzt!)

Das war die größte Überraschung. Bei allen Menschen, egal ob sie im Spiel gut geplant haben oder nicht, leuchtete die "Gewohnheits-App" im Gehirn auf.

• Die Metapher: Stell dir vor, die Gewohnheits-App ist wie ein Hintergrund-Programm auf deinem Handy, das immer läuft, auch wenn du es gerade nicht benutzt. Selbst die Leute, die im Spiel sehr gut geplant haben, hatten diese Gewohnheits-Signale in ihrem Gehirn aktiv.
• Die Bedeutung: Unser Gehirn berechnet ständig "Was passiert, wenn ich das tue?", basierend auf reinen Belohnungen. Das ist so grundlegend, dass es immer passiert, auch wenn wir bewusst etwas anderes tun.

3. Warum manche Menschen nicht planen können

Es gab eine Gruppe von Teilnehmern, die weder gut geplant noch gut auf Gewohnheit reagiert haben. Sie wirkten etwas verwirrt.

• Die Forscher fanden heraus, dass bei diesen Menschen nicht nur die "Planer-App" aus war, sondern auch die Karten-Updates fehlten.
• Die Analogie: Stell dir vor, du versuchst, eine neue Stadt zu erkunden, aber dein GPS sagt dir ständig falsche Straßenverläufe. Du kannst keine gute Route planen, weil deine innere Karte der Stadt kaputt ist oder nicht aktualisiert wird. Diese Menschen hatten Schwierigkeiten, die Struktur der Welt (welches Schiff führt wohin?) zu lernen. Ohne eine korrekte "Karte" kann man keine Pläne schmieden.

Das Fazit in einem Satz

Unser Gehirn hat immer eine "Gewohnheits-App" im Hintergrund laufen, die uns automatisch belohnungsbasierte Signale sendet. Aber die "Planer-App", die uns hilft, komplexe Strategien zu entwickeln, wird nur dann aktiviert, wenn wir sie tatsächlich nutzen – und wenn wir sie nicht nutzen, liegt das oft daran, dass wir Schwierigkeiten haben, uns eine korrekte Karte unserer Umgebung zu merken.

Kurz gesagt: Die Gewohnheit ist unser ständiger Begleiter, aber das Planen ist ein Werkzeug, das wir nur herausholen, wenn wir es wirklich brauchen und wenn wir die Welt auch wirklich verstehen.

Technische Zusammenfassung

Titel: Modellbasierte und modellfreie Bewertungssignale im menschlichen Gehirn variieren erheblich in ihrer Beziehung zu individuellen Unterschieden in der Verhaltenskontrolle

1. Problemstellung und Hintergrund

Die menschliche Entscheidungsfindung unter Verstärkung wird traditionell auf zwei unterschiedliche Strategien zurückgeführt: modellfreies (MF) und modellbasiertes (MB) Verstärkungslernen (RL).

• Modellfrei (MF): Lernt durch Versuch und Irrtum, akkumuliert Werte basierend auf vergangenen Ergebnissen und repräsentiert habituelles Verhalten.
• Modellbasiert (MB): Nutzt ein internes kognitives Modell der Umgebung (Zustandsübergänge), um flexible, zielgerichtete Planung zu ermöglichen.

Während das menschliche Verhalten im Durchschnitt eine Mischung beider Strategien widerspiegelt, ist unklar, wie individuelle Unterschiede im Einsatz dieser Strategien mit den zugrunde liegenden neuronalen Mechanismen zusammenhängen. Die zentrale Frage ist: Repräsentieren dieselben Gehirnregionen (z. B. der ventromediale präfrontale Cortex, vmPFC) beide Signale flexibel je nach der aktuell genutzten Strategie, oder sind die neuronalen Substrate für MB- und MF-Strategien bei Individuen, die eine bestimmte Strategie nicht nutzen, auch nicht vorhanden?

2. Methodik

Die Studie nutzte eine große Stichprobe und ein komplexes experimentelles Design, um diese Fragen zu klären:

• Stichprobe: Eine ungewöhnlich große Kohorte von 179 Teilnehmern (fMRI-Studie), was eine hohe statistische Power für die Analyse individueller Unterschiede bot.
• Aufgabe: Eine Variante des Zwei-Schritte-Tasks (Two-Step Task).
  • Teilnehmer wählten zu Beginn eine von zwei "Raumschiffen" aus.
  • Dies führte probabilistisch (70% häufig, 30% selten) zu einem von zwei Planeten.
  • Von dort erfolgte ein weiterer Übergang zu Landeplätzen, gefolgt von einem Belohnungsergebnis.
  • Die Belohnungswahrscheinlichkeiten schwankten während des Experiments.
• Verhaltensanalyse und Clustering:
  • Die Daten wurden computergestützt analysiert, um die Nutzung von MB- und MF-Strategien zu quantifizieren.
  • Basierend auf einem vorherigen großen Datensatz (N=678) wurden Teilnehmer in vier Cluster eingeteilt:
    1. MB-Gruppe: Dominant modellbasiert.
    2. MF-Gruppe: Dominant modellfrei.
    3. Misch-Gruppe: Kombination beider Strategien.
    4. Andere-Gruppe: Zeigte keine klare RL-Strategie (nicht-RL-Verhalten).
• Computational Modeling:
  • Anwendung eines Arbitration Mixture Models (ein hybrides RL-Modell mit getrennten MF- und MB-Modulen, die über verschiedene Zeitskalen lernen und gewichtet werden).
  • Extraktion von Repräsentationsvariablen: Entscheidungswerte (Decision Values), Vorhersagefehler (State Prediction Errors - SPE, Reward Prediction Errors - RPE).
• fMRI-Analyse:
  • General Linear Model (GLM) auf Voxel-Ebene.
  • Parametrische Modulatoren für MB- und MF-Werte, SPEs und RPEs.
  • Fokus auf den vmPFC als Region of Interest (ROI), basierend auf Meta-Analysen, sowie ganze Gehirn-Analysen.
  • Korrelationsanalysen zwischen der Stärke der neuronalen Signale und dem individuellen MB/MF-Verhalten (gemessen durch den Gewichtsparameter $w_{MF}$).

3. Wichtige Beiträge und Ergebnisse

A. Asymmetrie in der neuronalen Repräsentation von Werten (vmPFC)

• Modellbasierte Werte (MB): Die Repräsentation von MB-Entscheidungswerten im vmPFC war stark abhängig vom individuellen Verhalten.
  • Teilnehmer mit einer starken MB-Verhaltensstrategie zeigten signifikante MB-Wert-Signale im vmPFC.
  • Teilnehmer, die keine MB-Strategie nutzten (MF- oder "Andere"-Gruppe), zeigten keine signifikanten MB-Wert-Signale im vmPFC.
  • Schlussfolgerung: MB-Signale werden im vmPFC nur dann kodiert, wenn sie aktiv zur Verhaltenssteuerung genutzt werden.
• Modellfreie Werte (MF): Im Gegensatz dazu waren MF-Entscheidungswert-Signale im vmPFC ubiquitär (allgegenwärtig).
  • Diese Signale waren in allen Gruppen signifikant vorhanden, einschließlich der MB-Gruppe und der "Andere"-Gruppe, selbst wenn diese Gruppen kein MF-Verhalten an den Tag legten.
  • Schlussfolgerung: MF-Signale scheinen eine grundlegende, "Standard"-Berechnung im Gehirn zu sein, die unabhängig davon stattfindet, ob sie tatsächlich das Verhalten steuern.

B. State Prediction Errors (SPE) und Modellbildung

• SPE-Signale (wichtig für das Lernen von Zustandsübergängen im MB-System) wurden im dorsolateralen präfrontalen Cortex (dlPFC) und im intraparietalen Sulcus (IPS) gefunden.
• Die Stärke der SPE-Kodierung korrelierte negativ mit dem MF-Gewicht ($w_{MF}$): Je stärker die MB-Verhaltenskontrolle, desto stärker die SPE-Signale.
• Die "Andere"-Gruppe (ohne MB-Verhalten) zeigte reduzierte oder fehlende SPE-Signale in diesen Regionen.
• Interpretation: Das Fehlen von MB-Verhalten könnte auf eine Schwierigkeit zurückzuführen sein, ein genaues internes Modell der Umwelt (Zustandsübergänge) zu bilden oder zu aktualisieren, was sich in schwächeren SPE-Signalen widerspiegelt.

C. Reward Prediction Errors (RPE)

• Es wurden keine signifikanten Unterschiede in der RPE-Repräsentation zwischen den Gruppen in den Striatal-ROIs gefunden, was jedoch möglicherweise auf hohe Korrelationen zwischen den Signalen und mangelnde statistische Power für diese spezifische Fragestellung zurückzuführen ist.

4. Signifikanz und Implikationen

Die Studie liefert entscheidende Erkenntnisse für das Verständnis der neuronalen Architektur von Entscheidungsprozessen:

1. Dissociation der Mechanismen: Es gibt eine qualitative Asymmetrie zwischen MF- und MB-Systemen. Während MF-Signale als konstante, Hintergrundberechnung im Gehirn (insbesondere im vmPFC) existieren, sind MB-Signale kontextabhängig und nur bei aktiver Nutzung der Strategie vorhanden.
2. Ursache für Verhaltensunterschiede: Das Fehlen von MB-Verhalten bei einigen Individuen scheint nicht nur eine bewusste Entscheidung gegen MB-Strategien zu sein, sondern könnte auf eine grundlegende Schwierigkeit in der kognitiven Modellbildung (Lernen von Zustandsübergängen) hindeuten, was sich in reduzierten SPE-Signalen manifestiert.
3. Klinische Relevanz: Diese Ergebnisse helfen, die neurokognitive Basis individueller Unterschiede in Gesundheit und Krankheit zu verstehen. Störungen, die mit rigiden, gewohnheitsmäßigen Verhaltensweisen oder einem Verlust der flexiblen Planung einhergehen (z. B. bei Zwangsstörungen oder Sucht), könnten auf Dysfunktionen in der Fähigkeit beruhen, MB-Signale zu generieren oder SPEs effektiv zu nutzen, anstatt nur auf einer Verschiebung der Arbitration zwischen zwei gleichwertigen Systemen.

Zusammenfassend zeigt die Arbeit, dass modellfreies Lernen ein universelles neuronales Phänomen ist, während modellbasiertes Lernen eine spezialisierte, verhaltensabhängige Funktion darstellt, deren Ausbleiben auf Defizite in der internen Weltmodellierung hindeuten kann.