Explore-exploit instability reveals computational decision-making heterogeneity in early psychosis

Die Studie zeigt, dass bei frühen Psychosen die Instabilität im Abwägen zwischen Erkundung und Ausbeutung nicht auf Lernstörungen zurückzuführen ist, sondern auf eine erhöhte Unsensitivität und Entscheidungsrauschen, was zu drei computergestützten Subtypen mit einzigartigen kognitiven und symptomatischen Profilen führt.

Das Wesentliche

🧠 Wenn das Gehirn den falschen Weg wählt: Eine Reise durch die Welt der frühen Psychosen

Stellen Sie sich vor, Sie sind in einem riesigen, sich ständig verändernden Supermarkt. Ihr Ziel ist es, die leckersten und günstigsten Snacks zu finden, um Ihren Hunger zu stillen. Sie haben drei Gänge zur Auswahl:

1. Der bekannte Gang: Hier haben Sie gestern schon einen tollen Snack gefunden.
2. Der unbekannte Gang: Vielleicht gibt es dort etwas noch Besseres, vielleicht auch nichts.
3. Der dritte Gang: Auch hier ist das Angebot ungewiss.

Ein gesundes Gehirn weiß genau, wann es beim „bekannten Gang" bleiben soll (Ausnutzen), um sicherzugehen, dass es satt wird, und wann es einen Blick in die „unbekannten Gänge" werfen sollte (Erkunden), um vielleicht einen besseren Deal zu finden. Man nennt dies den Abwägungs-Konflikt zwischen Ausnutzen und Erkunden.

Diese Studie untersucht, was passiert, wenn dieses innere Navigationsystem bei Menschen mit frühen Psychosen (einem Vorstadium von Erkrankungen wie Schizophrenie) etwas „aus dem Takt" gerät.

🕵️‍♂️ Das Problem: Der ständige Wechsel

Die Forscher haben 75 Menschen mit frühen Psychosen und 68 gesunde Kontrollpersonen beobachtet. Beide Gruppen spielten ein Computerspiel, das genau diesem Supermarkt-Szenario entsprach.

Das Überraschende: Beide Gruppen waren gleich gut darin, Punkte zu sammeln. Sie fanden im Großen und Ganzen die besten Snacks.
Aber es gab einen großen Unterschied im Verhalten:
Die Menschen mit frühen Psychosen wechselten viel öfter den Gang, selbst wenn sie gerade einen tollen Snack gefunden hatten. Sie ließen den guten Snack stehen, um wieder neu zu suchen, obwohl sie eigentlich genau wussten, wo der gute Snack war.

Die Metapher: Stellen Sie sich vor, Sie essen gerade einen köstlichen Apfel. Ein gesunder Mensch sagt: „Lecker, ich esse weiter." Ein betroffener Mensch sagt plötzlich: „Moment, vielleicht gibt es ja woanders einen noch besseren Apfel?" und springt auf, um zu suchen – obwohl der Apfel, den er gerade hat, schon perfekt ist.

🔍 Die Detektivarbeit: Warum wechseln sie so oft?

Frühere Studien dachten, diese Menschen könnten einfach nicht lernen, welcher Snack der beste ist (ein Lernproblem). Die neue Studie sagt jedoch: Nein, das ist es nicht. Sie lernen sehr gut, welcher Snack gut ist.

Das Problem liegt woanders. Es ist wie ein instabiler Kompass.
Die Forscher nutzten komplexe Computermodelle (wie eine Art „Gehirn-Software"), um herauszufinden, was in den Köpfen der Betroffenen vorgeht. Sie entdeckten zwei Hauptursachen für dieses ständige Umherirren:

1. Die „Unsicherheits-Angst" (Unsicherheitssensitivität):
   Diese Menschen nehmen Unsicherheit viel stärker wahr als andere. Selbst wenn der Kompass auf „Gute Richtung" zeigt, denken sie: „Aber was, wenn der Weg morgen schon wieder anders ist? Ich muss sofort wieder suchen!" Sie verlassen den sicheren Hafen zu früh, weil sie die Welt als viel chaotischer und unberechenbarer empfinden, als sie tatsächlich ist.

   • Vergleich: Es ist, als würde man bei jedem kleinen Windhauch sofort den Regenschirm aufklappen, obwohl es gar nicht regnet.

2. Der „Rausch-Filter" (Entscheidungsrauschen):
   Bei manchen Menschen ist der interne Filter, der Entscheidungen trifft, einfach etwas „verrauscht". Das Signal „Bleib hier!" wird von zufälligem statischen Rauschen überlagert. Das führt dazu, dass sie aus Versehen den Weg wechseln, ohne einen echten Grund dafür zu haben.

   • Vergleich: Stellen Sie sich vor, Sie versuchen, ein ruhiges Gespräch zu führen, aber im Hintergrund läuft ein lauter Radio-Statik. Manchmal hören Sie das „Bleib!" nicht mehr und handeln einfach willkürlich.

🧩 Drei verschiedene Typen: Nicht alle sind gleich

Das Spannendste an der Studie ist, dass die Forscher nicht einfach sagten: „Alle Betroffenen sind gleich." Stattdessen fanden sie drei verschiedene Typen von Denkweisen, die sich wie unterschiedliche Charaktere in einem Film verhalten:

• Typ 1: Der Normale (Die „Normale" Gruppe)
  Diese Gruppe (die meisten gesunden Menschen und einige Betroffene) hat einen stabilen Kompass. Sie nutzen das, was sie kennen, und suchen nur dann, wenn es wirklich nötig ist. Interessanterweise hatten viele in dieser Gruppe eher Stimmungsstörungen (wie bipolare Störungen), aber ihr Denkprozess beim Suchen von Belohnungen war fast perfekt.

  • Metapher: Ein erfahrener Navigator, der genau weiß, wann er den Kurs halten muss.

• Typ 2: Der Unsichere (Die „Unsicherheits-sensitive" Gruppe)
  Diese Gruppe (viele Betroffene) hat einen extrem empfindlichen Kompass. Sie spüren jede kleine Unsicherheit sofort und wechseln zu oft die Richtung. Sie lernen aber eigentlich gut, wo die Belohnungen sind.

  • Metapher: Ein Navigator, der bei jedem Wolkenschatten sofort die Route ändert, weil er Angst hat, dass der Himmel gleich umkippt.

• Typ 3: Der Verwirrte (Die „Hohe Entscheidungs-Rausch"-Gruppe)
  Diese Gruppe (viele Betroffene) hat nicht nur einen empfindlichen Kompass, sondern auch viel „Rauschen". Sie wechseln nicht nur wegen Unsicherheit, sondern auch zufällig. Sie haben oft größere kognitive Schwierigkeiten und mehr negative Symptome (wie Antriebslosigkeit).

  • Metapher: Ein Navigator, dessen Kompass ständig zittert und der plötzlich ohne Grund in eine andere Richtung läuft.

💡 Warum ist das wichtig?

Bisher behandelte man Psychosen oft wie einen einzigen großen Block. Diese Studie zeigt jedoch: Es gibt verschiedene Arten, wie das Gehirn Entscheidungen trifft.

• Wenn man weiß, dass jemand zu Typ 2 gehört (zu empfindlich für Unsicherheit), könnte eine Therapie darauf abzielen, diese Angst vor der Unsicherheit zu reduzieren.
• Wenn jemand zu Typ 3 gehört (zu viel Rauschen), könnte eine andere Behandlung (vielleicht medikamentös) helfen, das Signal klarer zu machen.

Das Fazit:
Die Studie zeigt uns, dass das „Herumirren" bei Menschen mit frühen Psychosen nicht einfach nur „Vergesslichkeit" oder „Dummheit" ist. Es ist ein spezifisches technisches Problem im inneren Navigationsystem des Gehirns. Indem wir herausfinden, welcher Typ von Problem vorliegt, können wir in Zukunft maßgeschneiderte Therapien entwickeln, die genau dort ansetzen, wo der Kompass versagt.

Es ist wie bei einem Auto: Wenn es nicht läuft, reicht es nicht zu sagen „Das Auto ist kaputt". Man muss herausfinden, ob es der Motor, die Batterie oder die Reifen sind, damit man die richtige Reparatur wählen kann. Diese Studie hilft uns, die „Reifen" und den „Motor" des menschlichen Denkens besser zu verstehen.

Technische Zusammenfassung

Titel: Explore-Exploit-Instabilität offenbart computergestützte Entscheidungsheterogenität bei Frühpyschose

1. Problemstellung und Hintergrund

Psychotische Erkrankungen sind durch eine erhebliche klinische und neurophysiologische Heterogenität in Bezug auf Symptome, Krankheitsverlauf und Therapieansprechen gekennzeichnet. Diese Vielfalt erschwert das Verständnis der zugrunde liegenden Pathophysiologie und die Entwicklung individualisierter Behandlungsstrategien.
Bisherige Studien haben gezeigt, dass Patienten mit Psychosen (insbesondere im frühen Stadium, EP) häufig ein übermäßiges Wechseln von Entscheidungen („Choice Switching") und eine geringere Persistenz bei der Ausbeutung bekannter Belohnungen zeigen. Die genaue Ursache dieser Dysfunktion ist jedoch unklar: Handelt es sich um Defizite im Belohnungslernen, um erhöhte Entscheidungsrückstände (Decision Noise) oder um eine gestörte Sensitivität gegenüber Unsicherheit? Herkömmliche kognitive Tests erfassen diese feingranularen („mikrokognitiven") Prozesse oft nicht direkt.

2. Methodik

Die Studie kombinierte verhaltensbasierte Experimente mit fortgeschrittener computergestützter Modellierung (Computational Psychiatry).

• Teilnehmer: 75 Personen mit Frühpyschose (EP) und 68 neurotypische Kontrollpersonen. Die Daten wurden aus einer größeren longitudinalen fMRI-Studie entnommen.
• Aufgabe: Ein dynamischer „Restless Bandit"-Task (dreiarmiges Bandit-Problem).
  • Drei Optionen (Gabor-Patches) boten stochastische Belohnungen (+1 oder 0).
  • Die Gewinnwahrscheinlichkeiten jeder Option drifteten zufällig und unabhängig voneinander über die Zeit (10 % Chance pro Trial, sich um 0,1 zu ändern).
  • Die Aufgabe erforderte ein Abwägen zwischen Exploration (Ausprobieren neuer Optionen zur Informationsgewinnung) und Exploitation (Ausnutzen der aktuell besten Option).
• Computational Modeling:
  • Hidden Markov Model (HMM): Zur Inferenz latenter Zustände (Exploration vs. Exploitation) aus den Wahlsequenzen der Teilnehmer.
  • Bayesian Learner Model (Kalman-Filter): Im Gegensatz zu klassischen Reinforcement-Learning (RL)-Modellen mit festen Lernraten schätzt dieses Modell sowohl den erwarteten Wert als auch die Unsicherheit jeder Option. Es passt die effektive Lernrate basierend auf der geschätzten Unsicherheit an.
  • Modellparameter: Wichtige Parameter umfassten die Unsicherheitssensitivität ($\phi$), die Entscheidungsrückständigkeit/Noise ($\beta^{-1}$) und Perseveration ($\omega$).
  • Vergleich: Verschiedene RL-Varianten (inkl. asymmetrisches Lernen, Choice Kernel) wurden mit dem Bayesian-Modell verglichen (mittels AIC/BIC).
• Clustering: Hierarchisches Clustering (Ward-Methode) wurde auf computergestützte Parameter und kognitive Testergebnisse angewendet, um Subtypen zu identifizieren.

3. Schlüsselergebnisse

• Verhaltensdaten:

  • Die Gesamtbelohnung (Performance) unterschied sich nicht signifikant zwischen EP und Kontrollen.
  • EP-Teilnehmer wählten jedoch signifikant häufiger die suboptimale Option und wechselten öfter die Strategie, selbst nach erfolgreichen Belohnungen (Win-Switch).
  • Dies führte zu einer geringeren Anzahl optimaler Entscheidungen über die Zeit.

• Mechanismen der Exploration:

  • Das HMM zeigte, dass EP-Teilnehmer häufiger von einem Exploitation-Zustand in einen Exploration-Zustand wechselten, insbesondere nach Erhalt einer Belohnung.
  • Der Übergang von Exploration zurück zu Exploitation war intakt, was darauf hindeutet, dass das Belohnungslernen an sich nicht defekt ist, sondern die Stabilität der Ausbeutungsstrategie gestört ist.

• Computergestützte Ursachenanalyse:

  • Das Bayesian Learner-Modell passte die Daten der EP-Gruppe besser an als traditionelle RL-Modelle.
  • Zwei unabhängige Faktoren trieben die übermäßige Exploration bei EP an:
    1. Erhöhte Unsicherheitssensitivität ($\phi$): EP-Teilnehmer reagierten stärker auf geschätzte Unsicherheit und verließen eine vorteilhafte Option zu früh, um Unsicherheit zu reduzieren.
    2. Erhöhtes Decision Noise (geringere inverse Temperatur $\beta$): Die Entscheidungen waren verrauschter und weniger konsistent auf den gelernten Wert ausgerichtet.
  • Es gab keine signifikanten Gruppenunterschiede in der Perseveration (Wiederholungstendenz).

• Identifikation von Subtypen (Clustering):

  • Die Analyse ergab drei stabile computergestützte Subtypen, die sich über beide Sitzungen hinweg bewährten:
    1. Subtyp 1 (Normativ): Geringe Unsicherheitssensitivität, geringes Rauschen, starke kognitive Leistung. Überrepräsentiert bei Kontrollen und bipolaren Störungen mit Psychosen.
    2. Subtyp 2 (Unsicherheitssensitiv): Hohe Unsicherheitssensitivität, langsame Verarbeitung, schlechtes Gedächtnis, aber intakte Exekutivfunktionen. Korreliert mit häufigeren psychiatrischen Krankenhausaufenthalten.
    3. Subtyp 3 (High Decision Noise): Hoher Entscheidungsrauschen, breite kognitive Defizite, Defizite im Belohnungslernen (schwierigkeiten, Exploitation aufrechtzuerhalten). Korreliert mit stärkeren negativen Symptomen.

• Klinische Korrelationen:

  • Höhere Übergänge zur Exploration und mehr Decision Noise korrelierten mit schlechterer realer Funktionsfähigkeit im Alltag.
  • Decision Noise war mit der Schwere negativer Symptome assoziiert.
  • Die Subtypen zeigten unterschiedliche klinische Profile, die über die reine Diagnose hinausgingen (z. B. unterschiedliche Verteilung von Schizophrenie vs. bipolarer Störung).

4. Hauptbeiträge und Signifikanz

• Auflösung der Heterogenität: Die Studie zeigt, dass das Phänomen des „übermäßigen Wechselns" bei Psychosen nicht auf einen einzigen Mechanismus (wie reines Lernversagen) zurückzuführen ist, sondern auf verschiedene mikrokognitive Prozesse (Unsicherheitssensitivität vs. Rauschen).
• Neue Modellierungsperspektive: Durch den Einsatz eines Bayesian Learner-Modells konnte gezeigt werden, dass EP-Patienten nicht unbedingt schlechter lernen, sondern dass ihre Strategie durch eine übermäßige Sensitivität gegenüber Unsicherheit und Entscheidungsrückständigkeit destabilisiert wird.
• Präzisionspsychiatrie: Die Identifikation von drei computergestützten Subtypen mit einzigartigen symptomatischen und kognitiven Profilen unterstreicht die Notwendigkeit, über diagnostische Kategorien hinaus zu denken. Diese Subtypen könnten als Biomarker für zielgerichtete Interventionen dienen (z. B. unterschiedliche Therapien für den „Unsicherheitssensitiven" vs. den „Rausch-Subtyp").
• Translationaler Wert: Der „Restless Bandit"-Task bietet ein skalierbares Werkzeug, um individuelle Entscheidungsstrategien zu quantifizieren und mechanistische Einblicke in die Neurobiologie von Psychosen zu gewinnen, die potenziell auf Tiermodelle übertragbar sind.

Fazit: Die Studie liefert starke Evidenz dafür, dass computergestützte Modellierung von Entscheidungsprozessen in der Frühpyschose subtile, aber klinisch relevante Heterogenitäten aufdecken kann, die für die Entwicklung personalisierter Behandlungsansätze entscheidend sind.