Policy precision reveals action-phase impulsivity in women with premenstrual syndrome during risk-taking

Die Studie zeigt, dass ein neuartiges Active-Inference-Modell, das die Minimierung erwarteter freier Energie nutzt, bei Frauen mit prämenstruellem Syndrom (PMS) während der Risikobereitschaft eine spezifische, zyklusabhängige Erhöhung der inversen Präzision von Handlungsplänen aufdeckt, was Impulsivität als gesteigerte Sensitivität für sequenzielle Bewertungen im Gegensatz zu stabilen Vorab-Strategien charakterisiert.

Das Wesentliche

Das große Experiment: Der unsichtbare Luftballon

Stell dir vor, du spielst ein Spiel am Computer. Vor dir schwebt ein Luftballon. Deine Aufgabe: Du kannst so oft wie möglich auf einen Knopf drücken ("pumpen"), um den Ballon zu füllen.

• Jeder Druck bringt dir virtuelles Geld.
• Aber: Irgendwann platzt der Ballon. Wenn er platzt, verlierst du alles Geld, das du in diesem Versuch gesammelt hast.
• Die Frage: Wann hörst du auf? Drückst du noch einmal, um mehr zu gewinnen, oder bist du vorsichtig und nimmst das, was du hast?

Dieses Spiel heißt BART (Balloon Analogue Risk Task). Es wird genutzt, um zu testen, wie risikofreudig oder impulsiv Menschen sind.

Das Problem: Warum alte Modelle versagten

Bisher haben Wissenschaftler versucht, das Verhalten der Spieler mit mathematischen Formeln zu erklären. Sie dachten: "Der Spieler rechnet einfach: 'Wie hoch ist die Chance, dass er jetzt platzt?'"

Aber die Forscher (Yoon und Jeong) sagten: "Nein, das ist zu simpel!"
Menschen denken nicht wie ein Taschenrechner. Sie haben zwei Arten zu denken, die sie mischen:

1. Der Planer: "Ich werde heute maximal 10 Mal pumpen, egal was passiert." (Ein fester Plan).
2. Der Entdecker: "Ich schaue mir gerade an, wie der Ballon sich verhält. Vielleicht platzt er erst bei 15? Ich teste noch mal!" (Reaktion auf den Moment).

Die alten Modelle konnten diese beiden Denkweisen nicht gut zusammenbringen. Sie waren wie eine Landkarte, die nur gerade Linien zeigte, aber die kurvigen Straßen des menschlichen Gehirns ignorierte.

Die neue Lösung: Ein "Gehirn-Modell" mit zwei Motoren

Die Forscher haben ein neues Modell entwickelt, das auf einer Theorie namens Active Inference (Aktive Inferenz) basiert. Stell dir das menschliche Gehirn wie einen Auto-Fahrer vor, der zwei Motoren hat:

1. Der Pragmatismus-Motor (Der Belohnungsjäger): "Ich will Geld verdienen!" (Das ist der Wunsch nach Gewinn).
2. Der Wissens-Motor (Der Entdecker): "Ich will wissen, wie groß der Ballon werden kann, bevor er platzt!" (Das ist der Wunsch, Unsicherheit zu reduzieren).

Das Besondere an diesem neuen Modell ist, dass es erkennt: Unsicherheit macht uns neugierig. Wenn wir nicht genau wissen, wann der Ballon platzt, pumpen wir öfter, nicht nur aus Gier, sondern um mehr Informationen zu sammeln.

Der "Impulsivitäts-Schalter" (Das Wichtigste für die Studie)

Das Modell hat einen speziellen Parameter, den sie "Präzision der Strategie" nennen.

• Niedrige Präzision: Der Fahrer ist ruhig. Er hält sich an seinen Plan ("Ich stoppe bei 10").
• Hohe Präzision (aber chaotisch): Der Fahrer ist extrem nervös und reagiert auf jeden einzelnen Druck. Er hört nicht auf seinen Plan, sondern macht alles, was gerade passiert. Er ist "impulsiv im Moment".

Was sie bei Frauen mit PMS herausfanden

Die Forscher haben dieses Spiel mit 159 Frauen gespielt. Manche hatten das Prämenstruelles Syndrom (PMS), andere nicht. Sie haben sie in zwei Phasen ihres Zyklus getestet (kurz vor der Periode und in der Mitte).

Die Ergebnisse waren spannend:

1. Kein Lernproblem: Frauen mit PMS waren nicht "dümmer" oder lernten das Spiel schlechter. Sie wussten genauso gut wie die anderen, wann der Ballon platzen könnte.
2. Das Problem ist der "Moment": Frauen mit PMS hatten einen viel höheren Wert für den Impulsivitäts-Schalter (die "inverse Präzision").
   • Was das bedeutet: Wenn eine Frau mit PMS pumpte, hörte sie oft nicht auf ihren festen Plan. Stattdessen ließ sie sich von jedem einzelnen Erfolg (jeder erfolgreiche Pump) sofort mitreißen.
   • Die Metapher: Stell dir vor, du hast einen Plan, nur 5 Stück Schokolade zu essen. Eine normale Person hält sich daran. Eine Person mit PMS (in diesem Modell) sagt: "Oh, die erste schmeckt so gut! Ich nehme noch eine. Oh, die zweite auch! Noch eine!" Sie verliert den Plan aus den Augen, weil sie im "Hier und Jetzt" zu stark auf die Belohnung reagiert.

Interessanterweise: Dieser Effekt war besonders stark in der Phase kurz vor der Periode (luteale Phase) bei den Frauen mit PMS. Es ist, als würde der "Impulsivitäts-Schalter" in dieser Zeit etwas empfindlicher werden.

Was bedeutet das für uns?

Früher dachte man, Impulsivität bei PMS sei vielleicht ein Zeichen dafür, dass die Frauen schlechter lernen oder ihre Gefühle nicht kontrollieren können.

Diese Studie sagt etwas anderes:
Es ist kein Defizit im Lernen. Es ist ein Überschuss an Reaktion im Moment. Frauen mit PMS sind nicht unfähig zu planen, aber wenn es darauf ankommt, die Handlung tatsächlich durchzuführen, lassen sie sich von der aktuellen Situation (dem Erfolg des letzten Schritts) so stark mitreißen, dass sie ihren Plan vergessen.

Zusammengefasst:
Die Forscher haben eine neue Art gefunden, in den Kopf von Menschen zu schauen. Sie haben gezeigt, dass Impulsivität bei PMS wie ein überempfindlicher Gaspedal ist: Der Motor läuft gut, aber das Gas wird im entscheidenden Moment zu stark getreten, weil der Fahrer auf jedes kleine Geräusch des Motors reagiert, anstatt auf die Landkarte (den Plan) zu schauen.

Dieses neue Modell hilft Ärzten und Wissenschaftlern, solche Verhaltensweisen besser zu verstehen und vielleicht in Zukunft gezieltere Therapien zu entwickeln, die nicht das Lernen verbessern, sondern helfen, den "Moment" besser zu kontrollieren.

Technische Zusammenfassung

Technische Zusammenfassung: Policy-Precision enthüllt Handlungsphasen-Impulsivität bei Frauen mit prämenstruellem Syndrom (PMS) im Risikoverhalten

1. Problemstellung und Motivation

Der Balloon Analogue Risk Task (BART) ist ein Standardparadigma zur Messung von Risikoverhalten und Impulsivität. Bisherige rechnerische Modelle (z. B. das EWMV-Modell oder klassische Wahlmodelle) leiden unter zwei wesentlichen konzeptionellen Einschränkungen:

• Trennung von Strategien: Sie behandeln sequenzielle Bewertung (Entscheidung Pumpen/Stoppen bei jedem Schritt) und vorab geplante Bewertung (Festlegung der Pumpzahl vor Trial-Beginn) als getrennte Mechanismen, anstatt sie als Phasen eines einheitlichen Entscheidungsprozesses zu integrieren.
• Mangelnde Unsicherheitsmodellierung: Bestehende Modelle erfassen das informationssuchende Verhalten (Information-Seeking) unter Unsicherheit oft nicht adäquat. Parameter wie die Varianz in der Nutzenfunktion haben in der Praxis oft vernachlässigbare Effekte oder führen zu unintuitiven Ergebnissen (z. B. wenn höhere Verlustaversion paradoxerweise das Pumpen fördert).
• Kontinuierliche vs. diskrete Lernprozesse: Herkömmliche Lernmodelle aktualisieren die Burst-Wahrscheinlichkeit oft als kontinuierliches Verhältnis, was die diskrete, schrittweise Natur menschlicher Lernprozesse in diesem spezifischen Umfeld nicht korrekt abbildet.

Ziel der Studie ist es, ein neues rechnerisches Framework zu entwickeln, das diese Lücken schließt und Impulsivität bei Frauen mit prämenstruellem Syndrom (PMS) präziser zu charakterisieren.

2. Methodik

A. Theoretisches Framework: Active Inference (AIF)
Die Autoren führen ein neues Modell basierend auf dem Active Inference Framework ein. Das Verhalten wird als Minimierung der erwarteten freien Energie (Expected Free Energy, EFE) konzeptualisiert.

• EFE-Komponenten: Die EFE ($G$) kombiniert pragmatischen Wert (Erwarteter Nutzen/Reward) und epistemischen Wert (Informationsgewinn/Unsicherheitsreduktion).
  $$G_{\pi} = D_{KL}[q(o|\pi) \parallel p(o)] + E_{q(\theta)}[H[o|\theta, \pi]]$$
  Der erste Term repräsentiert das Risiko (Abweichung von Präferenzen), der zweite Term die Ambiguität (Unsicherheit).
• Diskrete Lernmechanik: Anstatt einer kontinuierlichen Schätzung der Burst-Wahrscheinlichkeit, modelliert das System die Wahrscheinlichkeit für jeden einzelnen Pump-Schritt ($p_h^{burst}$) diskret. Die Lernupdates erfolgen über eine Beta-Bernoulli-Verteilung, die auf diskreten Beobachtungen (Erfolg/Misserfolg pro Schritt) basiert.
• Dynamische Policy-Precision ($\gamma$): Ein Kernmerkmal des vorgeschlagenen Modells ist die dynamische Anpassung der Policy-Precision ($\gamma$). Diese wird durch die Variational Free Energy (VFE), also die Diskrepanz zwischen Vorhersage und Beobachtung, moduliert.
  • Wenn eine Aktion (Pumpen) erfolgreich ist, aber die erwartete freie Energie für das Stoppen höher wäre (hohe Unsicherheit), divergieren VFE und EFE. Dies führt zu einer Verringerung von $\gamma$.
  • Eine niedrigere $\gamma$ schwächt den Einfluss der rationalen EFE auf die Entscheidung, was impulsives Weitermachen trotz steigender Risiken erklärt (Gambling-Phänomen).

B. Experimentelles Design und Daten

• Probanden: 159 weibliche Teilnehmerinnen (Durchschnittsalter 26,2 Jahre).
• Gruppeneinteilung: Basierend auf dem Premenstrual Symptoms Screening Tool (PSST) in eine PMS-Gruppe ($N=66$) und eine Kontrollgruppe.
• Phasen: Einteilung in follikuläre und luteale Phase des Menstruationszyklus.
• Aufgabe: Online-Durchführung des BART.
• Vergleichsmodelle: Vier Modelle wurden verglichen:
  1. Wallsten-Modell (klassisch).
  2. EWMV-Modell (Exponential Weighted Mean and Variance).
  3. efeX: AIF-Modell mit fester Policy-Precision.
  4. efegc: AIF-Modell mit dynamischer Policy-Precision (Gamma-Change).

C. Statistische Analyse

• Bayesian Model Selection (Rigoux et al., 2014) zur Modellbewertung.
• Zwei-Wege-ANOVA (Faktor: Phase $\times$ Gruppe) für Verhaltensmetriken (AMP, AVP, PFMP) und geschätzte Modellparameter.

3. Ergebnisse

A. Modellvergleich
Das efegc-Modell (AIF mit dynamischer Policy-Precision) übertraf alle anderen Modelle signifikant in der Erklärung der Verhaltensdaten (höhere protected exceedance probability). Dies bestätigt, dass die Integration von pragmatischem und epistemischem Wert sowie die dynamische Anpassung der Policy-Precision notwendig sind, um BART-Verhalten zu modellieren.

B. Verhaltensmetriken (Traditionell)

• Klassische Metriken wie Adjusted Mean Pumps (AMP) und Adjusted Variance of Pumps (AVP) zeigten keine signifikanten Haupteffekte der Gruppe oder Phase und keine Interaktion.
• Post-Failure Mean Pumps (PFMP) zeigte einen signifikanten Phaseneffekt in der Kontrollgruppe, aber nicht in der PMS-Gruppe. Dies deutet darauf hin, dass traditionelle Metriken die spezifischen Defizite der PMS-Gruppe nicht sensitiv genug erfassen.

C. Rechnerische Parameter (Neue Erkenntnisse)

• Inverse Policy-Precision ($\beta_0$): Im efegc-Modell zeigte der Parameter $\beta_0$ (der die Inverse der Policy-Precision darstellt) einen signifikanten Haupteffekt der Gruppe: Die PMS-Gruppe wies signifikant höhere Werte auf.
• Interaktion Phase $\times$ Gruppe: Ein signifikanter Unterschied zwischen den Zyklusphasen wurde nur in der PMS-Gruppe beobachtet (höhere Werte in der lutealen Phase), während die Kontrollgruppe stabil blieb.
• Korrelationen:
  • $\beta_0$ korrelierte positiv mit der Varianz der Pumpzahlen (AVPAMP), was auf eine Inkonsistenz im Verhalten während der Aktionsphase hindeutet.
  • Es gab keine Korrelation mit Lernfehlern (z. B. keine signifikante Beziehung zu PFMP nach Adjustierung für AMP).
  • Dies impliziert, dass die Impulsivität bei PMS nicht auf einem Lerndefizit beruht, sondern auf einer erhöhten Sensitivität gegenüber sequenziellen Bewertungen im Moment der Entscheidung ("On-the-spot"-Entscheidungen) auf Kosten stabiler, vorab geplanter Strategien.

4. Schlüsselerkenntnisse und Beiträge

1. Einheitliches Framework: Die Studie liefert ein neurobiologisch plausibles Modell, das sequenzielle und vorab geplante Evaluationsstrategien nicht als Gegensätze, sondern als durch Unsicherheit und Policy-Precision moduliert Phasen desselben Prozesses vereint.
2. Mechanismus der Impulsivität: Die Impulsivität wird als dynamische Reduktion der Policy-Precision unter Unsicherheit erklärt. Bei PMS-Patientinnen ist diese Reduktion (hoher $\beta_0$) ausgeprägter, was zu einer Überempfindlichkeit gegenüber aktuellen, sequenziellen Belohnungen führt, die rationale Pläne (Stoppen) überlagern.
3. PMS-spezifische Biomarker: Der Parameter $\beta_0$ dient als robuster rechnerischer Marker für PMS. Er erfasst sowohl einen trait-artigen Impulsivitätsaspekt als auch eine state-artige Verschlechterung während des Menstruationszyklus (luteale Phase), die durch traditionelle Verhaltensmetriken übersehen wurde.
4. Unterscheidung von Lern- vs. Aktionsdefiziten: Die Ergebnisse widerlegen die Annahme, dass PMS-Impulsivität auf einem Lernfehler beruht. Stattdessen liegt das Defizit in der Handlungsphase (Action Phase), spezifisch in der Unfähigkeit, stabile Prior-Policies gegen sequenzielle Re-Evaluationen aufrechtzuerhalten.

5. Signifikanz und Ausblick

Diese Arbeit stellt einen bedeutenden Fortschritt in der Computational Psychiatry dar. Sie zeigt, wie Active Inference genutzt werden kann, um subtile kognitive Mechanismen psychischer Störungen zu entschlüsseln, die mit klassischen statistischen Methoden unsichtbar bleiben.

• Klinische Relevanz: Das Modell bietet neue Ansatzpunkte für Therapien, die nicht auf das Lernen, sondern auf die Stabilisierung der Policy-Precision und die Regulation von Unsicherheitsverarbeitung abzielen.
• Methodischer Fortschritt: Die Einführung der dynamischen Policy-Precision in BART-Modelle erklärt Phänomene wie "Gambler's Fallacy" oder das Weitermachen trotz hoher Risiken besser als statische Modelle.
• Limitationen & Zukunft: Da die Daten nicht als wiederholte Messungen innerhalb derselben Probanden über den Zyklus hinweg erhoben wurden (zwischen-subjektives Design für Phasen), sind weitere Studien mit Within-Subject-Designs notwendig, um die Zyklus-Effekte endgültig zu validieren.

Zusammenfassend liefert die Studie einen mechanistischen Einblick, dass Impulsivität bei PMS durch eine erhöhte Sensitivität für trial-by-trial sequenzielle Bewertungen gekennzeichnet ist, die durch eine verminderte Policy-Precision getrieben wird, und nicht durch ein grundlegendes Lernversagen.