📈 economics

Prospect-Theory Behavior from Bellman Optimality in MDPs with Catastrophic States

Diese Arbeit zeigt auf, dass die standardmäßige Bellman-Optimalität in Markov-Entscheidungsprozessen mit absorbierenden katastrophalen Zuständen inhärent zentrale Signaturen der Prospect-Theorie erzeugt – wie etwa S-förmige Wertfunktionen, endogene Verlustaversion und Reflexionseffekt-Politikumkehrungen – ohne dass explizite Wahrscheinlichkeitsgewichtung, Nutzenkrümmung oder Framing-Biase erforderlich sind.

Ursprüngliche Autoren: Yujiao Chen

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yujiao Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein Videospiel, bei dem Ihr Charakter einen „Game Over“-Bildschirm hat, der permanent ist. Sobald Sie diesen Bildschirm erreichen, ist das Spiel vorbei und Sie verlieren alles. Dieses Paper stellt eine einfache Frage: Wenn Sie ein perfekt logischer, risikoneutraler Computer wären, der versucht, dieses Spiel zu gewinnen, würden Sie dann natürlich anfangen, sich wie ein Mensch zu verhalten, der Angst vor Verlusten hat?

Die Antwort lautet ja. Selbst wenn keine eingebauter Angst, keine Angst oder „Verlustaversion“ in das Gehirn programmiert wurde, erzeugt die einfache Mathematik des Versuchs, in der Nähe einer „Game Over“-Grenze zu überleben, ein Verhalten, das exakt den berühmten psychologischen Mustern der Prospect Theory (Neue Erwartungstheorie) entspricht.

Hier ist die Aufschlüsselung, wie das geschieht, unter Verwendung alltäglicher Analogien.

1. Das Setup: Die Klippe und die zwei Pfade

Stellen Sie sich vor, Sie stehen auf einem Vorsprung. Zu Ihrer Linken ist eine Katastrophen-Klippe (ein Sturz bedeutet sofortigen Tod/Game Over). Zu Ihrer Rechten liegt der Rest der Welt. Sie haben jeden Zug zwei Möglichkeiten:

Der sichere Pfad: Sie machen einen kleinen, garantierten Schritt nach vorne.
Der riskante Pfad: Sie werfen eine Münze. Kopf bedeutet, Sie machen einen riesigen Sprung nach vorne. Zahl bedeutet, Sie machen einen riesigen Schritt zurück in Richtung der Klippe.

Normalerweise, wenn Sie weit von der Klippe entfernt sind, würde ein logischer Computer immer den riskanten Pfad wählen, da er Sie im Durchschnitt schneller voranbringt. Wenn Sie sich in einem „Abstiegsszenario“ befinden (in dem beide Pfade Sie rückwärts bewegen), würde ein logischer Computer normalerweise den sicheren Pfad wählen, um langsam zu verlieren.

2. Die Überraschung: Die „S-Kurve“ und der „Hail Mary“

Das Paper entdeckt, dass die Logik des Computers komplett umschlägt, wenn Sie nah an der Klippe sind, was drei seltsame Verhaltensweisen erzeugt, die der menschlichen Psychologie ähneln:

A. Die „S-Kurve“ (Vorsichtig spielen, wenn man gewinnt)

Wenn Sie gut laufen (weit von der Klippe entfernt), sich aber der Kante nähern, wird der Computer plötzlich extrem vorsichtig.

Die Analogie: Stellen Sie sich vor, Sie gewinnen ein Rennen und sind nur noch 10 Meter vor der Ziellinie, aber direkt vor der Linie befindet sich eine riesige Grube. Obwohl ein riesiger Sprung Sie vielleicht schneller zum Ziel führen würde, werden Sie instinktiv langsamer gehen. Sie wollen nicht stolpern und in die Grube fallen.
Das Ergebnis: Der Computer hört auf, Risiken einzugehen, obwohl der riskante Zug einen höheren Durchschnittsertrag hat. Er bevorzugt einen kleinen, sicheren Gewinn, um das winzige Risiko zu vermeiden, von der Klippe zu stürzen. Dies erzeugt eine Wertkurve, die wie ein „S“ aussieht: flach und vorsichtig in der Nähe der Klippe, und dann nach oben kurvend, während man sicherer wird.

B. Der „Hail Mary“ (Glücksspiel, wenn man verliert)

Stellen Sie sich nun vor, Sie befinden sich in einem „Abstiegsszenario“. Beide Pfade bewegen Sie rückwärts in Richtung der Klippe. Der sichere Pfad bewegt Sie langsam zurück; der riskante Pfad bewegt Sie schnell zurück, kann Sie aber manchmal nach vorne springen lassen.

Die Analogie: Sie verlieren ein Footballspiel mit einer Sekunde auf der Uhr. Der sichere Spielzug (ein Field Goal zu kicken) wird das Spiel verlieren lassen, aber langsam. Der riskante Spielzug (ein langer Pass) hat eine hohe Wahrscheinlichkeit des Scheiterns, aber wenn er funktioniert, gewinnen Sie. Ein logischer Computer erkennt, dass „langsames Verlieren“ dasselbe ist wie „sicher verlieren“. Also entscheidet er sich, alles auf eine Karte zu setzen.
Das Ergebnis: Der Computer wählt in der Nähe der Klippe die riskante Aktion, obwohl es statistisch wahrscheinlicher ist, dass er sofort verliert. Er spielt auf Risiko, weil der einzige Weg, der Klippe zu entkommen, ein glücklicher Treffer ist.

C. Die Illusion der „Verlustaversion“

Aufgrund der beiden oben genannten Verhaltensweisen beginnt der Computer sich wie ein Mensch zu verhalten, der Verluste doppelt so sehr hasst, wie er Gewinne liebt.

Die Illusion: Wenn man misst, wie sehr der Computer einen Verlust gegenüber einem Gewinn „bewertet“, zeigt die Mathematik, dass er den Verlust viel stärker gewichtet.
Die Wahrheit: Der Computer fühlt keine Angst. Er betreibt nur Mathematik. Die „Kosten“ eines Absturzes von der Klippe sind unendlich (Game Over), daher zwingt die Mathematik ihn dazu, einen kleinen Schritt zurück als massive Bedrohung zu behandeln. Dies erzeugt eine „Verlustaversions-Zahl“, die größer als 1 ist, rein zufällig durch die Umgebung.

3. Die „Magische Formel“

Die Autoren haben dies nicht nur simuliert; sie haben eine geschlossene Formel (eine einfache mathematische Gleichung) gefunden, die exakt vorhersagt, wie „verlustaversiv“ der Computer sein wird.

Die Formel hängt von drei Dingen ab: wie wahrscheinlich der Münzwurf für einen Gewinn ist, wie sehr Sie die Zukunft wertschätzen (Diskontierungsfaktor) und wie viel größer der Verlust im Vergleich zum Gewinn ist.
Die große Entdeckung: Selbst wenn der Gewinn und der Verlust exakt gleich groß sind (ein vollkommen fairer Münzwurf), sorgt allein die Existenz der „Game Over“-Klippe dafür, dass der Computer sich verlustaversiv verhält. Die Klippe selbst reicht aus, um dieses Verhalten zu erzeugen.

4. Funktioniert es bei echten lernenden Agenten?

Das Paper testete dies mit einem „Model-Free“-KI-Agenten (einem Agenten, der durch Versuch und Irrtum lernt, ähnlich wie ein Mensch oder ein Roboter, ohne die Regeln des Spiels zu kennen).

Das Ergebnis: Der lernende Agent entwickelte exakt dieselben „S-Kurven“- und „Hail Mary“-Strategien. Er musste nicht angewiesen werden, vorsichtig oder verzweifelt zu sein; er lernte diese Verhaltensweisen ganz natürlich, indem er versuchte, der Klippe auszuweichen.
Robustheit: Dies geschieht auch, wenn das Spiel etwas „verrauscht“ ist (wenn die Schritte nicht perfekt gerade verlaufen oder wenn es zufällige Schwankungen gibt). Das Verhalten bleibt bestehen.

Zusammenfassung

Dieses Paper argumentiert, dass die Prospect Theory (die Idee, dass Menschen irrational sind und Verluste mehr fürchten als Gewinne lieben) nicht immer ein psychologischer Fehler sein muss. Stattdessen könnte es eine rationale Überlebensstrategie für jeden intelligenten Agenten sein, der mit einem „Game Over“-Szenario konfrontiert ist.

Wenn man sich in der Nähe eines katastrophalen Scheiterns befindet, ist das Klügste:

Aufhören zu zocken, wenn man gewinnt (um den Vorsprung zu schützen).
Anfangen zu zocken, wenn man verliert (weil man nichts mehr zu verlieren hat).

Das Paper zeigt, dass eine perfekt logische, gefühllose Maschine ganz natürlich genau diese Strategien übernimmt und dadurch so wirkt, als besäße sie menschliche Psychologie, obwohl sie lediglich die Mathematik befolgt.

Technisches Resümee: Prospect-Theory-Verhalten aus der Bellman-Optimalität in MDPs mit katastrophalen Zuständen

1. Problemstellung

Diese Arbeit untersucht, ob die standardmäßige, risikoneutrale optimale Steuerung in Markov-Entscheidungsprozessen (MDPs) Verhaltenssignaturen erzeugen kann, die typischerweise mit der Prospect-Theorie (PT) assoziiert werden – insbesondere wenn die Umgebung einen absorbierenden katastrophalen Zustand enthält.

Die Autoren stellen die konventionelle Interpretation infrage, wonach PT-Phänomene – wie eine S-förmige Wertfunktion, Verlustaversion ( $\lambda > 1$ ) und der Reflexionseffekt (Risikoaversion bei Gewinnen, Risikofreude bei Verlusten) – eine nichtlineare Nutzenfunktion, verzerrte Wahrscheinlichkeitsgewichtung oder referenzabhängige Präferenzen erfordern. Stattdessen stellt die Arbeit die Frage, ob diese Muster rein aus der strukturellen Dynamik eines MDP mit einer „Katastrophengrenze“ (einem absorbierenden Zustand, der Ruin, Bankrott oder Tod darstellt) und linearen Belohnungen hervorgehen.

Der Kern des Problems ist die Bestimmung, ob ein risikoneutraler Agent, der die standardmäßige Bellman-Gleichung optimiert, Folgendes zeigt:

S-förmige Wertfunktionen: Konvex nahe der Katastrophe und konkav im Fernfeld.
Endogene Verlustaversion: Ein zustandsabhängiger Sensitivitätskoeffizient $\lambda^*(S) > 1$ .
Reflexionseffekt: Eine Richtlinienumkehr, bei der der Agent in „Wachstumsregimen“ (positiver Drift) risikoavers und in „Rückgangsregimen“ (negativer Drift) risikofreudig agiert, obwohl lokale Erwartungswertvergleiche das Gegenteil nahelegen.

2. Methodik

Modellformulierung

Die Autoren definieren ein Katastrophengrenze-MDP mit folgenden Eigenschaften:

Zustandsraum: $S = \{S_{cat}, S_{cat}+1, \dots\}$ , wobei $S_{cat}=0$ eine absorbierende Katastrophe mit dem Wert $V_{cat} \le 0$ ist.
Aktionen:
- Sicher (Safe): Deterministischer Übergang $S' = S + \Delta_s$ .
- Risikoreich (Risky): Stochastischer Übergang $S' = S + \Delta_w$ mit Wahrscheinlichkeit $p$ , und $S' = S + \Delta_\ell$ mit Wahrscheinlichkeit $1-p$ (wobei $\Delta_w > 0 > \Delta_\ell$ ).
Zielsetzung: Standardmäßige risikoneutrale Bellman-Optimalität mit linearen Belohnungen und einem Diskontfaktor $\beta \in (0, 1)$ .
Regime:
- Wachstum (Growth): $E[\text{risky}] > \Delta_s > 0$ .
- Rückgang (Decline): $E[\text{risky}] < \Delta_s < 0$ .

Analytischer und numerischer Ansatz

Value Iteration: Das System wird mittels Value Iteration (Toleranz $10^{-10}$ ) über 495 Parameterkonfigurationen hinweg gelöst, um optimale Wertfunktionen $V^*(S)$ und Policies zu generieren.
Endogene Verlustsensitivität: Die Autoren definieren einen strukturellen Verlustsensitivitätskoeffizienten analog zum PT-Parameter $\lambda$ :
$\lambda^*(S) = \frac{|V^*(S) - V^*(S + \Delta_\ell)|}{|V^*(S + \Delta_w) - V^*(S)|}$
Asymptotische Analyse: Die Autoren leiten einen geschlossenen Ausdruck für den asymptotischen Grenzwert $\bar{\lambda} = \lim_{S \to \infty} \lambda^*(S)$ ab, indem sie die charakteristische Gleichung der linearen Rekursion analysieren, die die Wertfunktion im Fernfeld bestimmt.
Robustheitsprüfung:
- Modellfreies Lernen: Tabulares Q-Learning wird eingesetzt, um zu verifizieren, ob ein modellfreier Agent die Phänomene ohne Kenntnis der Übergangskerne reproduziert.
- Stochastische Übergänge: Die deterministischen Übergänge werden mit additivem Rauschen (Gauß, schwerfällige Student-t-Verteilung und asymmetrische Skew-Normal-Verteilung) gestört, um die Sensitivität gegenüber Verteilungsannahmen zu testen.

3. Zentrale Beiträge

1. Emergenz von drei Prospect-Theory-Signaturen

Die Arbeit zeigt, dass die standardmäßige Bellman-Optimalität allein Folgendes produziert:

S-förmige Wertfunktion: In Wachstumsregimen ist $V^*(S)$ nahe der Katastrophe konvex (aufgrund der hohen Kosten des „Abwärts-Sprungs“ in den Ruin) und im Fernfeld konkav.
Endogene Verlustaversion: Das Verhältnis von Wertabfällen zu Gewinnen, $\lambda^*(S)$ , ist strikt größer als 1 und konvergiert gegen ein asymptotisches Plateau $\bar{\lambda}$ .
Reflexionseffekt: Die optimale Policy kehrt sich basierend auf dem Umgebungsdrift um. In Wachstumsphasen spielt der Agent nahe der Katastrophe sicher (Risikoaversion), um den Ruin zu vermeiden, selbst wenn die risikoreiche Aktion eine höhere unmittelbare erwartete Rendite hat. Im Rückgang spielt der Agent nahe der Katastrophe risikoreich (Risikofreude), da die sichere Aktion nur den unvermeidlichen Ruin verzögert, während ein risikoreicher Gewinn die Chance bietet, zu entkommen.

2. Mechanismus: Fortsetzungswerte statt Präferenzen

Die Autoren stellen fest, dass diese Verhaltensweisen durch Fortsetzungswerte (Continuation Values) getrieben werden. In der Nähe eines absorbierenden Randes gewichtet die Nähe zum irreversiblen Scheitern die Abwärtsrisiken überproportional stark. Dieser dynamische Effekt kehrt lokale Erwartungswert-Rankings um, ohne dass eine Krümmung in der Nutzenfunktion oder eine Gewichtung der Wahrscheinlichkeiten erforderlich ist.

3. Geschlossener Ausdruck der asymptotischen Verlustaversion

Die Arbeit leitet eine geschlossene Formel für das asymptotische Verlustaversions-Plateau $\bar{\lambda}$ her:
$\bar{\lambda} = \frac{z^{-r} - 1}{1 - z}$
wobei $r = |\Delta_\ell|/\Delta_w$ das Asymmetrie-Verhältnis der Auszahlungen ist und $z \in (0, 1)$ die eindeutige Wurzel der charakteristischen Gleichung $\beta[p z + (1-p)z^{-r}] = 1$ ist.

Skaleninvarianz: $\bar{\lambda}$ hängt nur von $(p, \beta, r)$ ab, nicht von der absoluten Größenordnung der Auszahlungen.
Dominanz des Randes: Die Formel ermöglicht die Zerlegung von $\bar{\lambda}$ in einen „Randbeitrag“ (der auch bei $r=1$ , d. h. symmetrischen Auszahlungen, vorhanden ist) und einen „Asymmetriebetrag“. Die Autoren zeigen, dass der Randbeitrag dominiert; selbst bei symmetrischen Auszahlungen ( $r=1$ ) ist $\bar \lambda > 1$ in Wachstumsregimen.

4. Robustheit gegenüber Lernen und Rauschen

Q-Learning: Ein tabulärer Q-Learning-Agent reproduziert die S-Form, die Sicherheitszone, den „Hail Mary“-Effekt und $\lambda^* > 1$ mit hoher Korrelation zur exakten Lösung ( $R=0,98$ im Wachstum, $R=1,00$ im Rückgang).
Stochastizität: Die Phänomene bleiben unter Gauß, schwerfälligen und asymmetrischen Rauschen bis zu 50 % der Schrittweite bestehen. Das asymptotische Plateau weicht unter Risiko-Kanal-Rauschen um maximal 9,6 % von der geschlossenen Vorhersage ab.

4. Ergebnisse

Quantitative Übereinstimmung: Die geschlossene Formel für $\bar{\lambda}$ stimmt mit numerischen Lösungen mit $R^2 = 0,999$ überein.
Zerlegung der Verlustaversion: Über 48 Parameterzellen hinweg macht der „Randbeitrag“ (der Wert von $\bar{\lambda}$ bei $r=1$ ) den Großteil der Verlustaversion aus. Der „Asymmetriebetrag“ (der Anstieg durch $r > 1$ ) hat einen Mediananteil von nur 4,6 % bei $r=1,25$ und steigt auf 13,9 % bei $r=2$ .
Policy-Reversal: In allen 69 getesteten Rückgang-Konfigurationen spielt der Agent nahe der Katastrophe risikoreich, was den „Hail Mary“-Effekt bestätigt. In Wachstumsregimen spielt der Agent für eine bestimmte Anzahl von Zuständen ( $|\Delta_\ell|$ ) nahe dem Rand sicher, bevor er zu risikoreich wechselt.
Rauschens-Sensitivität: Rauschen im Sicherheits-Kanal hat vernachlagbare Auswirkungen ( $\le 0,41 \%$ Abweichung), während Rauschen im Risiko-Kanal $\bar{\lambda}$ monoton reduziert, aber die qualitative Struktur bewahrt.

5. Bedeutung und Behauptungen

Das Papier beansprucht einen strukturellen und normativen Beitrag, keinen psychologischen. Es argumentiert nicht, dass menschliches Verhalten optimal ist oder dass dieser Mechanismus die Prospect-Theorie vollständig erklärt. Stattdessen postuliert es:

Genügsamkeit der Struktur: Ein absorbierender katastrophaler Zustand ist ein hinreichender struktureller Mechanismus, um PT-ähnliche Signaturen (S-Form, Verlustaversion, Reflexionseffekt) unter standardmäßiger, risikoneutraler Optimierung zu erzeugen.
Reinterpretation empirischer Daten: Die beobachtete Variation von Verlustaversionskoeffizienten in der Verhaltensökonomie (z. B. Abhängigkeit von der Auszahlungsasymmetrie) kann teilweise durch die strukturellen Eigenschaften der Entscheidungsumgebung (Wahrscheinlichkeit $p$ , Diskontfaktor $\beta$ und Asymmetrie $r$ ) erklärt werden, statt ausschließlich durch stabile psychologische Parameter.
Rationalität extremer Verhaltensweisen: Risikoaverses Verhalten bei Gewinnen und risikofreudiges Verhalten bei Verlusten nahe des Scheiterns können rationale Reaktionen auf Fortsetzungswerte sein und nicht notwendigerweise pathologische Abweichungen von der Rationalität.
Implikationen für RL: Sichere oder verzweifelte Verhaltensweisen nahe absorbierender Ausfälle können in Reinforcement-Learning-Systemen natürlich aus der Umgebungsstruktur entstehen, ohne dass handcodierte Sicherheitsbeschränkungen oder Modifikationen der Präferenzen erforderlich sind.

Die Autoren betonen explizit, dass Wahrscheinlichkeitsgewichtung, Framing und Referenzabhängigkeit außerhalb des Modells liegen und dass ihre Ergebnisse neben psychologischen Erklärungen der menschlichen Entscheidungsfindung stehen und diese nicht ersetzen sollen.