📈 economics

Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

Diese Studie führt RPPO-MPT ein, ein neuartiges robustes Reinforcement-Learning-Framework, das störungsbasierte Rauschreduzierung mit von der Prospect Theory inspirierter Reward-Shaping integriert, um konventionelle Modelle bei der Optimierung von Aktienportfolios zu übertreffen, indem es sich besser an die Verhaltenspräferenzen von Investoren unter Marktunsicherheit anpasst.

Ursprüngliche Autoren: Ehsan Ameri, Majid Mirzaee Ghazani, Donya Rahmani

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ehsan Ameri, Majid Mirzaee Ghazani, Donya Rahmani

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines Schiffes, das durch einen sehr stürmischen Ozean navigiert. Der Ozean repräsentiert den Aktienmarkt, und Ihr Schiff ist Ihr Investmentportfolio.

Lange Zeit haben Kapitäne (Investoren) zwei Hauptwege genutzt, um zu steuern:

Die alte Karte (Traditionelle Finanzwissenschaft): Diese geht davon aus, dass der Ozean vorhersehbar ist und dass Seeleute perfekt logische Roboter sind, denen es nur darum geht, das Ziel so schnell wie möglich zu erreichen, ungeachtet dessen, wie beängstigend die Wellen werden.
Das neue GPS (Standard-KI): Dieses nutzt Computer, um aus vergangenen Stürmen zu lernen. Die meisten KI-Kapitäne agieren jedoch immer noch wie Roboter. Sie lassen sich von großen Wellen (Gewinnen) begeistern, geraten aber genauso leicht in Panik wie Menschen, wenn das Wasser unruhig wird, was dazu führt, dass sie Entscheidungen treffen, die sich für einen echten menschlichen Investor nicht „richtig“ anfühlen.

Dieses Paper stellt einen neuen, super-intelligenten KI-Kapitän namens RPPO-MPT vor. Er ist darauf ausgelegt, den stürmischen Ozean besser zu bewältigen, indem er drei spezifische Tricks kombiniert.

Die drei Tricks des neuen Kapitäns

1. Das „Was wäre wenn?“-Training (Robustheit)
Stellen Sie sich vor, Sie trainieren für ein Rennen. Ein normaler Kapitän trainiert an einem ruhigen Tag. Wenn am Renntag ein plötzlicher Sturm aufzieht, erstarrt er vielleicht.
Der neue Kapitän hingegen trainiert in einem Simulator, in dem der Computer absichtlich Fake-Stürme, Windböen und Nebel in die Trainingsdaten einfügt. Er fragt: „Was wäre, wenn der Wind 5 % stärker weht? Was wäre, wenn die Strömung sich leicht verschiebt?“
Durch das Training in diesen „falschen“ chaotischen Bedingungen lernt der Kapitän, ruhig zu bleiben und korrekt zu steuern, selbst wenn der echte Ozean unordentlich wird. Dies wird als perturbationsbasierte robuste Lernweise bezeichnet. Es macht die KI weniger empfindlich gegenüber Rauschen und weniger anfällig für Panikentscheidungen, wenn der Markt schwankt.

2. Das „Menschliche Herz“-Belohnungssystem (Prospect Theory)
Standard-KI-Kapitäne erhalten einen „Goldstern“ (Belohnung) für jeden Dollar, den sie verdienen. Aber echte Menschen fühlen sich nicht so.

Die Angst: Den Verlust von 100 $ zu spüren, fühlt sich viel schlimmer an, als die Freude darüber, 100 $ gefunden zu haben.
Die Hoffnung: Wir werden begeistert von Gewinnen, aber wir sind entsetzt über Verluste.
Der neue Kapitän ist mit einem „Hoffnung-Angst“-Belohnungssystem programmiert. Anstatt nur Dollar zu zählen, berechnet er einen Score basierend darauf, wie ein Mensch sich fühlen würde.
Wenn das Schiff Geld verdient, erhält es einen „Hoffnungs“-Score (aber die Begeisterung wächst langsamer, je reicher man wird).
Wenn das Schiff Geld verliert, erhält es einen „Angst“-Score (und der Schmerz wird um das 2,25-fache multipliziert!).
Dies lehrt die KI, von Natur aus vorsichtiger bei Verlusten zu sein, als sie bestrebt ist, Gewinne zu erzielen, was das Verhalten echter Menschen nachahmt.

3. Der Hybrid-Ansatz
Das Paper vergleicht drei Versionen des Kapitäns:

Der Basiskapitän (PPO): Nutzt das Standard-KI-GPS. Gut, aber manchmal durch die wilden Schwankungen des Marktes erschüttert.
Der toughe Kapitän (RPPO): Nutzt das „Was wäre wenn?“-Training. Sehr beständig, versteht aber menschliche Angst nicht.
Der Super-Kapitän (RPPO-MPT): Nutzt sowohl das „Was wäre wenn?“-Training ALS AUCH das „Menschliche Herz“-Belohnungssystem.

Die Rennergebnisse

Die Autoren testeten diese Kapitäne anhand von Daten von 15 großen US-Unternehmen (wie Apple und Amazon) über einen langen Zeitraum (2010 bis 2025). Sie unterteilten die Zeit in zwei Phasen: eine „Übungsphase“ (2010–2022) und eine „reale Rennphase“ (2022–2025).

Hier ist das Ergebnis:

Der Basiskapitän war okay, wurde aber manchmal durch die wilden Schwankungen des Marktes erschüttert.
Der toughe Kapitän war beständiger und ging gut mit dem Rauschen um.
Der Super-Kapitän (RPPO-MPT) gewann das Rennen.

Warum hat der Super-Kapitän gewonnen?

Höhere Renditen: Er hat über die Zeit mehr Geld verdient.
Bessere Sicherheit: Er hat während der beängstigenden Teile des Rennens nicht so viel Geld verloren (geringerer „Drawdown“).
Glücklicherer Investor: Da er das „Hoffnung-Angst“-Gleichgewicht verstand, lieferte er Ergebnisse, die sich für einen menschlichen Investor besser anfühlten, und bot einen besseren „Utility“-Score.

Das Fazit

Dieses Paper behauptet, dass man, indem man eine KI lehrt, in künstlichem Chaos zu üben (um Widerstandsfähigkeit aufzubauen) und wie ein Mensch zu denken (um Angst und Hoffnung zu verstehen), einen Portfoliomanager erschaffen kann, der sowohl sicherer als auch profitabler ist als Standard-KI-Modelle. Es schlägt die Brücke zwischen kalter, harter Mathematik und der chaotischen, emotionalen Realität, wie Menschen tatsächlich investieren.

Technische Zusammenfassung: Überbrückung von Verhaltensökonomie und robuster agentischer DRL für die Portfolioselektion

Problemstellung
Finanzmärkte sind durch dynamische Volatilität, makroökonomische Schocks und signifikante Verhaltensreaktionen gekennzeichnet, die konventionelle Portfolio-Optimierungsmodelle oft nicht erfassen können. Traditionelle Ansätze, einschließlich Standard-Reinforcement-Learning-Algorithmen (RL), verlassen sich typischerweise auf auf Renditen basierende Belohnungsstrukturen. Diese Strukturen vernachlässigen häufig kritische Anlegereigenschaften wie Verlustaversion, asymmetrische Reaktionen auf Gewinne und Verluste sowie die inhärente Unsicherheit von Marktzuständen. Infolgedessen können Standard-RL-Agenten unter volatilen Bedingungen Schwierigkeiten bei der Generalisierung haben, was zu suboptimalem Timing, übermäßigem Risikotreiben oder vorzeitigen Ausstiegen während der Marktturbulenzen führt. Es besteht eine deutliche Lücke in der bestehenden Literatur hinsichtlich der systematischen Integration von perturbationsbasierter Robustheit und der durch die Prospect Theory inspirierten Verhaltensmodellierung innerhalb einer vereinheitlichten RL-Architektur für das Portfoliomanagement.

Methodik
Die Studie schlägt ein neuartiges computergestütztes Framework vor, RPPO-MPT, welches den Proximal Policy Optimization (PPO) Algorithmus durch zwei primäre Mechanismen erweitert: perturbationsbasierte robustes Lernen und Behavioral Reward Shaping. Das Problem der Portfolioselektion wird als Markov-Entscheidungsprozess (MDP) formuliert, der 15 Large-Cap-Aktien aus den USA umfasst.

Die Methodik schreitet durch drei Vergleichsstufen voran:

Baseline PPO: Ein Standard-PPO-Agent wird mit Gleichgewichten initialisiert und mittels einer Mean-Variance-Portfolio (MPT) Strategie durch überwachtes Lernen vortrainiert. Der Agent lernt, kumulierte Renditen zu maximieren, wobei Transaktionskosten ( $\gamma = 0,01$ ) abgezogen werden. Der Zustandsraum umfasst historische Renditen über ein 14-Wochen-Fenster sowie die vorherigen Portfoliogewichte.
Robust PPO (RPPO): Diese Variante führt einen perturbationsbasierten Trainingsmechanismus ein, um die Stabilität gegenüber Marktrauschen zu erhöhen. Für jedes Zustands-Aktions-Paar generiert der Agent $K=5$ perturbierte Zustände mittels Gaußscher Rauschverteilung ( $\sigma = 0,03$ ). Eine robuste Belohnung wird berechnet, indem die Varianz der Renditen über diese perturbierten Zustände unter Kontrolle eines Trade-off-Parameters $\beta = 0,2$ bestraft wird. Dies zwingt die Policy dazu, weniger sensitiv gegenüber kleinen Zustandsvariationen zu sein.
RPPO-MPT (Vorgeschlagenes Modell): Dieses Modell integriert die Robustheit von RPPO mit einer durch die Prospect Theory inspirierten Belohnungsstruktur. Anstatt Rohrenditen zu optimieren, optimiert der Agent eine „Hoffnung-Angst“-Nutzenfunktion.
- Referenzabhängigkeit: Renditen werden relativ zu einem Referenzpunkt (festgesetzt auf Null) bewertet.
- Verlustaversion: Die Belohnungsfunktion zerlegt Ergebnisse in „Hoffnung“ (Gewinne) und „Angst“ (Verluste). Verluste werden durch einen Verlustaversionskoeffizienten ( $\lambda = 2,25$ ) gewichtet, während Gewinne und Verluste einer abnehmenden Sensitivität ( $\alpha = \beta = 0,88$ ) unterliegen.
- Reward Shaping: Die endgültige Belohnung ist das Verhältnis der Hoffnungskomponente zur Angstkomponente (plus einer kleinen Konstante $\epsilon_1$ zur Sicherstellung der numerischen Stabilität), abzüglich der Transaktionskosten. Diese Struktur bestraft Abwärtsrisiken explizit stärker, als sie äquivalente Gewinne belohnt, und richtet das Ziel des Agenten an den Präferenzen verhaltensökonomischer Anleger aus.

Experimentelles Setup
Die Modelle wurden auf historischen bereinigten Preisdaten von 15 S&P 500 Aktien von Januar 2010 bis Mitte Juni 2022 trainiert. Out-of-Sample-Tests wurden von Mitte Juni 2022 bis September 2025 durchgeführt. Die Leistung wurde anhand einer umfassenden Suite von Metriken bewertet, einschließlich annualisierter Rendite, Sharpe-Ratio, Informationsverhältnis, $\alpha$ , maximalem Drawdown, längerstem Drawdown, jährlichem Turnover und behavioral Utility unter variierenden Risikoaversions-Einstellungen.

Kernergebnisse
Die vergleichende Analyse zeigt, dass das vorgeschlagene RPPO-MPT Framework das stärkste Out-of-Sample-Leistungsprofil unter den drei Modellen erzielt:

Überlegene risikobereinigte Renditen: RPPO-MPT übertraf sowohl den Baseline PPO als auch den Robust PPO (RPPO) in Bezug auf die Sharpe-Ratio, das Informationsverhältnis und $\alpha$ .
Verhaltensbezogene Ausrichtung: Das Modell erreichte eine höhere Behavioral Utility, was auf eine bessere Abstimmung mit Anlegerpräferenzen hinsichtlich Verlustaversion und asymmetrischer Risikowahrnehmung hindeutet.
Drawdown-Kontrolle: Während es eine wettbewerbsfähige Drawdown-Kontrolle beibehielt, steuerte das RPPO-MPT-Modell das Abwärtsrisiko effektiv, ohne die Generierung von Renditen zu opfern.
Stabilität: Die Integration der perturbationsbasierten Robustheit ermöglichte es dem Agenten, während der volatilen Testphase (2022–2025) Stabilität zu wahren und die beobachtete Überkonzentration oder das erratische Rebalancing, das gelegentlich beim Baseline PPO auftrat, zu vermeiden.

Bedeutung und Ansprüche
Das Paper behauptet, dass der primäre Beitrag dieser Arbeit in der erfolgreichen Brückenschlagung zwischen robuster Optimierung und Verhaltensökonomie innerhalb einer einzigen Deep-Reinforcement-Learning-Architektur liegt. Durch die gleichzeitige Optimierung von finanzieller Performance, Resilienz gegenüber Zustandsunsicherheit und anlegerkonsistenter Utility adressiert das RPPO-MPT-Framework die Limitationen traditioneller RL-Modelle, die ausschließlich auf die Maximierung von Renditen abzielen.

Die Autoren behaupten, dass dieser Ansatz einen praktischen Weg für den Einsatz von „resilienten, psychologisch fundierten Entscheidungsagenten“ in realen Finanzsystemen bietet. Die Studie demonstriert, dass die explizite Berücksichtigung von Marktunsicherheit (via Perturbationen) und Anlegerpsychologie (via Prospect Theory Reward Shaping) die Anpassungsfähigkeit und die Anlegerorientierung von RL-Agenten in volatilen Märkten verbessert und somit eine robustere Alternative zu konventionellen Portfoliomanagement-Methoden darstellt.

Die drei Tricks des neuen Kapitäns

Die Rennergebnisse

Das Fazit

Technische Zusammenfassung: Überbrückung von Verhaltensökonomie und robuster agentischer DRL für die Portfolioselektion

Mehr davon