💰 quantitative finance

Data-Driven Merton's Strategies via Policy Randomization

Diese Arbeit stellt ein datengesteuertes Reinforcement-Learning-Verfahren vor, das durch die Einführung von Policy-Randomisierung in unvollständigen Märkten ohne Kenntnis der Modellparameter optimale Merton-Strategien ableitet und dabei sowohl Online- als auch Offline-Actor-Critic-Algorithmen entwickelt, die konventionellen modellbasierten Methoden überlegen sind.

Ursprüngliche Autoren: Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

Veröffentlicht 2026-02-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Kapitän, der sein Schiff durch ein stürmisches Meer steuern muss, um am Ende der Reise so viel Schatz wie möglich zu laden. Das ist im Grunde das Merton-Problem in der Finanzwelt: Wie investiert man sein Geld am besten, um den höchsten Gewinn bei akzeptablem Risiko zu erzielen?

Das Besondere an diesem neuen Papier ist, dass es eine völlig neue Art und Weise vorschlägt, diese Reise zu planen – ohne eine perfekte Seekarte zu haben.

Hier ist die Erklärung in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das alte Problem: Die "Plug-in"-Methode (Der Kartograf)

Traditionell versuchen Finanzexperten, das Wetter und die Strömungen (die Marktdaten) genau zu messen. Sie sammeln Jahre von Daten, berechnen den Durchschnittswind und die Wellenhöhe und erstellen dann eine perfekte Karte.

Das Problem: Das Meer ist unberechenbar. Manchmal ändert sich das Wetter plötzlich. Und selbst wenn Sie eine Karte haben, sind die Berechnungen für die beste Route so empfindlich, dass schon ein winziger Fehler in der Messung dazu führt, dass Sie auf einem Felsen aufsitzen.
Der Vergleich: Es ist wie ein Koch, der ein Rezept genau nach der Waage befolgt. Wenn er das Salz um ein Gramm falsch wiegt, schmeckt das ganze Gericht nicht mehr.

2. Die neue Lösung: Reinforcement Learning mit "Zufall" (Der Entdecker)

Die Autoren dieses Papiers sagen: "Vergessen wir die perfekte Karte! Wir lernen einfach durch Ausprobieren."
Sie nutzen eine Technik namens Reinforcement Learning (Bestärkendes Lernen). Das ist wie ein Kind, das Laufen lernt: Es fällt hin, steht wieder auf und lernt aus dem Fehler.

Aber hier kommt der geniale Trick ins Spiel: Policy Randomization (Strategie-Zufall).

Der Trick: Der "Zufalls-Kompass"

Normalerweise würde man denken: "Warum soll ich absichtlich zufällige Entscheidungen treffen? Das ist doch dumm!"
Die Autoren sagen jedoch: Ja, aber nur für eine Weile!

Stellen Sie sich vor, Sie sind in einem dunklen Raum und müssen eine Schatzkiste finden.

Der alte Weg: Sie versuchen, den Raum zu vermessen, um die Position der Kiste zu berechnen. Wenn Ihre Messung falsch ist, graben Sie an der falschen Stelle.
Der neue Weg (RL): Sie laufen ein bisschen herum, stoßen hier und da gegen Wände (zufällige Entscheidungen), um zu spüren, wo der Boden weich ist und wo hart. Dieser "Zufall" hilft Ihnen, den Raum zu verstehen.

Das Papier beweist mathematisch etwas Überraschendes: Wenn Sie diesen "Zufall" clever einsetzen (genauer gesagt, mit einer speziellen Art von Gauß-Verteilung, also einer Glockenkurve), können Sie am Ende den perfekten, nicht-zufälligen Weg finden, der Sie direkt zum Schatz führt.

Der Zufall ist also nicht das Ziel, sondern ein Werkzeug, um die perfekte Strategie zu finden, die man sonst nie hätte entdecken können.

3. Warum funktioniert das besser?

Die Autoren haben zwei Szenarien getestet:

Im Labor (Simulation): Sie haben künstliche Daten generiert. Das Ergebnis? Die neue RL-Methode war robuster. Selbst wenn die Daten verrauscht waren (wie ein schlechtes Radio), fand der "Entdecker" den Weg, während der "Kartograf" (die alte Methode) verwirrt war und in die falsche Richtung lief.
In der echten Welt (S&P 500): Sie haben echte Börsendaten von 1990 bis heute verwendet.
- Die alten Methoden (die versuchen, Modelle zu schätzen) haben in Krisenzeiten (wie dem Platzen der Dotcom-Blase oder der Finanzkrise 2008) oft versagt, weil ihre "Karten" veraltet waren.
- Die neue RL-Methode passte sich sofort an. Sie zog sich zurück, wenn es stürmisch wurde, und investierte mutig, wenn sich die Lage besserte. Sie erholte sich viel schneller von Verlusten als die anderen.

4. Die große Erkenntnis

Der wichtigste Punkt dieses Papiers ist: Man muss nicht wissen, wie das Meer funktioniert, um es zu durchqueren.

Früher dachten viele, dass man für kleine Anleger (die den Markt nicht beeinflussen können) kein "Explorieren" (Ausprobieren) braucht, weil sie ohnehin nur zuschauen.
Die Autoren zeigen: Falsch! Selbst wenn Sie nur zuschauen, hilft es, absichtlich kleine, zufällige "Was-wäre-wenn"-Szenarien durchzuspielen, um die besten Entscheidungen zu lernen. Der Zufall ist hier kein Fehler, sondern ein Super-Tool, um die perfekte Strategie zu entschlüsseln.

Zusammenfassung in einem Satz

Statt zu versuchen, das Wetter vorherzusagen und eine perfekte Karte zu zeichnen (was oft schiefgeht), nutzen diese Forscher einen cleveren "Zufalls-Trick", um durch ständiges, intelligentes Ausprobieren direkt die beste Route zu finden – und das funktioniert sogar dann, wenn die Daten unvollständig oder verrauscht sind.

Das Ergebnis: Ein robusterer, sichererer Weg durch die stürmische Welt der Investitionen, der weniger auf theoretischen Modellen und mehr auf der Realität basiert.

1. Problemstellung

Das Papier adressiert das klassische Merton-Problem der erwarteten Nutzenmaximierung in einem unvollständigen Markt.

Marktmodell: Der Markt besteht aus einem risikofreien Vermögenswert und einem risikobehafteten Vermögenswert (Aktie). Die Dynamik der Aktienpreise wird durch eine stochastische Differentialgleichung (SDE) gesteuert, deren Drift ( $\mu$ ) und Volatilität ( $\sigma$ ) von einem zusätzlichen beobachtbaren stochastischen Faktorprozess $X$ abhängen.
Herausforderung: Im Gegensatz zu traditionellen Ansätzen sind die funktionalen Formen der Modellprimitive (Drift, Volatilität, Parameter des Faktorprozesses) dem Agenten nicht bekannt. Der Investor ist ein „Preisnehmer" (price taker) und hat nur Zugriff auf die beobachtbaren Pfade von Aktien, Faktor und der momentanen Volatilität.
Limitierung traditioneller Methoden: Der herkömmliche „Plug-in"-Ansatz (Schätzung der Parameter aus historischen Daten gefolgt von der Lösung des Optimierungsproblems) scheitert hier oft, da:
1. Die Schätzung von Parametern wie der erwarteten Rendite extrem datenhungrig ist und oft ungenau bleibt.
2. Finanzmärkte oft nicht-stationär sind.
3. Die optimalen Strategien des Merton-Modells hochsensitiv auf Schätzfehler reagieren, was zu inakzeptablen oder nicht durchführbaren Strategien führen kann.

2. Methodik

Die Autoren schlagen einen rein datengesteuerten, modellfreien Reinforcement-Learning (RL)-Ansatz vor, der auf der Idee der Policy Randomization (Strategie-Randomisierung) basiert.

A. Hilfsproblem mit randomisierten Strategien

Um das deterministische Optimierungsproblem zu lösen, wird ein Hilfsproblem eingeführt:

Statt einer deterministischen Allokation wählt der Agent eine Aktion (Portfolio-Anteil) aus einer Gaußschen Verteilung $\pi_t \sim \mathcal{N}(u_t, \frac{\lambda}{\gamma \sigma_t^2})$ .
Hier ist $u_t$ der Mittelwert (die zu lernende deterministische Strategie), $\gamma$ der Risikoaversionskoeffizient, $\sigma_t$ die Volatilität und $\lambda \ge 0$ ein Temperatur-Parameter, der den Grad der Randomisierung steuert.
Theoretische Begründung (Theorem 1): Es wird bewiesen, dass der Mittelwert der optimalen Gaußschen Strategie im Hilfsproblem exakt der optimalen deterministischen Strategie des ursprünglichen Merton-Problems entspricht. Die Randomisierung dient also nicht primär der Exploration (da der Investor klein ist und keine Marktbeeinflussung hat), sondern als technisches Werkzeug, um das Problem lösbar zu machen.

B. Actor-Critic RL-Algorithmen

Basierend auf der Theorie von Wang et al. (2020) und Jia & Zhou (2022a,b) werden Actor-Critic-Verfahren für den kontinuierlichen Zeitrahmen entwickelt:

Critic (Policy Evaluation): Schätzt die Wertfunktion $V(t, w, x)$ . Aufgrund der homothetischen Eigenschaft der CRRA-Nutzensfunktion wird die Wertfunktion parametrisiert als $V(t,w,x) \propto w^{1-\gamma} \exp(\phi(t,x))$ .
Actor (Policy Improvement): Aktualisiert die Strategie $u(t,x)$ basierend auf den Gradienten der Wertfunktion.
Martingal-Orthogonalität: Die Lernregeln basieren auf Martingal-Bedingungen (Theorem 3), die es ermöglichen, die Parameter $\psi$ (für $\phi$ ) und $\theta$ (für $u$ ) direkt aus den Daten zu lernen, ohne die Modellkoeffizienten zu kennen.
Online und Offline: Es werden Algorithmen für beide Szenarien (Online-Lernen während des Handels und Offline-Lernen aus historischen Daten) vorgestellt.

C. Rolle des Temperatur-Parameters $\lambda$

Eine zentrale Erkenntnis ist die Notwendigkeit von $\lambda > 0$ :

Bei $\lambda \to 0$ (deterministische Strategie) wird die Varianz des Lernsignals (des Gradienten) unendlich groß, was das Lernen unmöglich macht.
Es besteht ein Bias-Varianz-Trade-off: Ein kleineres $\lambda$ reduziert den Bias, erhöht aber die Varianz des Signals. Ein optimales $\lambda$ balanciert dies aus.

3. Wichtige Beiträge

Theoretische Äquivalenz: Beweis, dass die Lösung eines relaxierten Problems mit randomisierten Gauß-Policies die Lösung des ursprünglichen deterministischen Merton-Problems liefert. Dies rechtfertigt den Einsatz von RL in einem Setting ohne Informationsgewinn durch Exploration.
Modellfreier Ansatz: Entwicklung von Algorithmen, die keine Schätzung von $\mu, \sigma, m, \nu$ erfordern und somit robust gegenüber Modellfehlern sind.
Konvergenzanalyse: Beweis der Konvergenz des vorgeschlagenen Offline-Algorithmus im Black-Scholes-Setting mit einer optimalen Konvergenzrate von $O(n^{-1} \log n)$ .
Überwindung der „Plug-in"-Fallen: Demonstration, dass RL die Probleme umgeht, die durch nicht-lineare Abhängigkeiten der optimalen Strategie von den Parametern entstehen (z.B. wenn geschätzte Parameter zu unzulässigen Lösungen führen, wie bei stochastischer Volatilität).

4. Ergebnisse

Die Leistungsfähigkeit wurde durch Simulationen und empirische Studien getestet:

Simulationen (Synthetische Daten):
- Im Vergleich zum klassischen „Estimate-and-Plug-in"-Ansatz (basierend auf Maximum-Likelihood-Schätzung) und „Buy-and-Hold" übertrifft der RL-Ansatz (sowohl mit spezifischen parametrischen Formen als auch mit neuronalen Netzen) die anderen Methoden deutlich.
- Der RL-Ansatz zeigt eine höhere Robustheit, selbst wenn die Volatilitätsdaten verrauscht sind. Der Plug-in-Ansatz bricht bei verrauschten Daten oder falscher Modellspezifikation dramatisch ein.
- Empirical Risk Minimization (ERM) performt bei kleinen Datensätzen schlecht, während RL auch mit begrenzten Daten gute Ergebnisse liefert.
Empirische Studie (S&P 500 & VIX):
- Datenperiode: 1990–2025 (Training 1990–1999, Testing 2000–2025).
- Ergebnis: Die RL-Strategien (insbesondere mit neuronalen Netzen) erzielen über den gesamten Zeitraum eine deutlich bessere risikoadjustierte Rendite (höherer Sharpe-Ratio, Sortino-Ratio, Calmar-Ratio) als die Benchmarks.
- Drawdowns: RL-Strategien weisen signifikant geringere maximale Drawdowns und deutlich kürzere Erholungszeiten auf, insbesondere während der Finanzkrise 2008 und der Dotcom-Blase.
- Anpassungsfähigkeit: Im Gegensatz zum Plug-in-Ansatz, der auf historischen Parametern basiert und bei Marktwechseln (z.B. 2000er Jahre) versagt, passt sich der RL-Ansatz in Echtzeit an neue Marktbedingungen an.

5. Bedeutung und Fazit

Das Papier löst ein langjähriges Problem in der quantitativen Finanzwirtschaft: Wie man optimale Portfoliostrategien in einem unbekannten, unvollständigen Markt datengesteuert findet.

Paradigmenwechsel: Es zeigt, dass Policy Randomization in der Finanzwelt nicht nur zur Exploration dient, sondern als essentielle technische Notwendigkeit fungiert, um stochastische Kontrollprobleme ohne Modellannahmen zu lösen.
Robustheit: Die Methode ist immun gegen die Fehleranfälligkeit traditioneller Schätz-Optimierungs-Pipelines.
Praxisrelevanz: Die Ergebnisse belegen, dass RL-basierte Strategien in realen Marktbedingungen (insbesondere bei stochastischer Volatilität) überlegen sind, da sie die komplexe Nichtlinearität der optimalen Strategien direkt aus den Daten lernen, anstatt sie durch fehleranfällige Parametrisierung zu approximieren.

Zusammenfassend etabliert diese Arbeit continuous-time Reinforcement Learning als einen leistungsfähigen, modellfreien Rahmen für die Portfolio-Optimierung, der die Grenzen traditioneller ökonometrischer Methoden überwindet.