💰 quantitative finance

Decomposable Reward Modeling and Realistic Environment Design for Reinforcement Learning-Based Forex Trading

Diese Arbeit stellt ein modulares Reinforcement-Learning-Framework für den Forex-Handel vor, das durch eine realistische, reibungsbewusste Simulationsumgebung, eine zerlegbare 11-Komponenten-Belohnungsarchitektur und einen erweiterten diskreten Aktionsraum mit rechtlichen Maskierungsmechanismen die Interpretierbarkeit und praktische Relevanz verbessert, wobei empirische Ergebnisse an EURUSD zeigen, dass die vollständige Konfiguration die besten Endleistungswerte erzielt, jedoch einen Zielkonflikt zwischen Rendite und Umsatz aufdeckt.

Ursprüngliche Autoren: Nabeel Ahmad Saidd

Veröffentlicht 2026-04-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nabeel Ahmad Saidd

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einen Roboter-Trainer bauen, der im Devisenhandel (Forex) Geld verdienen soll. Das Problem ist: Die meisten bisherigen Versuche haben diesen Roboter in einer zu einfachen Welt trainiert, mit zu groben Befehlen und einem Belohnungssystem, das ihn verwirrt.

Dieser Paper beschreibt einen neuen, viel besseren Ansatz, um diesen Roboter zu trainieren. Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der Roboter in der falschen Welt

Bisher haben Forscher oft Roboter trainiert, die in einer Art Videospiele-Welt leben, die nicht der Realität entspricht.

Die "Zeitreise"-Falle: Viele Simulatoren erlauben es dem Roboter, Dinge zu sehen, die noch nicht passiert sind (wie wenn man in einem Spiel den nächsten Level schon sieht, bevor man den aktuellen beendet). Das nennt man "Lookahead". In der echten Welt geht das nicht.
Die "Pauschale" Belohnung: Früher bekam der Roboter nur ein einziges Signal: "Du hast 100 € gemacht, gut!" oder "Du hast 10 € verloren, schlecht!". Das sagt dem Roboter nicht, warum er gewonnen oder verloren hat. War es Glück? War es zu viel Risiko? War es zu viel Handel?
Die "Steinzeit"-Befehle: Der Roboter konnte oft nur drei Dinge tun: "Kaufen", "Verkaufen" oder "Nichts tun". In der echten Welt braucht man aber mehr Feinjustierung, wie "Ein bisschen mehr kaufen, weil es gut läuft" oder "Sofort verkaufen, bevor es zu spät ist".

2. Die Lösung: Ein neues Trainings-System

Der Autor stellt ein neues System vor, das wie ein hochmoderner Flugsimulator für Trader funktioniert. Es hat drei Hauptkomponenten:

A. Der ehrliche Simulator (Die "Anti-Zeitreise"-Regel)

Stellen Sie sich vor, Sie sind ein Pilot.

Alte Methode: Sie sehen den Wind, der erst in 5 Minuten wehen wird, und steuern danach. (Falsch!)
Neue Methode: Sie sehen den Wind jetzt. Sie entscheiden, was Sie tun. Der Befehl wird erst in der nächsten Sekunde ausgeführt. Und erst dann wird gemessen, wie viel Kraft Sie verbraucht haben.
Das System berechnet auch alle echten Kosten: Gebühren, Spread (die Differenz zwischen Kauf- und Verkaufspreis), und sogar die Kosten für das Übernachten von Positionen (Zinsen). Wenn der Roboter zu viel riskiert, wird er "aus dem Flugzeug geworfen" (Liquidation), genau wie in der Realität.

B. Der 11-teilige Belohnungs-Coach (Die "Detaillierte Rückmeldung")

Statt nur "Gut" oder "Schlecht" zu sagen, gibt der Coach dem Roboter eine 11-Punkte-Bewertungskarte.
Stellen Sie sich vor, ein Sporttrainer bewertet einen Fußballspieler nicht nur am Torerfolg, sondern auch an:

Wie viel Energie hat er verbraucht? (Kosten)
Hat er zu oft den Ball verloren? (Überhandeln)
War er zu riskant? (Drawdown)
Hat er die Regeln gebrochen? (Margin-Verstoß)

Jeder dieser Punkte hat ein eigenes Gewicht. Der Roboter kann so lernen, dass es nicht nur darum geht, viel zu verdienen, sondern klug zu verdienen. Das System erlaubt es den Forschern, jeden einzelnen Punkt auszuschalten, um zu sehen, welcher Teil der Belohnung wirklich wichtig ist.

C. Der 10-Befehls-Steuerknüppel (Die "Präzisen Werkzeuge")

Statt nur drei grober Knöpfe hat der Roboter jetzt einen komplexen Steuerknüppel mit 10 Funktionen.

Er kann nicht nur "Kaufen", sondern "Kaufen und dann noch etwas drauflegen, wenn es steigt" (Pyramiding).
Er kann "Verkaufen, aber nur die Hälfte" (Reduzieren).
Er kann "Sofort umdrehen und gegen den Trend gehen" (Reverse).
Wichtig: Das System blockiert automatisch Befehle, die illegal wären (z. B. "Kaufen", wenn kein Geld mehr auf dem Konto ist). Das ist wie ein Sicherheitsgurt, der verhindert, dass der Roboter einen tödlichen Fehler macht.

3. Was haben sie herausgefunden? (Die Ergebnisse)

Der Autor hat den Roboter auf dem Währungspaar EUR/USD trainiert und drei Dinge getestet:

Mehr Belohnungspunkte sind nicht immer linear besser: Wenn man einfach alle Strafen (für Risiko, Kosten etc.) nacheinander hinzufügt, wird der Roboter nicht automatisch besser. Es ist wie beim Kochen: Wenn man einfach immer mehr Salz und Pfeffer hinzufügt, wird das Essen nicht besser, sondern ungenießbar. Man muss die Mischung genau austesten. Die perfekte Kombination (alle 11 Punkte) ergab den besten Gewinn.
Mehr Befehle = Mehr Risiko, aber mehr Gewinn: Der Roboter mit den 10 Befehlen machte mehr Umsatz (handelte öfter) und hatte mehr Schwankungen, aber am Ende mehr Gewinn als der Roboter mit nur 3 Befehlen. Es ist ein Trade-off: Mehr Kontrolle bringt mehr Chancen, aber auch mehr Arbeit.
Das "Nachlegen" (Scaling) ist wichtig: Wenn der Roboter lernt, seine Positionen zu vergrößern (wenn es gut läuft) oder zu verkleinern (wenn es schlecht läuft), macht er weniger Verluste als jemand, der einfach nur "alles oder nichts" setzt.

Zusammenfassung

Dieses Papier ist wie der Bauplan für einen besseren Flugsimulator für Trader.
Es sagt uns: Um einen KI-Trader wirklich gut zu machen, darf man nicht nur an den Algorithmen schrauben. Man muss vor allem die Umgebung realistisch gestalten (echte Kosten, keine Zeitreisen), die Rückmeldung detailliert geben (nicht nur "Gewinn/Verlust") und dem Roboter mehr Werkzeuge an die Hand geben, damit er wie ein echter Mensch handeln kann.

Das Ziel ist nicht, einen "Wunder-Roboter" zu bauen, der morgen schon Milliarden macht, sondern ein transparentes, nachvollziehbares System zu schaffen, das man verstehen, testen und verbessern kann, bevor man echtes Geld riskiert.

1. Problemstellung

Die Anwendung von Reinforcement Learning (RL) auf den Devisenhandel (Forex) stößt auf erhebliche Hindernisse, da drei kritische Anforderungen gleichzeitig erfüllt werden müssen, die in der aktuellen Forschung oft vernachlässigt werden:

Mangelnde Realitätsnähe der Umgebungen: Viele bestehende Studien nutzen vereinfachte Simulatoren, die wichtige Faktoren wie Transaktionskosten (Spread, Kommission, Slippage), Finanzierungskosten (Rollover), Margin-Anforderungen und Zwangsliquidationen ignorieren. Zudem fehlt oft eine strikte Trennung zwischen Beobachtung und Ausführung, was zu „Lookahead-Leaks" (Zukunftswissen) führt.
Intransparente Belohnungsfunktionen (Rewards): Die Optimierung erfolgt häufig über eine einzige skalare Belohnung (z. B. PnL oder Sharpe-Ratio). Dies erschwert die Diagnose, welche Signale den Handel verbessern und welche übermäßiges Trading unterdrücken, und macht eine systematische Analyse unmöglich.
Eingeschränkter Aktionsraum: Herkömmliche Ansätze nutzen entweder zu grobe diskrete Räume (nur Kaufen/Halten/Verkaufen) oder unbeschränkte kontinuierliche Räume, die praktische Handelsoperationen wie das schrittweise Aufstocken von Positionen (Pyramiding) oder das gezielte Reduzieren von Risiken nicht abbilden können.

2. Methodik

Das Paper stellt ein modulares, Open-Source-Framework vor, das auf drei Hauptkomponenten basiert und auf dem EURUSD-Paar getestet wurde.

A. Hochrealistische Ausführungs-Umgebung (Execution Engine)

Anti-Lookahead-Semantik: Die Umgebung erzwingt eine strikte zeitliche Kausalität: Beobachtung zum Schlusskurs ( $t_{close}$ ), Entscheidung, Ausführung zum Eröffnungskurs des nächsten Intervalls ( $t+1_{open}$ ) und Mark-to-Market zum Schlusskurs von $t+1$ .
Transaktionskosten & Risiken: Das Modell integriert Spread, Kommission, Slippage, Rollover-Finanzierung (inkl. dreifacher Swap am Mittwoch) und Margin-basierte Zwangsliquidationen.
Margin-Management: Es werden maximale Hebel (30x), Wartungsmargin (50%) und Liquidationsschwellenwerte streng durchgesetzt.

B. Zerlegbare Belohnungsarchitektur (Decomposable Reward)

11-Komponenten-System: Statt einer monolithischen Funktion wird der Reward aus 11 einzelnen Komponenten zusammengesetzt, die unabhängig ein- und ausgeschaltet sowie gewichtet werden können.
Komponenten: Dazu gehören Gewinn (post-cost), Halte-Anreize, Volatilitätsstrafen, Drawdown-Strafen, Transaktionskosten, Overtrading-Strafen, Strafen für Pyramiding, Martingale-Strategien, Margin-Nutzung, Liquidation und Regelverletzungen.
Transparenz: Jede Komponente wird pro Schritt protokolliert, was eine systematische Ablationsstudie (Ablation Study) und eine Attribution der Lernsignale ermöglicht.

C. Strukturierter Aktionsraum mit Legalitäts-Masking

Erweiterter diskreter Raum (10 Aktionen): Das System bietet explizite Primitive für: Halten, Öffnen (Long/Short), Pyramiding (Aufstocken bei Gewinn), Martingale (Aufstocken bei Verlust), Reduzieren, Schließen und Umkehren (Reverse).
Legalitäts-Masking: Eine Maske filtert ungültige Aktionen basierend auf dem aktuellen Kontostand, der Margin und der Positionsrichtung heraus. Diese Maske wird sowohl beim Sampling (Exploration) als auch bei der Berechnung der Zielwerte (Target Computation) angewendet, um das Lernen von nicht durchführbaren Aktionen zu verhindern.
Vergleichsvariante: Ein vereinfachter 3-Aktions-Adapter (Halten, Long-Ziel, Short-Ziel) dient als Baseline.

D. Agenten-Architektur

Es werden Deep Q-Networks (DQN) und Double DQN (DDQN) verwendet, da diese diskrete Kontrollräume und explizite Legalitäts-Masking-Unterstützung gut handhaben.
Die Architektur besteht aus einem Feed-Forward-MLP mit zwei versteckten Schichten (512, 512, 256 Neuronen).

3. Schlüsselbeiträge

Zerlegbare Reward-Architektur: Einführung eines 11-teiligen Systems, das eine systematische Analyse der Wechselwirkungen zwischen verschiedenen wirtschaftlichen Anreizen und Strafen ermöglicht.
Strukturierter Aktionsraum mit Legalitäts-Masking: Formulierung einer 10-Aktions-Schnittstelle, die Margin-Beschränkungen dynamisch erzwingt und ungültige Aktionen sowohl bei der Interaktion als auch beim Target-Update ausschließt.
Hohe Fidelity der Umgebung: Design einer Umgebung mit strikter Anti-Lookahead-Timing, umfassender Kostenmodellierung und realistischer Rollover-Finanzierung.
Reproduzierbares Experiment-Protokoll: Ein Framework, das Experimente über Konfigurationsdateien (YAML) steuert, ohne Code-Änderungen, und strenge Kontrollen für Seeds und Datenpartitionierung bietet.

4. Ergebnisse

Die Experimente wurden auf dem EURUSD-Trainingsdatensatz durchgeführt (keine Out-of-Sample-Tests, Fokus auf Lernverhalten).

Reward-Komponenten (Exp-01):
- Die Hinzufügung von Strafkomponenten führt nicht zu einer monotonen Verbesserung.
- Die Kombination aller 11 Komponenten (Full Reward, $r_7$ ) erzielte die besten Ergebnisse: Sharpe-Ratio von 0,765 und eine kumulative Rendite von 57,09%.
- Zwischenstufen zeigten teils schlechtere Ergebnisse, was auf komplexe, nicht-lineare Wechselwirkungen zwischen den Reward-Komponenten hinweist.
Aktionsraum-Vergleich (Exp-02):
- Der erweiterte 10-Aktions-Raum erhöhte die kumulative Rendite im Vergleich zum 3-Aktions-Raum, führte aber auch zu höherem Turnover (Handelsfrequenz) und einem niedrigeren Sharpe-Ratio.
- Dies zeigt einen Trade-off zwischen Rendite und Aktivität/Risiko: Der erweiterte Raum ermöglicht mehr Gewinnchancen, erhöht aber die Pfadvolatilität.
Skalierungsstrategien (Exp-03):
- Alle Varianten mit Skalierung (Pyramiding oder Martingale) schnitten besser ab als das „Keine Skalierung"-Szenario (das zu einem Drawdown von 16,74% führte).
- Die Kombination aus Pyramiding und Martingale ( $s_4$ ) erzielte die höchste Endrendite, während Martingale allein ( $s_3$ ) den geringsten Drawdown unter den Skalierungsvarianten aufwies.
- Die asymmetrischen Strafen (Martingale wurde stärker bestraft als Pyramiding) führten zu einem kontrollierten Verhalten, ohne dass die Strategie in reines Martingale-Verhalten kollabierte.
Benchmark-Vergleich:
- Der DDQN-Agent mit dem vollen Reward-Schema übertraf signifikant einfache Strategien wie „Buy-and-Hold", Momentum, Mean-Reversion und einen Random-Policy.
- Der DDQN-Agent zeigte zudem eine deutlich bessere Risikoanpassung (höherer Sortino-Wert, geringerer Maximal-Drawdown) als der einfache DQN.

5. Bedeutung und Fazit

Das Paper liefert einen methodischen Durchbruch für RL im Finanzwesen, indem es zeigt, dass die Systemarchitektur (Realismus der Umgebung, Transparenz der Belohnung, Sicherheit der Aktionen) entscheidender ist als die bloße Wahl des Algorithmus.

Diagnosefähigkeit: Durch die Zerlegung der Belohnungsfunktion können Forscher genau verstehen, welche Signale das Verhalten steuern, anstatt auf „Black-Box"-Optimierung zu setzen.
Sicherheit: Die Kombination aus Legalitäts-Masking und strikten Margin-Regeln verhindert, dass der Agent unmögliche oder extrem riskante Strategien lernt.
Reproduzierbarkeit: Das Framework setzt neue Standards für die Reproduzierbarkeit von Trading-RL-Studien durch deterministische Seeds, klare Datenpartitionierung und konfigurierbare Experimente.

Die Autoren betonen, dass die Ergebnisse zwar vielversprechend sind, aber primär das Lernverhalten innerhalb des Trainingsdatensatzes beschreiben. Für den realen Einsatz sind weitere Validierungen über mehrere Seeds und Out-of-Sample-Tests notwendig. Dennoch bietet das Framework eine robuste Basis für die Entwicklung sicherer und interpretierbarer Forex-Trading-Agenten.