🤖 machine learning

Plan Before You Trade: Inference-Time Optimization for RL Trading Agents

Die Arbeit stellt FPILOT vor, ein Plugin-Framework zur Optimierung während der Inferenz, das vortrainierte Reinforcement-Learning-Handelsagenten verbessert, indem es Portfolioallokationen zu jedem Entscheidungsschritt dynamisch unter Verwendung vorhergesagter Preisverläufe optimiert und dadurch die Renditen sowie risikoadjustierte Kennzahlen konsistent steigert, ohne dass ein erneutes Trainieren des Modells erforderlich ist.

Ursprüngliche Autoren: Eun Go, Rohan Deb, Arindam Banerjee

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Eun Go, Rohan Deb, Arindam Banerjee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein professioneller Aktienhändler, der jahrelang einen Roboter trainiert hat, ein Portfolio zu verwalten. Dieser Roboter, der mit Reinforcement Learning (RL) trainiert wurde, ist sehr gut darin, den aktuellen Markt zu betrachten und zu entscheiden, was er gerade jetzt kaufen oder verkaufen soll. Er ist wie ein Schachspieler, der Millionen von Partien auswendig gelernt hat und für jede Stellung auf dem Brett den besten Zug kennt.

Allerdings gibt es einen Haken: Sobald der Roboter trainiert ist, ist er „eingefroren". Er trifft Entscheidungen ausschließlich basierend darauf, was er heute sieht. Er hat keine Möglichkeit, eine Wettervorhersage für den morgigen Markt zu nutzen, selbst wenn ein separater Experte (ein „Vorhersager") eine solche besitzt.

Die Arbeit stellt FinPILOT vor, ein cleveres „Plugin", das diesem eingefrorenen Roboter erlaubt, vor einem Zug nachzudenken. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „statische" Roboter

Stellen Sie sich den trainierten Roboter als einen Fahrer vor, der nur auf die Straße direkt vor dem Auto blickt. Er reagiert auf Schlaglöcher und Ampeln, sobald sie auftauchen, aber er schaut nicht auf die GPS-Karte, um einen Stau 10 Meilen voraus zu erkennen. In der Finanzwelt bedeutet dies, dass der Roboter Chancen verpasst, seine Strategie basierend auf vorhergesagten zukünftigen Preisbewegungen anzupassen.

2. Die Lösung: Die „imaginäre Roadtrip"-Simulation (FinPILOT)

FinPILOT fungiert wie ein Co-Pilot, der dem Fahrer vor jeder Kurve eine schnelle „Was-wäre-wenn"-Simulation liefert.

Der Vorhersager: Ein separates Werkzeug (in diesem Fall ein XGBoost-Modell) sagt voraus, wie die Aktienkurse in den nächsten 50 Tagen aussehen werden.
Die Simulation: Bevor der Roboter einen Handel in der realen Welt ausführt, fragt FinPILOT: „Wenn wir unserem aktuellen Plan folgen, sich die Preise jedoch genau so entwickeln, wie der Vorhersager es vorhersagt, wie viel Geld würden wir dann verdienen?"
Die Anpassung: Der Roboter passt dann schnell seine Entscheidungsfindungs-„Gehirn" (seine Policy) an, um diesen imaginären Gewinn zu maximieren. Dies geschieht in Echtzeit, ohne dass der gesamte Roboter von Grund auf neu trainiert werden muss.
Die Ausführung: Er trifft diese einzelne, verbesserte Entscheidung, führt sie am realen Markt aus und wiederholt den Prozess für den nächsten Tag.

3. Die zentrale Erkenntnis: „Der Markt kümmert sich nicht um Sie"**

Die Arbeit weist auf ein einzigartiges Merkmal des Aktienmarktes hin, das dies ermöglicht: Die Aktionen eines kleinen Händlers verändern den Preis nicht.

In Videospielen oder Robotik (wo andere KI-Agenten agieren könnten) verändert sich die Welt, wenn Sie sich bewegen.
Am Aktienmarkt ändert sich der Preis von Apple nicht, wenn Sie ein winziges Stück Apple-Aktie kaufen.
Warum das wichtig ist: Da die Aktionen des Roboters die zukünftigen Preise nicht verändern, kann der „Vorhersager" die zukünftigen Preise einfach einmal vorhersagen, und der Roboter kann alle seine möglichen Züge gegen diese feste Zukunft imaginieren. Es ist wie das Planen einer Wanderung auf einer Karte, die sich nicht verändert, anstatt auf einer Karte, die sich bei jedem Schritt verschiebt.

4. Die „Betrugs"-Experimente

Um zu beweisen, dass ihr System funktioniert, haben die Forscher etwas getan, das sie „Betrug" nennen.

Sie erstellten gefälschte Vorhersagen, die perfekt genau waren (mit exaktem Wissen über die Zukunft).
Sie stellten fest, dass selbst ein winziger Hauch von „Zukunftswissen" (eine sehr schwache Vorhersage) den Roboter erheblich schlauer machte.
Der Schwellenwert-Effekt: Sie entdeckten einen „Kipppunkt". Sobald die Vorhersage nur geringfügig besser ist als zufälliges Raten (selbst nur zu 1 % genau), springt die Leistung des Roboters nach oben. Eine noch genauere Vorhersage hilft zwar, aber der größte Sprung erfolgt bereits durch das Überschreiten dieses winzigen Schwellenwerts von „nutzlos" zu „etwas nützlich".

5. Die Ergebnisse: Bessere Renditen, geringeres Risiko

Als sie dies an echten Aktienkursdaten (Dow Jones 30) und Währungsdaten testeten:

Bessere Gewinne: Die Roboter, die FinPILOT nutzten, erzielten mehr Gewinn als die Standard-Roboter.
Intelligenteres Risikomanagement: Sie fügten der imaginären Simulation eine „Sicherheitsbremse" hinzu. Wenn eine potenzielle Zukunft riskant aussah (wie eine hohe Wahrscheinlichkeit für einen großen Verlust), passte der Roboter seinen Plan an, um dies zu vermeiden.
Funktioniert mit jedem Roboter: Es spielte keine Rolle, welchen spezifischen Lernalgorithmus sie verwendeten (wie PPO, SAC usw.); das Plugin funktionierte für alle.
Stochastisch vs. Deterministisch: Roboter, die „zufällisierte" Entscheidungen treffen (stochastisch), profitierten mehr als Roboter, die „feste" Entscheidungen treffen (deterministisch). Es ist wie ein Fahrer, der bereit ist, verschiedene Routen auszuprobieren und mehr von einem GPS profitiert als ein Fahrer, der stur auf einem einzigen Pfad beharrt.

Zusammenfassung

FinPILOT ist ein Werkzeug, das einem trainierten Handels-KI erlaubt, vor dem Handeln über die Zukunft zu „träumen". Durch die Nutzung einer einfachen Preisvorhersage, um sich ein paar Tage im Voraus vorzustellen, kann die KI ihre Strategie sofort anpassen, um mehr Geld zu verdienen und einige Risiken zu vermeiden, alles ohne dass sie neu trainiert werden muss. Es verwandelt einen reaktiven Roboter in einen proaktiven Planer.

Technischer Überblick: FinPILOT – Inferenzzeit-Optimierung für RL-Handelsagenten

Problemstellung

Reinforcement Learning für den Finanzhandel (RLFT) hat sich als Rahmenwerk für sequenzielle Portfolioentscheidungen etabliert. Allerdings leiden aktuelle Ansätze unter einer Diskrepanz zwischen Prognose und Entscheidungsfindung. Bestehende Methoden fallen typischerweise in zwei unabhängige Stränge:

Überwachtes Forecasting: Modelle sagen kurzfristige Renditen voraus, überlassen das Entscheidungsproblem jedoch externen Heuristiken.
Reinforcement Learning: Agenten werden als statische Strategien trainiert. Obwohl sie während des Trainings Preisvorhersagen als Zustandsmerkmale aufnehmen können, nutzen sie diese nicht als Planungssignal, um ihr Verhalten zur Inferenzzeit anzupassen.

Darüber hinaus existieren zwar Model Predictive Control (MPC) und world-model-basiertes RL (z. B. Dreamer, MuZero), gehen jedoch allgemein von hochfidenzitären Dynamiken aus, die für die Robotik geeignet sind, oder erfordern ein Co-Design der Strategie mit dem Weltmodell. Sie bieten keinen Mechanismus, um einen beliebigen, vortrainierten RL-Agenten beim Einsatz mithilfe eines separat trainierten Forecasters zu verbessern, ohne den Agenten neu zu trainieren.

Die zentrale Herausforderung lautet: Wie kann die Optimierung der Strategie zur Inferenzzeit durch einen separat trainierten Preisforecaster angetrieben werden, ohne den RL-Agenten neu zu trainieren?

Methodik: FinPILOT

Die Autoren schlagen FinPILOT (Financial Plugin Inference-time Learning for Optimal Trading) vor, ein Plugin-Framework, das von Model Predictive Control (MPC) inspiriert ist. Die zentrale strukturelle Erkenntnis besteht darin, dass in Finanzmärkten zukünftige Preise weitgehend unabhängig von der Portfolioallokation eines einzelnen Agenten sind. Dies ermöglicht die Verwendung eines prädiktiven Modells zur Generierung mehrstufiger Preisverläufe ohne die Notwendigkeit iterativer, aktionsbedingter Rollouts, wie sie im Standard-RL üblich sind.

Kernkomponenten

Vortrainierter Agent: Ein standardmäßiger model-freier RL-Agent (z. B. PPO, SAC), der auf historischen Daten trainiert wurde und keinen Zugriff auf zukünftige Preisvorhersagen hat.
Exogener Forecaster ( $F$ ): Ein separates Modell (z. B. XGBoost), das auf historischen Daten trainiert wurde, die strikt vor dem Testfenster liegen. Es generiert eine $H$ -stufige Preisverlauf.
Inferenzzeit-MPC-Schleife: Zu jedem Entscheidungsschritt $t$ $t$ :
- Der Forecaster sagt eine Trajektorie zukünftiger Zustände $\{\hat{s}_{t+1}, \dots, \hat{s}_{t+H}\}$ voraus.
- Der vortrainierte Actor $\pi_\theta$ wird angepasst, indem eine imaginierte Zielgröße $J_t$ über diese vorhergesagte Trajektorie optimiert wird.
- Nur die erste resultierende Aktion wird in der realen Umgebung ausgeführt; die Strategieparameter werden dann für den nächsten Schritt zurückgesetzt oder aktualisiert.

Die imaginierte Zielgröße

Das Framework definiert eine Surrogat-Rendite über den Planungshorizont $H$ . Um die Unsicherheit von Vorhersagen zu handhaben und die risikoadjustierte Performance zu verbessern, enthält die Zielgröße eine Abwärtsrisiko-Strafe:
$J_t(\theta) = \bar{J}_t - \lambda \sqrt{D_t + \epsilon}$
Wobei:

$\bar{J}_t$ die mittlere Rendite über $K$ Partikel (Monte-Carlo-Stichproben) ist.
$D_t$ die Abwärtsvarianz (Semi-Abweichung) der partikelweisen Renditen ist.
$\lambda$ ein Risikoaversion-Koeffizient ist.
Einspeisung von Prognose-Rauschen: Um eine Überanpassung an eine einzelne Punktschätzung zu verhindern, wird den vorhergesagten Trajektorien Gaußsches Rauschen hinzugefügt. Die Rauschskala wird basierend auf der Varianz der Vorhersagen des Forecasters kalibriert, nicht basierend auf dem Ground Truth, was sicherstellt, dass die Methode forecaster-agnostisch bleibt.

Zwei-Phasen-Rollout

Die Methode nutzt die Tatsache aus, dass Preisübergänge unabhängig von den Aktionen des Agenten sind, um das Rollout aufzuteilen:

Phase 1 (Keine Gradienten): Die deterministische Prognose-Trajektorie wird vorab berechnet und $K$ verrauschte Partikel werden generiert. Die Schätzung des Endwertes $V_\theta$ wird für jedes Partikel evaluiert.
Phase 2 (Gradientenanstieg): Es wird über die zwischengespeicherten Partikel iteriert, um die imaginierte Belohnung unter Verwendung der geschlossenen Formel für die Portfolio-Rendite zu berechnen. Gradienten werden nur durch die Actor-Parameter $\theta$ verfolgt, um die Strategie zu aktualisieren.

Hauptbeiträge

FinPILOT-Framework: Ein Plugin-Inferenzzeit-MPC-Framework, das mit jedem vortrainierten RL-Agenten kompatibel ist und eine Variante mit Abwärtsrisiko-Strafe bietet. Es erfordert keine Änderungen am Trainingsverfahren.
Empirische Validierung: Es wurden konsistente Verbesserungen der Gesamtrendite und risikoadjustierter Kennzahlen (Sharpe, Sortino, Calmar) über fünf RL-Algorithmen (PPO, SAC, A2C, TD3, DDPG) hinweg auf dem TradeMaster DJ30-Benchmark mit einem praktischen XGBoost-Forecaster mit bescheidener Vorhersagekraft ( $R^2 \approx 0,01$ ) nachgewiesen.
Generalisierung: Das Framework überträgt sich ohne Neuabstimmung der Hyperparameter auf den Foreign-Exchange-(FX-)Datensatz, was auf Robustheit über Assetklassen hinweg hindeutet.
Methodik der „Cheating"-Experimente: Ein diagnostischer Ansatz, der synthetische Vorhersagen auf kalibrierten $R^2$ -Niveaus konstruiert, um die Skalierung der Strategiegewinne in Bezug auf die Vorhersagequalität zu messen.

Experimentelle Ergebnisse

Evaluiert auf dem TradeMaster DJ30-Benchmark (29 Aktien, 2012–2021) und dem FX-Datensatz:

Leistungssteigerungen: Mit einem praktischen XGBoost-Forecaster ( $R^2 \approx 0,01$ $R^{2} \approx 0, 01$ ) erzielte FinPILOT konsistente Gewinne.
- PPO: Die Gesamtrendite stieg von 17,74 % auf 23,46 %.
- SAC: Die Gesamtrendite stieg von 17,78 % auf 22,21 %.
- Risikoadjustierte Kennzahlen: Deutliche Verbesserungen der Sharpe-, Sortino- und Calmar-Quotienten wurden beobachtet, insbesondere bei stochastischen Strategien (PPO, SAC).
Stochastisch vs. Deterministisch: Stochastische Strategien (PPO, SAC) profitierten signifikant stärker von der Inferenzzeit-Optimierung als deterministische (TD3, DDPG).
Skalierung der Prognosequalität: „Cheating-Experimente" enthüllten ein schwellenwertähnliches Verhalten. Die Leistungsgewinne waren zwischen $R^2 = 0,001$ und $R^2 = 0,01$ kaum unterscheidbar, verbesserten sich jedoch weiter, wenn $R^2$ in Richtung 0,8 anstieg. Dies legt nahe, dass selbst schwache, wirtschaftlich sinnvolle Signale ausreichen, um die Vorteile des Frameworks zu treiben.
Horizont-Sensitivität: Ein Planungshorizont von $H=50$ Tagen wurde als optimal befunden, wobei die Notwendigkeit der Erfassung struktureller Marktregime gegen hochfrequentes Rauschen abgewogen wurde.

Bedeutung und Behauptungen

Die Autoren behaupten, dass FinPILOT die Lücke zwischen Prognose und Entscheidungsfindung im RLFT schließt, ohne die Rechenkosten des Neutrainierens von Agenten. Indem der Preisforecaster als Surrogat-Weltmodell behandelt wird, ermöglicht das Framework vortrainierten Agenten, zur Inferenzzeit gegen imaginierte Zukünfte zu „planen".

Die Autoren betonen, dass die strukturelle Eigenschaft von Finanzmärkten (geschlossene Formeln für Belohnungen und Preisnehmer-Annahmen) die Weltmodellierung auf eine reine Preisprognose vereinfacht. Das Framework wird als Plugin-Lösung präsentiert: Es verändert das Training des RL-Agenten nicht und ist somit auf eine breite Palette bestehender Algorithmen anwendbar.

Die Ergebnisse deuten darauf hin, dass die Leistung von RL-Handelsagenten nicht durch die Notwendigkeit hochfidentärer Weltmodelle (die im Finanzwesen schwer zu erlernen sind) begrenzt ist, sondern vielmehr durch die Fähigkeit, selbst bescheidene prädiktive Signale ( $R^2 \approx 0,01$ ) durch Inferenzzeit-Anpassung zu nutzen. Die Autoren schließen daraus, dass sich die Leistung von Agenten, die FinPILOT verwenden, entsprechend verbessern sollte, sobald sich Finanzprognosemodelle verbessern.

Einschränkungen: Die Autoren stellen fest, dass sich zwar die risikoadjustierten Kennzahlen verbesserten, das maximale Drawdown jedoch für einige stochastische Strategien (PPO, SAC) im Vergleich zu den Baselines leicht anstieg, was einen Trade-off zwischen Gesamtrendite und Abwärtsrisiko-Exposition aufzeigt, der weiterhin ein Forschungsgebiet für zukünftige Arbeiten darstellt. Die Evaluation ist auf zwei Benchmarks (DJ30 und FX) beschränkt und stützt sich auf Backtesting, was Marktauswirkungen oder Latenzzeiten im Live-Handel nicht berücksichtigt.