💻 computer science

An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation

Diese Arbeit präsentiert eine transparente empirische Studie eines auf PPO basierenden Bitcoin-Handelsagenten, der kritische Trainingsfehler diagnostiziert und korrigiert, um eine moderate langfristige Outperformance gegenüber der Buy-and-Hold-Strategie zu erreichen, während er gleichzeitig demonstriert, dass Echtzeit-Limit-Order-Book-Daten aufgrund von Transaktionskosten, die Mikro-Preisbewegungen übersteigen, oft eine rationale „No-Trade“-Policy hervorbringen, was letztlich für den Wert der reproduzierbaren Berichterstattung über negative Ergebnisse gegenüber geschönten Erfolgsnarrativen plädiert.

Ursprüngliche Autoren: william darryl towa

Veröffentlicht 2026-07-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: william darryl towa

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Handeln mit Bitcoin beizubringen. Sie wollen, dass er klüger ist als bloßes „Kaufen und Halten“, aber Sie wollen auch vermeiden, dass er sein ganzes Geld verliert. Dieses Paper ist eine „Hinter-den-Kulissen“-Dokumentation dieses Prozesses, in dem der Autor, William Darryl Towa, beschließt, absolut ehrlich über alles zu sein, was schiefgelaufen ist, was gut lief und warum der Roboter manchmal einfach nur auf dem Sofa sitzt und gar nichts tut.

Hier ist die Geschichte der Forschung, unterteilt in einfache Konzepte:

1. Die zwei verschiedenen Trainingslager

Der Autor hat nicht nur einen Datensatz verwendet. Er hat seinen Roboter in zwei sehr unterschiedlichen „Fitnessstudios“ trainiert:

Gym A (Das Hochgeschwindigkeits-Mikroskop): Dies nutzte eine super-detaillierte, sekündliche Ansicht des Bitcoin-Orderbuchs (der Liste von Menschen, die kaufen oder verkaufen wollen) aus einer spezifischen Woche im Jahr 2021. Es ist, als würde man einem Rennfahrer in Zeitlupe zusehen und jede noch so kleine Bewegung am Lenkrad beobachten.
Gym B (Die Langstrecken-Autobahn): Dies nutzte 2,4 Jahre an stündlichen Preis-Charts. Es ist, als würde man denselben Fahrer über mehrere Jahre hinweg beobachten und sehen, wie er mit unterschiedlichem Wetter, Verkehr und Straßenbedingungen zurechtkommt.

2. Der erste große Absturz: „Der eingefrorene Roboter“

Als der Autor zum ersten Mal versuchte, den Roboter zu trainieren, brach dieser sofort zusammen. Der Roboter vollzog einen Trade und fror dann für 195.000 Schritte ein. Er hörte auf zu lernen und hörte auf sich zu bewegen.

Die Diagnose: Der Autor fand zwei Gründe für diesen „eingefrorenen“ Zustand:

Verwirrende Zahlen: Dem Roboter wurden Zahlen gefüttert, die in ihrer Größe extrem unterschiedlich waren. Stellen Sie sich vor, Sie versuchen, das Gewicht einer Feder (0,001) mit dem Gewicht eines Blauwals (85.000) zu vergleichen. Der Roboter wurde verwirrt, weil der Wal die Feder „ertränkte“. Der Autor behob dies durch die „Normalisierung“ der Daten (alles auf die gleiche Skala zu bringen).
Ein kaputtes Bewertungssystem: Der Roboter wurde in einem Test bewertet, der mathematisch fehlerhaft war. Manchmal gab der Test ihm eine Punktzahl von „1.000“ und manchmal „-1.000“ für exakt dieselbe Aktion, nur aufgrund eines winzigen Mathefehlers. Das ließ den Roboter glauben, die Welt sei chaotisch und unvorhersehbar, also gab er auf. Der Autor korrigierte die Mathematik, damit die Bewertungen Sinn ergaben.

3. Der „faule“ Roboter: Wenn Nichtstun der klügste Schachzug ist

Nachdem der Absturz behoben wurde, trainierte der Autor den Roboter mit den Daten des Hochgeschwindigkeits-Mikroskops (Gym A). Der Roboter lernte eine sehr seltsame Lektion: Niemals handeln.

Zuerst dachte der Autor, der Roboter sei defekt oder hätte nicht genug Daten zum Lernen gehabt. Aber dann erkannte er die Wahrheit: Der Roboter war tatsächlich klug.

Die Analogie: Stellen Sie sich vor, Sie sind auf einem Flohmarkt. Jedes Mal, wenn Sie etwas kaufen und versuchen, es 10 Sekunden später wieder zu verkaufen, erhebt der Markt eine Gebühr von 30 %. Selbst wenn der Preis des Artikels um 1 % steigt, machen Sie immer noch Verlust, weil die Gebühr zu hoch ist.
Die Realität: In den Hochgeschwindigkeitsdaten bewegte sich der Bitcoin-Preis in einer Sekunde kaum (oft 0,00000 %). Aber die Handelsgebühr war riesig (0,30 %).
Das Fazkitus: Der Roboter erkannte, dass jeder Trade Geld kosten würde. Also war die profitabelste Strategie, stillzusitzen und nichts zu tun. Der Autor nennt dies „ökonomisch rationale Inaktivität“. Es war kein Fehler; der Roboter hatte korrekt erkannt, dass das Spiel gegen den Handel manipuliert war.

4. Der Erfolg auf der Langstrecke: Ein bescheidener Sieg

Als der Autor den Roboter mit den Daten der Langstrecken-Autobahn (Gym B) (den 2,4 Jahren stündlicher Charts) trainierte, tat dieser etwas anderes. Er lernte zu handeln, aber sehr vorsichtig.

Das Ergebnis: Der Markt fiel während des Testzeitraums um etwa 21 %.
- Wenn man Bitcoin einfach nur gehalten hätte (Buy-and-Hold), hätte man 20,82 % verloren.
- Der Roboter verlor 19,42 %.
Die Erkenntnis: Er hat kein Vermögen gemacht. Er hat den Markt nicht um eine riesige Spanne geschlagen. Aber er hat weniger Geld verloren als die Person, die ihn einfach nur gehalten hat. Es war ein kleiner, beständiger Sieg, wie ein Läufer, der einen Marathon in einem sehr schlechten Rennen knapp vor dem Rest des Feldes beendet.

5. Der „Ensemble“-Filter: Ein Türsteher, der nichts tat

Der Autor versuchte, die beiden Roboter zu kombinieren. Er baute einen „Gatekeeper“ (einen Ensemble-Filter), der den Langstrecken-Roboter nur dann handeln ließe, wenn der Hochgeschwindigkeits-Roboter eine gute Gelegenheit sah.

Der Test: Er testete dies in der einen Woche, in der sich beide Datensätze überschnitten.
Das Ergebnis: Der Gatekeeper blockierte 64 potenzielle Trades, änderte aber das Endergebnis nicht. Warum? Weil der Langstrecken-Roboter bereits meistens die Hände in den Schoß legte und nichts tat. Der Gatekeeper war wie ein Türsteher vor einem Club, der bereits leer ist; er verhinderte zwar, dass Leute hineinkamen, aber da ohnehin niemand versuchte hineinzugehen, blieb der Club leer.
Die Ehrlichkeit: Anstatt dieses „Null-Ergebnis“ zu verstecken, veröffentlichte der Autor es. Er argumentierte, dass es wertvoller ist, zuzugeben, dass „dieser Teil nicht funktioniert hat“, als einen Erfolg vorzutäuschen.

6. Die große Lektion: „Ehrliches Scheitern“ ist besser als „polierte Lügen“

Der wichtigste Teil dieses Papers ist nicht die Handelsstrategie; es ist die Einstellung.

In der Welt der KI und der Finanzen veröffentlichen Forscher oft nur die „Happy Ends“, in denen der Roboter Millionen verdient. Dieses Paper ist anders. Es sagt:

„Hier ist genau der Grund, warum unser erster Versuch abgestürzt ist.“
„Hier ist der Grund, warum unser zweiter Roboter entschied, nichts zu tun (und warum das eigentlich korrekt war).“
„Hier ist ein Teil unseres Systems, der nicht funktioniert hat, und hier ist der Beweis dafür.“

Der Autor glaubt, dass das Teilen dieser „negativen Ergebnisse“ und „Diagnosen“ der gesamten Gemeinschaft hilft, schneller zu lernen, als das Teilen einer polierten, perfekten Geschichte, die möglicherweise verborgene Mängel kaschiert. Er veröffentlichte all seinen Code und seine Notizen, damit jeder seine Arbeit überprüfen kann, was beweist, dass Transparenz der beste Weg ist, um die Wissenschaft voranzubringen.

Kurz gesagt: Das Paper ist die Geschichte eines Roboters, der lernte, mit Bitcoin zu handeln, abstürzte, weil die Mathematik fehlerhaft war, lernte, dass manchmal der beste Trade der Nicht-Trade ist, und schließlich lernte, etwas weniger Geld zu verlieren als alle anderen – und das alles, während der Autor versprach, die ganze Wahrheit zu sagen, selbst die peinlichen Teile.

Technisches Resümee: Ein Ensemble-PPO-Handelsagent über reale LOB-Daten und OHLCV-Daten mit langem Zeithorizont

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, Reinforcement Learning (RL)-Agenten für den Kryptowährungshandel unter zwei gegensätzlichen Datenszenarien zu trainieren: einem kurzen Fenster aus realen Hochfrequenz-Limit-Order-Book-Daten (LOB) und einem langen Fenster mit niederfrequenten OHLCV-Daten. Die Studie hebt eine kritische methodische Spannung im Finanz-RL hervor: Die bereitgestellten LOB-Datensätze (oft aus Wettbewerben) sind zeitlich meist zu eng gefasst, um statistisch konfidente, sample-effiziente Policies zu trainieren, während nützliche Ensemble-Methoden Daten mit langem Zeithorizont benötigen, um mehrere Marktregime abzudecken. Darüber hinaus untersucht die Arbeit das Phänomen des „Policy Collapse“, bei dem Agenten scheitern oder zu degenerierten Verhaltensweisen konvergieren, und versucht zu unterscheiden, ob es sich um Trainingsfehler oder um ökonomisch rationales Nichthandeln handelt.

Methodik
Die Autoren schlagen eine Zwei-Modell-Architektur vor, die mittels Proximal Policy Optimization (PPO) innerhalb einer benutzerdefinierten, Gymnasium-kompatiblen Umgebung trainiert wird. Diese weicht vom offiziellen Wettbewerbs-Simulator ab, um die volle Kontrolle über Zustands-, Aktions- und Belohnungsspezifikationen zu ermöglichen.

Datenquellen:
- Modell A (Kurzer Horizont/LOB): Trainiert auf dem offiziellen FinRL-AlphaSeek-Wettbewerbsdatensatz (494.749 Sekunden-Snapshots der BTC-Orderbuch-Tiefe aus dem April 2021). Die Merkmale umfassen Order-Imbalance, Cancellation-Druck, Market-Order-Flow und Spread.
- Modell B (Langer Horizont/OHLCV): Trainiert auf 2,4 Jahren stündlicher BTC/USDT-Daten von Binance (2024–2026). Die Merkmale umfassen Log-Returns, Volatilität, Volumen und Momentum.
MDP-Formulierung: Der Aktionsraum ist diskret {SELL, HOLD, BUY} mit vollständigen Positionsübergängen. Die Belohnungsfunktion ist ein Sortino-Ratio-Proxy auf Mark-to-Market-Log-Returns, der für Drawdowns bestraft wird.
Diagnoseprozess: Die Studie behandelt den Trainingsprozess als diagnostische Fallstudie. Sie dokumentiert einen anfänglichen „totalen Policy Collapse“ (ein einzelner Trade gefolgt von 195.000 Schritten eingefrorenen Verhaltens) und isoliert systematisch die Grundursachen:
1. Unnormierte Inputs: Rohe Preisniveaus (~~85.000) gemischt mit kleinen Features (~~ $10^{-3}$ ) erzeugten ein Größenverhältnis von $7,1 \times 10^7$ , was das Netzwerk destabilisierte.
2. Numerisch instabile Belohnung: Der Nenner des Sortino-Ratios verwendete einen Floor ( $10^{-8}$ ), der weit unter der empirischen Volatilität lag, was zu einer Belohnungssättigung (Clipping) bei 88–97 % der Übergänge führte.
3. Hypothesenfalsifizierung: Die Autoren testeten, ob eine „unzureichende Exploration“ zur Konvergenz nahe am „Buy-and-Hold“-Szenario führte, indem sie den Entropie-Koeffizienten um das Vierfache erhöhten; dies verbesserte die Performance nicht, was eine mangelnde Exploration als Ursache ausschloss.
Ensemble-Mechanismus: Ein vorgeschlagener Filter nutzt die aus dem LOB abgeleiteten Signale von Modell A (Order-Imbalance und Spread), um die Handelsentscheidungen von Modell B während der zeitlichen Überschneidung der beiden Datensätze zu steuern.

Kernergebnisse

Langfristiger Agent (Modell B): Nach Korrektur der Input-Normalisierung und der Skalierung der Belohnung konvergierte der Agent zu einer Policy, die auf den Testdaten (einem Zeitraum mit einem zugrunde liegenden Preisrückgang von 21 %) das Buy-and-Hold-Baseline-Szenario moderat, aber konsistent übertraf.
- Rendite: -19,42 % (PPO) vs. -20,82 % (Buy-and-Hold).
- Risikometriken: Höhere Sharpe- (-1,274 vs. -1,377) und Sortino-Ratios sowie ein geringerer maximaler Drawdown (31,45 % vs. 32,54 %).
- Verhalten: Die Verbesserung resultierte vollständig aus dem gelernten Einstiegs-Timing (ein realisierter Trade) und nicht aus einer hohen Handelsfrequenz.
Kurzfristiger Agent (Modell A): Der auf Sekundenebene trainierte LOB-Agent konvergierte zu einer Policy des Nicht-Handelns (0 Trades, 0,00 % Rendite).
- Diagnose: Dies war kein Trainingsfehler, sondern eine ökonomisch rationale Schlussfolgerung. Bei einer Granularität von einer Sekunde liegt die mediane Preisbewegung bei 0,00000 %, und selbst das 99. Perzentil (0,038 %) ist etwa achtmal kleiner als die konfigurierte Round-Trip-Transaktionskosten (0,30 %). Unter diesen ökonomischen Bedingungen ist Untätigkeit die optimale Policy.
Evaluierung des Ensemble-Filters: In dem einzigen Zeitfenster, in dem sich die Datenquellen überschnittenen (April 2021), fing der Filter 64 von 165 Signalen ab, änderte jedoch keinen einzigen realisierten Trade. Dies geschah, weil die Basis-Policy (Modell B) in diesem spezifischen Fenster redundante „No-Op“-Aktionen aussendete. Die Autoren führen dies als Nullergebnis an, statt es zu unterdrücken.

Bedeutung und Behauptungen
Die Arbeit behauptet, ihr primärer Beitrag sei die methodische Transparenz und nicht eine State-of-the-Art-Handelsleistung.

Diagnostischer Wert: Sie bietet eine präzise Ursachenanalyse des PPO-Policy-Collapse in Finanzumgebungen und identifiziert, dass unnormierte Features und schlecht konditionierte Belohnungsfunktionen zu einem degenerierten Verhalten führen können, das „Versagen“ imitiert, aber eigentlich eine Reaktion auf Signal-Sättigung ist.
Ökonomische Rationalität: Sie demonstriert, dass ein RL-Agent, der zu „Nicht-Handeln“ konvergiert, eine korrekte Schlussfolgerung über die Markt-Mikrostruktur ziehen kann (speziell, dass Transaktionskosten Preisbewegungen auf hoher Frequenz dominieren), anstatt ein Mangel an Lernfähigkeit zu sein.
Berichterstattung über negative Ergebnisse: Die Autoren argumentieren, dass die Meldung von Nullergebnissen (z. B. dass der Ensemble-Filter in dem spezifischen Testfenster keinen Effekt hatte) und die Falsifizierung ihrer eigenen Hypothesen (z. B. Datenknappheit vs. Transaktionskosten) der Forschungsgemeinschaft wertvoller ist als polierte, aber unverifizierbare Erfolgsberichte.
Reproduzierbarkeit: Die Studie betont die Freigabe eines vollständigen Codebases, Entscheidungsprotokolle und einer Evaluierungs-Harness zur Unterstützung der Reproduzierbarkeit. Sie merkt an, dass alle Ergebnisse auf einem einzigen Random Seed (42) basieren und ohne Validierung durch mehrere Seeds nicht als statistisch robust betrachtet werden sollten.

Die Arbeit schließt mit dem Hinweis, dass der Ensemble-Ansatz weitere Validierungen über mehrere Marktregime und Seeds hinweg erfordert, bevor die Leistungsansprüche verallgemeinert werden können, obwohl der langfristige Agent eine moderate Outperformance zeigte.