🤖 AI

OpenFinGym: A Verifiable Multi-Task Gym Environment for Evaluating Quant Agents

Dieses Paper stellt OpenFinGym vor, eine vereinheitlichte und verifizierbare Multi-Task-Gym-Umgebung, die die Fragmentierung und den Mangel an finanzieller Relevanz in bestehenden Benchmarks adressiert, indem sie vielfältige quantitative Finanz-Workflows – von der Prognose und Strategiekonstruktion bis hin zum Echtzeithandel und der Betrugserkennung – zusammen mit automatisierter Aufgabengenerierung und robusten Verifizierungsmechanismen integriert, um Large Language Model Agents besser zu evaluieren.

Ursprüngliche Autoren: Kaicheng Zhang, Wen Ge, Lei Jiang, Weixin Yang, Jordan Langham-Lopez, Jialin Yu, Lukasz Szpruch, Hao Ni

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kaicheng Zhang, Wen Ge, Lei Jiang, Weixin Yang, Jordan Langham-Lopez, Jialin Yu, Lukasz Szpruch, Hao Ni

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man ein professioneller Börsenhändler ist. In der Vergangenheit haben Forscher diesen Roboter nur auf eine spezifische Fähigkeit zu einem Zeitpunkt getestet, wie zum Beispiel: „Kannst du den morgigen Preis erraten?“ oder „Kannst du eine gefälschte Transaktion erkennen?“

Das Problem ist, dass das echte Finanzwesen chaotisch und vernetzt ist. Ein guter Händler errät nicht nur Preise; er errät Preise, baut eine Strategie auf, verwaltet Risiken und reagiert gleichzeitig auf Live-Nachrichten. Wenn Sie den Roboter nur darauf testen, Preise zu erraten, könnten Sie glauben, er sei ein Genie, selbst wenn er beim ersten Versuch, tatsächlich zu handeln, sein gesamtes Geld verlieren würde.

OpenFinGym ist ein neuer, allumfassender „Trainingsplatz“, der genau dies beheben soll. Es ist ein digitaler Spielplatz, auf dem KI-Agenten (die Roboter) den gesamten Lebenszyklus eines Finanzjobs üben können, nicht nur isolierte Tricks.

Hier ist die Funktionsweise, unterteilt in einfache Konzepte:

1. Die vier Hauptübungen

Anstatt nur eines Tests bietet OpenFinGym vier verschiedene Arten von „Übungen“ an, die die reale Finanzarbeit nachahmen:

Prognose (Die Kristallkugel): Der Agent versucht, zukünftige Preise, Volatilität oder Markttrends basierend auf der Historie vorherzusagen.
Handel (Die Aktion): Der Agent kauft und verkauft tatsächlich Vermögenswerte. Er kann dies entweder auf historischen Daten tun (wie ein Videospiel-Replay) oder auf Live-Echtzeitdaten (wie bei einem Live-Sportmatch).
Marktgenerierung (Der Simulator): Der Agent versucht, gefälschte Marktdaten zu erstellen, die so echt aussehen, dass sie nicht von der Realität zu unterscheiden sind. Dies hilft dabei, Strategien unter Belastung zu testen.
Betrugserkennung (Der Sicherheitsdienst): Der Agent untersucht komplexe Geflechte von Transaktionen, um verdächtige oder illegale Aktivitäten aufzuspüren.

2. Die „Glass Box“-Regel (Kein Schummeln)

In vielen KI-Tests passiert es häufig, dass der Roboter versehentlich einen Blick auf den Lösungsschlüssel wirft, während er lernt. OpenFinGym verhindert dies durch ein striktes Containersystem.

Stellen Sie sich den KI-Agenten wie einen Schüler vor, der eine Prüfung in einem versiegelten Raum ablegt. Er hat all seine Lehrbücher (Trainingsdaten) und die Prüfungsfragen (Test-Inputs) vor sich.
Der Lösungsschlüssel (die wahren zukünftigen Preise oder die tatsächlichen Betrugs-Labels) ist jedoch in einem separaten, sicheren Tresor eingeschlossen, den nur der Proktor (der Verifizierer) sehen kann.
Der Schüler gibt seine Antworten ab, und der Proktor gleicht sie mit dem Schlüssel ab. Dies stellt sicher, dass die KI nicht schummelt, indem sie die Antworten einfach auswendig lernt.

3. Die „Rezeptbuch“-Maschine

Eines der coolsten Merkmale ist die Art und Weise, wie sie das Gym gebaut haben. Anstatt dass Menschen manuell 78 verschiedene Tests schreiben, haben sie eine automatisierte Pipeline entwickelt.

Stellen Sie sich eine Maschine vor, die akademische Finanzpublikationen lixt (die „Rezepte“ dafür, wie man handelt oder prognostiziert), die Daten und Regeln extrahiert und daraus automatisch ein spielbares Level erstellt.
Das bedeutet, dass das Gym ständig wächst und mit den neuesten wissenschaftlichen Erkenntnissen Schritt hält, ohne dass ein Mensch jede einzelne neue Aufgabe programmieren muss.

4. Das Ergebnis: Spezialisierte Athleten, keine Superhelden

Die Autoren haben mehrere der weltweit fortschrittlichsten KI-Modelle in diesem Gym getestet. Dabei fanden sie etwas Interessantes heraus: Es gibt keinen einzelnen „besten“ Roboter.

Eine KI war großartig darin, Preise vorherzusagen, aber schlecht darin, Betrug zu erkennen.
Eine andere war fantastisch im Handel, hatte aber Schwierigkeiten, gefälschte Daten zu generieren.
Es ist wie bei einer Sportmannschaft: Man möchte nicht einen einzelnen Spieler, der alles machen will; man möchte Spezialisten, die in ihren spezifischen Positionen glänzen. OpenFinGym hilft uns dabei, diese Spezialisten zu identifizieren.

5. Das Training der Roboter

Die Arbeit zeigt auch, dass dieses Gym hervorragend für das Training der KI geeignet ist, nicht nur für das Testen.

Sie nahmen ein einfaches KI-Modell, das nicht einmal in der Lage war, ein funktionierendes Handels-Skript zu schreiben (es scheiterte zu 100 %).
Sie nutzten das Gym, um es zu lehren (ein Prozess, der „Supervised Fine-Tuning“ und „Reinforcement Learning“ genannt wird).
Das Ergebnis: Die KI entwickelte sich von einem Modell, das bei allen Aufgaben versagte, zu einem, das Aufgaben zu 100 % erfolgreich bewältigt, und ihre Handelsstrategien wurden signifikant profitabler.

Zusammenfassung

OpenFinGym ist ein einheitlicher, betrugssicherer Trainingsplatz für Finanz-KI. Es bewegt sich weg von der bloßen Testung von Robotern auf einzelnen, isolierten Aufgaben und setzt sie stattdessen einer realistischen, mehrstufigen Simulation der Finanzwelt aus. Es stellt sicher, dass, wenn wir sagen, eine KI sei „gut in Finanzen“, wir meinen, dass sie tatsächlich die komplexen, vernetzten Realitäten der Märkte bewältigen kann und nicht nur ein einfaches mathematisches Rätsel löst.

Technisches Resümee: OpenFinGym

Problemstellung

Die Evaluierung von Large Language Model (LLM) Agenten im Bereich der quantitativen Finanzwirtschaft bleibt fragmentiert. Bestehende Benchmarks isolieren typischerweise einzelne Aufgaben (z. B. Prognose oder Handel) oder verlassen sich auf statische Datensätze, die die interdependenten, mehrstufigen Natur realer Finanz-Workflows nicht erfassen. Darüber hinaus vernachlässigen aktuelle Plattformen oft die finanzielle Relevanz, lassen eine rigorose Kontrolle auf Datenleckagen (Look-ahead Bias) vermissen und unterstützen keine einheitliche Schnittstelle für diverse Aufgabenfamilien wie Prognose, Marktsimulation, Handel und Betrugserkennung. Diese Fragmentierung führt zu einer Überschätzung der Kompetenz von Agenten und einem Scheitern bei der Offenlegung von Schwächen in der Generalisierung und der Interaktion mit realen Märkten.

Methodik

OpenFinGym adressiert diese Lücken durch eine einheitliche Gym-Umgebung, die für eine rigorose, skalierbare und leckageresistente Evaluierung konzipiert ist. Das System basiert auf drei Kernkomponenten:

1. Aufgaben-Spezifikationen und Taxonomie

Aufgaben werden als Machine-Learning-Probleme formalisiert, die durch ein Tripel $(D, T, E)$ repräsentiert werden:

$D$ (Datensatz): Beinhaltet Trainings- und Test-Splits.
$T$ (Aufgabenbeschreibung): Definiert Datenquellen, Input-Output-Schnittstellen, Zielsetzungen und Ausgabeformate.
$E$ (Evaluierungsprotokoll): Spezifiziert Metriken und Aggregationsregeln.

Die Umgebung deckt vier unterschiedliche Aufgabenfamilien ab:

Prognose (Forecasting): Vorhersage zukünftiger Finanzgrößen (Renditen, Preise, Volatilität) unter Verwendung statistischer und finanzspezifischer Metriken (z. B. $R^2$ , Sharpe-Ratio, $\Delta$ -Risiko).
Handel (Trading): Sequenzielle Entscheidungsfindung auf historischen (Offline-) oder Live-Daten (Echtzeit), evaluiert anhand von PnL, Drawdown und Turnover.
Marktsimulation (Market Generation): Erstellung realistischer Finanz-Zeitreihen oder Szenarien, evaluiert über distributionale, temporale und finanzielle Diagnostiken (z. B. Autokorrelation, Tail-Risiko).
Betrugserkennung (Fraud Detection): Klassifizierung oder Anomalieerkennung auf transaktionalen und graphstrukturierten Daten.

2. Automatisierte Pipeline zur Aufgabenerstellung

OpenFinGym führt eine Pipeline ein, um Publikationen aus der quantitativen Finanzwissenschaft in ausführbare Aufgabenpakete zu konvertieren. Dieser Prozess umfasst:

Paper-Harvesting: Filtern akademischer Arbeiten basierend auf experimentellen Protokollen und Datenverfügbarkeit.
Datensatz- und Reward-Konstruktion: Verwendung eines Generator-Reviewer-Loops (LLM + Unit-Tests), um Datensätze und Evaluierungsmetriken zu materialisieren und sicherzustellen, dass diese den Quell-Spezifikationen entsprechen.
Aufgaben-Assemblierung: Bündelung von Datensätzen, Rewards und Spezifikationen in in sich geschlossene Pakete. Ein zentrales Konstruktionsprinzip ist die Trennung von agenten-sichtbaren Informationen und verifizier-exklusiven Ground-Truth-Daten, um Leckagen zu verhindern.

3. Containerisierte Laufzeitumgebung und Verifizierung

Leckage-Kontrolle: Agenten laufen innerhalb von Containern, in denen zurückgehaltene Test-Labels explizit ausgeschlossen sind. Ein Host-seitiger Verifizierungsdienst berechnet die Rewards unter Verwendung der Ground-Truth, wodurch sichergestellt wird, dass Agenten während der Ausführung nicht auf die Evaluierungsdaten zugreifen können.
Echtzeit-Infrastruktur: Für den Handel und langfristige Prognosen nutzt das System einen Latenz-armen Datenstreaming-Dienst (via WebSockets) und eine Paper-Trading-Engine. Es unterstützt asynchrone Auflösung (deferred resolution), bei der Ergebnisse für Langzeitprognosen asynchron über ein persistentes SQLite-Ledger aufgelöst werden, sobald die Marktdaten verfügbar sind.
Training-Integration: Die Umgebung unterstützt Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) Post-Training, was es Agenten ermöglicht, aus erfolgreichen Trajektorien zu lernen.

Kernbeiträge

Einheitliche Aufgaben-Suite: Eine kuratierte Sammlung von 78 verifizierten quantitativen Finanzaufgaben, die Prognose, Marktsimulation, Handel und Betrugserkennung abdecken und mehrere Assetklassen (Aktien, Krypto, FX, Rohstoffe etc.) umfassen.
Automatisierte Konstruktions-Pipeline: Ein System, das akademische Literatur in ausführbare, verifizierbare Benchmark-Aufgaben transformiert, den manuellen Engineering-Aufwand reduziert und die Reproduzierbarkeit sicherstellt.
Leckage-resistente Laufzeitumgebung: Eine containerisierte Ausführungsumgebung mit einem host-seitigen Verifizierer, der Trainingsdaten strikt von den Test-Ground-Truth-Daten trennt, um temporale Kontamination und Look-ahead Bias zu verhindern.
Post-Training-Unterstützung: Ein integriertes Framework für SFT und RL, das die Verbesserung der Agenten-Fähigkeiten auf spezifischen Finanz-Workflows ermöglicht.

Ergebnisse

Die Autoren benchmarkten vier Frontier-LLMs (GPT-4o, GPT-5.1-codex-mini, Haiku 4.5, Sonnet 4.6) und evaluierten die Auswirkungen von SFT und RL auf Qwen3-Basismodelle.

Agenten-Performance: Kein einzelnes Modell dominierte über alle Aufgabenfamilien hinweg.
- Prognose: GPT-5.1-codex-mini erreichte den besten Reward (0.036).
- Marktsimulation: Sonnet 4.6 performte am besten (niedrigster Reward von 7.114).
- Handel: GPT-4o erreichte den höchsten Reward (19.912).
- Betrugserkennung: Sonnet 4.6 übertraf die anderen mit einem Reward von 1.630.
- Alle Modelle erreichten eine Erfolgsquote von 100 % bei Prognose, Handel und Betrugserkennung, was eine zuverlässige Interaktion mit den Schnittstellen belegt.
Effektivität des Post-Trainings:
- Basis-Qwen3-Modelle (1.7B, 4B, 8B) scheiterten daran, ausführbare Submissions zu produzieren (0 % Erfolgsquote) bei gehaltenen (held-out) Prognose-Aufgaben.
- SFT verbesserte die Erfolgsquoten auf etwa 50–80 %.
- RL (GRPO) steigerte die Erfolgsquoten weiter auf 100 % über alle Modelle und Aufgaben hinweg, während gleichzeitig die mittleren Rewards (Verbesserung der Performance) bei spezifischen Aufgaben wie Treasury und Krypto um eine Größenordnung gesenkt wurden.

Signifikanz und Ansprüche

Das Paper positioniert OpenFinGym als kritische Infrastruktur zur Weiterentwicklung autonomer Finanz-Agenten. Die Signifikanz ergibt sich aus:

Ganzheitlicher Evaluierung: Der Übergang von isolierten Aufgaben hin zur Bewertung von Agenten über miteinander verbundene Finanz-Workflows, was ein realistischeres Maß für die Generalisierung liefert.
Rigoroser Verifizierung: Etablierung eines Standards für leckageresistente Evaluierung in Hochrisiko-Domänen, um sicherzustellen, dass Benchmark-Ergebnisse echte Fähigkeiten statt Datenkontamination widerspiegeln.
Skalierbarkeit: Nachweis, dass automatisierte Pipelines komplexe, auf Literatur basierende Benchmarks generieren können, was eine schnelle Erweiterung der Evaluierungslandschaft ermöglicht.
Training-Nutzen: Beweis dafür, dass die Umgebung nicht nur ein Benchmark, sondern auch ein effektives Trainingsfeld ist, in dem SFT und RL Basismodelle von nicht-funktionalen zu hochkompetenten Finanz-Agenten transformieren können.

Die Autoren merken an, dass die aktuellen SFT- und RL-Ergebnisse zwar vielversprechend sind, jedoch eine erste Demonstration darstellen. Zukünftige Arbeiten zielen darauf ab, die Trajektorien-Sammlung zu skalieren, stärkere Backbone-Modelle einzubeziehen und die Aufgabenfamilien um Risikomanagement und breitere Ausführungssettings zu erweitern.