Technische Samenvatting: OpenFinGym

Probleemstelling

De evaluatie van Large Language Model (LLM) agenten in kwantitatieve financiën blijft gefragmenteerd. Bestaande benchmarks isoleren doorgaans enkelvoudige taken (bijv. voorspelling of handel) of vertrouwen op statische datasets die er niet in slagen de onderling afhankelijke, meerfasige aard van echte financiële workflows te vatten. Bovendien negeren huidige platforms vaak de financiële relevantie, ontbreken ze aan strikte controles voor datalekken (look-ahead bias) en ondersteunen ze geen uniforme interface voor diverse taakfamilies zoals forecasting, marktgeneratie, handel en fraude detectie. Deze fragmentatie leidt tot een overschatting van de competentie van agenten en een falen in het blootleggen van zwakheden in generalisatie en interactie met de echte markt.

Methodologie

OpenFinGym adresseert deze tekortkomingen via een uniforme gym-omgeving die is ontworpen voor rigoureuze, schaalbare en lekbestendige evaluatie. Het systeem is gebouwd op drie kerncomponenten:

1. Taakspecificaties en Taxonomie

Taken worden geformaliseerd als machine learning-problemen gerepresenteerd door een triplet $(D, T, E)$:

• $D$ (Dataset): Bevat trainings- en testsplits.
• $T$ (Taakbeschrijving): Definieert databronnen, input-output interfaces, doelstellingen en outputformaten.
• $E$ (Evaluatieprotocol): Specificeert metrieken en aggregatieregels.

De omgeving dekt vier verschillende taakfamilies:

• Forecasting (Voorspelling): Het voorspellen van toekomstige financiële grootheden (rendementen, prijzen, volatiliteit) met behulp van statistische en financieel specifieke metrieken (bijv. $R^2$, Sharpe-ratio, $\Delta$-risico).
• Trading (Handel): Sequentiële besluitvorming op historische (offline) of live (real-time) data, geëvalueerd op PnL, drawdown en omloopsnelheid.
• Market Generation (Marktgeneratie): Het creëren van realistische financiële tijdreeksen of scenario's, geëvalueerd via distributionele, temporele en financiële diagnostiek (bijv. autocorrelatie, tail-risk).
• Fraud Detection (Fraudedetectie): Classificatie of anomaliedetectie op transactionele en graafgestructureerde data.

2. Geautomatiseerde Taakconstructie Pipeline

OpenFinGym introduceert een pipeline om kwantitatieve financiële publicaties om te zetten in uitvoerbare taakpakketten. Dit proces omvat:

• Paper Harvesting: Het filteren van academische papers op basis van experimentele protocollen en beschikbaarheid van data.
• Dataset en Reward Constructie: Het gebruik van een generator-reviewer loop (LLM + unit tests) om datasets en evaluatiemetrieken te materialiseren, waarbij wordt gewaarborgd dat deze overeenkomen met de bronspecificaties.
• Taak Assemblage: Het bundelen van datasets, beloningen en specificaties in zelfstandige pakketten. Een belangrijk ontwerpprincipe is de scheiding van voor de agent zichtbare informatie en de alleen voor de verifieerder bestemde grondwaarheid om lekkage te voorkomen.

3. Gecontaineriseerde Runtime en Verificatie

• Lekkagecontrole: Agenten draaien binnen containers waar uit de testset gehouden labels expliciet zijn uitgesloten. Een host-zijde verifieerderservice berekent beloningen met de grondwaarheid, wat ervoor zorgt dat agenten tijdens de uitvoering geen toegang hebben tot de evaluatiedata.
• Real-Time Infrastructuur: Voor handel en langetermijn-forecasting gebruikt het systeem een low-latency datastroomservice (via WebSockets) en een paper trading engine. Het ondersteunt deferred resolution (uitgestelde resolutie), waarbij uitkomsten voor langetermijnvoorspellingen asynchroon worden opgelost via een persistente SQLite-ledger zodra de marktdata beschikbaar is.
• Training Integratie: De omgeving ondersteunt Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) post-training, waardoor agenten kunnen leren van succesvolle trajecten.

Belangrijkste Bijdragen

1. Uniforme Taaksuite: Een gecureerde collectie van 78 geverifieerde kwantitatieve financiële taken die forecasting, marktgeneratie, handel en fraudedetectie beslaan, verspreid over meerdere activaklassen (aandelen, crypto, FX, grondstoffen, etc.).
2. Geautomatiseerde Constructie Pipeline: Een systeem dat academische literatuur transformeert in uitvoerbare, verifieerbare benchmark-taken, wat handmatige engineering-inspanning vermindert en reproduceerbaarheid garandeert.
3. Lekbestendige Runtime: Een gecontaineriseerde executie-omgeving met een host-zijde verifieerder die trainingsdata strikt scheidt van de test grondwaarheid, waardoor temporele contaminatie en look-ahead bias worden voorkomen.
4. Post-Training Ondersteuning: Een geïntegreerd framework voor SFT en RL, wat de verbetering van de capaciteiten van agenten op specifieke financiële workflows mogelijk maakt.

Resultaten

De auteurs hebben vier frontier LLM's (GPT-4o, GPT-5.1-codex-mini, Haiku 4.5, Sonnet 4.6) gebenchmarkt en de impact van SFT en RL op Qwen3 base modellen geëvalueerd.

• Agent Prestaties: Geen enkel model domineerde alle taakfamilies.
  • Forecasting: GPT-5.1-codex-mini behaalde de beste reward (0.036).
  • Market Generation: Sonnet 4.6 presteerde het best (laagste reward van 7.114).
  • Trading: GPT-4o behaalde de hoogste reward (19.912).
  • Fraud Detection: Sonnet 4.6 presteerde beter dan anderen met een reward van 1.630.
  • Alle modellen behaalden een succespercentage van 100% op forecasting, trading en fraudedetectie, wat wijst op betrouwbare interface-interactie.
• Effectiviteit van Post-Training:
  • Base Qwen3 modellen (1.7B, 4B, 8B) faalden in het produceren van uitvoerbare inzendingen (0% succes) op held-out forecasting taken.
  • SFT verbeterde de succespercentages naar ongeveer 50–80%.
  • RL (GRPO) verhoogde de succespercentages verder naar 100% over alle modellen en taken, terwijl het de gemiddelde rewards (verbetering van prestaties) met een orde van grootte verbeterde op specifieke taken zoals Treasury en Crypto.

Betekenis en Claims

Het paper positioneert OpenFinGym als een cruciale infrastructuur voor de vooruitgang van autonome financiële agenten. De betekenis ligt in:

• Holistische Evaluatie: Het gaat verder dan geïsoleerde taken door agenten te beoordelen over onderling verbonden financiële workflows, wat een realistischer beeld geeft van de generalisatie.
• Rigoureuze Verificatie: Het vestigt een standaard voor lekbestendige evaluatie in sectoren met hoge inzet, waarbij wordt gegarandeerd dat benchmarkresultaten echte capaciteit reflecteren in plaats van datacontaminatie.
• Schaalbaarheid: Het toont aan dat geautomatiseerde pipelines complexe, op literatuur gebaseerde benchmarks kunnen genereren, wat een snelle uitbreiding van het evaluatielandschap faciliteert.
• Trainingsnut: Het bewijst dat de omgeving niet alleen een benchmark is, maar ook een effectieve trainingsgrond, waar SFT en RL base modellen kunnen transformeren van niet-functionele naar zeer competente agenten in kwantitatieve financiën.

De auteurs merken op dat hoewel de huidige SFT en RL resultaten veelbelovend zijn, zij een initiële demonstratie vormen. Toekomstig werk richt zich op het opschalen van traject-collectie, het integreren van sterkere backbone modellen en het uitbreiden van de taakfamilies naar risicobeheer en bredere executie-instellingen.