Technische Samenvatting: MARKET-BENCH

Probleemstelling

Het vakgebied van kwantitatieve handel opereert in een omgeving met hoge inzet, waar hallucinaties van modellen of incomplete inputs kunnen leiden tot aanzienlijke financiële verliezen. Terwijl bestaande evaluaties van Large Language Models (LLM's) in de financiële sector zich richten op hoogwaardige taken — zoals het samenvatten van gesprekken over kwartaalcijfers, sentimentanalyse of fundamentele modellering — is er een kritiek gat in het beoordelen van modellen op hun vermogen om handelaren te ondersteunen bij dagelijkse operationele taken. Specifiek evalueren huidige benchmarks niet of een LLM in staat is om fundamentele handelsconcepten (bijv. orderuitvoering, voorraadbeheer, risicobeheer) te begrijpen en toe te passen om een functionele, uitvoerbare backtester te construeren op basis van een beschrijving in natuurlijke taal. Het kernprobleem dat wordt geadresseerd is het onvermogen van huidige LLM's om strategiebeschrijvingen betrouwbaar te vertalen naar code die numeriek nauwkeurige en structureel solide handelsimulaties produceert.

Methodologie

De auteurs introduceren MARKET-BENCH, een benchmark ontworpen om LLM's te evalueren op introductie-taken binnen kwantitatieve handel. Het evaluatiekader vereist dat modellen uitvoerbare Python-code genereren die handelsstrategieën simuleert op basis van verstrekte beschrijvingen in natuurlijke taal en marktdata.

Benchmark Ontwerp

De benchmark bestaat uit drie canonieke strategieën, die elk verschillende aspecten van marktmechanica vastleggen:

1. Geplande Handel (Strategie 1): Een single-asset strategie op Microsoft (MSFT) waarbij markorders worden uitgevoerd op vooraf gespecificeerde tijdstippen. Het test interactie met het orderboek, het bijhouden van posities, FIFO-boekhouding voor gerealiseerde P&L en onrealiseerde P&L op basis van mid-prices.
2. Pairs Trading (Strategie 2): Een mean-reversion strategie tussen Coca-Cola (KO) en Pepsi (PEP). Dit vereist het berekenen van spread z-scores, het beheren van gezamenlijk kapitaal over twee symbolen, en het uitvoeren van entry/exit-logica op basis van drempelwaarde-overschrijdingen.
3. Delta Hedging (Strategie 3): Een optiestrategie op MSFT waarbij het model een vooraf gedefinieerdeerde options delta tijdreeks moet hedgen met de onderliggende aandelen. Dit test het afhandelen van fill-or-kill orders, exchange-vertragingen en de aggregatie van netto delta.

Data en Simulatie

• Databronnen: Marktdata is afkomstig van Databento (L10 order book data) of synthetisch gegenereerd (random walk voor options delta).
• Synthetisch Boek: Een cruciaal onderdeel van de benchmark is de vereiste dat modellen de uit de liquidity onttrokken liquiditeit bijhouden. Modellen moeten een "synthetisch boek" bijhouden dat de ruwe orderboekdata verrekent met de geconsumeerde liquiditeit om nauwkeurige prijs- en volumetracking te garanderen.
• Evaluatieprotocol:
  • Elke strategie wordt getest over 5 verschillende rondes (verschillende parameterconfiguraties en data-seeds), wat neerkomt op 15 combinaties per model.
  • Modellen krijgen maximaal 3 onafhankelijke, one-shot pogingen per ronde.
  • Temperatuur: Ingesteld op 0.0 om determinisme te waarborgen.
  • Restricties: Een tijdlimiet van 10 minuten en een beperkte set toegestane Python-packages (bijv. pandas, numpy, datetime).

Metrieken

De evaluatie scheidt structurele betrouwbaarheid van numerieke nauwkeurigheid:

• Executable Passes: Telt het aantal rondes waarin het model erin slaagt code te genereren die draait zonder syntactische fouten of runtime-assertions.
• Mean Absolute Error (MAE): Meet de afwijking tussen de output-metrieken van het model (totale P&L, maximale drawdown, positiepaden) en een verifieerbare referentie-implementatie.
  • Foutafhandeling: Als een model niet kan uitvoeren, wordt het een "duplicated-metrics baseline MAE" toegewezen, berekend door de initiële staat-metrieken voor alle tijdstempels te herhalen. Dit straft niet-uitvoerbare outputs zwaar af.
• Aggregatie: Modellen worden gerangschikt op basis van Mean MAE (gemiddelde over alle rondes, inclus inclusief fouten), Best Run MAE (laagste fout behaald in een enkele ronde) en totaal aantal Executable Passes.

Belangrijkste Resultaten

De studie evalueerde 13 state-of-the-art modellen, inclusief GPT-5 varianten, Claude 4.5, Gemini 3 Pro, en open-source modellen zoals Qwen3 en Llama 4.

Prestatietrends

1. Betrouwbaarheid vs. Nauwkeurigheid: Er is een significante divergentie tussen het vermogen van een model om werkende code te produceren en het vermogen om correcte code te produceren.
   • GPT-5.2 vertoonde sterke algehele prestaties, met perfecte uitvoerbaarheid (15/15 rondes) en een lage algemene Mean MAE (969.39).
   • Qwen3 Max behaalde perfecte uitvoerbaarheid (15/15) maar leed onder catastrofale numerieke divergentie, met name in Strategie 2, wat resulteerde in een algemene Mean MAE van ~1.59 × 10⁸.
   • GPT-5.1 Codex-Max behaalde de laagste enkele-run error (0.002 MAE) op Strategie 1, maar vertoonde een hoge variantie over de rondes.
2. Strategie Moeilijkheidsgraad:
   • Strategie 1 (Single Stock): De makkelijkste taak. De meeste modellen (gemiddeld 4.08/5 rondes) konden het uitvoeren, hoewel numerieke fouten met grootordes varieerden.
   • Strategie 2 (Pairs): Structureel uitdagender. Het gemiddelde aantal Executable Passes daalde naar 3.46. Modellen hadden moeite met z-score berekeningen en het beheren van kapitaal over meerdere activa.
   • Strategie 3 (Delta Hedging): De meest complexe. Het gemiddelde aantal Executable Passes viel naar 3.38. Fouten in delta-aggregatie en timing leidden tot enorme P&L discrepanties.
3. Foutmodi:
   • Structurele Fouten: Syntactische fouten, ontbrekende kolommen of type-mismatches die uitvoering verhinderen.
   • Semantische Fouten: De code draait, maar implementeert de logica onjuist (bijv. verkeerde hedge-ratio's, incorrecte FIFO-boekhouding, negeren van kapitaalrestricties). Dit resulteert in een hoge MAE ondanks succesvolle uitvoering.

Belangrijkste Bijdragen

• MARKET-BENCH Benchmark: Een nieuwe evaluatiesuite die specifiek gericht is op het snijvlak van codegeneratie en kwantitatieve handel, waarbij verder wordt gegaan dan tekstgebaseerde financiële analyse naar uitvoerbare strategie-implementatie.
• Multi-Round, Multi-Metric Evaluatie: Een rigoureus protocol dat onderscheid maakt tussen code die draait en code die werkt, gebruikmakend van een baseline-straf voor niet-uitvoerbare outputs om de ernst van falen in handelscontexten te reflecteren.
• Synthetisch Boek Simulatie: De introductie van een mechanisme dat vereist dat modellen de consumptie van liquiditeit bijhouden en synthetische orderboeken onderhouden, een cruciale real-world beperking die vaak wordt weggelaten in code-generatie benchmarks.

Betekenis en Claims

Het paper concludeert dat hoewel huidige LLM's basis handelsinfrastructuur kunnen opzetten, ze moeite hebben met het robuust redeneren over prijzen, inventaris en risico.

• Huidige Beperkingen: De auteurs stellen dat het gebruiken van modeloutput als directe vervanging voor kwantitatieve analisten "extreem riskant" is. Zelfs voor introductie-taken falen modellen er inconsistent in om basisstrategieën met numerieke getrouwheid te implementeren.
• Rol van LLM's: Het paper suggereert dat huidige modellen beter geschikt zijn als "coding supplements" (coderingshulpmiddelen) dan als autonome agenten voor het synthetiseren van handelsideeën.
• Toekomstvisie: De auteurs menen dat LLM's met betere training op handelsdata en verbeterde redeneer-capaciteiten uiteindelijk de kloof kunnen overbruggen tussen het beschrijven van strategieën en het implementeren ervan met een diep begrip van marktmechanica. Echter, op het moment van de studie blijft de kloof aanzienlijk.

De auteurs publiceren de benchmark en een publieke leaderboard om toekomstig onderzoek in dit domein te faciliteren.