Technische Samenvatting: BacktestBench

Probleemstelling

Kwantitatieve backtesting is een cruciaal onderdeel van de evaluatie van handelsstrategieën, maar wordt nog steeds gehinderd door hoge technische drempels en beperkte schaalbaarheid. De traditionele workflow vereist gespecialiseerde expertise voor het construeren van factorcombinaties, het queryen van historische data met precieze temporele logica, en het implementeren van foutloze code om complexe strategieën uit te voeren. Hoewel Large Language Models (LLM's) transformatief potentieel bieden voor het automatiseren van deze interdisciplinaire workflow via codegeneratie en agentische planning, staat hun praktische toepassing momenteel stil. De primaire bottleneck is het ontbreken van een grote, hoogwaardige benchmark die is toegewijd aan geautomatiseerde kwantitatieve backtesting. Bestaande datasets (bijvoorbeeld Text-to-SQL of algemene benchmarks voor codegeneratie) slagen er niet in om de unieke temporele logica, multi-stap redenering en strenge reproduceerbaarheidseisen vast te leggen die inherent zijn aan de evaluatie van financiële strategieën.

Methodologie

1. Datasetconstructie: BacktestBench

De auteurs introduceren BacktestBench, de eerste grote benchmark voor geautomatiseerde kwantitatieve backtesting.

• Data Bron: De dataset is samengesteld uit meer dan 6 miljoen echte marktrecords (dagelijkse handelsdata) van de drie grote beurzen van China (Shanghai, Shenzhen, Beijing), die de periode van januari 2020 tot september 2025 bestrijken.
• Schaal en Samenstelling: Het bestaat uit 18.246 zorgvuldig geannoteerde vraag-antwoordparen (QA-paren).
• Kernconcepten: De dataset onderscheidt tussen factoren (numerieke variabelen), signalen (booleaanse beslissingen), strategieën (uitvoerbare handelsbeleid) en KPI's (prestatie-indicatoren).
• Taakcategorieën: De benchmark evalueert modellen op vier verschillende besluitvormingstaken:
  1. Berekening van Metrieken: Het berekenen van specifieke KPI's (bijvoorbeeld Sharpe Ratio, Max Drawdown) voor een gegeven strategie.
  2. Selectie van Tickers: Het identificeren van het best presterende actief uit een kandidaat-universum onder een vaste strategie.
  3. Bevestiging van Parameters: Het selecteren van optimale hyperparameters (bijvoorbeeld lookback-fensters) voor een strategie.
  4. Selectie van Strategie: Het kiezen van de superieure logica tussen concurrerende strategieën onder identieke marktomstandigheden.
• Generatiepiplijn:
  • Code-naar-Text: De auteurs genereerden eerst 43 theoretische factoren en 7 KPI's, en kapselden deze in 80 atomaire strategiefuncties. Zij synthetiseerden uitvoerbare Python-backtestingcode (92.170 koopstrategieën en 112.791 verkoopstrategieën).
  • Reverse Engineering: Met behulp van vijf state-of-the-art LLM's voerden zij "code-naar-text" reverse engineering uit om natuurlijke taalstrategiebeschrijvingen te genereren die zijn afgestemd op de daadwerkelijke code logica.
  • Kwaliteitscontrole: Een peer-reviewproces met meerdere modellen zorgde voor hoge fideliteit. Een beschrijving werd alleen behouden als vier onafhankelijke LLM-auditors unaniem akkoord gingen met de code-fideliteit en de geldigheid van de strategie.
  • Menselijke Validatie: Een willekeurige steekproef van 200 instanties behaalde een slagingspercentage van 97,5% voor volledigheid van de beschrijving en 98,5% voor code-correctheid.

2. Basissysteem: AutoBacktest

Om de uitdagingen van de dataset aan te pakken, stellen de auteurs AutoBacktest voor, een robuust multi-agent collaboratief systeem dat is ontworpen om de workflow van een kwantitatief onderzoeker na te bootsen. Het ontkoppelt de complexe pijplijn in drie gespecialiseerde agenten:

1. Samenvatter: Extrahert semantische financiële indicatoren (factoren en KPI's) uit natuurlijke taalbeschrijvingen. Het maakt gebruik van een BM25-retrievalmechanisme om informele termen af te beelden op een gestandaardiseerde bibliotheek van indicatornamen, waardoor ambiguïteit wordt verminderd.
2. Retriever: Handelt data-niveau operaties af. Het koppelt geïdentificeerde indicatoren aan unieke Short Codes (compacte, token-efficiënte identificatoren) en genereert uitvoerbare SQL-query's om historische marktdata op te halen uit een PostgreSQL-database. Het hanteert een uitvoeringsgebaseerde validatielus om ervoor te zorgen dat de SQL niet-lege, geldige resultaten retourneert.
3. Coder: Richt zich op implementatie op logiconiveau. Het neemt de opgehaalde data (als een Pandas DataFrame) en de gestandaardiseerde indicatorcontext om Python-backtestingcode te genereren en uit te voeren. Het debugt de code iteratief om de vereiste metrieken te berekenen of de strategie logica uit te voeren onder strikte backtestingprotocollen (bijvoorbeeld long-only, kopen bij opening/verkopen bij sluiting, geen vooruitkijkende bias).

Belangrijkste Bijdragen

1. BacktestBench: Een baanbrekende grote benchmark met 18.246 QA-paren afgeleid van echte marktdata, die vier kernkwantitatieve taken bestrijkt. Het overbrugt de kloof tussen algemene codegeneratie en de strenge eisen van kwantitatieve financiën.
2. AutoBacktest Framework: Een multi-agent basissysteem dat natuurlijke taalstrategieën vertaalt naar reproduceerbare backtests. Het introduceert een modulaire architectuur (Samenvatter, Retriever, Coder) en een "Short Code"-mechanisme om LLM's te verankeren in precieze databaseschema's en financiële definities.
3. Uitgebreide Evaluatie: Het paper evalueert 23 mainstream LLM's (zowel open-source als gesloten-bron) op BacktestBench, en biedt de eerste systematische analyse van LLM-capaciteiten in dit verticale domein.

Experimentele Resultaten

De evaluatie van 23 LLM's onthult enkele cruciale inzichten:

• Prestatiekloof: Gesloten-bronmodellen presteren over het algemeen beter dan open-source tegenhangers. Gemini 3 Pro behaalde de hoogste Overall Accuracy (OA) van 67,41%, met een aanzienlijke voorsprong in complexe logische redeneertaken zoals Berekening van Metrieken (51,67%). Het beste open-source model, GLM 4.7, behaalde een OA van 56,83%.
• Schaalgevoeligheid: Logische redeneertaken (bijvoorbeeld Berekening van Metrieken) zijn zeer gevoelig voor parametergrootte. Het verkleinen van het model van 235B naar 4B veroorzaakte een daling van de score voor Berekening van Metrieken van 34,71% naar 1,77%. Omgekeerd toonden indicatortreftaken een lagere gevoeligheid, waarbij kleinere modellen een relatief hoge treftrouw behielden.
• De Rol van Chain-of-Thought (CoT): Modellen zonder CoT-redenering (bijvoorbeeld Kimi Linear 48B) vertoonden een ontkoppeling tussen syntaxis en logica. Zij behaalden een hoge correctheid van SQL-uitvoering (99,22%) maar een lage uitvoeringsnauwkeurigheid (48,46%) en bijna nul scores voor strategie logica, wat aangeeft dat zij uitvoerbare code konden genereren die logisch gebrekkig was.
• Complexiteitsbottlenecks: De prestaties verslechterden scherp naarmate de KPI-complexiteit toenam. Eenvoudige metrieken zoals Win Rate en Maximum Drawdown vertoonden hogere nauwkeurigheid, terwijl complexe statistische indicatoren zoals Volatiliteit en Sharpe Ratio "rampgebieden" werden voor de meeste modellen, met slagingspercentages vaak onder de 20% voor kleinere of niet-CoT-modellen.
• Ablatiestudies:
  • Short Codes: De opname van Short Codes (gestandaardiseerde database-identificatoren) verbeterde de SQL-uitvoeringsnauwkeurigheid (EA) aanzienlijk voor alle modellen, waarbij sommige winsten van meer dan 20 procentpunten zagen.
  • Ground Truth: Het verstrekken van ground-truth Short Codes was impactvoller dan het verstrekken van ground-truth SQL, wat suggereert dat het begrijpen van de semantiek van financiële indicatoren de primaire bottleneck is in plaats van de generatie van SQL-syntaxis.

Betekenis en Beweringen

Het paper beweert dat BacktestBench een gestandaardiseerd evaluatieprotocol en een strenge dataresource vestigt, waardoor de kloof tussen algemene codegeneratie en kwantitatief investeringsonderzoek effectief wordt overbrugd. Door aan te tonen dat huidige LLM's worstelen met de "hoogwaardige logica" die nodig is voor complexe financiële metrieken (zoals geannualiseerde volatiliteit en Sharpe-ratio's), benadrukt het werk de specifieke beperkingen van huidige AI in financiële besluitvorming.

De auteurs positioneren BacktestBench niet als een tool voor het genereren van directe alpha of live handelsadvies, maar als een fundamentele baseline voor het testen van het strategiebegrip, dataverwerving en codegeneratievermogen van LLM's in een gestructureerde financiële omgeving. Het werk legt de basis voor toekomstige vooruitgang in intelligente financiële besluitvorming door te identificeren dat, hoewel LLM's bekwaam zijn in procedurele codegeneratie, ze nog aanzienlijke verbeteringen nodig hebben in strenge logische deductie en statistische redenering om complexe kwantitatieve workflows betrouwbaar te automatiseren.