BacktestBench: Benchmarking Large Language Models for Automated Quantitative Strategy Backtesting
Dieser Beitrag stellt BacktestBench vor, den ersten groß angelegten Benchmark für automatisiertes quantitatives Backtesting, der über 18.000 annotierte Aufgaben umfasst, die aus 6 Millionen Marktdatensätzen abgeleitet wurden, sowie AutoBacktest, ein Multi-Agenten-Framework, das entwickelt wurde, um Strategien in natürlicher Sprache in reproduzierbare Backtests zu übersetzen und die Fähigkeiten von 23 gängigen LLMs zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Koch, der ein neues Rezept für ein Gericht entwickeln möchte, das Sie reich macht. In der Welt der Finanzen ist dieses „Gericht" eine Handelsstrategie. Bevor Sie es der Welt servieren (oder Ihr eigenes Geld investieren), müssen Sie es backtesten. Das bedeutet, Sie nehmen Ihr Rezept und kochen es mit einem riesigen Topf historischer Daten (was in den letzten Jahren an den Aktienmärkten passiert ist), um zu sehen, ob es tatsächlich Geld verdient hätte oder ob es die Küche in Brand gesteckt hätte.
Traditionell ist das Durchführen dieses Backtests so, als müsste man jedes Mal, wenn man ein neues Rezept testen möchte, einen komplexen Roboter von Grund auf neu bauen. Man muss gleichzeitig ein Meistermechaniker (Programmierer), ein Datenbibliothekar (um die richtigen historischen Zutaten zu finden) und ein Finanzzauberer sein. Es ist langsam, teuer und nur wenigen Experten möglich.
BacktestBench ist ein neues Projekt, das fragt: „Kann Künstliche Intelligenz (KI) lernen, gleichzeitig dieser Meistermechaniker, Bibliothekar und Zauberer zu sein?"
Hier ist eine einfache Aufschlüsselung dessen, was die Arbeit leistet:
1. Das Problem: Die „Black Box" der Finanzen
Die Autoren argumentieren, dass KI (insbesondere Large Language Models oder LLMs) zwar hervorragend darin ist, Code zu schreiben und zu chatten, niemand jedoch wirklich getestet hat, ob sie den spezifischen, hochriskanten Job des automatisierten quantitativen Backtests bewältigen kann.
- Die Herausforderung: Es geht nicht nur darum, Code zu schreiben. Die KI muss eine vage menschliche Anfrage wie „Kaufen, wenn der Preis fünf Tage lang steigt" verstehen und dann:
- Die genau richtigen Aktienmarktdaten aus einer Datenbank finden.
- Ein Programm schreiben, das die Regel „5-Tage-Anstieg" berechnet, ohne zu betrügen (d. h. ohne zukünftige Daten zu verwenden).
- Die Simulation ausführen.
- Die Endpunktzahl berechnen (wie eine „Sharpe Ratio", was eine ausgefallene Art zu sagen ist: „Wie viel Gewinn haben wir für das eingegangene Risiko erzielt?").
Wenn die KI in Schritt 2 einen winzigen Fehler macht, ist das gesamte Ergebnis wertlos.
2. Die Lösung: Eine riesige „Übungsklausur" (BacktestBench)
Um zu testen, ob KI dies leisten kann, haben die Forscher BacktestBench entwickelt. Stellen Sie sich dies als einen massiven, standardisierten Führerschein-Test für KI vor, nur dass die KI anstelle eines Autos eine Handelsstrategie steuert.
- Die Daten: Sie verwendeten über 6 Millionen echte Marktdatensätze aus chinesischen Aktienmärkten (wie eine riesige Bibliothek der Geschichte).
- Die Fragen: Sie erstellten 18.246 spezifische Testfragen. Dies sind keine einfachen Matheaufgaben, sondern komplexe Szenarien wie:
- „Berechnen Sie den Gewinn für diese spezifische Strategie bei diesem spezifischen Wertpapier."
- „Welches Wertpapier hat mit dieser Strategie am besten abgeschnitten?"
- „Welche Einstellung (Parameter) funktioniert am besten?"
- Die Ground Truth: Da sie die Fragen aus eigenem, selbst geschriebenem Code erstellten, kennen sie die exakte richtige Antwort. Dies ermöglicht es ihnen, die KI streng zu benoten: Richtig oder Falsch.
3. Das Testsubjekt: „AutoBacktest" (Das KI-Team)
Die Forscher haben nicht einfach eine KI gebeten, alles zu erledigen. Sie bauten ein Team aus drei spezialisierten KI-Agenten namens AutoBacktest, die wie ein Küchenteam zusammenarbeiten:
- Der Zusammenfasser (Der Übersetzer): Sie geben ihm einen unordentlichen menschlichen Satz. Er übersetzt diesen in eine präzise Liste finanzieller „Zutaten" (Indikatoren), die das System benötigt.
- Der Sucher (Der Bibliothekar): Er nimmt diese Liste und geht zur Datenbank, um die benötigten Rohdaten (wie „Eröffnungspreis" und „Volumen") zu holen. Er schreibt eine Abfrage (SQL), um die Daten zu erhalten.
- Der Programmierer (Der Koch): Er nimmt die Daten und die Anweisungen, schreibt den Python-Code zur Ausführung der Simulation, führt ihn aus und liefert die endgültige Zahl.
4. Die Ergebnisse: Wer bestand den Test?
Sie testeten 23 verschiedene KI-Modelle (sowohl Open-Source- als auch kostenpflichtige „Closed-Source"-Modelle) bei dieser Prüfung.
- Die Gewinner: Die besten Closed-Source-Modelle (wie Gemini 3 Pro) schnitten am besten ab, aber selbst sie erreichten nur etwa 67 % richtige Antworten. Das bedeutet, selbst die intelligenteste KI hat derzeit Schwierigkeiten mit der komplexen Logik der Finanzen.
- Die „Logik-Lücke": Sie stellten fest, dass viele KIs gut darin sind, Code zu schreiben, der richtig aussieht (Syntax), aber in der Logik versagt. Zum Beispiel könnte eine KI Code schreiben, der „Volatilität" (ein Maß für das Risiko) berechnet, aber die Mathematik falsch anwenden, weil sie die finanzielle Definition nicht versteht.
- Der „Kampf der kleinen Modelle": Kleinere KI-Modelle (mit weniger „Gehirnzellen" oder Parametern) waren bei den mathematisch anspruchsvollen Teilen schrecklich. Wenn die Frage komplexes statistisches Denken erforderte, scheiterten kleine Modelle oft völlig, während größere Modelle besser abschnitten.
- Das Geheimrezept: Sie stellten fest, dass es der KI half, eine „Spickzettel"-Liste standardisierter Kurzcodes zu erhalten (wie ein Wörterbuch, das sagt: „Volatilität = diese spezifische Formel"), um deutlich besseren Code zu schreiben.
5. Die Schlussfolgerung
Die Arbeit kommt zu dem Ergebnis, dass KI zwar besser darin wird, Finanzforschung zu automatisieren, wir aber noch nicht so weit sind.
- Aktuelle KI-Modelle sind wie brillante Studenten, die einen großartigen Aufsatz schreiben können, aber oft die Matheprüfung nicht bestehen.
- Der BacktestBench-Datensatz ist nun für jedermann verfügbar, um eigene KI-Modelle zu trainieren und zu testen, und stellt sicher, dass zukünftige Finanz-KI tatsächlich zuverlässig ist und nicht nur Zahlen „halluziniert".
Kurz gesagt: Die Arbeit hat eine rigorose „Abschlussprüfung" für KI entwickelt, um zu beweisen, dass sie die komplexe, fehleranfällige Welt des Aktienmarkt-Backtests bewältigen kann. Die Ergebnisse zeigen, dass KI zwar vielversprechend ist, aber noch lernen muss, die Mathematik perfekt zu beherrschen, bevor wir ihr echtes Geld anvertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.