QuantCode-Bench: A Benchmark for Evaluating the Ability of Large Language Models to Generate Executable Algorithmic Trading Strategies

1. Problemstellung

Die Fähigkeit von Large Language Models (LLMs), Code zu generieren, wurde zwar bereits in allgemeinen Programmier-Benchmarks (wie SWE-Bench oder LiveCodeBench) umfassend untersucht. Es fehlt jedoch an Evaluierungsstandards für domänenspezifische Anwendungen, bei denen der Code nicht nur syntaktisch korrekt sein muss, sondern auch eine spezifische fachliche Logik in einer realen Umgebung umsetzen muss.

Das Paper identifiziert die Generierung von algorithmischen Handelsstrategien als eine solche kritische Lücke. Im Gegensatz zu Standard-Coding-Aufgaben reicht es hier nicht aus, dass der Code kompiliert oder Tests besteht. Eine Strategie muss:

1. Syntaktisch korrekt sein.
2. In einer Backtesting-Umgebung fehlerfrei ausgeführt werden.
3. Tatsächlich Handelsorders (Trades) auf historischen Daten generieren.
4. Semantisch exakt der natürlichen Sprachbeschreibung (z. B. „Kaufe, wenn RSI < 30") entsprechen.

Bisherige Benchmarks erfassen diese mehrstufige Komplexität nicht, da sie oft nur die technische Korrektheit prüfen, ohne die funktionale Wirksamkeit oder die semantische Übereinstimmung mit der Absicht des Nutzers zu validieren.

2. Methodik: QuantCode-Bench

Das Paper stellt QuantCode-Bench vor, einen Benchmark zur systematischen Evaluierung von LLMs bei der Generierung von Handelsstrategien für das Open-Source-Framework Backtrader.

Datengrundlage

• Umfang: Der Datensatz enthält 400 Aufgaben unterschiedlicher Schwierigkeitsgrade (leicht, mittel, schwer).
• Quellen: Die Aufgabenbeschreibungen stammen aus Reddit, TradingView, StackExchange, GitHub sowie synthetischen Quellen.
• Format: Alle Aufgaben liegen als englische Textbeschreibungen vor, die Indikatoren, Ein- und Ausstiegsbedingungen sowie Positionsmanagement-Regeln definieren.

Evaluierungs-Pipeline (Vier-Stufen-Verfahren)

Ein Modell wird nur dann als erfolgreich gewertet, wenn es alle vier Stufen sequenziell besteht:

1. Kompilierung (Compilation): Der Code muss syntaktisch korrekt sein und ohne Fehler interpretiert werden können.
2. Backtest (Execution): Die Strategie muss auf historischen Marktdaten im Backtrader-Framework fehlerfrei laufen.
3. Handel (Trade): Die Strategie muss mindestens eine Order (Trade) auf den Daten platzieren. Dies eliminiert Strategien, die zwar laufen, aber keine Signale generieren.
4. Semantische Validierung (LLM Judge): Ein weiteres LLM fungiert als Richter („Judge") und prüft, ob die implementierte Logik (Indikatoren, Bedingungen) tatsächlich der ursprünglichen Textbeschreibung entspricht. Dies verhindert, dass Modelle generische, funktionierende Templates liefern, die nicht die geforderte Strategie umsetzen.

Evaluierungs-Szenarien

Das Paper vergleicht zwei Interaktionsmodi:

• Single-Turn: Das Modell muss die Strategie im ersten Versuch korrekt generieren (One-Shot).
• Agentic Multi-Turn: Das Modell erhält nach einem Fehler strukturiertes Feedback und darf den Code bis zu 10 Mal iterativ reparieren.

3. Wichtige Beiträge

1. Erster Benchmark für ausführbare Handelsstrategien: QuantCode-Bench ist der erste Benchmark, der die Generierung von Code für Backtrader aus natürlichen Sprachbeschreibungen systematisch evaluiert.
2. Mehrebenen-Evaluierungs-Framework: Es wird ein hierarchisches Bewertungssystem eingeführt, das zwischen technischer Ausführbarkeit, dem Vorhandensein von Handelsverhalten und der semantischen Übereinstimmung unterscheidet.
3. Umfassender Modellvergleich: Eine breite Analyse modernster Modelle (Frontier-Modelle wie Claude Opus, GPT-5, Gemini, Qwen) in beiden Szenarien (Single-Turn vs. Agentic).
4. Fehleranalyse: Eine detaillierte Taxonomie von Fehlerarten, die zeigt, wo genau Modelle scheitern (z. B. falsche API-Nutzung vs. falsche Logik).
5. Open Source: Der vollständige Code, der Datensatz und die Materialien sind öffentlich verfügbar, um die Reproduzierbarkeit zu gewährleisten.

4. Ergebnisse

Die Ergebnisse zeigen deutliche Diskrepanzen zwischen syntaktischer Korrektheit und tatsächlicher strategischer Leistung:

• Single-Turn Ergebnisse:

  • Kompilierung: Top-Modelle erreichen fast 100 % Kompilierungsraten. Syntax ist kein Engpass mehr.
  • Backtest & Trade: Die Leistung bricht hier signifikant ein. Selbst die besten Modelle erreichen nur ca. 70–76 % „Judge Pass" (Erfolg in allen 4 Stufen).
  • Hauptproblem: Die Modelle scheitern oft daran, die Handelslogik korrekt zu operationalisieren (z. B. zu strenge Schwellenwerte, die keine Trades auslösen) oder die Backtrader-API korrekt zu nutzen.

• Agentic Multi-Turn Ergebnisse:

  • Durch iteratives Feedback und Reparaturversuche steigt die Leistung drastisch an.
  • Die besten Modelle erreichen im Agentic-Setting 95–98 % Judge Pass.
  • Dies zeigt, dass ein Großteil der Fehler lokal reparierbar ist, wenn das Modell diagnostische Informationen erhält.

• Fehleranalyse:

  • Die häufigsten Fehler sind keine Syntaxfehler, sondern Logikfehler: Bedingungen werden auf den Daten nicht ausgelöst (17,8 %), falsche Behandlung von Backtrader Line-Objekten in booleschen Kontexten (13,1 %) oder falsche API-Parameter.
  • Im Agentic-Setting bleiben am Ende vor allem semantische Fehler bestehen (z. B. „Strategie entspricht nicht der Aufgabe"), die sich durch reine Code-Reparatur nicht lösen lassen.

5. Bedeutung und Schlussfolgerungen

Das Paper liefert mehrere wichtige Erkenntnisse für die Entwicklung von LLMs im Finanzbereich:

1. Shift von Syntax zu Semantik: Für moderne Modelle ist das Schreiben von syntaktisch korrektem Python-Code gelöst. Die eigentliche Herausforderung liegt in der operationalen Formalisierung von Finanzlogik und der korrekten Interpretation natürlicher Sprache in ausführbare, datengetriebene Aktionen.
2. Rolle von Agentic Workflows: Die Interaktivität ist entscheidend. Die Fähigkeit, Fehler iterativ zu reparieren, ist für die praktische Anwendbarkeit oft wichtiger als die reine One-Shot-Genauigkeit.
3. Notwendigkeit semantischer Validierung: Technische Metriken (Kompilierung, Trades) reichen nicht aus. Ohne einen „LLM-Judge" zur semantischen Prüfung würden Modelle erfolgreich bewertet werden, die zwar handeln, aber die falsche Strategie umsetzen (Reward Hacking).
4. Spezialisierte vs. Allgemeine Modelle: Code-spezialisierte Modelle sind nicht automatisch überlegen. Modelle mit starken semantischen und Instruktion-Following-Fähigkeiten (oft allgemeine Modelle) performen in dieser domänenspezifischen Aufgabe besser, da sie die Nuancen der Finanzabsicht besser verstehen.

Fazit: QuantCode-Bench etabliert einen neuen Standard für die Evaluierung von LLMs in der Finanzinformatik. Er zeigt, dass die Generierung von algorithmischen Strategien eine eigenständige Klasse von Aufgaben darstellt, die eine tiefe Integration von Programmierkenntnissen, Domänenwissen und semantischem Verständnis erfordert.