Market-Bench: Evaluating Large Language Models on Introductory Quantitative Trading and Market Dynamics
Dieses Paper führt MARKET-BENCH ein, einen Benchmark, der große Sprachmodelle bei einführenden quantitativen Handelsaufgaben evaluiert, indem er sie dazu verpflichtet, ausführbare Backtester aus natürlichen Sprachbeschreibungen zu generieren, was offenlegt, dass aktuelle Modelle zwar zuverlässig eine grundlegende Handelsinfrastruktur erstellen können, aber dennoch Schwierigkeiten mit einer robusten Argumentation über Preise, Inventar und Risiko haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben ein Team von sehr intelligenten, sehr schnellen Robotern. Diese Roboter sind großartig darin, Bücher zu lesen, Geschichten zu schreiben und Trivia-Fragen zu beantworten. Aber jetzt wollen Sie sehen, ob sie etwas viel Schwierigeres schaffen können: einen Limonadenstand zu leiten, bei dem sich der Preis für Zitronen jede Sekunde ändert und man Geld verdienen muss, ohne sich dabei das Hemd zu verlieren.
Dieses Paper stellt einen neuen Test namens MARKET-BENCH vor, um zu sehen, ob diese „Robotergehirne“ (genannt Large Language Models oder LLMs) tatsächlich die Mathematik und Logik beherrschen, die erforderlich ist, um ein einfaches Handelsgeschäft zu führen.
So funktioniert der Test, heruntergebrochen in Alltagssprache:
1. Der Test: „Baue die Maschine, statt nur darüber zu reden“
Die meisten Tests fragen diese Roboter, wie man handelt. „Wenn der Preis steigt, kaufe!“ könnten sie sagen.
MARKET-BENCH ist anders. Es sagt: „Hier ist ein Rezept und eine Liste von Zutaten. Schreibe den Computercode, der das Geschäft tatsächlich ausführt.“
Die Roboter mussten Code schreiben, der:
- das Geld verfolgt, das sie haben.
- Aktien (wie Microsoft, Coke und Pepsi) basierend auf spezifischen Regeln kauft und verkauft.
- exakt berechnet, wie viel Gewinn oder Verlust sie gemacht haben.
- Entscheidend: Die Mathematik des Roboters musste exakt mit einer „Goldstandard“-Antwort übereinstimmen. Wenn der Roboter sagte, er habe 100 $ verdient, der Goldstandard aber besagte, er habe 95 $ verdient, ist der Roboter durchgefallen.
2. Die drei Herausforderungen (die „Level“)
Der Test hatte drei Schwierigkeitsstufen, wie in einem Videospiel:
Level 1: Der einfache Zeitplan (Microsoft)
- Die Aufgabe: Kaufe oder verkaufe Microsoft-Aktien zu bestimmten Zeiten, wie ein Roboterarm an einem Fließband.
- Der Haken: Man muss jeden einzelnen Cent und jeden einzelnen Anteil perfekt im Blick behalten.
- Ergebnis: Die meisten Roboter konnten die Maschine bauen (der Code lief), aber viele machten kleine Rechenfehler, die sich zu großen Fehlern aufsummierten. Einige Roboter waren perfekt; andere lagen völlig daneben.
Level 2: Der Tanzpartner (Coke vs. Pepsi)
- Die Aufgabe: Dies ist ein „Pairs Trading“-Spiel. Man wettet auf den Unterschied zwischen Coke und Pepsi. Wenn Coke im Vergleich zu Pepsi zu teuer wird, kauft man Pepsi und verkauft Coke, in der Hoffnung, dass sie wieder zueinander finden.
- Der Haken: Man muss zwei Aktien gleichzeitig jonglieren, eine komplexe „Spread“ (die Differenz) berechnen und sein gesamtes Geld über beide Aktien hinweg verwalten.
- Ergebnis: Dies war viel schwieriger. Mehrere Roboter brachen die Maschine komplett ab (der Code lief nicht). Ein Roboter (Qwen3 Max) baute eine Maschine, die perfekt lief, aber die Gewinne mit 400 Millionen Dollar berechnete, obwohl es eigentlich nur ein paar Hundert sein sollten. Es war, als hätte ein Roboter ein Auto gebaut, das perfekt fährt, aber glaubt, es würde auf dem Mond fahren.
Level 3: Der Seiltanz (Options Hedging)
- Die Aufgabe: Dies ist das schwierigste Level. Man hat eine komplexe Versicherungspolice (eine Option) auf Microsoft-Aktien und muss ständig Aktien kaufen oder verkaufen, um das Risiko neutral zu halten. Es ist, als würde man auf einem Seil balancieren und gleichzeitig jonglieren.
- Der Haken: Das Timing ist alles. Wenn man auch nur einen Sekundenbruchteil zu lange wartet, verliert man Geld.
- Ergebnis: Dies war das Schwierigste. Viele Roboter konnten die Maschine nicht einmal starten lassen. Diejenigen, die es schafften, wiesen oft enorme Fehler in ihrer Mathematik auf.
3. Die wichtigsten Erkenntnisse
Das Paper fand drei Hauptdinge heraus:
- Zuverlässigkeit vs. Genauigkeit: Einige Roboter sind großartig darin, Anweisungen zum Bau des Codes zu folgen (die Maschine startet), aber schrecklich darin, die Mathematik innerhalb des Codes zu machen. Andere sind großartig in der Mathematik, können aber die Maschine nicht einmal bauen.
- Das „Halluzinations“-Problem: In der realen Welt, wenn ein Roboter denkt, er habe eine Million Dollar verdient, während er eigentlich Geld verloren hat, geht man bankrott. Das Paper zeigt, dass diese Roboter oft Zahlen „halluzinieren“ (erfinden), die gut aussehen, aber völlig falsch sind.
- Noch nicht bereit für den Ernstfall: Die Autoren kommen zu dem Schluss, dass diese Roboter aktuell nicht sicher sind, um als das Hauptgehirn für den Handel eingesetzt zu werden. Sie sind wie ein sehr intelligenter Praktikant, der zwar einen Entwurf eines Berichts schreiben kann, aber einen Menschen braucht, der jede einzelne Zahl prüft, bevor man ihn dem Chef schickt.
Das Fazit
Betrachten Sie diese Large Language Models als sehr talentierte, aber unerfahrene Lehrlinge. Sie können den Code schreiben, um ein Handelsgeschäft zu starten, aber sie vertun sich oft bei der Buchhaltung. Bis sie in Mathematik und Logik besser werden, können Sie ihnen nicht vertrauen, Ihr Geld eigenständig zu verwalten.
Die Autoren haben diesen Test (MARKET-BENCH) veröffentlicht und ein öffentliches Scoreboard erstellt, damit andere Wissenschaftler versuchen können, bessere Roboter zu bauen und zu sehen, wer tatsächlich besser in der Mathematik wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.