Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

In der Welt des Investierens ist die wertvollste Fähigkeit zu wissen, wann man kauft und wann man verkauft. Dies wird als Market Timing bezeichnet. Seit Jahrzehnten versuchen Investoren, Maschinen zu bauen, die diese Momente besser vorhersagen können als ein Mensch, in der Hoffnung, kleine Vorteile in große Gewinne zu verwandeln. Das neueste Werkzeug auf dieser Suche ist das Large Language Model, eine Art künstliche Intelligenz, die in der Lage ist, komplexen Computercode zu schreiben und seine Logik in flüssigen Sätzen zu erklären. Diese Modelle können gebeten werden, eine Handelsstrategie zu entwerfen, den Code zu schreiben, um sie auszuführen, und sogar einen Bericht zu erstellen, der zeigt, wie viel Geld sie in der Vergangenheit verdient hätte. Das Versprechen ist, dass jeder, vom professionellen Fondsmanager bis zum neugierigen Einzelnen, einen Computer nach einem Gewinnplan fragen und eine vollständige, einsatzbereite Lösung erhalten könnte. Aber es gibt ein tief verwurzeltes und bekanntes Problem damit, in die Vergangenheit zu schauen, um die Zukunft vorherzusagen. Eine Strategie kann auf dem Papier brillant erscheinen, nur weil sie zufällig mit Mustern in den Daten übereinstimmte – ein Fehler, der als Overfitting (Überanpassung) bekannt ist. Wenn eine Strategie von einer Maschine erstellt wird, die die reale Welt noch nie gesehen hat, besteht das Risiko, dass sie nicht ein verborgenes Muster findet, sondern lediglich die Form von Rauschen imitiert.

Ein Team von Forschern setzte sich zum Ziel zu testen, ob diese Modelle der künstlichen Intelligenz tatsächlich über eine Fähigkeit zum Market Timing verfügen oder ob ihre beeindruckenden Berichte nur eine überzeugende Illusion sind. Sie baten die Modelle nicht einfach nur, Code zu schreiben; sie schufen eine rigorose Testumgebung, um zu sehen, was passiert, wenn dieser Code auf reale Marktdaten trifft. Die Forscher baten fünf verschiedene KI-Modelle, Handelsstrategien für drei wichtige Vermögenswerte zu erstellen: den S&P 500 Aktienindex, Goldfutures und das Währungspaar Euro/US-Dollar. Die Modelle generierten fast zweihundert verschiedene Strategien, jede mit ihrem eigenen Satz von Regeln für den Kauf und Verkauf. Um sicherzustellen, dass der Test fair war, ließen die Forscher jede einzelne Strategie in einer kontrollierten digitalen Umgebung laufen, die für jeden Handel eine kleine Gebühr erhob, um die realen Kosten der Geschäftstätigkeit nachzuahmen. Sie verglichen dann die Ergebnisse dieser KI-generierten Pläne mit einem einfachen Benchmark: einem Vermögenswert zu kaufen und ihn zu halten, ohne jemals zu verkaufen. Sie verglichen die KI-Strategien auch mit einer klugen Kontrollgruppe. Für jede KI-Strategie erstellten sie eine „Null“-Version, indem sie genau dieselben Zeiträume nahmen, in denen die KI eine Position hielt, und diese Zeiträume zufällig neu anordneten. Dieser Test entzog der KI die behauptete Fähigkeit, den richtigen Moment zu wählen, und ließ nur die Tatsache übrig, dass sie den Vermögenswert für eine gewisse Zeit hielt. Wenn die KI wirklich geschickt gewesen wäre, hätte sie diese vertauschte Version übertroffen.

Die Ergebnisse waren eindeutig und konsistent. Über alle Bereiche hinweg scheiterten die von der künstlichen Intelligenz generierten Strategien daran, das einfache Halten des Vermögenswerts zu schlagen. Im Durchschnitt verloren die KI-Strategien Geld und lieferten eine Kennzahl namens Sharpe Ratio, die negativ war. Das bedeutet, dass ein durchschnittlicher Anleger nach Berücksichtigung des eingegangenen Risikos und der Handelskosten besser damit gelegen hätte, gar nichts zu tun, als dem Rat der KI zu folgen. Nur ein winziger Bruchteil der Strategien, weniger als acht Prozent, schaffte es, den einfachen Buy-and-Hold-Ansatz zu übertreffen. Als die Forscher tiefer blickten, stellten sie fest, dass die KI-Modelle über keinerlei verborgenes Timing-Geschick verfügten. Die Strategien schnitten nicht besser ab als die vertauschten, zufälligen Versionen ihrer selbst. Tatsächlich waren die KI-Strategien statistisch nicht von reinem Zufall zu unterscheiden. Die wenigen Male, in denen eine Strategie gut aussah, lag dies nicht daran, dass das Modell gelernt hatte, den Markt vorherzusagen, sondern daran, dass die Strategie den Vermögenswert häufiger hielt, wenn der Markt stieg. Dies ist ein Bias (Voreingenommenheit) hin zu einer Long-Position, also dem Halten des Vermögenswerts, statt einer Fähigkeit, den richtigen Moment zu wählen. Als die Forscher diesen Bias durch den Vergleich der Strategien mit ihren vertauschten Gegenstücken entfernten, verschwand die Illusion des Könnens vollständig.

Der vielleicht aufschlussreichste Teil der Studie trat ein, als die Forscher die Modelle etwas tun ließen, was sie eigentlich nicht können: einen Backtest durchzuführen und die Ergebnisse zu melden, ohne die Daten erhalten zu haben. Die Modelle wurden gebeten, eine Strategie zu schreiben, deren Performance zu berechnen und dem Nutzer die endgültigen Zahlen zu nennen. Keines der Modelle konnte dies tun, da sie nicht die Fähigkeit besitzen, Code auszuführen und Zahlen in Echtzeit zu verarbeiten. Stattdessen produzierten sie eine Simulation eines Berichts. Einige Modelle gaben ein Skript aus, das so aussah, als würde es die Zahlen berechnen, falls jemand anderes es ausführen würde. Andere äußerten lediglich allgemeine Regeln darüber, wie ein gutes Ergebnis auszusehen habe. Einige Modelle gingen sogar weiter und erfanden spezifische Zahlen, indem sie einen Textblock präsentierten, der wie ein fertiger Bericht aussah, aber völlig frei erfunden war. Dieses Verhalten verdeutlicht die gefährliche Lücke zwischen dem Anschein von Kompetenz und der Realität der Leistungsfähigkeit. Die Modelle sind in der Sprache der Finanzen fließend und können die Struktur einer professionellen Analyse imitieren, aber sie können nicht die Beweise generieren, die eine solche Analyse erfordert.

Die Studie untersuchte auch, ob die Verwendung eines größeren, leistungsfähigeren Modells oder die Abfrage einer robusteren Strategie das Ergebnis ändern würde. Dies tat es nicht. Während größere Modelle Code schrieben, der mit höherer Wahrscheinlichkeit ohne Fehler lief, und spezifische Prompts änderten, wie oft eine Strategie einen Vermögenswert hielt, verbesserte keiner dieser Faktoren die Fähigkeit, den Markt zu timen. Die Verbesserungen betrafen rein die Exposure – also wie viel Zeit die Strategie im Markt verbrachte – und nicht die Qualität der getroffenen Entscheidungen. Die Forscher stellten auch fest, dass ihr eigener Testprozess ständig auf Fehler überprüft werden musste. In einem Fall hatte ein Datenfehler in ihrem eigenen System eine zufällige Strategie wie einen Gewinner aussehen lassen – ein Fehler, der nur entdeckt wurde, weil sie Kontrollen eingebaut hatten, um ihre eigene Arbeit zu verifizieren. Diese Selbstprüfung verstärkte die zentrale Lektion: Ein plausibel erscheinendes Ergebnis ist kein korrektes Ergebnis, bis es gegen einen Standard geprüft wurde, der beweist, dass der Test tatsächlich einen Gewinner finden kann, falls einer existiert.

Für den Anleger ist die Lehre klar. Die Modelle der künstlichen Intelligenz sind derzeit nicht in der Lage, Handelsstrategien zu generieren, die echtes Geschick besitzen. Sie produzieren Strategien, die vollständig und selbstbewusst wirken, aber wenn sie gegen reale Daten getestet werden, schneiden sie nicht besser ab als der Zufall und oft schlechter als das einfache Halten eines Vermögenswerts. Die Berichte, die sie generieren, voll von spezifischen Zahlen und Performance-Charts, sind Hypothesen, keine Beweise. Bis eine Strategie auf dokumentierten Daten erneut getestet und gegen einen fairen Benchmark geprüft wurde, der berücksichtigt, wie viel Zeit sie im Markt verbringt, sollte sie als unbewiesen betrachtet werden. Die Kosten der Abhängigkeit von diesen Werkzeugen sind nicht nur eine verpasste Chance, den Markt zu schlagen, sondern der potenzielle Verlust der stetigen Renditen, die durch passives Investieren erzielt werden. Die Modelle haben die Kunst gemeistert, wie ein Experte zu klingen, aber sie haben noch nicht gelernt, einer zu sein.