Do LLMs Understand Limit Order Book Dynamics?

In der geschäftigen Welt der modernen Finanzen werden Märkte nicht allein durch menschliche Intuition oder breite wirtschaftliche Trends angetrieben, sondern durch einen ständigen, hochgeschwindigkeitsmäßigen Strom digitaler Anweisungen. Das Herzstück vieler dieser Märkte ist ein Mechanismus, der als Limit-Orderbuch bezeichnet wird. Stellen Sie sich ein digitales Kassenbuch vor, in dem Käufer und Verkäufer Schlange stehen und jeweils den spezifischen Preis angeben, den sie zu zahlen bereit sind oder zu akzeptieren bereit sind, sowie die Menge der Anteile, die sie handeln möchten. Dieses Kassenbuch ist nicht statisch; es ist ein lebendiges, atmendes Protokoll, das sich jedes Mal ändert, wenn eine neue Order eintrifft, eine bestehende Order ausgeführt wird oder ein Teilnehmer beschließt, sein Angebot zu stornieren. Die Regeln, die dieses Kassenbuch steuern, sind streng und logisch: Ein Käufer kann eine Aktie nicht zu einem Preis kaufen, der niedriger ist als der niedrigste Preis, den ein Verkäufer derzeit verlangt, und ein Verkäufer kann nicht zu einem Preis verkaufen, der höher ist als der höchste Preis, den ein Käufer bietet. Seit Jahrzehnten bauen Händler und Mathematiker komplexe Modelle, um vorherzusagen, wie sich dieses Kassenbuch entwickeln wird, in dem Versuch, den nächsten Schritt in diesem komplizierten Tanz von Angebot und Nachfrage vorauszusehen.

Kürzlich hat begonnen, eine neue Art von künstlicher Intelligenz, bekannt als Large Language Model (großes Sprachmodell), auf diese finanziellen Rätsel angewendet zu werden. Diese Modelle werden typischerweise auf riesigen Mengen an Text trainiert, um Muster in der Sprache zu lernen, aber Forscher haben damit begonnen, sie stattdessen auf Sequenzen von Marktereignissen zu trainieren. Die Hoffnung ist, dass ein Modell, wenn es lernt, gültige Sequenzen von Marktordern zu generieren – also korrekt zu simulieren, wie sich ein Markt von einem Zustand zum nächsten bewegt –, die zugrunde liegende Mechanik des Marktes wirklich verstanden hat. Dies wirft eine tiefgreifende Frage auf: Wenn eine Maschine eine perfekte Geschichte darüber schreiben kann, wie sich ein Markt bewegt, versteht sie dann tatsächlich die Geschichte oder imitiert sie nur die Syntax? Ein Team von Forschern der Columbia Business School machte sich daran, dies zu beantworten, indem sie testeten, ob diese künstlichen Intelligenzen über ein echtes „Weltmodell“ der Finanzmärkte verfügen oder ob sie lediglich raffinierte Papageien sind.

Die Forscher begannen mit der Erstellung einer vereinfachten, simulierten Version eines Limit-Orderbuchs. In diesem digitalen Sandkasten definierten sie einen festen Satz von Preisstufen und Regeln dafür, wie Orders platziert, ausgeführt oder storniert werden können. Dann trainierten sie ein Large Language Model von Grund auf neu unter Verwendung von Daten, die durch diese Simulation generiert wurden. Der Trainingsprozess war rigoros: Dem Modell wurde ein Ausgangszustand des Marktes und ein Zielzustand gegeben, und es erhielt die Aufgabe, eine Sequenz von Ereignissen zu generieren, die den Markt vom Start zum Ziel bewegen würde, ohne gegen die Regeln zu verstoßen. Das Modell zeichnete sich bei dieser Aufgabe aus. Wenn es aufgefordert wurde, eine Sequenz von Trades zu produzieren, gelang es ihm fast immer, einen gültigen Pfad zu erstellen und unmögliche Bewegungen zu vermeiden, wie etwa den Verkauf einer Aktie, die nicht existiert, oder die Ausführung eines Trades zu einem Preis, der gegen die Marktregeln verstößt. Für einen flüchtigen Beobachter schien es, als hätte das Modell die Logik des Marktes gemeistert.

Die Forscher vermuteten jedoch, dass der Erfolg des Modells oberflächlich war. Sie wollten wissen, ob das Modell den aktuellen Zustand des Marktes wirklich verstand oder ob es sich lediglich auf die Historie dessen verließ, wie es dorthin gelangte. In einem echten Markt hängt die zukünftige Entwicklung des Orderbuchs ausschließlich von seinem aktuellen Zustand ab; der Pfad, der zu diesem Zustand geführt hat, sollte keine Rolle spielen. Dies ist ein fundamentales Prinzip, das als Markov-Eigenschaft bekannt ist. Um zu testen, ob das Modell dieses Prinzip respektierte, entwarfen die Forscher eine Reihe von Experimenten, die über das einfache Befolgen von Regeln hinausgingen. Sie baten das Modell, vorherzusagen, was als Nächstes passieren würde – nicht nur, um eine gültige Sequenz zu generieren, sondern um die Wahrscheinlichkeiten zukünftiger Ereignisse zu prognostizieren.

Die Ergebnisse offenbarten einen erheblichen Mangel im Verständnis des Modells. Obwohl das Modell gültige Sequenzen generieren konnte, war seine interne Sicht auf den Markt verzerrt und unvollständig. Als die Forscher die Vorhersagen des Modells untersuchten, stellten sie fest, dass es konsistent falsche Wahrscheinlichkeiten für zukünftige Ereignisse zuwies. Beispielsweise überschätzte das Modell die Wahrscheinlichkeit einer Stornierung eines Auftrags zu einem bestimmten Preis, selbst wenn die wahre mathematische Wahrscheinlichkeit viel niedriger war. Noch besorgniserregender war, dass die Prognosen des Modells durch die Historie der Ereignisse beeinflusst wurden, die zum aktuellen Zustand führten, obwohl diese Historie irrelevant hätte sein müssen. Wenn der Markt über zwei verschiedene Pfade zu einem bestimmten Zustand gelangte, würde ein Modell mit einem korrekten Verständnis exakt dieselbe Zukunft für beide vorhersagen. Die künstliche Intelligenz hingegen lieferte unterschiedliche Vorhersagen, abhängig von dem eingeschlagenen Pfad, was darauf hindeutete, dass sie sich an vergangene Details klammerte, die keine prädiktive Kraft besaßen.

Um diesen Fehler zu quantifizieren, entwickelten die Forscher neue Tests, die den Abstand zwischen den Vorhersagen des Modells und der wahren mathematischen Realität des simulierten Marktes maßen. Sie fanden heraus, dass die Fehler des Modells größer wurden, je weiter es in die Zukunft blickte. Das Modell schien zu glauben, es könne Muster in der Vergangenheit finden, die gar nicht existierten, ein Phänomen, das als Scheinprädiktabilität (spurious predictability) bekannt ist. Es war, als wäre das Modell davon überzeugt, dass eine Serie vergangener Kaufaufträge einen zukünftigen Verkaufsauftrag wahrscheinlicher mache, selbst wenn der aktuelle Zustand des Marktes keinen Grund für eine solche Verschiebung bot. Diese Verzerrung war kein kleiner Fehler; es war ein systematisches Versagen beim Erfassen der Kern-Dynamik des Systems. Das Modell hatte die Grammatik des Marktes gelernt, aber die Physik nicht.

Die Forscher testeten auch, ob diese Probleme spezifisch für ihre kleine, einfache Simulation waren oder ob sie in komplexeren Umgebungen bestehen bleiben würden. Sie wiederholten die Experimente mit größeren Orderbüchern, die über mehr Preisstufen und tiefere Liquidität verfügten. Die Ergebnisse waren konsistent: Mit zunehmender Komplexität des Marktes verschlechterte sich die Fähigkeit des Modells, eine korrekte interne Repräsentation des Zustands aufrechtzuerhalten, tatsächlich. Das Modell generierte weiterhin gültige Sequenzen, aber seine Prognosen wurden noch unzuverlässiger. Dies deutet darauf darauf hin, dass das bloße Training eines Modells mit mehr Daten oder die Vergrößerung der Marktsimulation das grundlegende Problem nicht lösen wird. Die Architektur des Modells, wie sie derzeit existiert, hat Schwierigkeiten, den aktuellen Zustand des Systems von dem Rauschen seiner Historie zu abstrahieren.

Diese Erkenntnisse haben wichtige Auswirkungen auf den Einsatz künstlicher Intelligenz in der Finanzwelt. Die Studie zeigt, dass die Fähigkeit eines Modells, gültige Ausgaben zu generieren, kein ausreichender Beweis dafür ist, dass es das System, das es simuliert, versteht. Im Kontext der Finanzmärkte, in denen eine genaue Prognose entscheidend ist, könnte ein Modell, das Muster findet, wo keine existieren, zu kostspieligen Fehlern führen. Die Forscher kommen zu dem Schluss, dass Large Language Models zwar vielversprechend sind, um die Regeln eines Systems zu verstehen, ihnen aber derzeit das tiefe, implizite Verständnis der stochastischen Dynamik fehlt, das für eine zuverlässige Vorhersage erforderlich ist. Bis diese Modelle trainiert werden können, die Welt, die sie simulieren, wirklich zu verinnerlichen, anstatt nur die Sequenz der Ereignisse, die zu ihr führten, bleibt ihre Prognose in komplexen, realen Märkten zweifelhaft. Der Weg nach vorn erfordert neue Trainingsmethoden und größere Datensätze, aber die Kernherausforderung bleibt bestehen: einer Maschine beizubringen, die Welt so zu sehen, wie sie ist, und nicht nur so, wie sie sie in Erinnerung hat.