Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

In der Welt der Finanzen ist die Vorhersage des zukünftigen Aktienkurses der heilige Gral. Investoren und Banken investieren Milliarden in hoch entwickelte Computersysteme, in der Hoffnung, ein Muster im Chaos der täglichen Marktbewegungen zu finden. Diese Systeme, die oft unter Einsatz von Deep Learning entwickelt wurden, sind darauf ausgelegt, riesige Mengen an Informationen – vergangene Kurse und Wirtschaftsberichte – zu verarbeiten, um zu erraten, ob eine Aktie morgen steigen oder fallen wird. Die Standardmethode, um zu beurteilen, ob eines dieser Systeme tatsächlich gut ist, besteht darin, seine Vorhersagen mit einer Liste anderer Systeme zu vergleichen. Wenn ein neues Modell weniger Fehler macht als die alten, wird es zum Gewinner erklärt, und seine Schöpfer veröffentlichen die Ergebnisse als Durchbruch. Dieser Prozess beruht auf einer einfachen Annahme: dass ein niedrigerer Fehlerwert bedeutet, dass das Modell ein echtes Signal in den Daten gefunden hat – eine echte Fähigkeit, das zu sehen, was andere nicht sehen können.

Eine neue Studie stellt jedoch die Grundlage dessen infrage, wie diese Gewinner ausgewählt werden. Die Forscher, die mit einem Team aus Experten der Informatik und des Managements zusammenarbeiteten, entdeckten, dass die Standardmethode zur Bewertung getäuscht werden kann. Sie fanden heraus, dass ein Computermodell einen perfekten Wert erzielen kann, nicht weil es gelernt hat, den Markt vorherzusagen, sondern weil es gelernt hat, fast gar nichts zu tun. Wenn ein Markt schwer vorhersehbar ist, ist der sicherste mathematische Schritt, einfach jedes Mal das durchschnittliche Ergebnis zu raten. Wenn ein Modell zu vorsichtig ist oder wenn sein Design es dazu zwingt, zu konservativ zu sein, wird es seine Vorhersagen so weit schrumpfen lassen, bis sie nahezu flach sind. Die Studie zeigt, dass die aktuellen Ranglistensysteme dieses Schrumpfverhalten mit Können verwechseln und so eine Bestenliste erstellen, auf der die „besten“ Modelle eigentlich diejenigen sind, die aufgegeben haben, überhaupt etwas vorherzusagen.

Die Forscher gingen vor, um eine spezifische, moderne Architektur zu testen, die darauf ausgelegt ist, die täglichen Aktienrenditen zu prognostizieren. Dieses System namens MFGate-Net wurde als hochmoderner Prädiktor entwickelt. Es kombinierte zwei verschiedene Arten von Informationen: technische Indikatoren, die aus Preisdiagrammen abgeleitet wurden, und makroökonomische Daten wie Zinssätze und Marktvolatilität, zusammen mit einem Mechanismus, um diese Eingaben dynamisch zu gewichten. Um zu prüfen, ob es funktionierte, trainierte das Team das System mit sieben Jahren historischer Daten und testete es dann an einem frischen, ungesehenen Zeitraum, der die Jahre 2022 bis 2024 abdeckte. Dieser Testzeitraum wurde sorgfältig gewählt, um verschiedene Marktbedingungen einzuschließen, einschließlich einer Phase hoher Inflation und einer Erholungsphase, um sicherzustellen, dass das Modell einer realistischen Herausforderung gegenüberstand.

Als das Team den Standardvergleich durchführte, sahen die Ergebnisse wie ein Triumph aus. Das neue Modell schlug jeden anderen Konkurrenten, einschließlich älterer, einfacherer Methoden des maschinellen Lernens und anderer komplexer Deep-Learning-Netzwerke. Es wies die niedrigste Fehlerrate auf, und statistische Tests bestätigten, dass sein Vorteil kein Zufall war. Nach allen konventionellen Maßstäben sollte dies die Schlagzeile sein: ein neuer, überlegener Weg, den Markt vorherzusagen. Doch die Forscher hörten dort nicht auf. Sie stellten eine einfachere, grundlegendere Frage: Hat dieses Modell tatsächlich die einfachste mögliche Vorhersage geschlagen? In der Finanzwelt ist die einfachste Vorhersage anzunehmen, dass sich der Preis von morgen exakt um Null ändern wird. Dies ist bekannt als der unbedingte Benchmark (unconditional benchmark). Es ist die Basis des Nichtstuns.

Als sie ihr ausgeklügeltes Modell mit dieser Null-Vorhersage verglichen, änderte sich die Geschichte komplett. Das komplexe Modell schlug die Null-Prognose nicht. Tatsächlich war es statistisch nicht von ihr zu unterscheiden. Die Vorhersagen des Modells lagen so nah bei Null, dass sie keinen wirklichen Vorteil gegenüber der bloßen Annahme boten, dass nichts passieren würde. Noch erstaunlicher war, dass jedes andere Modell auf der Bestenliste, von den neuesten Deep-Learning-Netzwerken bis hin zu älteren statistischen Methoden, ebenfalls daran scheiterte, die Null-Prognose zu schlagen. Sie waren alle schlechter als das Nichts zu tun. Den Forschern wurde klar, dass die Rangliste, die sie zuvor gesehen hatten, nicht maß, wer der beste Prädiktor war, sondern wer der vorsichtigste war. Die Modelle, die ihre Vorhersagen am stärksten schrumpfen ließen und sich somit der Null am nächsten annäherten, erschienen als die mit der niedrigsten Fehlerrate. Die Rangliste war ein Maß dafür, wie sehr die Modelle kollabiert waren, nicht dafür, wie viel sie gelernt hatten.

Um dies zu beweisen, leiteten die Forscher eine mathematische Erklärung dafür ab, warum dies geschieht. Sie zeigten, dass der Fehlerwert eines Modells in einem Markt, der nahezu unvorhersehbar ist, fast ausschließlich davon abhängt, wie stark seine Vorhersagen im Vergleich zum tatsächlichen Markt variieren. Wenn ein Modell nur geringe Bewegungen vorhersagt, wird sein Fehlerwert gut aussehen, selbst wenn er falsch liegt. Die Studie demonstrierte, dass die vermeintliche Überlegenheit eines Modells gegenüber einem anderen lediglich ein Unterschied darin war, wie stark sie ihre Prognosen schrumpfen ließen. Die statistischen Tests, die verwendet wurden, um einen Gewinner zu erklären, maßen in Wirklichkeit dieses Schrumpfen, und je mehr Daten sie sammelten, desto sicherer wurden sie in einer falschen Schlussfolgerung. Je größer der Datensatz war, desto stärker wurde die Illusion des Könnens, obwohl keinerlei Können existierte.

Die Forscher schlugen daraufhin eine einfache Lösung vor. Bevor sie Modelle vergleichen, passten sie jede Vorhersage so an, dass ihr Bewegungsspielraum dem Bereich des tatsächlichen Marktes entsprach. Dieser Prozess, den sie Dispersion Matching nennen, entfernt den Bias zugunsten des Schrumpfens. Sobald sie diese Korrektur anwandten, verschwanden die dramatischen Unterschiede zwischen den Modellen. Die Modelle, die zuvor wie klare Gewinner ausgesehen hatten, waren nun statistisch gesehen mit den Verlierern gleichauf. Der „überwältigende“ Signifikanzgrad, der auf einen Durchbruch hingedeutet hatte, verschwand und wurde durch ein Ergebnis ersetzt, das zeigte, dass alle Modelle im Wesentlichen genauso performten wie eine bloße Raterei. In einem spezifischen Fall wurde festgestellt, dass ein Modell, das als das beste deklariert worden war, statistisch gesehen zu 0,97 nicht besser war als eine konstante Null-Prognose.

Die Studie untersuchte auch, ob diese Modelle Geld verdienen könnten. Selbst wenn ein Modell den Preis nicht perfekt vorhersagen kann, könnte es dennoch nützlich sein, wenn es profitable Trades leiten kann. Die Forscher simulierten Handelsstrategien basierend auf den Vorhersagen der Modelle und berücksichtigten dabei die Kosten für Kauf und Verkauf. Die Ergebnisse waren drastisch. Kein Modell generierte einen Gewinn, der eine risikofreie Anlage schlagen konnte, selbst wenn die Transaktionskosten auf Null gesetzt wurden. Das erfolgreichste Modell in den Fehlerdiagrammen erwies sich als das schlechteste in Bezug auf Geld, da seine vorsichtigen Vorhersagen zu einer Strategie führten, die sich kaum bewegte und kleine Verluste gegenüber den Kapitalkosten anhäufte. Dies bestätigte, dass das statistische Ranking nicht nur irreführend, sondern ökonomisch irrelevant war.

Vielleicht war der beunruhigendste Befund bezüglich der Werkzeuge, die erklären sollen, wie diese Modelle funktionieren. Im Bereich der Künstlichen Intelligenz nutzen Forscher oft Visualisierungen, um zu zeigen, worauf ein Modell seine Aufmerksamkeit richtet, in der Hoffnung zu beweisen, dass das System bedeutsame Muster gelernt hat. Das Team testete dies, indem es ihr Modell auf Daten trainierte, bei denen das Zielvariable zufällig vertauscht worden war, wodurch jede reale Beziehung zwischen den Eingaben und dem Ausgang zerstört wurde. Ein Modell, das auf solchen Rauschdaten trainiert wurde, kann unmöglich etwas lernen. Dennoch zeigten die Analysen dieses „kaputten“ Modells Visualisierungen, die fast identisch mit denen des echten Modells waren. Die Visualisierungen zeigten dieselben Merkmale, die hervorgehoben wurden, und dieselben Muster der Aufmerksamkeit. Dies deutet darauf hin, dass diese Interpretierbarkeitswerkzeuge oft eher die Struktur der Daten selbst widerspiegeln als das spezifische Wissen, das das Modell erworben hat. Sie können nicht zwischen einem Modell unterscheiden, das ein Geheimnis gelernt hat, und einem, das gar nichts gelernt hat.

Die Forscher kamen zu dem Schluss, dass das gesamte Feld der Finanzprognose ändern muss, wie es seine Ergebnisse berichtet. Sie empfehlen, dass jede Studie einen Vergleich gegen die einfache Null-Prognose enthalten muss, um zu beweisen, dass ein Modell überhaupt über Geschick verfügt. Sie schlagen auch vor, ein Maß dafür anzugeben, wie stark die Vorhersagen eines Modells variieren, um sicherzustellen, dass ein niedriger Fehlerwert nicht nur das Ergebnis übermäßiger Vorsicht ist. Ohne diese Kontrollen ist die Fachliteratur voll von Modellen, die den Anschein erwecken, den Stand der Technik voranzutreiben, aber in Wirklichkeit nur danach ranken, wie gut sie das Nichts simulieren können. Die Studie behauptet nicht, dass die Vorhersage des Marktes unmöglich ist, noch sagt sie, dass Deep Learning nutzlos ist. Sie zeigt lediglich, dass die aktuelle Art, Erfolg zu beurteilen, fehlerhaft ist, und dass die Gewinner auf der Bestenliste – solange die Regeln nicht geändert werden – möglicherweise nicht diejenigen sind, die tatsächlich die Zukunft sehen können.