Same Error, Different Function: The Optimizer as an Implicit Prior in Financial Time Series

Die Studie zeigt, dass bei der Vorhersage von Finanzzeitreihen die Wahl des Optimizers als entscheidende induktive Verzerrung fungiert, die trotz identischer Testverluste zu qualitativ unterschiedlichen Funktionen führt und erhebliche Auswirkungen auf die Portfolioentscheidungen hat.

Das Wesentliche

Das große Rätsel: Wenn zwei Autos gleich schnell sind, fahren sie dann den gleichen Weg?

Stellen Sie sich vor, Sie sind ein Rennleiter in der Welt der Finanzmärkte. Ihr Ziel ist es, vorherzusagen, wie unruhig der Verkehr (die Volatilität) morgen sein wird. Dafür haben Sie ein Team von verschiedenen Rennwagen-Modellen (neuronale Netzwerke wie MLP, CNN, LSTM, Transformer).

Normalerweise in der KI-Welt (wie bei Bildern oder Texten) wählt man das Modell aus, das am wenigsten Fehler macht. Aber in der Finanzwelt ist es anders. Hier ist der Markt so chaotisch und verrauscht, dass alle Ihre Modelle fast exakt die gleiche Fehlerquote haben. Sie landen alle auf dem gleichen Podium.

Die Forscher stellen sich nun die Frage: Sind diese Modelle wirklich austauschbar? Wenn sie alle gleich gut vorhersagen, macht es dann keinen Unterschied, welches wir benutzen?

Die Antwort ist ein lautes NEIN. Und hier kommt der eigentliche Held der Geschichte ins Spiel: der Optimierer.

Wer ist der „Optimierer"? Der Fahrlehrer im Auto

Stellen Sie sich den Optimierer (z. B. SGD, Adam, Muon) nicht als technischen Baustein vor, sondern als den Fahrlehrer, der Ihrem Auto beibringt, wie es die Kurven nimmt.

• Das Auto (das Modell) ist die Struktur: Es hat Räder, Motor und Lenkung.
• Der Fahrlehrer (der Optimierer) entscheidet, wie das Auto lernt, zu fahren.

Das Papier zeigt: Selbst wenn zwei Autos am Ende die gleiche Rundenzeit haben (gleicher Vorhersagefehler), haben sie völlig unterschiedliche Fahrstile gelernt, weil sie von unterschiedlichen Fahrlehrern trainiert wurden.

Die drei Fahrstile (Optimierer)

1. SGD (Der konservative Fahrlehrer):

   • Stil: Er lehrt das Auto, sehr vorsichtig und glatt zu fahren. Er mag keine wilden Kurven.
   • Ergebnis: Das Auto lernt eine einfache, gerade Linie. Es reagiert nicht überempfindlich auf kleine Störungen.
   • Im Finanzmarkt: Das bedeutet, dass die Vorhersagen sehr stabil sind. Wenn Sie damit handeln, müssen Sie selten umsteigen. Es ist ruhig und vorhersehbar.

2. Adam & Muon (Die aggressiven Fahrlehrer):

   • Stil: Diese Lehrerteams erlauben dem Auto, tief in die Kurven zu gehen und komplexe Manöver zu lernen. Sie finden „schärfere" Lösungen, die sehr empfindlich auf kleine Änderungen reagieren.
   • Ergebnis: Das Auto lernt komplizierte, nicht-lineare Muster. Es kann auf kleine Signale extrem stark reagieren.
   • Im Finanzmarkt: Das klingt erst mal gut, aber es führt zu einem Problem: Das Auto springt hin und her. Die Vorhersagen ändern sich bei kleinsten Schwankungen drastisch.

Die versteckte Falle: Der „Turnover"-Effekt

Hier wird es für den Geldbeutel wichtig. Stellen Sie sich vor, Sie nutzen diese Vorhersagen, um ein Portfolio (einen Korb mit Aktien) zu verwalten.

• Mit dem konservativen Fahrlehrer (SGD): Sie schauen auf den Korb, sehen, dass die Vorhersage stabil ist, und lassen ihn so. Sie tauschen kaum Aktien aus.
• Mit dem aggressiven Fahrlehrer (Adam/Muon): Obwohl die Vorhersage im Durchschnitt genauso gut ist, springt das Modell bei jedem kleinen Windhauch um. Heute sagt es: „Aktie A ist riskant!", morgen: „Nein, Aktie B!"

Das führt zu einem Phänomen, das die Forscher „Sharpe-Turnover-Frontier" nennen.

• Sharpe-Ratio: Wie gut ist die Rendite im Verhältnis zum Risiko? (Beide Modelle sind hier gleich gut).
• Turnover: Wie oft müssen Sie handeln?

Das Ergebnis: Die Modelle mit dem aggressiven Fahrlehrer (Adam/Muon) verursachen bis zu 3-mal mehr Handel (Turnover) als das konservative Modell, obwohl sie gleich gut vorhersagen.

Warum ist das schlecht?
Weil jeder Handel Geld kostet (Gebühren, Spread). Wenn Sie 3-mal so oft handeln, fressen die Kosten Ihre Gewinne auf. Das konservative Modell (SGD) ist also im echten Leben viel profitabler, obwohl die „Zahlen auf dem Papier" (der Fehlerwert) identisch sind.

Die große Erkenntnis: Der Optimierer ist Teil des Modells

Das Papier lehrt uns eine wichtige Lektion für die Zukunft:

1. Nicht nur auf die Fehlerzahl schauen: In unsicheren Umgebungen (wie Finanzmärkten) reicht es nicht, nur zu fragen: „Welches Modell macht den geringsten Fehler?" Wenn zwei Modelle gleich gut sind, sind sie nicht gleich.
2. Der Fahrlehrer entscheidet: Der Optimierer ist keine bloße technische Einstellung. Er ist eine versteckte Annahme (ein „impliziter Prior"). Er entscheidet, welche Art von Welt das Modell lernt: eine einfache, stabile Welt oder eine komplexe, chaotische Welt.
3. Die Wahl zählt: Wenn Sie ein Modell für den echten Einsatz auswählen, müssen Sie sich fragen: „Will ich ein Modell, das ruhig bleibt (SGD), oder eines, das wild springt (Adam)?" Oft ist die ruhigere Wahl die bessere, weil sie weniger Transaktionskosten verursacht.

Zusammenfassung in einem Satz

In der Finanzwelt sind viele KI-Modelle wie zwei Fahrer, die beide die gleiche Strecke in der gleichen Zeit fahren: Der eine fährt auf einer geraden Autobahn (wenig Stress, wenig Kosten), der andere nimmt wilde Abkürzungen über Feldwege (viel Stress, hohe Kosten). Der Optimierer ist der Fahrlehrer, der entscheidet, welcher Weg gewählt wird – und das ist genauso wichtig wie das Auto selbst.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein fundamentales Problem im maschinellen Lernen für Finanzzeitreihen: die Unterspezifikation (Underspecification). In diesem Bereich (hier: Volatilitätsvorhersage für S&P-500-Aktien) erreichen verschiedene Modelle oft ununterscheidbare Fehlerwerte (Out-of-Sample Error) auf Testdaten, obwohl sie qualitativ völlig unterschiedliche Funktionen gelernt haben.

• Das Dilemma: Traditionelle Benchmarks basieren auf skalaren Verlustmetriken (z. B. NMSE, R²). Wenn zwei Modelle (z. B. ein tiefes neuronales Netz und ein lineares Modell) den gleichen Testfehler aufweisen, gehen Forscher oft davon aus, dass sie austauschbar sind.
• Die Frage: Sind Modelle mit identischem Testfehler tatsächlich austauschbar? Und spielt die Wahl des Optimierers (z. B. SGD vs. Adam) nur eine Rolle für die Trainingseffizienz oder beeinflusst sie die gelernte Funktion selbst, selbst wenn der Testfehler gleich bleibt?
• Kontext: In hochsignalreichen Domänen (wie Bilderkennung) führt die Wahl des Optimierers oft zu signifikanten Unterschieden in der Generalisierung. In finanzmathematischen Zeitreihen mit niedrigem Signal-zu-Rausch-Verhältnis (Low-SNR) wird der Optimierer hingegen oft als nebensächlicher Implementierungsdetail behandelt, da die Testfehler meist „geglättet" oder identisch sind.

2. Methodik

Die Autoren untersuchen die Volatilitätsvorhersage (Realized Variance) für S&P-500-Aktien über den Zeitraum 2000–2024 unter Verwendung eines strengen experimentellen Rahmens.

• Datensatz: Ein überlebensverzerrungsfreier (survivorship-bias-free) Datensatz von CRSP mit täglichen OHLCV-Daten. Das Ziel ist die Vorhersage der logarithmierten Realized Variance (geschätzt via Garman-Klass-Schätzer).
• Architekturen (A): Vier verschiedene neuronale Netz-Architekturen wurden getestet:
  • MLP (Multilayer Perceptron)
  • CNN (Convolutional Neural Network)
  • LSTM (Long Short-Term Memory)
  • Transformer
• Optimierer (O): Drei Optimierer mit unterschiedlicher Update-Geometrie und impliziter Regularisierung:
  • SGD (Stochastic Gradient Descent)
  • Adam (Adaptive Moment Estimation)
  • Muon (ein neuer, matrixbewusster Optimierer)
• Experimentelles Design:
  • Es wurden $4 \times 3 = 12$ Kombinationen aus Architektur und Optimierer erstellt.
  • Für jede Kombination wurde eine strenge Hyperparameter-Suche (Lernrate, Weight Decay) durchgeführt, um sicherzustellen, dass Leistungsunterschiede nicht auf schlechtes Tuning zurückzuführen sind.
  • Jeder Lauf wurde mit 13 verschiedenen Random Seeds wiederholt, um Stabilität zu gewährleisten.
• Diagnostik jenseits des Fehlers: Da der NMSE (Normalized Mean Squared Error) keine Unterscheidung zulässt, wurden folgende funktionale Diagnosen verwendet:
  • Impulsantwort-Analyse (Impulse Response): Messung der nichtlinearen Sensitivität des Modells gegenüber Schocks in bestimmten Zeitverzögerungen (Lags).
  • Funktionsdifferenz-Oberflächen: Visualisierung der Differenz zwischen den Vorhersagen verschiedener Optimierer ($D(x) = \hat{y}_{Muon}(x) - \hat{y}_{Adam}(x)$).
  • Feature Attribution (SHAP): Analyse, welche Zeitverzögerungen (Lags) für die Vorhersage als wichtig erachtet werden.
  • Ensemble-Test: Prüfung, ob ein Ensemble verschiedener Optimierer-Lösungen einen niedrigeren Fehler erreicht als die einzelnen Modelle (Zeichen für orthogonale Fehler).
  • Kurvatur-Messungen: Analyse der Hesse-Matrix-Eigenwerte (Schärfen der Minima) und Edge-of-Stability (EoS) Phänomene.

3. Wichtige Ergebnisse

A. Vorhersageäquivalenz (Predictive Equivalence)

• Ergebnis: Alle Kombinationen aus Architektur und Optimierer erreichen statistisch ununterscheidbare NMSE-Werte. Selbst komplexe Modelle (Transformer, LSTM) schlagen die linearen Baselines (OLS, LASSO) nicht signifikant.
• Bedeutung: Dies bestätigt das „Rashomon-Phänomen" im Finanzbereich: Es gibt viele verschiedene Funktionen, die den Daten gleich gut entsprechen. Die Wahl des Optimierers ändert nichts an der skalaren Genauigkeit.

B. Funktionale Divergenz (Same Error, Different Function)

Trotz identischem Fehler lernen die Modelle qualitativ unterschiedliche Funktionen:

• Komplexität vs. Einfachheit:
  • SGD tendiert zu einfacheren, flacheren Lösungen mit linearen oder fast linearen Impulsantworten.
  • Adam und Muon lernen komplexe, nichtlineare Funktionen (z. B. sigmoide Dämpfungseffekte bei extremen Volatilitätsschocks).
• Strukturierte Differenzen: Die Differenzoberflächen zwischen den Optimierern sind hochstrukturiert und nicht-planar, was beweist, dass es sich nicht um einfache Skalierungen, sondern um fundamental verschiedene Abbildungen handelt.
• Zeitabhängigkeit (Temporal Dependence): Der Optimierer bestimmt, welche Zeitverzögerungen genutzt werden.
  • SGD konzentriert sich fast ausschließlich auf sehr kurze Lags (Mikrostruktur-Effekte).
  • Muon (und teilweise Adam) nutzt langfristige Abhängigkeiten (z. B. quartalsweise Zyklen), was bei SGD unterdrückt wird. Dies zeigt, dass die „Rezeptive Felder" nicht nur von der Architektur, sondern vom Optimierer gesteuert werden.

C. Mechanismus: Edge of Stability (EoS)

• Die Autoren zeigen, dass SGD während des Trainings in Regionen mit flacherer Krümmung (flachere Minima) konvergiert, während adaptive Methoden (Adam) in schärfere Minima (sharp minima) mit höherer Krümmung (Hesse-Eigenwerte) gelangen.
• Interventions-Experimente: Wenn man nach dem Training von Adam zu SGD wechselt, kollabiert die komplexe Funktion schnell in die einfache SGD-Lösung. Umgekehrt gewinnt Adam Komplexität zurück, wenn es von SGD-Startgewichten ausgeht. Dies deutet darauf hin, dass der Optimierer im späten Trainingsstadium (am „Edge of Stability") als impliziter Prior wirkt, der bestimmt, welche Lösung ausgewählt wird.

D. Ensemble-Ergebnisse

• Ein heterogenes Ensemble aus Lösungen unterschiedlicher Optimierer erreicht einen streng niedrigeren NMSE als das beste einzelne Modell.
• Bedeutung: Die Fehler der Modelle sind nicht perfekt korreliert. Verschiedene Optimierer-Optimierungspfade extrahieren teilweise orthogonale Komponenten des Signals.

E. Konsequenzen für Trading-Strategien (Sharpe-Turnover-Frontier)

Dies ist der kritischste praktische Befund:

• Obwohl alle Modelle ähnliche Vorhersagegenauigkeit und ähnliche Sharpe-Ratios aufweisen, führen sie zu massiv unterschiedlichen Umschlagsraten (Turnover) in Portfolios.
• SGD-Modelle erzeugen stabilere Rangfolgen und damit geringeren Handel (niedriger Turnover).
• Adam/Muon-Modelle reagieren empfindlicher auf kleine Änderungen im Input, was zu häufigeren Rangwechseln und einem bis zu 3-fach höheren Turnover führt.
• Fazit: In einem realen Umfeld mit Transaktionskosten würden die Modelle mit höherem Turnover (Adam/Muon) trotz gleicher theoretischer Vorhersagegenauigkeit schlechtere Netto-Renditen erzielen.

4. Hauptbeiträge

1. Nachweis der Nicht-Austauschbarkeit: Modelle mit identischem Testfehler sind in Finanzzeitreihen nicht austauschbar; sie kodieren unterschiedliche wirtschaftliche Annahmen über die Volatilitätsdynamik.
2. Optimierer als Impliziter Prior: In unterbestimmten (underspecified) Settings ist die Wahl des Optimierers kein technisches Detail, sondern ein entscheidender Teil des Modells, der die induktive Bias und die funktionale Form bestimmt.
3. Neue Evaluationsmetriken: Das Paper argumentiert, dass Benchmarks über skalare Verluste hinausgehen müssen und funktionale Eigenschaften (Interpretierbarkeit, Stabilität, Turnover) einbeziehen sollten.
4. Mechanistische Erklärung: Verbindung der funktionalen Divergenz mit der Geometrie des Optimierungsraums (Edge of Stability, Krümmung der Minima).

5. Signifikanz und Implikationen

Die Arbeit hat weitreichende Konsequenzen für die Anwendung von Machine Learning im Finanzwesen:

• Modellauswahl: Wenn ein „Leaderboard-Tie" vorliegt (gleicher Fehler), sollte die Entscheidung nicht auf dem Fehler basieren, sondern auf der gewünschten funktionellen Eigenschaft (z. B. Stabilität vs. Reaktivität).
• Rolle des Optimierers: Der Optimierer ist Teil des Modells. Die Wahl zwischen SGD und Adam bestimmt implizit, ob das Modell kurzfristige Mikrostruktur-Effekte oder langfristige makroökonomische Zyklen priorisiert.
• Implementierbarkeit: Ein Modell kann theoretisch „genau" sein, aber praktisch unbrauchbar, wenn es durch hohe Umschlagsraten (Turnover) die Renditen durch Transaktionskosten auffrisst.
• Zukunft der Forschung: Benchmarking-Studien müssen in Low-SNR-Umgebungen (wie Finanzen) die „Rashomon-Menge" (die Menge aller guten Modelle) analysieren und nicht nur das eine beste Modell auswählen.

Zusammenfassend stellt das Paper fest: „In unterbestimmten Zeitreihen ist Modellauswahl Funktionsauswahl." Der Optimierer wählt die Funktion für uns, wenn die Daten allein keine eindeutige Lösung vorgeben.