💰 quantitative finance

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

Diese Arbeit zeigt, dass bei der Prognose von fat-tailed Finanzrenditen auf kurzen Zeithorizonten die Wahl des Output-Heads (speziell eines Gaußschen Mischmodells) die Bedeutung der Backbone-Architektur bei der Erfassung von Tail-Risiken und der Verbesserung der Verteilungsgenauigkeit signifikant übertrifft, obwohl die Backbone bei längeren Zeithorizonten entscheidender wird.

Ursprüngliche Autoren: Sichao He, Yansong Zhang

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sichao He, Yansong Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Wetter für die nächsten Tage vorherzusagen. Sie haben zwei Hauptwerkzeuge, die Ihnen dabei helfen:

Der Motor (Das Rückgrat): Das komplexe Computersystem, das alle Daten verarbeitet (Satellitenbilder, Luftdruck, Windgeschwindigkeit).
Der Bericht (Der Output-Kopf): Wie die endgültige Vorhersage an Sie präsentiert wird. Ist es nur eine einzige Temperaturzahl? Ist es eine Glockenkurve, die besagt: „Es wird wahrscheinlich 70 °F sein“? Oder ist es eine detaillierte Karte, die eine Regenwahrscheinlichkeit von 90 %, eine Tornadowahrscheinlichkeit von 5 % und eine Hitzewellenwahrscheinlichkeit von 5 % zeigt?

Dieses Paper mit dem Titel „Heads, Not Backbones“ stellt eine einfache Frage zur Vorhersage von Finanzmärkten (speziell des S&P 500 Aktienindex): Ist die Komplexität des Motors wichtiger oder die Art und Weise, wie der Bericht präsentiert wird?

Die Autoren testeten vier verschiedene, hochtechnologische „Motoren“ (moderne KI-Modelle) und kombinierten diese mit drei verschiedenen Arten von „Berichten“ (Output-Heads): Hier ist, was sie herausfanden, unter Verwendung einfacher Analogien.

1. Das „Fat-Tailed“-Problem

Finanzmärkte sind wie eine Achterbahn, die sich meist sanft bewegt, aber gelegentlich extreme Abstürze oder Sprünge erlebt. In der Statistik nennt man dies eine „fat-tailed distribution“ (verteilung mit schweren Enden).

Standardmodelle gehen davon aus, dass sich der Markt wie ein ruhiger See verhält (eine normale Glockenkurve). Sie sind großartig darin, Durchschnittstage vorherzusagen, aber schrecklich darin, Crashs oder plötzliche Boomphasen zu prognostizieren.
Das Ziel: Die Autoren wollten sehen, ob sie einen besseren „Bericht“ erstellen können, der diese extremen Risiken berücksichtigt.

2. Das Experiment: Den Bericht austauschen

Die Forscher hielten die „Motoren“ (KI-Backbones) konstant und tauschten die „Berichte“ (Heads) aus:

Der Punkt-Kopf (Die einzelne Zahl): Dies ist wie eine Wetter-App, die einfach sagt: „Morgen werden es 72 °F sein.“ Sie sagt Ihnen nichts über das Risiko eines Sturms.
Der Gauß-Kopf (Die Glockenkurve): Dieser sagt: „Morgen werden es wahrscheinlich 72 °F sein, plus oder minus 5 Grad.“ Er geht davon aus, dass die Auf- und Abstiege symmetrisch und glatt verlaufen.
Der Mischungs-Kopf (Die Multi-Mode-Karte): Dies ist das ausgeklügelte Modell. Es sagt: „Morgen werden es wahrscheinlich 72 °F sein, ABER es gibt eine kleine Chance auf einen plötzlichen Abfall auf 60 °F und eine kleine Chance auf einen Sprung auf 85 °F.“ Er nutzt eine Mischung aus verschiedenen Szenarien, um die „fat tails“ (die extremen Risiken) zu erfassen.

3. Die große Entdeckung: Der Bericht gewinnt

Die Ergebnisse waren überraschend und eindeutig: Der „Bericht“ (Head) war viel wichtiger als der „Motor“ (Backbone).

Den Motor ändern: Wenn man den besten KI-Motor genommen und ihn gegen einen etwas anderen ausgetauscht hätte, hätte sich die Vorhersagegenauigkeit kaum verändert (weniger als 1,5 % Unterschied). Es war, als würde man den Motor eines Autos von einem Toyota gegen einen von einem Honda austauschen; das Auto fährt immer noch etwa gleich.
Den Bericht ändern: Wenn man denselben Motor beibehalten, aber vom „Einzelzahl“-Bericht zum „Multi-Mode-Karten“-Bericht gewechselt hätte, verbesserte sich die Genauigkeit signifikant (um etwa 3,7 % bis 6,4 %).
Die Analogie: Es spielt keine Rolle, ob Sie einen Ferrari-Motor (die beste KI) haben, wenn Sie mit einer Augenbinde fahren (den falschen Bericht). Wenn Sie einen Standardmotor, aber ein perfektes GPS (den richtigen Bericht) haben, kommen Sie viel genauer an Ihr Ziel.

4. Warum die „Multi-Mode-Karte“ (Mischung) besonders ist

Der „Multi-Mode-Karten“-Kopf (Gaussian Mixture) war der klare Gewinner, insbesondere in Krisenzeiten (wie der Stagflation der 1970er Jahre oder dem Finanzcrash von 2008).

Die Einzelzahl ignoriert das Risiko eines Crashs.
Die Glockenkurve geht davon aus, dass ein Crash nur eine „große Schwankung“ auf einer glatten Kurve ist.
Die Multi-Mode-Karte baut speziell eine eigene „Spur“ für das Crash-Szenario ein. Sie erfasst die „fat tails“, die andere Modelle übersehen.

Das Paper stellt fest, dass dieser zusätzliche Wert vor allem dann sichtbar wird, wenn es chaotisch ist. Wenn der Markt ruhig ist, ist die ausgeklügelte Karte nicht viel besser als eine einfache Schätzung. Aber wenn der Markt in Panik gerät, ist die ausgeklügelte Karte die einzige, die die Gefahr kommen sieht.

5. Wichtige Einschränkungen (Was das Paper nicht sagt)

Die Autoren sind sehr ehrlich über die Grenzen ihrer Ergebnisse:

Es ist kein „Schnell reich werden“-System: Sie testeten eine einfache Handelsstrategie mit diesen Vorhersagen, und sie verlor Geld. Eine bessere Vorhersage des Risikos bedeutet nicht automatisch, dass man mehr Gewinn machen kann. Man braucht immer noch eine kluge Strategie, um diese Informationen zu nutzen.
Es hängt vom Zeithorizont ab: Der „Bericht“ (Head) ist der König für kurzfristige Vorhersagen (die nächsten Tage oder Monate). Für langfristige Vorhersagen (6 Monate oder ein Jahr) beginnt jedoch der „Motor“ (Backbone) wieder an Bedeutung zu gewinnen.
Es hängt vom Asset ab: Dies funktioniert gut für Aktienrenditen (die wild und „fat-tailed“ sind). Es funktioniert nicht so gut für Dinge wie Staatsanleihen-Renditen oder Devisenkurse, die eher wie ein stetiger Fluss als wie eine Achterbahn verlaufen. Für diese ist ein einfacher „Einzelzahl“-Bericht oft genauso gut.

Das Fazit

Wenn Sie versuchen, die wilden, unvorhersehbaren Schwankungen des Aktienmarktes kurzfristig vorherzusagen, besessen nicht davon, welches komplexe KI-Modell Sie verwenden. Konzentrieren Sie sich stattdessen darauf, wie Sie die Daten interpretieren.

Ein Modell zu verwenden, das in der Lage ist, mehrere mögliche Zukünfte zu beschreiben (einschließlich der schrecklichen), ist weita viel wichtiger als die Verwendung der anspruchsvollsten Computerarchitektur. Der „Head“ (der Output) dominiert das „Backbone“ (die Architektur).

Technisches Resümee: Köpfe, nicht Rückgrate

Problemstellung

In Deep-Learning-Pipelines für die Prognose von fat-tailed (fettschwänzigen) Finanzrenditen (speziell bei kurzen Zeithorizonten) herrscht die verbreitete Annahme vor, dass die architektonische Komplexität (das „Backbone“ bzw. der Rückgrat-Teil) der primäre Treiber der Performance ist. Risikomanagement, Kapitalallokation und regulatorische Stresstests erfordern jedoch Verteilungsprognosen (z. B. Value-at-Risk, Expected Shortfall) anstelle von Punktschätzungen.

Dominante Deep-Forecasting-Architekturen (TimesNet, DLinear, N-BEATS, iTransformer) werden typischerweise mit Point Heads (Punktschöpfen) ausgeliefert, die auf Huber- oder MSE-Loss trainiert wurden. Diese Verluste forcieren das bedingte Median oder den Mittelwert, sind aber keine strengen korrekten Scoring-Regeln für fat-tailed Verteilungen und versäumen es daher, das Tail-Risiko zu erfassen. Die Standardlösung besteht darin, den Point Head durch einen Density Head (Dichteschopf, z. B. ein Gaußsches Mischmodell) zu ersetzen, der mittels Negative Log-Likelihood (NLL) trainiert wird.

Dieses Paper untersucht eine fundamentale Frage: Was zählt bei fat-tailed Finanzrenditen mehr für die Vorhersagegenauigkeit – die Backbone-Architektur oder der Output Head?

Methodik

Daten und Protokoll

Datensatz: Monatliche Log-Renditen des S&P 500 (1871–2023, 1.832 Beobachtungen) aus dem Shiller-Datensatz. Die empirische Kurtosis beträgt $\approx 6$ , was signifikant höher ist als der Gaußsche Wert von 3.
Validierung: Fünf verankerte Walk-Forward-Folds mit einem Trainingsanteil von 0,50, einem Testfenster von 0,07 und einem Schritt von 0,10. Die Experimente werden über drei Random Seeds wiederholt.
Horizonte: $h \in \{1, 3, 6, 12\}$ Monate.

Experimentelles Design

Die Autoren konstruieren ein sauberes $4 \times 3$ faktorielles Experiment (12 Varianten), um die Effekte des Backbones und des Heads zu isolieren:

Backbones (4):
- TimesNet: FFT-basierte Periodenentdeckung + 2D-Konvolution.
- DLinear: Trend-/Saisonalitäts-Dekomposition + lineare Projektion.
- N-BEATS: Residual-Stack aus generischen Basis-Expansions-Blöcken.
- iTransformer: Per-Time-Step Embedding + Self-Attention über die Zeitdimension.
- Hinweis: PatchTST wurde aufgrund der Inkompatibilität mit Density Heads (Patching- $\sigma$ Problem) ausgeschlossen.
Output Heads (3): Alle teilen denselben Backbone Hidden State ( $d_{hidden}=64$ $d_{hi dd e n} = 64$ ).
- Point Head: Lineare Projektion zu $\hat{y} \in \mathbb{R}^H$ , trainiert mit Huber-Loss. (Evaluierung via Post-hoc Gaußscher Approximation für CRPS).
- Single-Gaussian Head: Lineare Projektion zu $(\mu, \sigma) \in \mathbb{R}^{2H}$ , trainiert mit Gaußscher NLL.
- Gaussian Mixture Head (GMM): Lineare Projektion zu $(\mu, \sigma, \pi) \in \mathbb{R}^{3HK}$ mit $K=4$ Komponenten, trainiert mit GMM NLL.

Metriken

Primär: Continuous Ranked Probability Score (CRPS) und CRPS-Skill-Score (relativ zu einer TimesNet Point-Baseline).
Sekundär: Pinball Loss (Quantilsverlust) bei $\tau \in \{0,05, 0,95\}$ , prädiktive Intervallabdeckung (Predictive-Interval Coverage) und Mean Squared Error (MSE).
Statistische Tests: Hansen–Lunde–Nason Model Confidence Set (MCS) auf quadratischen Fehlern; Diebold–Mariano gepaarte t-Tests auf pro-Fold CRPS-Differenzen.

Kernergebnisse

1. Der Head dominiert den Backbone (kurze Horizonte)

Bei monatlichen S&P 500 Renditen auf kurzen Horizonten ( $h < 6$ ) ist der Output Head der dominante Faktor:

Strikter Gradient: Der Übergang von Point $\to$ $\to$ Gaussian $\to$ $\to$ GMM liefert eine strikte Verbesserung des CRPS.
- Point $\to$ Gaussian: $\sim +1,3\%$ Verbesserung.
- Gaussian $\to$ GMM: $\sim +2,4\%$ Verbesserung.
- Gesamt Point $\to$ GMM: $\sim +3,7\%$ Verbesserung.
Backbone-Impact: Ein Wechsel der Backbones bei konstantem Head verändert den CRPS um weniger als 1,5% in der Point-Head-Zeile. Selbst bei Density Heads ist die Backbone-Spannweite (max. 5,1% getrieben durch N-BEATS) im Allgemeinen kleiner als der Head-Gradient.
MCS-Ergebnisse: Das Model Confidence Set auf quadratischen Fehlern schließt keine der 12 Varianten auf dem 5%-Niveau aus. Weder der Backbone noch der Head unterscheiden Modelle hinsichtlich der Punktprognose-Genauigkeit (MSE). Der Head differenziert Modelle lediglich bei distributionellen Metriken (CRPS, Pinball, Coverage).

2. Der " $h$ -Split" (Horizontabhängigkeit)

Die Dominanz des Heads ist horizontabhängig:

Kurze Horizonte ( $h \le 3$ ): Der Head dominiert. GMM-Heads auf tiefen Backbones übertreffen klassische Baselines.
Lange Horizonte ( $h \ge 6$ ): Der Backbone übernimmt wieder die Führung. Klassische rekursive Modelle (GARCH, ARIMA) mit GMM-Heads kollabieren (z. B. fällt der GARCHgmm-CRPS-Skill bei $h=6$ auf $-50\%$ ), da ihre Volatilitätsprognosen zum unbedingten Mittelwert zurückkehren. Tiefe Backbones mit Multi-Step Direct Training halten die Performance und übertreffen klassische Modelle bei $h=6$ um etwa 55 Prozentpunkte.

3. Cross-Asset-Generalisierung

Der Head-Gradient ist nicht universell; er hängt vom zugrunde liegenden Datengenerierungsprozess ab:

Return-ähnliche Prozesse: (Monatliche/Tägliche S&P 500 Renditen, Tägliche VIX). Der GMM-Head ist konsistent am besten.
- VIX-Fall: Ein Single-Gaussian-Head versagt katastrophal ( $-24,4\%$ ) beim VIX aufgrund extremer Rechts-Tail-Spikes. Der GMM ( $K=4$ ) erfasst diese multimodalen Regime erfolgreich.
Nicht-Return-ähnliche Prozesse: (Staatsanleihen-Renditen, EUR/USD). Diese sind mittelwertrevertierend um strukturelle Ziele. Hier fügt der GMM-Head lediglich Parameterrauschen ohne strukturellen Nutzen hinzu und schneidet oft schlechter ab als der Point Head.

4. Wert für das Risikomanagement

Kalibrierung: GMM-Heads bieten eine überlegene Kalibrierung (90% Coverage $\approx 0,88\text{--}0,93$ ) im Vergleich zu Point Heads (die aufgrund von Post-hoc Varianzinflation bei 0,96 über-abdecken).
Tail-Risiko: Der inkrementelle Wert der Mischung gegenüber einer einzelnen Gaußschen Verteilung ist in Hochvolatilitätsregimen am größten (z. B. $+13,9\%$ Verbesserung während der Stagflation der 1970er Jahre).
Regulatorische Metriken: N-BEATS mit einem GMM-Head besteht den Kupiec Unconditional Coverage Test bei 5%, 2,5% und 1% VaR-Niveaus und erzielt den niedrigsten Expected Shortfall (ES) unter den getesteten Modellen.
Limitierung: Am extremen 1%-VaR-Schwellenwert unterschätzt der beschränkte $K=4$ GMM das Tail-Risiko im Vergleich zum Point Head (aufgrund der Gaußschen Komponenten-Tails), was auf die Notwendigkeit von GMM+EVT-Hybriden für extreme Quantile hindeutet.

5. Handelsstrategie-Backtest

Eine naive Mean-Reversion-Strategie unter Verwendung dieser Dichteprognosen verliert Geld bei allen Varianten (annualisierte Renditen zwischen $-41\%$ und $-50\%$ ). Dies bestätigt, dass verbesserte distributional Forecasts zwar für das Risikomanagement notwendig, aber nicht automatisch Voraussetzung für Handels-Alpha sind, ohne dass ein anspruchsvolles Position-Sizing und die Modellierung von Transaktionskosten erfolgen.

Signifikanz und Behauptungen

Das Paper kommt zu dem Schluss, dass bei fat-tailed Finanzrenditen auf kurzen Horizonten die Engineering-Anstrengung auf den Output Head konzentriert werden sollte, nicht auf das Backbone.

Architektonische Neutralität: Für Punktprognosen sind tiefe Backbones auf diesen Daten statistisch nicht unterscheidbar. Das „Signal“, das Backbones unterscheidet, liegt unter der Noise-Schwelle von Punktgenauigkeitsmetriken.
Priorität des Loss-Funktions: Der Gewinn resultiert aus der Verwendung einer streng korrekten Scoring-Regel (GMM NLL), die Tail-Miskalibrierung bestraft, während Huber/MSE-Verluste dies ignorieren. Der GMM-Head erfasst die exzessive Kurtosis und das Tail-Risiko, die eine unimodale Gaußsche Verteilung nicht erfassen kann.
Kontextuelle Validität: Die Behauptung der „Head-Dominanz“ gilt spezifisch für return-ähnliche, fat-tailed Prozesse. Sie gilt nicht für nicht-stationäre, mittelwertrevertierende Serien wie Renditen oder FX, bei denen der Point Head konkurrenzfähig bleibt.
Praktische Implikation: Für das Risikomanagement (VaR, ES, Kapitalanforderungen) ist der Wechsel von einem Standard-Point-Head zu einem GMM-Head eine hochgradig wertvolle und kostengünstige Intervention (eine „Zwei-Zeilen-Änderung“), die in Krisenzeiten echten Nutzen bringt, während ein Wechsel der Backbones vernachlässigbare Erträge liefert.

Das Paper stellt explizit klar, dass es kein neues Backbone, keine neue Handelsstrategie und keine universelle Lösung für alle Zeitreihen vorschlägt. Es etabliert eine Randbedingung: Bei fat-tailed Renditen dominiert der Head; bei anderen Prozessen tut er das nicht.