💰 quantitative finance

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

Dit artikel toont aan dat voor het voorspellen van financiële rendementen met zware staarten op korte termijn, de keuze van de outputkop (specifiek een Gaussische mengverdeling) de impact van de backbone-architectuur aanzienlijk overtreft wat betreft het vastleggen van staartrisico en het verbeteren van de distributionele nauwkeurigheid, hoewel de backbone belangrijker wordt bij langere tijdshorizonten.

Oorspronkelijke auteurs: Sichao He, Yansong Zhang

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sichao He, Yansong Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer voor de komende paar dagen probeert te voorspellen. Je hebt twee belangrijke hulpmiddelen om je bij te staan:

De Motor (De Ruggegraat): Het complexe computersysteem dat alle gegevens verwerkt (satellietbeelden, luchtdruk, windsnelheid).
Het Rapport (De Output Head): Hoe de uiteindelijke voorspelling aan jou wordt gepresenteerd. Is het slechts één temperatuurgetal? Is het een klokvormige curve die zegt: "het zal waarschijnlijk 70°F zijn"? Of is het een gedetailleerde kaart die een kans van 90% op regen laat zien, een kans van 5% op een tornado en een kans van 5% op een hittegolf?

Dit artikel, getiteld "Heads, Not Backbones," stelt een eenvoudige vraag over het voorspellen van financiële markten (specifiek de S&P 500 aandelenindex): Is de complexiteit van de Motor belangrijker, of is de manier waarop we het Rapport presenteren belangrijker?

De auteurs testten vier verschillende, hoogtechnologische "Motoren" (moderne AI-modellen) en combineerden deze met drie verschillende soorten "Rapporten" (Output Heads): Hier is wat ze vonden, gebruikmakend van eenvoudige analogieën.

1. Het "Fat-Tailed" Probleem

Financiële markten zijn als een achtbaan die meestal rustig beweegt, maar af en toe extreme dalingen of pieken kent. In de statistiek wordt dit een "fat-tailed" distributie genoemd.

Standaardmodellen gaan ervan uit dat de markt zich gedraagt als een kalm meer (een normale klokvormige curve). Ze zijn geweldig in het voorspellen van gemiddelde dagen, maar verschrikkelijk in het voorspellen van crashes of plotselinge booms.
Het Doel: De auteurs wilden kijken of ze een beter "Rapport" konden bouwen dat rekening houdt met deze extreme risico's.

2. Het Experiment: Het Rapport Vervangen

De onderzoekers hielden de "Motoren" (AI-backbones) constant en vervingen de "Rapporten" (heads):

De Point Head (Het Enkele Getal): Dit is als een weer-app die alleen zegt: "Morgen wordt het 72°F." Het vertelt je niets over het risico op een storm.
De Gaussian Head (De Klokvormige Curve): Deze zegt: "Morgen zal het waarschijnlijk 72°F zijn, plus of min 5 graden." Het gaat ervan uit dat de op en neer bewegingen symmetrisch en vloeiend zijn.
De Mixture Head (De Multi-Mode Kaart): Dit is de luxe versie. Deze zegt: "Morgen zal het waarschijnlijk 72°F zijn, MAAR er is een kleine kans op een plotselinge daling naar 60°F en een kleine kans op een piek naar 85°F." Het gebruikt een mix van verschillende scenario's om de "fat tails" (de extreme risico's) te vangen.

3. De Grote Ontdekking: Het Rapport Wint

De resultaten waren verrassend en duidelijk: Het "Rapport" (Head) was veel belangrijker dan de "Motor" (Backbone).

De Motor Veranderen: Als je de beste AI-motor nam en deze verving door een iets andere, veranderde de nauwkeurigheid van de voorspelling nauwelijks (minder dan 1,5% verschil). Het was alsof je de motor van een Toyota verving door die van een Honda; de auto rijdt nog steeds ongeveer hetzelfde.
Het Rapport Veranderen: Als je dezelfde motor behield maar overstapte van het "Enkele Getal" rapport naar het "Multi-Mode Kaart" rapport, verbeterde de nauwkeurigheid aanzienlijk (met ongeveer 3,7% tot 6,4%).
De Analogie: Het maakt niet uit of je een Ferrari-motor hebt (de beste AI) als je met een blinddoek op rijdt (het verkeerde rapport). Als je een standaard motor hebt maar een perfecte GPS (het juiste rapport), zul je je bestemming veel nauwkeuriger bereiken.

4. Waarom de "Multi-Mode Kaart" (Mixture) Speciaal is

De "Multi-Mode Kaart" (Gaussian Mixture) was de duidelijke winnaar, vooral tijdens crisisperioden (zoals de stagflatie in de jaren 70 of de financiële crash van 2008).

Het Enkele Getal negeert het risico op een crash.
De Klokvormige Curve gaat ervan uit dat een crash slechts een "grote fluctuatie" is op een vloeiende curve.
De Multi-Mode Kaart bount specifiek een aparte "baan" voor het crash-scenario. Het vangt de "fat tails" die andere modellen missen.

De paper merkt op dat deze extra waarde het meest zichtbaar is wanneer de zaken chaotisch zijn. Wanneer de markt rustig is, is de fancy kaart niet veel beter dan een simpele gok. Maar wanneer de markt in paniek is, is de fancy kaart de enige die het gevaar ziet aankomen.

5. Belangrijke Kanttekeningen (Wat de Paper Niet Zegt)

De auteurs zijn zeer eerlijk over de beperkingen van hun bevindingen:

Het is geen "Snel Rijk Worden"-schema: Ze testten een eenvoudige handelsstrategie met deze voorspellingen, en die verloor geld. Een betere voorspelling van risico hebben betekent niet automatisch dat je meer winst kunt maken. Je hebt nog steeds een slimme strategie nodig om die informatie te gebruiken.
Het hangt af van de tijdshorizon: De "Rapport" (Head) is koning voor kortetermijnvoorspellingen (de komende dagen of maanden). Echter, voor langetermijnvoorspellingen (6 maanden of een jaar) begint de "Motor" (Backbone) weer belangrijker te worden.
Het hangt af van het activum: Dit werkt goed voor aandelenrendementen (die wild en fat-tailed zijn). Het werkt niet zo goed voor zaken als staatsobligaties of wisselkoersen, die zich meer gedragen als een gestage rivier dan als een achtbaan. Voor die zaken is een simpel "Enkele Getal" rapport vaak net zo goed.

De Kern van het Verhaal

Als je probeert de wilde, onvoorspelbare schommelingen van de aandelenmarkt op korte termijn te voorspellen, obsedeer dan niet over welke complexe AI-modellen je gebruikt. Focus in plaats daarvan op hoe je de gegevens interpreteert.

Het gebruik van een model dat meerdere mogelijke toekomsten kan beschrijven (inclusclusief de enge scenario's) is veel belangrijker dan het gebruik van de meest geavanceerde computerarchitectuur. De "Head" (de output) domineert de "Backbone" (de architectuur).

Technische Samenvatting: Koppen, Geen Ruggen

Probleemstelling

In deep learning-pipelines voor het voorspellen van fat-tailed financiële rendementen (specifiek op korte termijn) bestaat een heersende aanname dat architecturale complexiteit (de "backbone") de primaire drijfveer is voor prestaties. Echter, risicobeheer, kapitaalallocatie en regelgevende stresstests vereisen distributionele voorspellingen (bijv. Value-at-Risk, Expected Shortfall) in plaats van punt-schattingen.

Dominante deep forecasting-architecturen (TimesNet, DLinear, N-BEATS, iTransformer) worden doorgaans geleverd met punt-koppen (point heads) die getraind zijn op Huber- of MSE-verlies. Deze verliezen stimuleren de voorwaardelijke mediaan of het gemiddelde, maar zijn geen strikt passende scoringsregels (proper scoring rules) voor fat-tailed distributies, waardoor ze falen in het vastleggen van staartrisico. De standaardoplossing is om de punt-kop te vervangen door een dichtheidskop (bijv. een Gaussian Mixture Model) getraind via Negative Log-Likelihood (NLL).

Dit paper onderzoekt een fundamentele vraag: bij fat-tailed financiële rendementen, wat is belangrijker voor voorspellende nauwkeurigheid: de backbone-architectuur of de output-kop?

Methodologie

Data en Protocol

Dataset: Maandelijkse log-rendementen van de S&P 500 (1871–2023, 1.832 observaties) uit de Shiller-dataset. Empirische kurtosis is $\approx 6$ , aanzienlijk hoger dan de Gaussische waarde van 3.
Validatie: Vijf geankerde walk-forward folds met een trainingsfractie van 0,50, een testvenster van 0,07 en een stap van 0,10. Experimenten worden herhaald over drie willekeurige seeds.
Horizonten: $h \in \{1, 3, 6, 12\}$ maanden.

Experimenteel Ontwerp

De auteurs construeren een zuiver $4 \times 3$ factorieel experiment (12 varianten) om de effecten van de backbone en de kop te isoleren:

Backbones (4):
- TimesNet: FFT-gebaseerde periodiciteitsdetectie + 2D-convolutie.
- DLinear: Trend/seizoensgebonden decompositie + lineaire projectie.
- N-BEATS: Residuele stapel van generieke basis-expansie blokken.
- iTransformer: Per tijdstap embedding + zelf-aandacht over de tijddimensie.
- Opmerking: PatchTST werd uitgesloten vanwege incompatibiliteit met dichtheidskoppen (patching- $\sigma$ probleem).
Output Koppen (3): Alle delen dezelfde backbone verborgen toestand ( $d_{hidden}=64$ $d_{hi dd e n} = 64$ ).
- Punt-kop: Lineaire projectie naar $\hat{y} \in \mathbb{R}^H$ , getraind met Huber-verlies. (Geëvalueerd via post-hoc Gaussische benadering voor CRPS).
- Single-Gaussian Kop: Lineaire projectie naar $(\mu, \sigma) \in \mathbb{R}^{2H}$ , getraind met Gaussische NLL.
- Gaussian Mixture Kop (GMM): Lineaire projectie naar $(\mu, \sigma, \pi) \in \mathbb{R}^{3HK}$ met $K=4$ componenten, getraind met GMM NLL.

Metrieken

Primair: Continuous Ranked Probability Score (CRPS) en CRPS-Skill-Score (relatief ten opzichte van een TimesNet punt-baseline).
Secundair: Pinball loss (kwantielverlies) bij $\tau \in \{0,05, 0,95\}$ , predictive-interval coverage, en Mean Squared Error (MSE).
Statistische Tests: Hansen–Lunde–Nason Model Confidence Set (MCS) op kwadratische fouten; Diebold–Mariano gepaarde t-testen op per-fold CRPS-verschillen.

Belangrijkste Resultaten

1. De Kop Domineert de Backbone (Korte Horizonten)

Op maandelijkse S&P 500 rendementen bij korte horizonten ( $h < 6$ ), is de output-kop de dominante factor:

Strikte Gradiënt: De beweging van Punt $\to$ $\to$ Gaussian $\to$ $\to$ GMM levert een strikte verbetering op in CRPS.
- Punt $\to$ Gaussian: $\sim +1,3\%$ verbetering.
- Gaussian $\to$ GMM: $\sim +2,4\%$ verbetering.
- Totaal Punt $\to$ GMM: $\sim +3,7\%$ verbetering.
Backbone Impact: Het wisselen van backbones terwijl de kop constant wordt gehouden, verandert de CRPS met minder dan 1,5% op de punt-kop rij. Zelfs op dichtheidskoppen is de backbone-spreiding (max 5,1% gedreven door N-BEATS) over het algemeen kleiner dan de kop-gradiënt.
MCS Resultaten: De Model Confidence Set op kwadratische fouten sluit geen van de 12 varianten uit op het 5%-niveau. Noch de backbone, noch de kop onderscheidt modellen op punt-voorspellingsnauwkeurigheid (MSE). De kop onderscheidt modellen alleen op distributionele metrieken (CRPS, Pinball, coverage).

2. De "h-Split" (Horizon Afhankelijkheid)

De dominantie van de kop is horizon-afhankelijk:

Korte Horizonten ( $h \le 3$ ): De kop domineert. GMM-koppen op diepe backbones presteren beter dan klassieke baselines.
Lange Horizonten ( $h \ge 6$ ): De backbone neemt de leiding weer over. Klassieke recursieve modellen (GARCH, ARIMA) met GMM-koppen storten in (bijv. GARCHgmm daalt naar $-50\%$ CRPS skill bij $h=6$ ) omdat hun volatiliteitsvoorspellingen terugkeren naar het onvoorwaardelijke gemiddelde. Diepe backbones met multi-step directe training behouden prestaties en presteren beter dan klassieke modellen met $\sim 55$ procentpunten bij $h=6$ .

3. Cross-Asset Generalisatie

De kop-gradiënt is niet universeel; het hangt af van het data-genererende proces:

Return-achtige Processen: (Maandelijkse/Dagelijkse S&P 500, Dagelijkse VIX). De GMM-kop is consistent het beste.
- VIX Case: Een enkele Gaussian-kop faalt catastrofaal ( $-24,4\%$ ) op de VIX vanwege extreme rechts-staart uitschieters. De GMM ( $K=4$ ) vangt deze multimodale regimes succesvol op.
Niet-Return-achtige Processen: (Treasury yields, EUR/USD). Deze zijn mean-reverting rond structurele targets. Hier voegt de GMM-kop parameterruis toe zonder structureel voordeel, en presteert vaak slechter dan de punt-kop.

4. Waarde voor Risicobeheer

Kalibratie: GMM-koppen bieden superieure kalibratie (90% coverage $\approx 0,88\text{--}0,93$ ) vergeleken met punt-koppen (die over-coveren bij 0,96 door post-hoc variantie-inflatie).
Staartrisico: De incrementele waarde van de mixture over een enkele Gaussian is het grootst in hoog-volatiele regimes (bijv. $+13,9\%$ verbetering tijdens de stagflatie van de jaren 1970).
Regulatorische Metrieken: N-BEATS met een GMM-kop slaagt voor de Kupiec unconditional coverage test op 5%, 2,5% en 1% VaR-niveaus en behaalt de laagste Expected Shortfall (ES) onder de geteste modellen.
Beperking: Bij de extreme 1%-VaR drempel, onderschat de begrensde $K=4$ GMM het staartrisico vergeleken met de punt-kop (vanwege de Gaussian component tails), wat suggereert dat een behoefte is aan GMM+EVT hybriden voor extreme kwantielen.

5. Handelsstrategie Backtest

Een naïeve mean-reversion strategie gebruikmakend van deze dichtheidsvoorspellingen verliest geld op alle varianten (geannualiseerde rendementen $-41\%$ tot $-50\%$ ). Dit bevestigt dat verbeterde distributionele voorspellingen noodzakelijk zijn voor risicobeheer, maar niet automatisch vertalen naar handels-alfa zonder geavanceerde position sizing en transactiekostenmodellering.

Betekenis en Claims

Het paper concludeert dat voor fat-tailed financiële rendementen op korte termijn, de inspanning voor engineering het beste besteed kan worden aan de output-kop, niet aan de backbone.

Architecturale Neutraliteit: Voor punt-voorspelling zijn diepe backbones statistisch ononderscheidbaar op deze data. Het "signaal" dat backbones onderscheidt, ligt onder de ruisvloer van punt-nauwkeurigheidsmetrieken.
Prioriteit van Verliesfunctie: De winst komt voort uit het gebruik van een strikt passende scoring regel (GMM NLL) die staart-miscalibratie bestraft, wat Huber/MSE verlies negeert. De GMM-kop vangt excess kurtosis en staartrisico op dat unimodale Gaussians niet kunnen vangen.
Contextuele Geldigheid: De claim van "kop-dominantie" geldt specifief voor return-achtige, fat-tailed processen. Dit geldt niet voor niet-stationaire, mean-reverting series zoals yields of FX, waar de punt-kop competitief blijft.
Praktische Implicatie: Voor risicobeheer (VaR, ES, kapitaalcharges), is het wisselen van een standaard punt-kop naar een GMM-kop een hoogwaardige, laag-kost interventie (een "2-regels verandering") die echte waarde oplevert tijdens crisisperioden, terwijl het wisselen van backbones verwaarloosbare rendementen oplevert.

Het paper stelt expliciet dat het geen nieuwe backbone, een nieuwe handelsstrategie, of een universele oplossing voor alle tijdreeksen voorstelt. Het stelt een randvoorwaarde vast: bij fat-tailed rendementen domineert de kop; bij andere processen doet zij dat niet.