💰 quantitative finance

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

Cet article démontre que pour la prévision de rendements financiers à queues épaisses à des horizons courts, le choix de la tête de sortie (spécifiquement un modèle de mélange gaussien) l'emporte significativement sur l'impact de l'architecture du backbone pour capturer le risque de queue et améliorer la précision distributionnelle, bien que le backbone devienne plus critique à des horizons temporels plus longs.

Auteurs originaux : Sichao He, Yansong Zhang

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sichao He, Yansong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo pour les prochains jours. Vous disposez de deux outils principaux pour vous aider :

Le Moteur (Le Dos/La Structure) : Le système informatique complexe qui traite toutes les données (images satellites, pression barométrique, vitesse du vent).
Le Rapport (La Tête de Sortie) : La façon dont la prédiction finale vous est présentée. S'agit-il d'un simple chiffre de température ? Est-ce une courbe en cloche disant « il fera probablement 22 °C » ? Ou est-ce une carte détaillée montrant 90 % de chances de pluie, 5 % de chances de tornade et 5 % de chances de vague de chaleur ?

Cet article, intitulé « Heads, Not Backbones » (Les Têtes, pas les Dos), pose une question simple sur la prédiction des marchés financiers (plus précisément l'indice boursier S&P 500) : La complexité du Moteur importe-t-elle plus, ou la façon dont le Rapport est présenté importe-t-elle plus ?

Les auteurs ont testé quatre différents « Moteurs » de haute technologie (des modèles d'IA modernes) et les ont combinés avec trois types différents de « Rapports » (Têtes de sortie). Voici ce qu'ils ont découvert, en utilisant des analogies simples.

1. Le problème des « Queues Lourdes »

Les marchés financiers sont comme des montagnes russes qui bougent généralement en douceur, mais qui connaissent occasionnellement des chutes ou des pics terrifiants. En statistiques, on appelle cela une distribution à « queues lourdes » (fat-tailed).

Les modèles standards supposent que le marché se comporte comme un lac calme (une courbe en cloche normale). Ils sont excellents pour prédire les journées moyennes, mais terribles pour prédire les krachs ou les envolées soudaines.
L'Objectif : Les auteurs voulaient voir s'ils pouvaient construire un meilleur « Rapport » qui prend en compte ces risques extrêmes.

2. L'Expérience : Changer le Rapport

Les chercheurs ont gardé les « Moteurs » (les structures d'IA) constants et ont remplacé les « Rapports » (les têtes) :

La Tête Ponctuelle (Le Chiffre Unique) : C'est comme une application météo qui dit simplement : « Demain, il fera 22 °C ». Elle ne vous informe pas du risque d'orage.
La Tête Gaussienne (La Courbe en Cloche) : Elle dit : « Demain, il fera probablement 22 °C, à plus ou moins 5 degrés ». Elle suppose que les hauts et les bas sont symétriques et fluides.
La Tête de Mélange (La Carte Multi-Modale) : C'est la version sophistiquée. Elle dit : « Demain, il fera probablement 22 °C, MAIS il y a une petite chance d'une chute soudaine à 15 °C et une petite chance d'un pic à 30 °C ». Elle utilise un mélange de différents scénarios pour capturer les « queues lourdes » (les risques extrêmes).

3. La Grande Découverte : Le Rapport Gagne

Les résultats ont été surprenants et clairs : Le « Rapport » (la Tête) importait bien plus que le « Moteur » (le Dos).

Changer le Moteur : Si vous preniez le meilleur moteur d'IA et que vous le remplaciez par un autre légèrement différent, la précision de la prédiction changeait à peine (moins de 1,5 % de différence). C'était comme échanger un moteur de Toyota contre un moteur de Honda dans une voiture ; la voiture roule à peu près de la même manière.
Changer le Rapport : Si vous gardiez le même moteur mais que vous passiez d'un rapport à « Chiffre Unique » à un rapport « Multi-Mode », la précision s'améliorait de manière significative (environ 3,7 % à 6,4 %).
L'Analogie : Peu importe si vous avez un moteur de Ferrari (la meilleure IA) si vous conduisez avec un bandeau sur les yeux (le mauvais rapport). Si vous avez un moteur standard mais un GPS parfait (le bon rapport), vous arriverez à destination avec beaucoup plus de précision.

4. Pourquoi la « Carte Multi-Modale » (le Mélange) est spéciale

La « Carte Multi-Modale » (le mélange gaussien) a été la grande gagnante, surtout pendant les périodes de crise (comme la stagflation des années 1970 ou le krach financier de 2008).

Le Chiffre Unique ignore le risque de krach.
La Courbe en Cloche suppose qu'un krach n'est qu'une « grande fluctuation » sur une courbe lisse.
La Carte Multi-Modale crée spécifiquement une « voie » séparée pour le scénario de krach. Elle capture les « queues lourdes » que les autres modèles manquent.

L'article note que cette valeur supplémentaire est plus visible quand les choses sont chaotiques. Quand le marché est calme, la carte sophistiquée n'est pas beaucoup mieux qu'une simple supposition. Mais quand le marché est en panique, la carte sophistiquée est la seule à voir le danger arriver.

5. Avertissements Importants (Ce que l'article ne dit pas)

Les auteurs sont très honnêtes sur les limites de leurs conclusions :

Ce n'est pas un plan pour « s'enrichir rapidement » : Ils ont testé une stratégie de trading simple utilisant ces prédictions, et elle a perdu de l'argent. Avoir une meilleure prédiction du risque ne signifie pas automatiquement que vous pouvez réaliser plus de profits. Vous avez toujours besoin d'une stratégie intelligente pour utiliser cette information.
Cela dépend de l'horizon temporel : Le « Rapport » (la Tête) est le roi pour les prédictions à court terme (prochains jours ou mois). Cependant, pour les prédictions à long terme (6 mois ou un an), le « Moteur » (le Dos) redevient plus important.
Cela dépend de l'actif : Cela fonctionne très bien pour les rendements boursiers (qui sont sauvages et à queues lourdes). Cela ne fonctionne pas aussi bien pour des choses comme les taux des obligations du Trésor ou les taux de change, qui se comportent plus comme un fleuve régulier qu'une montagne russe. Pour ces éléments, un rapport à « Chiffre Unique » est souvent tout aussi efficace.

L'Essentiel à Retenir

Si vous essayez de prédire les mouvements sauvages et imprévisibles de la bourse à court terme, ne soyez pas obsédé par le modèle d'IA complexe que vous utilisez. Concentrez-vous plutôt sur la façon dont vous interprétez les données.

Utiliser un modèle capable de décrire plusieurs futurs possibles (y compris les plus effrayants) est bien plus important que d'utiliser l'architecture informatique la plus sophistiquée. La « Tête » (la sortie) domine le « Dos » (l'architecture).

Résumé Technique : Têtes, pas Colonnes Vertébrales

Énoncé du Problème

Dans les pipelines de deep learning pour la prévision de rendements financiers à queues épaisses (spécifiquement pour les horizons de court terme), une hypothèse prévaut selon laquelle la complexité architecturale (la « colonne vertébrale » ou backbone) est le principal moteur de la performance. Cependant, la gestion des risques, l'allocation de capital et les tests de résistance réglementaires nécessitent des prévisions distributionnelles (ex: Value-at-Risk, Expected Shortfall) plutôt que des estimations ponctuelles.

Les architectures de prévision profonde dominantes (TimesNet, DLinear, N-BEATS, iTransformer) sont généralement livrées avec des têtes ponctuelles entraînées sur une perte de Huber ou MSE. Ces pertes incitent à la médiane conditionnelle ou à la moyenne, mais ne sont pas des règles de score strictement propres pour les distributions à queues épaisses, échouant ainsi à capturer le risque de queue. Le remède standard consiste à remplacer la tête ponctuelle par une tête de densité (ex: Modèle de Mélange Gaussien - GMM) entraînée via la Négative Log-Vraisemblance (NLL).

Cet article examine une question fondamentale : sur les rendements financiers à queues épaisses, qu'est-ce qui importe le plus pour la précision prédictive : l'architecture de la colonne vertébrale ou la tête de sortie ?

Méthodologie

Données et Protocole

Jeu de données : Rendements logarithmiques mensuels du S&P 500 (1871–2023, 1 832 observations) provenant du dataset Shiller. La kurtosis empirique est $\approx 6$ , nettement supérieure à la valeur gaussienne de 3.
Validation : Cinq plis de type walk-forward ancrés avec une fraction d'entraînement de 0,50, une fenêtre de test de 0,07 et un pas de 0,10. Les expériences sont répétées sur trois graines aléatoires (seeds).
Horizons : $h \in \{1, 3, 6, 12\}$ mois.

Design Expérimental

Les auteurs construisent une expérience factorielle propre de $4 \times 3$ (12 variantes) pour isoler les effets de la colonne vertébrale et de la tête :

Colonnes Vertébrales (4) :
- TimesNet : Découverte de périodicité basée sur la FFT + convolution 2D.
- DLinear : Décomposition tendance/saisonnalité + projection linéaire.
- N-BEATS : Empilement résiduel de blocs d'expansion de base génériques.
- iTransformer : Embedding par pas de temps + auto-attention à travers la dimension temporelle.
- Note : PatchTST a été exclu en raison d'une incompatibilité avec les têtes de densité (problème de patching- $\sigma$ ).
Têtes de Sortie (3) : Toutes partagent le même état caché de la colonne vertébrale ( $d_{hidden}=64$ $d_{hi dd e n} = 64$ ).
- Tête Ponctuelle : Projection linéaire vers $\hat{y} \in \mathbb{R}^H$ , entraînée avec la perte de Huber. (Évaluée via une approximation gaussienne post-hoc pour le CRPS).
- Tête Gaussienne Unique : Projection linéaire vers $(\mu, \sigma) \in \mathbb{R}^{2H}$ , entraînée avec la NLL Gaussienne.
- Tête de Mélange Gaussien (GMM) : Projection linéaire vers $(\mu, \sigma, \pi) \in \mathbb{R}^{3HK}$ avec $K=4$ composantes, entraînée avec la NLL du GMM.

Métriques

Primaires : Score de Probabilité Classé Continu (CRPS) et Score de Compétence CRPS (relatif à une référence ponctuelle de TimesNet).
Secondaires : Perte de pinball (perte de quantile) à $\tau \in \{0,05, 0,95\}$ , couverture de l'intervalle prédictif, et Erreur Quadratique Moyenne (MSE).
Tests Statistiques : Ensemble de Modèles de Confiance (MCS) de Hansen–Lunde–Nason sur les erreurs au carré ; tests $t$ appariés de Diebold–Mariano sur les différentiels de CRPS par pli.

Résultats Clés

1. La Tête Domine la Colonne Vertébrale (Horizons Courts)

Sur les rendements mensuels du S&P 500 à des horizons courts ( $h < 6$ ), la tête de sortie est le facteur dominant :

Gradient Strict : Passer de Ponctuelle $\to$ $\to$ Gaussienne $\to$ $\to$ GMM produit une amélioration stricte du CRPS.
- Ponctuelle $\to$ Gaussienne : $\sim +1,3\%$ d'amélioration.
- Gaussienne $\to$ GMM : $\sim +2,4\%$ d'amélioration.
- Total Ponctuelle $\to$ GMM : $\sim +3,7\%$ d'amélioration.
Impact de la Colonne Vertébrale : Changer de colonne vertébrale tout en maintenant la tête constante modifie le CRPS de moins de 1,5% sur la ligne de la tête ponctuelle. Même sur les têtes de densité, l'écart entre les colonnes vertébrales (max 5,1% piloté par N-BEATS) est généralement inférieur au gradient de la tête.
Résultats MCS : L'Ensemble de Modèles de Confiance sur les erreurs au carré n'exclut aucune des 12 variantes au seuil de 5%. Ni la colonne vertébrale ni la tête ne distinguent les modèles sur la précision de la prédiction ponctuelle (MSE). La tête ne sépare les modèles que sur les métriques distributionnelles (CRPS, Pinball, couverture).

2. La "Division par h" (Dépendance de l'Horizon)

La dominance de la tête dépend de l'horizon :

Horizons Courts ( $h \le 3$ ) : La tête domine. Les têtes GMM sur des colonnes vertébrales profondes surpassent les bases classiques.
Horils Longs ( $h \ge 6$ ) : La colonne vertébrale reprend l'avantage. Les modèles récursifs classiques (GARCH, ARIMA) avec des têtes GMM s'effondrent (ex: GARCHgmm chute à $-50\%$ de compétence CRPS à $h=6$ ) car leurs prévisions de volatilité reviennent à la moyenne inconditionnelle. Les colonnes vertébrales profondes avec un entraînement direct multi-étapes maintiennent la performance, surpassant les modèles classiques d'environ 55 points de pourcentage à $h=6$ .

3. Généralisation Inter-Actifs

Le gradient de la tête n'est pas universel ; il dépend du processus générateur de données :

Processus de type Rendement : (S&P 500 mensuel/quotidien, VIX quotidien). La tête GMM est systématiquement la meilleure.
- Cas du VIX : Une tête gaussienne unique échoue de manière catastrophique ( $-24,4\%$ ) sur le VIX en raison des pics extrêmes de la queue droite. Le GMM ( $K=4$ ) capture avec succès ces régimes multimodaux.
Processus de type Non-Rendement : (Rendements obligataires, EUR/USD). Ce sont des processus qui reviennent à la moyenne autour de cibles structurelles. Ici, la tête GMM ajoute du bruit de paramètre sans bénéfice structurel, et performe souvent moins bien que la tête ponctuelle.

4. Valeur pour la Gestion des Risques

Calibration : Les têtes GMM offrent une meilleure calibration (couverture 90% $\approx 0,88\text{--}0,93$ ) par rapport aux têtes ponctuelles (qui sur-couvrent à 0,96 en raison d'une inflation de variance post-hoc).
Risque de Queue : La valeur incrémentale du mélange par rapport à une gaussienne unique est la plus grande dans les régimes de haute volatilité (ex: $+13,9\%$ d'amélioration pendant la stagflation des années 1970).
Métriques Réglementaires : N-BEATS avec une tête GMM passe le test de couverture inconditionnelle de Kupiec aux niveaux VaR de 5 %, 2,5 % et 1 %, et obtient l'Expected Shortfall (ES) le plus bas parmi les modèles testés.
Limite : Au seuil extrême de la VaR à 1 %, le GMM borné ( $K=4$ ) sous-estime le risque de queue par rapport à la tête ponctuelle (en raison des queues des composantes gaussiennes), suggérant un besoin d'hybrides GMM+EVT pour les quantiles extrêmes.

5. Backtest de Stratégie de Trading

Une stratégie de retour à la moyenne naïve utilisant ces prévisions de densité perd de l'argent sur toutes les variantes (rendements annualisés de $-41\%$ à $-50\%$ ). Cela confirme que les prévisions distributionnelles améliorées sont nécessaires pour la gestion des risques, mais ne se traduisent pas automatiquement en alpha de trading sans une gestion sophistiquée de la taille des positions et des coûts de transaction.

Signification et Revendications

L'article conclut que pour les rendements financiers à queues épaisses à court terme, l'effort d'ingénierie doit être consacré à la tête de sortie, et non à la colonne vertébrale.

Neutralité Architecturale : Pour la prédiction ponctuelle, les colonnes vertébrales profondes sont statistiquement indiscernables sur ces données. Le "signal" distinguant les colonnes vertébrales est en dessous du seuil de bruit des métriques de précision ponctuelle.
Primauté de la Fonction de Perte : Le gain provient de l'utilisation d'une règle de score strictement propre (NLL du GMM) qui pénalise la mauvaise calibration de la queue, ce que les pertes de Huber/MSE ignorent. La tête GMM capture la kurtosis excessive et le risque de queue qu'une gaussienne unimodale ne peut capturer.
Validité Contextuelle : La revendication de "dominance de la tête" est spécifique aux processus de type rendement, à queues épaisses. Elle ne s'applique pas aux séries non stationnaires et de retour à la moyenne comme les taux ou le Forex, où la tête ponctuelle reste compétitive.
Implication Pratique : Pour la gestion des risques (VaR, ES, charges de capital), passer d'une tête ponctuelle standard à une tête GMM est une intervention à haute valeur et faible coût (un changement de "2 lignes de code") qui apporte une valeur réelle durant les crises, tandis que changer de colonne vertébrale n'apporte que des rendements négligeables.

L'article précise explicitement qu'il ne propose pas de nouvelle colonne vertébrale, de nouvelle stratégie de trading, ou de solution universelle pour tous les séries temporelles. Il établit une condition limite : sur les rendements à queues épaisses, la tête domine ; sur d'autres processus, elle ne le fait pas.