Same Error, Different Function: The Optimizer as an Implicit Prior in Financial Time Series

Cette étude démontre que, dans le contexte de la prévision de la volatilité financière où les modèles sont sous-spécifiés, le choix de l'optimiseur agit comme un biais inductif déterminant qui façonne les fonctions apprises et les conséquences décisionnelles, même lorsque la précision prédictive reste identique.

L'essentiel

🎭 Le Grand Tournoi des Prédictions : Quand le Score est Identique, mais le Style est Différent

Imaginez que vous êtes un chef cuisinier (un investisseur) qui veut préparer le meilleur plat possible (un portefeuille d'actions performant). Vous avez deux assistants (des modèles d'intelligence artificielle) qui vous proposent des recettes pour prédire la volatilité du marché (c'est-à-dire à quel point les prix vont bouger).

1. Le Problème : Le Score est Identique, mais...

Vous faites goûter les deux plats à un jury (les données de test). Résultat ? Ils ont exactement le même score. Les deux assistants ont fait des prédictions aussi justes l'un que l'autre.

Dans le monde classique, on dirait : "Super, ils sont pareils, choisissez n'importe lequel !".
Mais cet article nous dit : Attention ! C'est un piège.

Même si le "goût" (l'erreur de prédiction) est identique, la façon dont les assistants ont cuisiné est radicalement différente. C'est comme si l'un avait utilisé des épices douces et l'autre des épices très fortes : le résultat final a le même goût, mais la texture et la réaction de votre corps sont différentes.

2. Le Coupable : Le "Moteur" de l'IA (L'Optimiseur)

Dans l'IA, il y a un outil appelé "optimiseur". C'est un peu comme le pédalier d'un vélo ou le moteur d'une voiture.

• Certains moteurs (comme SGD) sont prudents, lents et stables. Ils évitent les virages brusques.
• D'autres moteurs (comme Adam ou Muon) sont sportifs, réactifs et aiment les virages serrés.

L'article montre que même si vous arrivez à la même destination (la même prédiction précise), le choix du moteur détermine la route que vous avez prise :

• Le moteur prudent vous a fait prendre une route droite et stable.
• Le moteur sportif vous a fait prendre une route sinueuse, pleine de virages brusques.

3. La Conséquence Réelle : Le Coût des Virages

Pourquoi cela vous importe-t-il en tant qu'investisseur ? Parce que dans la vraie vie, les virages coûtent de l'argent.

Imaginez que vous devez rééquilibrer votre portefeuille chaque jour en fonction de ces prédictions :

• Le modèle "prudent" (SGD) : Il change d'avis rarement. Il garde ses actions. C'est calme, stable, et vous payez peu de frais de transaction (comme des péages).
• Le modèle "sportif" (Adam/Muon) : Même s'il prédit aussi bien, il change d'avis tout le temps ! Il dit "Achète !" puis "Vends !" puis "Achète !" en fonction de petits détails. Résultat : vous faites beaucoup plus de transactions.

L'analogie du taxi :
Imaginez deux taxis qui vous emmènent au même endroit en 10 minutes (même temps de trajet = même précision).

• Le taxi A roule tout droit sur l'autoroute.
• Le taxi B fait des zigzags, s'arrête à chaque feu, change de file 50 fois.
• Le taxi B vous facturera beaucoup plus cher à cause de l'essence et des péages (les frais de transaction), même s'il est arrivé à l'heure !

C'est exactement ce que l'article découvre : les modèles "sportifs" génèrent un portefeuille qui tourne beaucoup trop (on appelle ça le turnover), ce qui mange vos profits, même si leurs prédictions sont excellentes.

4. La Leçon à Retenir

Jusqu'à présent, les chercheurs regardaient uniquement le score (l'erreur de prédiction) pour choisir leur modèle. C'est comme choisir un avion uniquement parce qu'il arrive à l'heure, sans regarder s'il est confortable ou s'il fait beaucoup de bruit.

La conclusion de l'article est simple :

Quand deux modèles ont le même score, ne les choisissez pas au hasard. Regardez comment ils pensent.

Le "moteur" (l'optimiseur) que vous choisissez agit comme une opinion cachée sur le marché. Il décide si votre modèle sera calme et stable, ou nerveux et réactif.

En résumé :
En finance, ce n'est pas seulement ce que le modèle prédit qui compte, mais comment il le prédit. Choisir le bon "moteur" pour votre IA, c'est choisir la stabilité de votre portefeuille et éviter de payer des frais inutiles. Le moteur n'est pas juste un détail technique, c'est une partie essentielle de la stratégie !

Résumé technique

1. Problématique et Contexte

Le papier s'attaque au problème de sous-spécification (underspecification) dans l'apprentissage automatique appliqué aux séries temporelles financières, spécifiquement pour la prévision de la volatilité des actions du S&P 500.

• Le constat : Dans les domaines à faible rapport signal/bruit comme la finance, différents modèles (architectures et pipelines d'entraînement) atteignent souvent des erreurs hors-échantillon (out-of-sample) indistinguables selon les métriques standards (ex: NMSE, R²).
• La question centrale : Lorsque les modèles obtiennent le même score de perte (loss), sont-ils interchangeables ? Plus précisément, le choix de l'optimiseur (SGD, Adam, Muon) n'est-il qu'un détail d'implémentation affectant uniquement l'efficacité de l'entraînement, ou bien influence-t-il la fonction apprise de manière qualitative, même lorsque la perte de test reste identique ?
• L'hypothèse de travail : Les auteurs postulent que dans ces régimes de sous-spécification, l'optimiseur agit comme un prior implicite puissant, sélectionnant une solution spécifique parmi un ensemble de solutions admissibles (le « Rashomon set »), ce qui a des conséquences matérielles sur les décisions de trading.

2. Méthodologie Expérimentale

Les auteurs ont conçu un cadre expérimental rigoureux pour isoler l'effet de l'optimiseur tout en maintenant constantes les données et les métriques d'évaluation.

• Données : Prévision de la variance réalisée (proxy de la volatilité) pour les constituants du S&P 500 sur la période 2000–2024, utilisant l'estimateur de Garman-Klass. Le jeu de données est exempt de biais de survie.
• Architectures (A) : Quatre types de réseaux de neurones avec des biais inductifs temporels distincts :
  • MLP (Perceptron Multicouche)
  • CNN (Réseau de Neurones Convolutifs 1D)
  • LSTM (Long Short-Term Memory)
  • Transformer
• Optimiseurs (O) : Trois méthodes d'optimisation aux géométries de mise à jour différentes :
  • SGD (Descente de Gradient Stochastique) : Non adaptatif, premier ordre.
  • Adam : Adaptatif, estimation des moments.
  • Muon : Optimiseur récent « conscient de la matrice » conçu pour les dynamiques de haute dimension.
• Protocole :
  • Comparaison de 12 paires (Architecture × Optimiseur).
  • Recherche d'hyperparamètres (taux d'apprentissage, régularisation) spécifique à chaque paire pour garantir que l'équivalence de performance n'est pas due à un mauvais réglage.
  • Exécution sur 13 graines aléatoires indépendantes pour assurer la robustesse.
• Diagnostics Fonctionnels (au-delà de la perte) :
  • Analyse de réponse impulsionnelle : Pour visualiser la surface de réponse non linéaire du modèle face à des chocs de volatilité.
  • Surfaces de différence fonctionnelle : Comparaison directe des sorties entre deux optimiseurs (ex: $D(x) = \hat{y}_{Muon}(x) - \hat{y}_{Adam}(x)$).
  • Attribution de caractéristiques (SHAP) : Pour déterminer quels lags temporels (passé récent vs passé lointain) sont prioritaires.
  • Ensembling : Vérification de l'orthogonalité des erreurs d'estimation.
  • Frontière Sharpe-Turnover : Évaluation de l'impact des prévisions sur la stabilité des portefeuilles (fréquence de transaction).

3. Résultats Clés

A. Équivalence Prédictive (Le « Tied Leaderboard »)

Les résultats montrent que, quelle que soit l'architecture ou l'optimiseur, les modèles de réseaux de neurones profonds n'améliorent pas significativement les performances par rapport aux modèles linéaires de base (OLS, LASSO). Les erreurs NMSE sont statistiquement indistinguables entre toutes les configurations.

B. Divergence Fonctionnelle (Same Error, Different Function)

Malgré une erreur de prédiction identique, les modèles apprennent des fonctions qualitativement différentes :

• SGD tend vers des solutions plus simples et plus plates (linéaires), avec une réponse impulsionnelle moins complexe.
• Adam et Muon convergent vers des fonctions non-linéaires complexes, capables de modéliser des mécanismes d'amortissement des chocs extrêmes.
• Les surfaces de différence entre les optimiseurs sont hautement structurées et non planes, prouvant que les modèles ne font pas qu'une simple mise à l'échelle des sorties, mais apprennent des mappings fondamentalement différents.

C. Dépendance Temporelle et Attribution

L'optimiseur dicte la structure de dépendance temporelle :

• SGD se concentre presque exclusivement sur l'histoire très récente (lags courts).
• Muon (dans les architectures LSTM) exploite efficacement la mémoire à long terme, capturant des cycles trimestriels.
• Adam se concentre sur l'histoire récente, sous-utilisant la structure récurrente des LSTM.
  Cela implique que le choix de l'optimiseur sélectionne implicitement une « explication économique » différente de la persistance de la volatilité.

D. Mécanisme : Le Bord de la Stabilité (Edge of Stability)

L'étude des courbures (valeurs propres du Hessien) révèle que :

• SGD converge vers des minima plats (faible courbure).
• Adam/Muon convergent vers des minima aigus (haute courbure), accessibles grâce à la préconditionnement qui stabilise la descente dans des vallées étroites.
• Les expériences d'intervention (échange d'optimiseurs en cours d'entraînement) montrent que la géométrie de mise à jour de l'optimiseur détermine l'attracteur final, confirmant que la divergence fonctionnelle est due à la dynamique d'optimisation et non à l'initialisation.

E. Conséquences Décisionnelles (Frontière Sharpe-Turnover)

C'est le résultat le plus critique pour la finance pratique :

• Bien que les ratios de Sharpe soient similaires, les modèles entraînés avec des optimiseurs adaptatifs (Adam/Muon) génèrent un turnover (taux de rotation) beaucoup plus élevé (jusqu'à 3 fois plus) que ceux entraînés avec SGD.
• Cela est dû à la sensibilité accrue des fonctions non-linéaires complexes aux petites variations des états d'entrée, entraînant des révisions fréquentes des classements d'actifs.
• Dans un environnement réel avec coûts de transaction, cette instabilité érode les rendements, rendant les modèles « meilleurs » en perte de test potentiellement pires en pratique.

4. Contributions Principales

1. Preuve de la non-interchangeabilité : Démontre que des modèles avec la même erreur de test ne sont pas interchangeables ; ils encodent des biais inductifs différents.
2. L'optimiseur comme prior : Établit que dans les régimes de faible signal, le choix de l'optimiseur est un hyperparamètre de conception critique qui sélectionne la fonction apprise, au même titre que l'architecture.
3. Nouveaux diagnostics : Propose une méthodologie pour évaluer les modèles financiers au-delà de la perte scalaire, en utilisant l'analyse de réponse impulsionnelle, l'attribution de caractéristiques et les métriques de stabilité décisionnelle.
4. Ensembling hétérogène : Montre que l'assemblage de modèles issus de différents optimiseurs réduit l'erreur de généralisation, prouvant qu'ils capturent des composantes orthogonales du signal.

5. Signification et Implications

Ce travail remet en question la pratique courante en finance quantitative qui se focalise uniquement sur l'optimisation de la perte de validation ou du ratio de Sharpe.

• Pour la recherche : Il faut étendre l'évaluation des modèles pour inclure la stabilité fonctionnelle et les implications décisionnelles. Le « meilleur » modèle n'est pas celui qui a la perte la plus faible, mais celui dont la fonction apprise correspond aux objectifs économiques (ex: stabilité vs réactivité).
• Pour la pratique : Le choix de l'optimiseur détermine la viabilité d'une stratégie. Un optimiseur adaptatif peut apprendre une fonction plus complexe mais instable, générant des coûts de transaction prohibitifs, tandis que SGD peut offrir une solution plus simple et robuste.
• Conclusion : Dans les séries temporelles financières sous-spécifiées, la sélection de modèle est une sélection de fonction. L'optimiseur n'est pas un simple outil d'ingénierie, mais une partie intégrante de l'hypothèse du modèle.