💰 quantitative finance

Overparametrized models with posterior drift

Cet article démontre que la dérive postérieure dégrade considérablement la précision des prévisions hors échantillon des modèles d'apprentissage automatique surparamétrés, en particulier sur les marchés financiers où se produisent des changements de régime, conseillant finalement la prudence lors de l'utilisation de grands modèles linéaires pour les prévisions boursières en raison de leur sensibilité aux choix de paramètres et aux sous-périodes.

Auteurs originaux : Guillaume Coqueret, Martial Laguerre

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guillaume Coqueret, Martial Laguerre

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le « Chef Surconfiant »

Imaginez que vous êtes un chef essayant d'apprendre une recette secrète pour la soupe parfaite (prédire les rendements du marché boursier).

Dans le monde du machine learning moderne, il existe une idée populaire appelée « Double Descent ». Elle suggère que si vous rendez votre recette incroyablement complexe — en ajoutant des centaines d'épices, d'herbes et d'ingrédients secrets (paramètres) — votre soupe pourrait en fait avoir meilleur goût qu'une soupe simple, même si vous n'avez pas assez d'ingrédients pour tout utiliser. C'est ce qu'on appelle la surparamétrisation.

Une étude célèbre (Kelly et al., 2024) a affirmé que pour prédire les marchés boursiers, « plus c'est mieux ». Ils ont déclaré que l'utilisation de modèles massifs et complexes avec des milliers de variables était la clé pour battre le marché.

Ce papier dit : « Attendez une minute. Cela ne fonctionne que si le monde reste le même. »

Les auteurs soutiennent que dans le monde réel, la « recette » du marché boursier change constamment. Ils appellent cela la Dérive Postérieure (Posterior Drift). C'est comme si le chef apprenait la recette en janvier, mais qu'en juillet, les ingrédients avaient changé, la météo était différente et les goûts des clients avaient évolué. Si vous continuez à cuisiner avec l'ancienne recette complexe, votre soupe aura un goût terrible.

Concept Clé 1 : La « Dérive » (La Cible Mobile)

En statistiques, il existe deux façons dont un modèle peut échouer :

Décalage des Covariables (Covariate Shift) : Les ingrédients que vous recevez changent (par exemple, vous aviez des tomates, maintenant vous avez des pommes de terre).
Dérive Postérieure (Posterior Drift) : La relation entre les ingrédients et le plat final change.

Le Focus du Papier : Les auteurs se concentrent sur la Dérive Postérieure.

Analogie : Imaginez que vous apprenez que « ajouter du sel rend la soupe salée ». C'est une règle stable. Mais sur le marché boursier, la règle pourrait être : « En 2010, des taux d'intérêt élevés signifiaient que les actions allaient monter. En 2020, des taux d'intérêt élevés signifiaient que les actions allaient descendre. »
Les « charges » (les règles ou coefficients que le modèle apprend) dérivent. Le modèle apprend les règles du passé, mais le futur joue selon des règles différentes.

Concept Clé 2 : Le « Piège de la Complexité »

Le papier examine ce qui se passe lorsque vous utilisez un modèle super-complexe (un modèle avec plus de paramètres que de points de données) dans un monde où ces règles dérivent.

La Découverte : Lorsque les règles changent (dérive), les modèles complexes deviennent extrêmement fragiles.
L'Analogie : Pensez à un modèle complexe comme une voiture de course haute performance avec 1 000 pièces personnalisées et réglées. Elle gagne facilement sur une piste lisse et prévisible (un marché stable). Mais si la piste se transforme soudainement en un champ boueux avec des rochers mouvants (dérive postérieure), cette voiture de course s'écrase de manière spectaculaire. Un camion simple et robuste (un modèle simple) n'est peut-être pas aussi rapide, mais il gère beaucoup mieux la boue.

Les auteurs ont constaté que la performance de ces modèles complexes dépend entièrement de quand vous les testez.

Sur une période de 15 ans, le modèle complexe pourrait vous rendre riche (un rendement mensuel de 7 %).
Sur une autre période de 15 ans, il pourrait vous faire perdre presque tout (un rendement de -50 %).
Le rendement « moyen » cache cette volatilité terrifiante.

Concept Clé 3 : Le Problème du « Rapport Signal/Bruit »

Le papier explique que les données financières sont « bruyantes ». Le vrai signal (la raison réelle pour laquelle les actions bougent) est très faible.

L'Analogie : Imaginez essayer d'entendre un chuchotement (le signal) dans un stade bruyant (le bruit).
Si le stade est calme (règles stables), un modèle complexe peut filtrer le bruit et entendre le chuchotement.
Si les règles du stade changent (dérive), le modèle complexe se confond. Il commence à amplifier le bruit et les mauvais chuchotements. Les auteurs montrent que dans ces cas, un modèle complexe peut en fait performer pire que de simplement deviner ou ignorer complètement les données.

Le Dilemme de la « Bande Passante »

Les chercheurs ont testé un outil spécifique appelé Caractéristiques de Fourier Aléatoires (RFFs), qui est une façon de rendre les données simples complexes. Ils devaient choisir un paramètre de « bande passante » (pensez-y comme au « niveau de zoom » ou à la « sensibilité » du modèle).

Bande Passante Faible (Haute Sensibilité) : Le modèle est très sensible aux petits changements. Il a trouvé d'énormes rendements sur certaines périodes mais s'est effondré sur d'autres. C'était un tour de manège.
Bande Passante Élevée (Faible Sensibilité) : Le modèle a lissé le bruit. Il était plus cohérent, mais les rendements étaient si faibles (proches de zéro) que cela ne valait pas le risque.

La Conclusion : Il n'y a pas de « point idéal ». Vous ne pouvez pas simplement choisir un réglage qui fonctionne pour toujours.

La Vérification de Réalité de l'« Investisseur sur 15 Ans »

Les auteurs ont examiné ce qui se passe si un investisseur moyen maintient une stratégie pendant 15 ans (un horizon de retraite typique).

Le Résultat : Les rendements étaient radicalement différents selon quelles 15 années vous choisissiez.
- Si vous choisissiez 2005–2019, la stratégie complexe semblait être un génie.
- Si vous choisissiez 1975–1989, elle semblait être un désastre.
L'Enseignement : Vous ne pouvez pas vous fier à un seul « backtest » (un test de performance passée) pour vous dire si un modèle complexe fonctionnera dans le futur. Le modèle est trop sensible à l'époque spécifique sur laquelle il a été entraîné.

Résumé des Conseils des Auteurs

Le papier se termine par un avertissement pour quiconque tente de prédire le marché boursier en utilisant des modèles d'IA massifs et sophistiqués :

Soyez Prudents : Juste parce qu'un modèle est complexe et « intelligent » ne signifie pas qu'il fonctionnera lorsque l'économie changera.
Surveillez la Dérive : Le plus grand ennemi n'est pas un manque de données ; c'est le fait que la relation entre les indicateurs économiques et les prix des actions change au fil du temps.
La Simplicité Gagne (Parfois) : Bien que les modèles complexes puissent fonctionner, ils sont souvent trop risqués pour l'investisseur moyen car leur performance est si instable. Une approche plus simple et plus robuste pourrait être plus sûre, même si elle manque certains gains potentiels.

En bref : Le papier soutient que la « magie » des modèles surparamétrés s'effondre lorsque le monde change. Sur le marché boursier, le monde change toujours. Par conséquent, compter sur ces modèles complexes pour l'investissement à long terme est un pari avec des enjeux très élevés et des résultats imprévisibles.

Résumé Technique : Modèles Surparamétrés avec Dérive du Postérieur

Énoncé du Problème

Cet article examine l'impact de la dérive du postérieur (également appelée dérive de concept) sur la précision des prévisions hors échantillon des modèles linéaires surparamétrés (modèles où le nombre de paramètres $p$ dépasse le nombre d'observations $n$ ). Alors que la littérature récente, notamment Kelly et al. (2024), a suggéré que l'augmentation de la complexité du modèle (le ratio de paramètres par rapport aux observations) peut être bénéfique pour la prédiction de la prime de risque actions, ces résultats reposent souvent sur l'hypothèse que le processus générateur de données (PGD) reste invariant entre les phases d'entraînement et de test.

Les auteurs soutiennent que, dans les marchés financiers, cette invariance est rarement vérifiée en raison des changements de régime. Plus précisément, ils distinguent deux types de décalages de distribution :

Décalage des covariables : Changements dans la distribution des prédicteurs ( $P_X$ ).
Dérive du postérieur : Changements dans la relation conditionnelle entre les prédicteurs et la variable cible ( $P_{y|X}$ ), ce qui signifie que les coefficients de régression (charges) évoluent au fil du temps.

Le problème central consiste à quantifier comment la dérive du postérieur dégrade les performances des modèles complexes et surparamétrés, en particulier dans le contexte des stratégies de timing de marché.

Méthodologie

L'article utilise une combinaison de théorie asymptotique en haute dimension, de simulations de Monte-Carlo et d'analyses empiriques sur des données financières historiques.

Cadre Théorique

Les auteurs étendent les résultats « isotropes mal spécifiés » de Hastie et al. (2022) à un cadre avec des données non i.i.d. et une dérive du postérieur.

Processus Générateur de Données (PGD) : Le modèle suppose une relation linéaire $y_i = x_i'\beta + w_i'\theta + e_i$ , où $x_i$ sont des caractéristiques observées et $w_i$ des caractéristiques non observées. Le modèle est « mal spécifié » car l'agent n'observe que $x_i$ .
Mécanisme de Dérive : Les auteurs modélisent explicitement un changement des paramètres réels entre les périodes d'entraînement (intra-échantillon) et de test (hors échantillon). Soient $(\beta_{is}, \theta_{is})$ les paramètres durant l'entraînement et $(\beta_{oos}, \theta_{oos})$ les paramètres durant le test.
Régime Asymptotique : L'analyse se déroule dans le régime proportionnel où $n, p, q \to \infty$ tel que $p/n \to c_\phi$ et $(p+q)/n \to c$ .
Estimateurs : L'étude se concentre sur les estimateurs de Ridge (avec un paramètre de régularisation $z$ ) et leur limite lorsque $z \to 0$ (sans ridge).

Protocole Empirique

Données : Les auteurs utilisent le même jeu de données que Kelly et al. (2024), dérivé de Goyal et al. (2024), composé de 14 indicateurs macroéconomiques et de rendements retardés.
Expansion des Caractéristiques : Pour créer un cadre surparamétré, ils emploient des Caractéristiques de Fourier Aléatoires (RFF) pour étendre les 14 prédicteurs en $p=600$ caractéristiques, aboutissant à un ratio de complexité $c=50$ (avec $n=12$ mois de données glissantes).
Validation : Ils testent la stratégie sur diverses sous-périodes de 15 ans et sur une gamme de paramètres de bande passante ( $\gamma$ ) contrôlant la non-linéarité des RFF.
Détection de Points de Changement : Pour valider empiriquement l'existence d'une dérive du postérieur, ils appliquent un algorithme non paramétrique multivarié de détection de points de changement (Londschien et al., 2023) aux séries temporelles des bêtas estimés.

Contributions Clés

1. Extension Théorique à la Dérive du Postérieur

L'article dérive des expressions analytiques pour le rendement attendu et la variance d'une stratégie de timing de marché sous dérive du postérieur.

Rendement Attendu : Le rendement attendu hors échantillon limite est montré comme étant proportionnel au produit scalaire des vecteurs de charges intra-échantillon et hors échantillon : $E[r] \propto \langle \beta_{is}, \beta_{oos} \rangle$ .
Dégradation des Performances : Les auteurs prouvent que si les charges intra-échantillon et hors échantillon sont désalignées (spécifiquement, si $\langle \beta_{oos} - \beta_{is}, \beta_{is} \rangle < 0$ ), le rendement attendu de la stratégie se détériore. Dans le pire des cas (charges orthogonales), le rendement attendu chute à zéro.
Rendements Ajustés au Risque : Le ratio de Sharpe s'avère hautement sensible au ratio signal/bruit. Dans les régimes à signaux faibles (typiques des données financières), la dérive du postérieur provoque un effondrement significatif du ratio de Sharpe, en particulier pour les modèles à faible régularisation (haute complexité).

2. Vérification par Simulation

Par le biais de simulations de Monte-Carlo, les auteurs vérifient que les limites théoriques dérivées pour les premier et second moments du rendement de la stratégie sont vérifiées. Ils démontrent que :

Le rendement attendu est linéaire par rapport au produit scalaire $\langle \beta_{is}, \beta_{oos} \rangle$ .
Une régularisation plus élevée (plus grand $z$ ) réduit la volatilité mais réduit également les rendements attendus, créant un compromis.
Le phénomène de « double descente » (où les performances s'améliorent à mesure que la complexité augmente au-delà du seuil d'interpolation) reste valable en présence de dérive, mais la performance maximale est significativement inférieure à celle des scénarios sans dérive.

3. Preuves Empiriques d'Instabilité

L'analyse empirique révèle que les performances des modèles surparamétrés sont hautement sensibles à la fois à la période temporelle et au paramètre de bande passante :

Sensibilité Temporelle : Une stratégie générant un rendement mensuel de 7,24 % sur la période 2005–2019 s'est effondrée à 0,52 % sur la période 1975–1989, sous les mêmes paramètres de bande passante.
Sensibilité de la Bande Passante : La bande passante optimale n'est pas statique ; elle varie selon les différents régimes économiques.
Points de Changement : L'algorithme de détection de points de changement identifie des ruptures structurelles significatives dans les séries temporelles des bêtas (par exemple en 1982, 1963 et 2002), confirmant que le PGD n'est pas stable.

Résultats

Perte de Performance : Les résultats théoriques indiquent que la perte de performance financière est directement liée au désalignement entre les charges d'entraînement et de test. Lorsque le signal est faible (faible $R^2$ ), l'impact de la dérive du postérieur est sévère, rendant souvent les modèles complexes moins performants que des références simples.
Rendements Ajustés au Risque : Bien que les modèles complexes puissent générer des rendements bruts élevés dans certaines sous-périodes favorables, leurs rendements ajustés au risque (ratios de Sharpe) sont souvent déraisonnablement faibles ou négatifs lorsque la volatilité est prise en compte. L'article note qu'un rendement mensuel de 0,03 implique une volatilité annualisée dépassant 100 %, ce qui est prohibitivement élevé.
Compromis de Régularisation : L'augmentation du paramètre de régularisation (bande passante) réduit l'incertitude et la variance des rendements de la stratégie, mais conduit simultanément le rendement moyen vers zéro, rendant la complexité moins attrayante d'un point de vue ajusté au risque.
Analyse Contrefactuelle : Lorsque les auteurs génèrent des rendements « contrefactuels » en supposant l'absence de dérive du postérieur (c'est-à-dire que les charges restent constantes), la stratégie performe nettement mieux. Cet écart quantifie le coût spécifique des changements de régime.

Importance et Revendications

L'article conclut que, si la sophistication des modèles de prévision peut apporter de la valeur, les modèles surparamétrés ne sont pas bénéfiques de manière inconditionnelle. Les auteurs affirment :

Sensibilité aux Changements de Régime : L'efficacité des modèles linéaires complexes dans la prédiction de la prime de risque actions est sévèrement compromise par les environnements économiques changeants. La « vertu de la complexité » rapportée dans la littérature précédente (par exemple, Kelly et al., 2024) pourrait être un artefact de sous-périodes spécifiques et stables ou une sous-estimation de l'impact de la dérive du postérieur.
Précaution pour les Praticiens : Les analystes s'appuyant sur des modèles surparamétrés doivent porter une attention particulière à la stabilité et à la sensibilité des performances lors des backtests. Les résultats suggèrent que des périodes de détention de 15 ans peuvent générer des rendements hautement hétérogènes selon le régime spécifique et la bande passante choisie.
Recommandation : Les résultats recommandent la prudence lors du recours à de grands modèles linéaires pour les prévisions boursières. Les auteurs suggèrent que les avantages de la complexité sont souvent contrebalancés par les risques de dérive du postérieur, en particulier dans les marchés financiers où les signaux sont faibles et les changements de régime fréquents.

En résumé, l'article fournit une explication théorique et empirique de l'ambiguïté entourant le rôle de la surparamétrisation en finance, attribuant l'instabilité des modèles complexes à la non-stationnarité du processus générateur de données sous-jacent.