Résumé technique : Quantification du compromis risque-rendement en prévision

Énoncé du problème

L'évaluation traditionnelle des prévisions macroéconomiques repose fortement sur des métriques de perte moyenne (par exemple, RMSE, MAE) et des tests de signification statistique (par exemple, Diebold–Mariano). Bien que ces outils déterminent si un modèle réduit les erreurs de prévision en moyenne, ils ne parviennent pas à capturer la fiabilité et le profil de risque de ces gains. Les utilisateurs institutionnels (banques centrales, gestionnaires d'actifs) possèdent souvent des préférences asymétriques : ils tolèrent des épisodes de surperformance mais ne peuvent se permettre une sous-performance catastrophique. Deux modèles peuvent présenter une précision moyenne identique tout en possédant des schémas de gains et de pertes radicalement différents au fil du temps, entraînant des risques opérationnels distincts. L'article soutient que la précision moyenne n'est pas synonyme de fiabilité des prévisions et que la littérature actuelle manque d'un cadre unifié pour quantifier le compromis entre l'amélioration des prévisions et la volatilité ou la sévérité des échecs de prévision.

Méthodologie

L'article importe des mesures de performance ajustées au risque de la finance pour traiter les différentiels de perte de prévision comme une « série de rendements ».

1. L'analogie du rendement

Pour un modèle $M$ et une référence $B$, le « rendement » à l'instant $t$ est défini comme le différentiel de perte :
$$r_t = L_t^B - L_t^M$$
où $L$ est une fonction de perte (par exemple, l'erreur quadratique). Un $r_t$ positif indique que le modèle surpasse la référence. La séquence $\{r_t\}$ est analysée comme une série de rendements financiers.

2. Métriques ajustées au risque

Le cadre adapte quatre métriques financières clés à l'évaluation des prévisions :

• Ratio de Sharpe de prévision : Le ratio du rendement moyen à l'écart-type des rendements. Il mesure l'amélioration moyenne par unité de volatilité totale.
• Ratio de Sortino de prévision : Le ratio du rendement moyen à la semi-déviation standard (volatilité des rendements négatifs uniquement). Cela pénalise la sous-performance tout en ignorant la variabilité à la hausse, s'alignant ainsi sur les préférences asymétriques des utilisateurs de prévisions.
• Ratio d'Omega de prévision : Le ratio du rendement moyen à la baisse moyenne. Il capture toute la distribution des gains par rapport aux pertes sans supposer la normalité, le rendant adapté aux différentiels de perte non gaussiens.
• Drawdown maximal : La perte cumulative la plus importante depuis un pic historique jusqu'à un creux. Cela identifie les épisodes prolongés d'échec soutenu des prévisions, particulièrement pertinents lors de ruptures structurelles (par exemple, les flambées d'inflation).

3. Le Ratio d'Avantage (Edge Ratio)

Une métrique novatrice introduite pour mesurer la propension d'un modèle à offrir un avantage prédictif unique par rapport à l'ensemble complet des alternatives disponibles (la frontière de prévision).

• Définition : À chaque instant $t$, la référence est le autre modèle le mieux performant ($L^*_t = \min_{j \neq M} L_{j,t}$). L'« avantage » est $e_{M,t} = L^*_t - L_{M,t}$.
• Calcul : Le Ratio d'Avantage est la somme des victoires d'avantage ($e^+$) divisée par la somme des regrets d'avantage ($e^-$), mise à l'échelle par $(M-1)$ pour corriger la taille du pool.
• Interprétation : Un Ratio d'Avantage élevé indique que le modèle atteint fréquemment la frontière et le fait de manière décisive, tout en minimisant le regret de ne pas avoir choisi la meilleure alternative lorsqu'il échoue.

4. Extension par méta-analyse

Le cadre est étendu à une méta-analyse transversale à travers les cibles, les horizons et les échantillons. Au lieu de rendements en série temporelle, les « rendements » sont définis comme des pourcentages d'amélioration des métriques de performance (par exemple, RMSE) à travers un espace de conception. Cela permet d'évaluer la robustesse d'un modèle : qu'une méthode gagne de manière constante ou ne réussisse que dans des poches spécifiques tout en échouant de manière catastrophique ailleurs.

5. Lien avec Diebold-Mariano (DM)

L'article démontre que le ratio de Sharpe coïncide avec la statistique t de DM (mise à l'échelle) lorsque les erreurs de prévision ne sont pas autocorrélées en série. Le dénominateur de la statistique DM (variance à long terme) pénalise davantage la sous-performance persistante que les échecs transitoires, agissant efficacement comme une mesure ajustée au risque qui tient compte de l'autocorrélation.

Applications empiriques et résultats

Application 1 : Prévision macroéconomique (ML/IA vs Prévisionnistes professionnels)

L'étude évalue les variables macroéconomiques américaines (PIB, chômage, inflation, logement) sur les périodes pré et post-COVID, comparant des références économétriques, des modèles d'apprentissage automatique (ML), un modèle fondation (TabPFN) et l'Enquête auprès des prévisionnistes professionnels (SPF).

• Croissance du PIB : Bien que les modèles flexibles (Ridge à noyau, réseaux de neurones) atteignent souvent des réductions de MSE moyennes supérieures à celles du SPF, le SPF présente une performance ajustée au risque supérieure. Les ratios de Sortino et d'Omega du SPF sont significativement plus élevés, indiquant un risque de baisse exceptionnellement contenu. Le SPF subit rarement des échecs catastrophiques.
• Chômage : Les modèles de boosting hybrides (LGB+) et les modèles fondation (TabPFN) présentent de solides profils ajustés au risque à des horizons spécifiques. Notamment, les forêts aléatoires atteignent une performance ajustée au risque comparable à celle de modèles fondation sophistiqués, tandis que les réseaux de neurones standards souffrent d'une forte volatilité à la baisse.
• Inflation : Le SPF est difficile à battre en moyenne. Cependant, le Réseau de Neurones Hémisphérique (HNN) égale le SPF en rendements bruts mais le domine sur les métriques ajustées au risque. Crucialement, le HNN est le seul modèle à conserver des rendements moyens positifs lors de la flambée d'inflation post-2021, démontrant une robustesse face au changement de régime.
• Mises en chantier : Les modèles ML ont généralement du mal à battre la référence autorégressive. Le SPF égale les meilleurs modèles ML en rendements moyens mais avec un risque de baisse significativement inférieur (ratio de Sortino plus élevé).

Résultat clé : Il est souvent possible de battre les prévisionnistes professionnels en précision moyenne, mais beaucoup plus difficile de les battre sur une base ajustée au risque. La valeur du SPF réside dans sa cohérence et l'absence d'échecs catastrophiques, reflétant la valeur du jugement contextuel.

Application 2 : Méta-analyses

• Prévisions de densité (Goulet Coulombe et al., 2026) : En réévaluant les prévisions ponctuelles et de densité, le HNN et le BART émergent comme les meilleurs prévisionnistes ponctuels. Le HNN domine de manière décisive dans les prévisions de densité (scores logarithmiques), offrant des gains plus importants et plus stables avec moins d'échecs catastrophiques par rapport à des concurrents comme DeepAR.
• Compétition M4 : Dans les séries mensuelles de la M4, les classements de performance moyenne (MASE/OWA) s'alignent globalement avec les classements ajustés au risque. Les modèles qui performent bien en moyenne ont tendance à être robustes à travers la section transversale. Cependant, le Ratio d'Avantage révèle que les modèles de tête (par exemple, Modèle 118/ES-RNN) livrent occasionnellement des gains décisifs indisponibles pour les concurrents, plutôt que de simples améliorations marginales.

Contributions clés

1. Intégration du cadre : L'article établit un cadre formel pour évaluer les prévisions à l'aide de métriques ajustées au risque (Sharpe, Sortino, Omega, Drawdown), déplaçant l'accent de « le modèle est-il meilleur en moyenne ? » vers « comment surperforme-t-il de manière fiable ? ».
2. Le Ratio d'Avantage : Introduit une métrique novatrice pour quantifier l'avantage prédictif unique par rapport au pool complet de modèles, distinguant les modèles simplement bons de ceux qui fournissent une information irremplaçable.
3. Réévaluation du jugement professionnel : Fournit des preuves quantitatives que les prévisionnistes professionnels (SPF) sont difficiles à battre non nécessairement parce qu'ils ont l'erreur moyenne la plus faible, mais parce qu'ils présentent les profils de risque les plus favorables (faible volatilité à la baisse, ratios de Sortino élevés).
4. Outils de méta-analyse : Étend ces métriques aux espaces de conception transversaux, permettant aux praticiens d'évaluer la robustesse d'une méthode à travers différentes cibles et horizons, identifiant les modèles sujets à des « échecs catastrophiques » dans des poches spécifiques.

Importance et affirmations

L'article affirme que la précision moyenne des prévisions et la fiabilité des prévisions sont des concepts distincts. En traitant les différentiels de perte comme des rendements, le cadre proposé révèle des fragilités cachées dans les modèles qui semblent compétitifs sous les métriques RMSE standard.

• Pertinence opérationnelle : Pour les institutions, un modèle qui bat une référence de 15 % en moyenne mais échoue gravement lors des crises offre un profil risque-rendement moins attrayant qu'un modèle avec des gains moyens modérés et une haute stabilité.
• Sélection de modèles : Le cadre suggère que, bien que l'apprentissage automatique et les modèles fondation puissent surpasser les références traditionnelles, leur adoption nécessite un examen attentif de leur risque de baisse. Les modèles basés sur les arbres et des architectures spécifiques comme le HNN montrent des promesses en offrant des profils de risque attrayants pour des cibles spécifiques.
• Direction future : L'article suggère que si les métriques ajustées au risque sont pertinentes sur le plan opérationnel, les modèles de prévision devraient idéalement être optimisés directement pour ces objectifs (par exemple, maximiser le ratio de Sortino) plutôt que de s'appuyer sur des fonctions de perte standard (comme l'erreur quadratique) et d'espérer des propriétés de risque favorables ex post.

L'article conclut que, bien que les gains de performance moyenne soient nécessaires, ils sont insuffisants pour la prise de décision opérationnelle ; la stabilité et la fiabilité de ces gains, capturées par les métriques ajustées au risque, sont tout aussi critiques.