Résumé technique : Attentes vs Réalités : Le coût de la prévision optimale pour l'MSE sous incertitude conditionnelle

1. Énoncé du problème

La prévision de séries temporelles multi-étapes (MSF) est traditionnellement évaluée à l'aide de métriques d'erreur ponctuelles, notamment l'erreur quadratique moyenne (MSE). Ce paradigme d'évaluation traite implicitement l'espérance conditionnelle, $E[Y_h | X]$, comme la cible suffisante et souhaitée. Cependant, les auteurs soutiennent que cette hypothèse devient fragile à mesure que l'horizon de prévision augmente. Dans de nombreux systèmes réels, l'incertitude s'accumule au fil du temps, provoquant une dispersion croissante de la distribution conditionnelle des résultats futurs.

Dans des conditions de forte incertitude conditionnelle, l'espérance conditionnelle (la cible optimale pour l'MSE) peut diverger considérablement des résultats réalisés typiques. Par conséquent, les modèles optimisés strictement pour l'MSE produisent souvent des prévisions « sous-dispersées » — elles sont précises d'un point de vue ponctuel, mais ne parviennent pas à capturer la variabilité marginale de la véritable distribution future. Le papier postule qu'il ne s'agit pas simplement d'un défaut de capacité du modèle ou d'optimisation, mais d'une limitation structurelle inhérente à la prévision déterministe sous une perte au carré lorsque l'incertitude conditionnelle est non nulle.

2. Méthodologie et cadre théorique

2.1 Formalisation théorique

Les auteurs formalisent le problème en utilisant la loi de la variance totale :
$$\text{Var}(Y_h) = \text{Var}(E[Y_h | X]) + E[\text{Var}(Y_h | X)]$$
Ils définissent un Écart d'incertitude conditionnelle ($\text{Gap}_h$) comme la fraction de la variabilité totale attribuable à l'incertitude irréductible compte tenu du passé :
$$\text{Gap}_h = \frac{E[\text{Var}(Y_h | X)]}{\text{Var}(E[Y_h | X]) + E[\text{Var}(Y_h | X)]}$$
Lorsque $\text{Gap}_h > 0$, la moyenne conditionnelle explique moins de 100 % de la variance du futur réalisé.

2.2 Le compromis Précision–Réalisme (Théorème 1)

La contribution théorique centrale est le Théorème 1, qui prouve que pour tout prédicteur déterministe $f_h$ :

1. Si $\text{Gap}_h > 0$, aucun prédicteur ne peut simultanément minimiser l'MSE et correspondre à la distribution marginale des futurs réalisés ($L(Y_h)$).
2. L'unique minimiseur de l'MSE est l'espérance conditionnelle $f^*_h(X) = E[Y_h | X]$.
3. Parce que $\text{Var}(f^*_h(X)) < \text{Var}(Y_h)$ chaque fois que $\text{Gap}_h > 0$, la distribution marginale du prédicteur optimal pour l'MSE diffère strictement de la véritable distribution marginale.
4. Cela crée un front de Pareto inévitable entre la précision ponctuelle (MSE) et le réalisme marginal (mesuré par la distance de Wasserstein $W_1$).

2.3 Caractérisation empirique

Pour quantifier ce compromis, les auteurs emploient :

• Systèmes synthétiques contrôlés : Un système de Mackey–Glass stochastique où le niveau de bruit ($\sigma_s$) et l'horizon ($h$) peuvent être ajustés pour contrôler l'écart d'incertitude conditionnelle.
• Benchmarks du monde réel : Neuf jeux de données couvrant l'énergie, le trafic, la météo, la qualité de l'air et la finance (ex. METR-LA, Electricity, ExchangeRate).
• Stratégies évaluées :
  • Direct (MIMO) : Prédit l'horizon entier en une seule étape.
  • Récursif (REC) : Prédit de manière itérative une étape à la fois.
  • Règles d'inférence : Pour les modèles probabilistes, ils comparent l'inférence basée sur la moyenne (moyenne prédictive) par rapport à l'inférence basée sur l'échantillonnage (un seul déroulement d'échantillon).
• Métriques : MSE pour la précision et $W_1$ (distance de Wasserstein-1) pour le réalisme marginal. Ils rapportent également des métriques au niveau de la trajectoire (DTW, Vecteur $W_1$, etc.) comme vérifications de robustesse.

3. Résultats clés

3.1 Géométrie du compromis

• Régime de faible incertitude : Lorsque l'écart d'incertitude conditionnelle est faible, le front de Pareto est dégénéré ; les méthodes se regroupent près d'un point de fonctionnement unique où la minimisation de l'MSE produit également un réalisme élevé.
• Régime de forte incertitude : À mesure que l'écart augmente (horizons plus longs ou bruit plus élevé), l'ensemble des performances atteignables s'étend en un front de Pareto prononcé. Cela sépare les prédicteurs optimaux pour l'MSE (qui sont sous-dispersés) des méthodes qui sacrifient la précision ponctuelle pour correspondre à la variabilité marginale.
• Corrélation : La longueur du front de Pareto augmente de manière monotone avec l'écart d'incertitude conditionnelle estimé.

3.2 Le coût de la sélection stricte de l'MSE

• Coût d'opportunité : Les auteurs définissent un « échange réussi » comme un scénario où un léger relâchement de l'MSE génère un gain relatif plus important en réalisme.
• Résultats empiriques : À travers les benchmarks synthétiques et réels, relâcher la contrainte de l'MSE de seulement 5 % permet fréquemment de débloquer des gains disproportionnés en réalisme marginal.
  • Amélioration médiane : 17,3 % d'amélioration du réalisme marginal ($W_1$) sur tous les jeux de données.
  • Taux de succès : Dans 84,1 % des cas (moyenne globale), un faible relâchement de l'MSE a entraîné un gain net de réalisme.
  • Spécificités des jeux de données : Certains jeux de données (ex. Météo, ExchangeRate) ont montré des améliorations médianes du réalisme dépassant 22 % avec des taux de succès élevés.

3.3 La stratégie et l'inférence comme leviers de contrôle

L'étude démontre que différentes stratégies de prévision occupent systématiquement différentes régions du front de Pareto :

• Extrême de l'optimalité MSE : Dominé par les stratégies Directes (MIMO) et l'inférence basée sur la moyenne. Celles-ci s'alignent sur l'estimation de l'espérance conditionnelle et produisent des prévisions lissées et sous-dispersées.
• Extrême du réalisme : Dominé par les stratégies Récursives (REC) et l'inférence basée sur l'échantillonnage. Celles-ci propagent la variabilité à travers le temps, correspondant mieux à la distribution marginale des futurs réalisés au prix d'une erreur ponctuelle plus élevée.
• Modèles probabilistes : Même les modèles probabilistes n'éliminent pas le compromis ; ils le naviguent simplement. Choisir la moyenne prédictive place le modèle près de l'extrême MSE, tandis que l'échantillonnage le place près de l'extrême du réalisme.

4. Contributions

Le papier apporte trois contributions principales :

1. Explication théorique : Il prouve que le lissage excessif dans la prévision à long horizon est une propriété structurelle de la prédiction déterministe sous incertitude conditionnelle, et non une erreur de spécification du modèle. Aucun prédicteur déterministe ne peut minimiser l'MSE et correspondre à la distribution marginale simultanément si l'écart d'incertitude est non nul.
2. Quantification empirique : Il caractérise le front de Pareto précision–réalisme, montrant qu'une sélection de modèle basée strictement sur l'MSE entraîne un coût substantiel et évitable en termes de réalisme marginal. De légers relâchements de l'MSE offrent souvent des gains importants en réalisme.
3. Protocole pratique : Il recadre la sélection de stratégie (Direct vs Récursif) et le choix d'inférence (Moyenne vs Échantillon) comme des mécanismes pour naviguer dans cet espace multi-objectif, plutôt que de simplement optimiser une métrique unique.

5. Signification et recommandations

Le papier soutient que l'incompatibilité entre l'exactitude ponctuelle et le réalisme de la distribution est une propriété intrinsèque de la prévision multi-étapes sous incertitude conditionnelle, indépendamment de la classe de modèle.

Recommandation pratique :
Les auteurs proposent une règle de sélection par bande de tolérance pour la sélection de modèles :

1. Identifier le modèle optimal pour l'MSE sur les données de validation.
2. Retenir tous les candidats dont l'MSE se situe dans une petite tolérance $\epsilon$ dépendante de l'application (ex. 5 %) de l'optimum.
3. Parmi ces « quasi-équivalents », sélectionner le modèle qui maximise le réalisme marginal (en utilisant des métriques comme $W_1$) ou, pour les modèles probabilistes, utiliser des diagnostics de calibration et de netteté (sharpness).

Signification :
Ce travail remet en question la pratique standard consistant à classer les modèles uniquement par l'MSE, particulièrement pour la prévision à long horizon. Il suggère qu'une évaluation par métrique unique peut être structurellement trompeuse, écartant systématiquement des prévisions qui sont plus représentatives des futurs réalisés. En traitant la prévision à long horizon comme un problème de sélection multi-objectif contraint, les praticiens peuvent éviter le « coût » de l'optimisation uniquement basée sur l'MSE et sélectionner des modèles qui reflètent mieux l'incertitude inhérente au processus générateur de données.