Are We Winning the Wrong Game? Revisiting Evaluation Practices for Long-Term Time Series Forecasting

Cet article remet en question la prédominance des métriques d'erreur ponctuelle dans l'évaluation des prévisions de séries temporelles à long terme, en plaidant pour une approche multidimensionnelle intégrant la cohérence structurelle et la pertinence décisionnelle afin de dépasser une optimisation aveugle des classements de benchmarks.

L'essentiel

Imaginez que vous êtes un entraîneur de course à pied. Votre objectif est de préparer vos athlètes pour le marathon de demain. Mais au lieu de les entraîner à courir sur de longues distances, à gérer leur souffle et à s'adapter aux changements de terrain, vous les faites courir uniquement sur un tapis roulant dans votre garage.

Vous mesurez leur performance avec une règle ultra-précise : « Qui a fait le moins de pas de travers sur les 100 premiers mètres ? ».

Si un athlète fait un pas de travers de moins que l'autre, vous le déclarez le « meilleur coureur du monde » et vous le mettez en vedette. Mais le jour du vrai marathon, sous la pluie et sur des collines, cet athlète s'effondre parce qu'il a été entraîné uniquement pour être parfait sur un tapis roulant, pas pour courir dans la réalité.

C'est exactement le problème que soulève ce papier sur la prévision des séries temporelles (prédire l'avenir de données qui changent dans le temps, comme la météo, le trafic ou les prix de l'électricité).

Voici l'explication simple de leur message :

1. Le Jeu du « Meilleur Score » (La course aux points)

Actuellement, les chercheurs en intelligence artificielle jouent à un jeu très spécifique. Ils créent des modèles pour prédire l'avenir et les testent sur un petit nombre de jeux de données standards (comme des tableaux de données sur l'électricité ou la météo).

Pour savoir qui gagne, ils utilisent une seule règle : l'erreur moyenne.

• Si le modèle prédit 100 degrés et qu'il fait 101, l'erreur est de 1.
• S'il prédit 99, l'erreur est aussi de 1.
• Le modèle qui a l'erreur moyenne la plus faible gagne le « trophée » et devient le « meilleur du monde ».

Le problème ? Les chercheurs passent leur temps à optimiser leurs modèles pour gagner ce jeu de points, comme un joueur de vidéo qui apprend à tricher pour battre le score le plus élevé, plutôt que pour comprendre le jeu lui-même.

2. Le Piège : Gagner la mauvaise bataille

L'auteur dit : « Gagnons-nous la mauvaise partie ? »

Imaginez que vous voulez prédire le prix de l'essence pour l'année prochaine.

• Le modèle « Gagnant du jeu » va essayer de coller parfaitement à chaque petite fluctuation du passé, même les erreurs de mesure ou les bruits bizarres. Il va dire : « Demain, ce sera exactement 1,52€, puis 1,53€, puis 1,51€ ». Son score d'erreur sera très bas.
• Le modèle « Utile pour la réalité » va dire : « La tendance est à la hausse, il va probablement monter à 1,60€ ». Il ignore les petits bruits. Son score d'erreur sera peut-être un peu plus élevé car il ne colle pas à chaque détail, mais il est beaucoup plus utile pour prendre une décision (comme acheter du carburant maintenant).

En se focalisant uniquement sur le score d'erreur (MSE/MAE), nous créons des modèles qui sont d'excellents « copieurs » du passé, mais de mauvais « prévoyants » de l'avenir. Ils sont comme un élève qui a mémorisé les réponses d'un examen de l'année dernière, mais qui ne comprend pas la matière.

3. Ce qui manque vraiment (Les trois piliers oubliés)

Les auteurs proposent d'arrêter de regarder uniquement le score final et de regarder trois choses plus importantes, comme un médecin qui ne regarde pas seulement la température, mais aussi le rythme cardiaque et l'état général du patient :

1. La Fidélité Statistique (Le copier-coller) : Est-ce que le modèle est proche des chiffres réels ? (C'est ce qu'on mesure déjà).
2. La Cohérence Structurelle (Le sens de la marche) : Le modèle comprend-il la logique ? Si la tendance est à la hausse, le modèle doit-il continuer à monter ? Si la saisonnalité (les saisons) est forte, le modèle doit-il respecter les cycles ? Un bon modèle ne doit pas être juste « proche », il doit avoir du sens.
3. La Pertinence Décisionnelle (À quoi ça sert ?) : Si vous utilisez cette prédiction pour gérer une centrale électrique ou investir en bourse, est-ce que le modèle vous aide à prendre la bonne décision ? Parfois, une prédiction imparfaite mais stable vaut mieux qu'une prédiction parfaite mais chaotique.

4. La Solution : Arrêter de chercher le « Roi Universel »

Aujourd'hui, on cherche le modèle « ultime » qui gagne sur tous les tableaux de scores. Les auteurs disent : Oubliez ça.

Il n'y a pas de champion universel.

• Pour la météo, on veut peut-être un modèle qui gère bien les changements brusques.
• Pour la bourse, on veut peut-être un modèle qui ignore le bruit et voit la tendance de fond.
• Pour le trafic, on veut un modèle robuste aux imprévus.

Au lieu de faire des tableaux de classement (Leaderboards) où l'on dit « Le Modèle A est meilleur que le Modèle B de 0,001 point », nous devrions faire des rapports de diagnostic.

• « Ce modèle est excellent pour les tendances stables, mais il échoue quand il y a une crise soudaine. »
• « Ce modèle est parfait pour la planification à long terme, mais il est trop lent pour l'urgence. »

En résumé

Ce papier est un appel à la raison. Il nous dit : « Arrêtez de courir après les petits points de différence sur des tableaux de scores. »

Au lieu de demander « Qui a le score le plus bas ? », nous devrions demander : « Qui comprend le mieux la dynamique du temps ? » et « Qui nous aide le mieux à prendre de bonnes décisions dans le monde réel ? ».

C'est passer d'une course de vitesse sur un tapis roulant à un vrai marathon en pleine nature, où l'objectif n'est pas d'être parfait sur le papier, mais d'arriver à destination sain et sauf.

Résumé technique

Voici un résumé technique détaillé de l'article "Are We Winning the Wrong Game? Revisiting Evaluation Practices for Long-Term Time Series Forecasting" (Sommes-nous en train de gagner le mauvais jeu ? Réexamen des pratiques d'évaluation pour la prévision de séries temporelles à long terme), rédigé en français.

---

1. Problématique : Le piège de la monoculture métrique

L'article identifie un problème fondamental dans le domaine de la prévision de séries temporelles à long terme (LTSF - Long-Term Time Series Forecasting). La recherche actuelle est dominée par une approche "axée sur le jeu" (GAME), où le succès est défini presque exclusivement par la réduction marginale d'erreurs ponctuelles agrégées, telles que l'erreur quadratique moyenne (MSE) et l'erreur absolue moyenne (MAE), sur un ensemble restreint de jeux de données canoniques (ex: ETT, Weather).

Les limites de l'approche actuelle :

• Optimisation de surface : Les modèles sont conçus pour "gagner" les classements (leaderboards) en minimisant ces métriques spécifiques, plutôt que pour comprendre les dynamiques temporelles sous-jacentes.
• Désalignement structurel : La minimisation de l'erreur ponctuelle ne garantit pas la préservation de structures temporelles cruciales comme la stabilité de la tendance, la cohérence saisonnière ou la robustesse face aux changements de régime (regime shifts).
• Spécialisation excessive : Les progrès rapportés reflètent souvent une adaptation aux configurations spécifiques des benchmarks plutôt qu'une généralisation réelle ou une amélioration de la compréhension des dynamiques temporelles.
• Réduction du problème : La prévision est réduite à un problème d'ajustement de courbe (curve fitting) plutôt qu'à un outil d'aide à la décision ou d'analyse structurelle.

2. Méthodologie et Analyse Critique

Au lieu de proposer un nouveau modèle d'apprentissage automatique, les auteurs adoptent une approche méthodologique et épistémologique pour réexaminer les pratiques d'évaluation.

• Analyse des incitations : L'article examine comment les métriques dominantes (MSE/MAE) façonnent les objectifs de recherche, incitant les chercheurs à privilégier l'ajustement statistique sur l'utilité structurelle.
• Étude des interprétations divergentes : Les auteurs soulignent que différentes hypothèses structurelles (ex: lissage des variations abruptes vs suivi du bruit) peuvent conduire à des erreurs ponctuelles différentes, mais que les métriques actuelles ne permettent pas de distinguer quelle approche est la plus pertinente pour un objectif analytique donné.
• Critique de l'agrégation : Ils démontrent que l'agrégation globale des erreurs masque l'hétérogénéité des performances à travers différents régimes temporels (fenêtres glissantes), rendant invisible la performance réelle dans des conditions de changement de régime ou d'anomalies.

3. Contributions Clés : Une perspective d'évaluation multidimensionnelle

L'article propose de dépasser la recherche d'un "champion universel" pour adopter une évaluation structurée autour de trois dimensions complémentaires :

A. Fidélité Statistique (Statistical Fidelity)

• Objectif : Évaluer la proximité des prévisions par rapport aux valeurs observées dans des conditions standardisées.
• Évolution : Au-delà du MSE/MAE, l'utilisation de métriques mises à l'échelle (MASE) et de mesures probabilistes (CRPS) est recommandée pour améliorer la comparabilité. Les métriques de coût computationnel (temps d'inférence, efficacité d'entraînement) sont également intégrées pour l'aspect pratique.

B. Cohérence Structurelle (Structural Coherence)

• Objectif : Évaluer l'alignement des prévisions avec la structure temporelle sous-jacente.
• Critères : Préservation de la tendance, cohérence saisonnière et robustesse aux changements de régime.
• Outils : Utilisation de diagnostics quantitatifs (force de la tendance, force saisonnière, tests de distribution et de randomité) pour vérifier si les composantes structurelles sont correctement préservées dans la prédiction, indépendamment de l'erreur ponctuelle brute.

C. Pertinence au Niveau Décisionnel (Decision-Level Relevance)

• Objectif : Évaluer l'utilité des prévisions pour les objectifs de domaine spécifiques.
• Contexte : Dans des applications réelles (planification énergétique, finance), la stabilité de la tendance ou la gestion des risques asymétriques est souvent plus importante que la reproduction exacte du bruit à haute fréquence.
• Approche : L'évaluation doit considérer l'impact sur les tâches en aval (détection d'anomalies, imputation, prise de décision sous incertitude) et les coûts d'erreur asymétriques.

4. Résultats et Observations

Bien que l'article ne présente pas de résultats expérimentaux numériques d'un nouveau modèle, il tire des conclusions basées sur l'analyse de la littérature et des benchmarks existants :

• Absence de "Champion Universel" : Les travaux récents (citant Brigato et al., Qiu et al.) montrent qu'aucun modèle unique ne surpasse systématiquement les autres sur tous les jeux de données, horizons et conditions structurelles. La dominance marginale sur les benchmarks est souvent illusoire.
• Limites des classements globaux : Les tableaux de scores actuels masquent la variabilité des performances. Une fenêtre temporelle spécifique peut contenir des anomalies ou des changements de régime où un modèle "moins performant" en moyenne (car il lisse le bruit) est en réalité plus robuste et utile qu'un modèle qui suit le bruit.
• Risque de spécialisation : L'optimisation pour les benchmarks conduit à des modèles spécialisés sur les caractéristiques des jeux de données canoniques, réduisant leur capacité de généralisation à des scénarios réels diversifiés.

5. Signification et Impact

La signification de cet article réside dans un changement de paradigme culturel pour la communauté de la recherche en séries temporelles :

• Du classement au diagnostic : L'évaluation doit passer d'un simple classement numérique à un rapport diagnostique. Il s'agit de comprendre quand, où et pourquoi un modèle échoue ou réussit, en utilisant des analyses au niveau des fenêtres glissantes et des distributions d'erreurs (ex: graphes Q-Q).
• Redéfinition du progrès : Le progrès ne doit plus être mesuré uniquement par la réduction de l'erreur, mais par la capacité des modèles à capturer les dynamiques temporelles significatives et à soutenir la prise de décision.
• Contexte et Domaines : L'évaluation doit devenir contextuelle et dépendante du domaine. Un modèle n'est pas "meilleur" en absolu, mais meilleur pour un objectif spécifique (ex: stabilité opérationnelle vs réactivité au marché).

Conclusion :
L'article conclut que la communauté doit cesser de chercher à "gagner le mauvais jeu" des classements de benchmarks. L'avenir de la prévision LTSF réside dans l'adoption de pratiques d'évaluation qui reflètent la complexité des dynamiques temporelles réelles, en intégrant la fidélité statistique, la cohérence structurelle et la pertinence décisionnelle. Cela permettrait de transformer la prévision d'un exercice d'ajustement de courbe en un outil robuste pour la compréhension et l'action sur les systèmes temporels.