🤖 machine learning

fev-bench: A Realistic Benchmark for Time Series Forecasting

Pour remédier aux limites des normes d'évaluation existantes dans la prévision de séries temporelles, les auteurs introduisent fev-bench, un benchmark complet de 100 tâches à travers sept domaines soutenu par la bibliothèque Python fev, qui emploie une agrégation statistiquement rigoureuse pour fournir des comparaisons de performance fiables et identifier des directions de recherche futures.

Auteurs originaux : Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous deviez décider lequel de dix prévisionnistes météo est le meilleur. Vous pourriez simplement leur demander de prédire la température pour demain et voir qui a raison. Mais que se passe-t-il si certains d'entre eux regardent aussi l'humidité, la vitesse du vent et les données historiques, alors que d'autres ne font que deviner en se basant sur le calendrier ? Et si vous ne vérifiiez leur précision qu'une seule fois, sur une seule journée qui s'est avérée exceptionnellement ensoleillée ? Vous pourriez choisir le mauvais vainqueur par pur hasard.

C'est le problème que le papier fev-bench tente de résoudre. Les auteurs soutiennent que les « bulletins de notes » actuels utilisés pour tester les modèles de prévision de séries temporelles (des IA qui prédisent des chiffres futurs comme les ventes, la consommation d'énergie ou les cours de la bourse) sont défectueux. Ils sont souvent trop étroits, ignorent des informations supplémentaires importantes (appelées covariables) et manquent de rigueur statistique pour dire si un modèle est réellement meilleur ou s'il a simplement eu de la chance.

Voici une décomposition de leur solution à l'aide d'analogies simples :

1. Le Problème : Le test à « voie unique »

Considérez les benchmarks existants comme un examen de conduite qui ne se déroulerait que sur une autoroute droite et déserte.

L'absence de « trafic » : La prévision dans le monde réel ressemble à la conduite dans une ville animée. Vous devez réagir aux feux de signalisation, aux piétons et à la météo. En prévision, ce sont les covariables (des données supplémentaires comme « c'est un jour férié » ou « nous faisons une promotion »). La plupart des tests actuels ignorent cela, de sorte que les modèles entraînés sur ces tests n'apprennent jamais à les utiliser.
Le problème du « coup de chance » : De nombreux tests rapportent un chiffre unique (par exemple, « le Modèle A est 5 % meilleur que le Modèle B »). Mais ce 5 % est-il réel ou s'agit-il d'un simple bruit aléatoire ? C'est comme dire qu'un lanceur de pièces est un génie parce qu'il a obtenu six fois de suite face. Sans vérifier si ce résultat se maintient sur de nombreux scénarios différents, vous ne pouvez pas faire confiance au vainqueur.
Le désordre de la « boîte noire » : Certains tests sont comme une pièce verrouillée où l'on ne peut pas voir comment le score a été calculé. Si deux personnes effectuent le même test, elles pourraient obtenir des résultats différents car elles ont utilisé des règles différentes. Cela rend difficile la comparaison équitable des modèles.

2. La Solution : fev-bench (Le simulateur de « conduite en ville »)

Les auteurs ont construit un nouveau benchmark appelé fev-bench (Forecast EValuation benchmark). Considérez cela comme un simulateur de conduite massif et réaliste comprenant 100 « parcours » (tâches) différents.

Un terrain diversifié : Au lieu d'une simple autoroute, ils ont 100 tâches réparties dans 7 « villes » différentes (domaines tels que le commerce de détail, l'énergie, la santé et la finance).
Le « trafic » est inclus : Crucialement, 46 de ces tâches incluent des covariables. C'est comme tester les modèles pendant qu'ils doivent gérer les feux de signalisation et la pluie. Cela révèle que beaucoup de modèles « intelligents » actuels échouent en réalité parce qu'ils ignoreent ces données supplémentaires.
Confiance statistique : Au lieu de donner un score unique, ils utilisent une méthode appelée bootstrap (rééchantillonnage). Imaginez passer le test de conduite 1 000 fois avec des schémas de circulation légèrement différents. Ils calculent ensuite un « intervalle de confiance » (une plage de scores probables). Si le Modèle A bat le Modèle B dans 95 % de ces 1 000 essais, alors vous pouvez affirmer avec certitude que A est meilleur. S'ils sont proches, le test admet : « Nous ne pouvons pas encore faire la différence ».

3. L'Outil : fev (Le « carnet de notes du arbitre »)

Pour s'assurer que tout le monde respecte les mêmes règles, les auteurs ont également publié un outil logiciel gratuit appelé fev.

Considérez cela comme un carnet de notes standardisé pour arbitre. Il gère le chargement des données, le calcul des scores et les mathématiques statistiques.
Il est léger et facile à utiliser, ce qui signifie que les chercheurs n'ont pas besoin de construire leurs propres systèmes de notation désordonnés à partir de zéro. Cela garantit que si vous et moi lançons le même test, nous obtiendrons exactement les mêmes résultats.

4. Ce qu'ils ont trouvé : L'écart des « covariables »

Lorsqu'ils ont testé leurs nouveaux benchmarks sur les meilleurs modèles d'IA disponibles aujourd'hui, ils ont découvert un écart surprenant :

Les modèles « intelligents » : Les modèles les plus récents et les plus avancés (comme Chronos-2) sont ceux qui performent le mieux globalement.
La compétence manquante : Cependant, les modèles capables d'utiliser des données supplémentaires (covariables) sont nettement plus performants que ceux qui les ignorent.
Le rappel à la réalité : Beaucoup des modèles actuels dits « à la pointe de l'état de l'art » ignorent essentiellement les feux de signalisation et les bulletins météo, même si ces rapports sont là, juste devant eux. Le papier suggère que le prochain grand bond en avant de la prévision ne viendra pas de l'augmentation de la taille des modèles, mais de l'apprentissage de l'utilisation de ce contexte supplémentaire.

Résumé

En bref, fev-bench est des « Jeux Olympiques » plus réalistes, plus équitables et plus rigoureux sur le plan statistique pour la prévision de séries temporelles. Il force les modèles à prouver qu'ils peuvent gérer la complexité du monde réel (comme les données supplémentaires) plutôt que de simplement mémoriser des motifs sur une piste simpliste. Leur principale découverte est que l'avenir d'une prévision précise réside dans des modèles qui savent utiliser toutes les informations disponibles, et pas seulement les chiffres passés.

Résumé technique : fev-bench

Définition du problème

La prévision de séries temporelles connaît une transformation portée par les modèles de fondation pré-entraînés (TSFM), qui offrent des capacités d'inférence zero-shot et surpassent souvent les méthodes traditionnelles. Cependant, l'évaluation de ces modèles est entravée par des lacunes significatives dans les benchmarks existants. Les cadres actuels souffrent fréquemment d'une couverture de domaine limitée, d'un manque de rigueur statistique dans l'agrégation et d'une infrastructure rigide qui entrave la reproductibilité.

Une lacune critique identifiée est la négligence des covariables (variables statiques, passées uniquement et dynamiques connues), malgré leur prévalence et leur importance dans les applications réelles telles que la prévision de la demande de détail. De plus, de nombreux benchmarks rapportent des résumés à chiffre unique sans intervalles de confiance, ce qui rend difficile la distinction entre une véritable amélioration des modèles et une variation aléatoire. Enfin, l'absence d'une infrastructure d'évaluation standardisée et légère conduit souvent à des implémentations incohérentes et à des résultats incomparables entre les études.

Méthodologie

Pour répondre à ces défis, les auteurs introduisent fev-bench, un benchmark complet comprenant 100 tâches de prévision à travers sept domaines du monde réel (Énergie, Nature, Cloud, Mobilité, Économie, Santé et Commerce de détail). La méthodologie repose sur trois piliers :

1. Construction du benchmark

Diversité des tâches : Le benchmark comprend 96 ensembles de données uniques provenant de dépôts établis (Monash, GIFT-Eval, BOOM) et de données de compétition (Kaggle, M5). Il présente 100 tâches distinctes variant en fréquence (de la minute à l'année), en horizons de prévision et en dimensionnalité.
Intégration des covariables : Une caractéristique déterminante est l'inclusion de 46 tâches avec covariables, couvrant les variables statiques, les variables dynamiques passées uniquement et les variables dynamiques connues. Cela contraste nettement avec les benchmarks précédents qui ignorent largement les covariables.
Protocole d'évaluation : Les tâches utilisent un protocole d'origine glissante avec plusieurs fenêtres d'évaluation ( $W$ ) pour imiter un déploiement en conditions réelles et améliorer la robustesse statistique. Le nombre de fenêtres est ajusté en fonction de la taille du jeu de données (jusqu'à 20 pour les petits jeux de données, 1 pour les grands).

2. Métriques d'évaluation et agrégation

Le benchmark évalue les prévisions ponctuelles et probabilistes en utilisant :

Métriques : L'erreur absolue moyenne pondérée (MASE) pour les prévisions ponctuelles et la perte quantile mise à l'échelle (SQL) pour les prévisions probabilistes. La SQL est choisie pour son indépendance d'échelle, de manière analogue à la MASE.
Stratégies d'agrégation :
- Taux de victoire ( $W_j$ ) : La probabilité qu'un modèle surpasse un concurrent choisi au hasard sur une tâche choisie au hasard.
- Scores de compétence ( $S_j$ ) : Une métrique basée sur la moyenne géométrique quantifiant la réduction de l'erreur par rapport à une ligne de base fixe (Seasonal Naive), plafonnée pour gérer les valeurs extrêmes.
- Signification statistique : Pour traiter la fiabilité des différences de performance, les auteurs emploient le bootstrapping apparié (1 000 échantillons) pour calculer des intervalles de confiance à 95 % pour les taux de victoire et les scores de compétence par paire. Cela permet de déterminer si les écarts de performance sont robustes aux variations de la composition du benchmark.

3. La bibliothèque `fev`

Le benchmark est soutenu par fev, une bibliothèque Python légère conçue pour la reproductibilité et l'intégration.

Conception : Elle minimise les dépendances (se reposant uniquement sur les datasets de Hugging Face et pydantic) et évite de coder en dur des versions spécifiques de bibliothèques (par exemple, PyTorch, NumPy) pour éviter l'obsolescence.
Fonctionnalité : Elle fournit des définitions de tâches standardisées, le chargement des données, la notation des prédictions et l'agrégation des résultats. Elle inclut des adaptateurs pour les bibliothèques de prévision populaires (GluonTS, darts, AutoGluon, etc.) mais exclut les implémentations de modèles pour garantir que l'infrastructure d'évaluation reste stable dans le temps.

Résultats clés

Les auteurs ont évalué une suite de 21 modèles, incluant des TSFM pré-entraînés de pointe (Chronos-2, TiRex, TimesFM-2.5, Moirai-2.0, etc.), des bases statistiques et des modèles spécifiques aux tâches.

Performance des modèles : Chronos-2 a obtenu le taux de victoire moyen le plus élevé (91,4 % pour le probabiliste, 87,2 % pour le ponctuel) et le score de compétence, suivi de TiRex et TimesFM-2.5. Les modèles pré-entraînés ont généralement surperformé les modèles statistiques et spécifiques aux tâches, tant en précision qu'en temps d'exécution.
Signification statistique : Les comparaisons par paires avec des intervalles de confiance par bootstrapping ont révélé un écart statistiquement significatif entre Chronos-2 et les autres modèles. Cependant, l'écart entre TiRex et TimesFM-2.5 présentait un chevauchement important, suggérant qu'il n'y a pas de vainqueur clair entre eux selon les différentes compositions du benchmark.
Impact des covariables : Une conclusion critique est que les modèles capables d'utiliser les covariables (spécifiquement Chronos-2 et TabPFN-TS) ont montré des gains de performance substantiels lorsque les covariables étaient incluses (par exemple, le score de compétence de Chronos-2 est passé de 40,9 % à 47,0 %). Inversement, la plupart des modèles pré-entraînés existants ignorent les covariables, laissant d'importants gains de précision inexploités.
Multivarié vs Univarié : La modélisation multivariée native n'a apporté que des gains modestes par rapport aux approches univariées, contrastant avec les améliorations massives observées grâce à l'intégration des covariables.

Signification et revendications

L'article positionne fev-bench et la bibliothèque fev comme un fondement pratique pour la prochaine génération de recherche en prévision de séries temporelles. Sa signification réside dans :

Combler l'écart des covariables : En incluant explicitement 46 tâches avec covariables, le benchmark souligne une déficience majeure dans le développement actuel des TSFM, pointant le support des covariables comme une direction claire pour les travaux futurs.
Rigueur statistique : L'utilisation d'intervalles de confiance par bootstrapping permet de dépasser les classements à chiffre unique, offrant une évaluation plus fiable pour déterminer si les différences de performance sont réelles ou dues à une variation aléatoire.
Reproductibilité et flexibilité : La conception légère et modulaire du package fev vise à surmonter la rigidité des systèmes de benchmark monolithiques, facilitant l'intégration dans les flux de travail existants et la création d'extensions spécifiques à un domaine.

Les auteurs concluent que bien que les modèles pré-entraînés progressent rapidement, la communauté doit donner la priorité au support des covariables et à une évaluation statistiquement robuste pour assurer un progrès durable dans les applications de prévision du monde réel.