Rolling-Origin Validation Reverses Model Rankings in Multi-Step PM10 Forecasting: XGBoost, SARIMA, and Persistence

En comparant XGBoost, SARIMA et une approche de persistance sur des données de PM10, cette étude démontre que l'évaluation par validation à origine roulante, contrairement aux splits statiques, inverse les classements de performance en révélant que SARIMA reste plus fiable que XGBoost pour les prévisions multi-jours.

L'essentiel

🌬️ Le Grand Test de Prévision de la Pollution : Qui est vraiment le meilleur ?

Imaginez que vous êtes le chef d'orchestre de la qualité de l'air dans une ville. Votre mission ? Prévoir combien de poussière fine (appelée PM10) va flotter dans l'air au cours des 7 prochains jours. Pourquoi ? Parce que si vous savez qu'il va y avoir une tempête de poussière demain, vous pouvez fermer les écoles, limiter le trafic ou prévenir les gens sensibles.

Les scientifiques ont comparé trois "prévisionnistes" pour voir qui fait le meilleur travail :

1. Le Paresseux (Persistance) : Il dit : "Demain, il fera exactement comme aujourd'hui." C'est la méthode la plus simple.
2. Le Statisticien Classique (SARIMA) : Un vieux sage qui connaît les règles de la météo et les cycles saisonniers.
3. Le Génie de l'IA (XGBoost) : Un super-ordinateur ultra-puissant capable de trouver des motifs complexes que les humains ne voient pas.

Le problème, c'est que jusqu'à présent, on testait ces prévisionnistes d'une manière un peu "triche".

---

🎭 Le Piège du "Test Unique" (La Validation Statique)

Imaginez que vous voulez savoir si un footballeur est vraiment bon.

• L'ancienne méthode (Statique) : Vous lui donnez un match à jouer une seule fois, avec un terrain parfaitement plat et sans vent. Il marque 10 buts ! On crie : "C'est le meilleur joueur du monde !"
• La réalité : En vrai, il doit jouer tous les jours, sous la pluie, avec des blessures, et le terrain change.

Dans cette étude, les chercheurs ont d'abord fait le "test unique" (statique). Résultat ? Le Génie de l'IA (XGBoost) semblait gagner partout, battant le Paresseux et le Statisticien sur tous les jours (du 1er au 7ème jour). On aurait pu penser : "Super, on installe l'IA partout !"

---

🔄 La Réalité du "Test en Direct" (La Validation à Origine Glissante)

Mais les chercheurs se sont dit : "Attendez, dans la vraie vie, on ne fait pas un seul test. On met à jour nos prévisions chaque jour avec de nouvelles données."

Ils ont donc changé les règles du jeu pour simuler la réalité :

• Au lieu d'un seul match, ils ont fait 47 matchs (un par mois) sur plusieurs années.
• À chaque fois, le modèle devait apprendre avec les données du passé, faire sa prédiction, puis oublier ce qu'il a vu pour le match suivant, et recommencer avec les nouvelles données. C'est comme si le footballeur devait jouer chaque semaine, en s'adaptant à la forme du jour.

Et là, la surprise ! 🤯

Les résultats ont totalement changé (c'est ce qu'on appelle "inverser le classement") :

1. Le Génie de l'IA (XGBoost) : Il a perdu ses super-pouvoirs. Aux jours 1, 2 et 3, il était pire que le Paresseux ! Il s'est trompé plus souvent que celui qui disait juste "demain sera comme aujourd'hui". Il semblait avoir "mémorisé" le test unique au lieu d'apprendre à prédire.
2. Le Statisticien (SARIMA) : Lui, il est resté solide. Il a battu le Paresseux et a même battu l'IA sur presque tous les jours. Il a gardé son calme et sa logique.

---

💡 La Leçon : La "Durée de Validité" (H*)

Les chercheurs ont inventé un nouveau concept pour résumer tout ça : l'Horizon de Prévisibilité (H)*.

Imaginez que vous avez une lampe torche.

• L'ancienne méthode disait : "Cette lampe brille jusqu'à 7 mètres !".
• La nouvelle méthode dit : "Attends, si tu la secoues comme dans la vraie vie, elle ne brille plus vraiment après 1 mètre, et elle clignote bizarrement entre 2 et 4 mètres."

Leur conclusion est que la complexité ne garantit pas la fiabilité.

• Parfois, un modèle très compliqué (comme l'IA) est si bon pour "apprendre par cœur" le passé qu'il devient mauvais pour prédire le futur quand les conditions changent un peu.
• Parfois, une méthode simple et robuste (comme le modèle statistique) est plus fiable pour prendre des décisions réelles.

🏁 En Résumé pour la Vie Quotidienne

Si vous êtes un décideur (maire, responsable de la santé) :

• Ne vous fiez pas aux beaux graphiques d'un seul test.
• Demandez toujours : "Est-ce que ce modèle fonctionne encore bien quand on le teste jour après jour, avec de nouvelles données ?"
• Parfois, la solution la plus simple (ou la plus classique) est plus fiable que la technologie de pointe, surtout si elle doit fonctionner dans le monde réel et pas seulement dans un laboratoire.

La morale de l'histoire : Ne choisissez pas votre prévisionniste sur la base d'un seul jour de chance. Testez-le dans la tempête, jour après jour, pour voir qui tient vraiment le coup.

Résumé technique

Titre de l'étude

Validation à origine glissante (Rolling-Origin) inversant les classements de modèles dans la prévision multi-étape des PM10 : XGBoost, SARIMA et Persistance.

---

1. Problématique

La prévision de la qualité de l'air, en particulier pour les particules fines (PM10), est cruciale pour la gestion des épisodes de pollution, la régulation du trafic et les avis de santé publique. Cependant, l'évaluation des modèles de prévision dans la littérature scientifique souffre de deux limitations majeures :

• Utilisation de splits chronologiques statiques : La plupart des études divisent les données en un seul ensemble d'entraînement et un seul ensemble de test. Cette approche ne reflète pas les conditions opérationnelles réelles où les modèles sont mis à jour séquentiellement avec de nouvelles données.
• Absence de référence de persistance : Les gains de performance sont souvent rapportés par rapport à des métriques d'erreur absolue (RMSE, MAE) sans comparaison explicite avec une prévision de persistance (la valeur future est supposée égale à la dernière observation). Dans les séries temporelles fortement autocorrélées comme les PM10, une amélioration marginale de l'erreur absolue peut masquer l'absence de valeur ajoutée réelle par rapport à une inertie temporelle simple.

L'objectif de cette étude est de déterminer si les gains apparents des modèles d'apprentissage automatique (Machine Learning) par rapport aux modèles statistiques classiques ou à la persistance se maintiennent sous des conditions de validation réalistes et séquentielles.

2. Méthodologie

L'étude utilise des données quotidiennes de concentration en PM10 (2017-2024) provenant d'une station de fond urbain à Elche (Espagne).

• Modèles comparés :

  1. Persistance : La ligne de base (benchmark) la plus simple, supposant que la concentration future est égale à la dernière observation.
  2. SARIMA : Un modèle statistique classique (Seasonal Autoregressive Integrated Moving Average) capturant les structures linéaires et saisonnières.
  3. XGBoost : Un modèle d'apprentissage automatique (Gradient Boosting) capable de capturer des relations non linéaires complexes.

• Protocoles d'évaluation :

  • Split Chronologique Statique : Entraînement sur une période fixe (2017-2022) et test sur une période unique (2023).
  • Validation à Origine Glissante (Rolling-Origin) : Le point de départ de l'entraînement avance mensuellement (2020-2023). À chaque itération, le modèle est ré-entraîné uniquement sur les données disponibles jusqu'à ce moment, avec un prétraitement strictement limité à l'ensemble d'entraînement pour éviter les fuites de données (data leakage).

• Métriques d'évaluation :

  • Compétence relative à la persistance ($SS_m(h)$) : Définie comme $1 - \frac{Erreur_{modèle}}{Erreur_{persistance}}$. Une valeur positive indique une amélioration par rapport à la persistance.
  • Horizon de prévisibilité ($H^*$) : Défini comme le horizon maximal ($h \in \{1, ..., 7\}$) pour lequel la compétence relative à la persistance reste positive. C'est une mesure de la durée de l'utilité opérationnelle du modèle.

3. Contributions Clés

L'article apporte trois contributions méthodologiques et empiriques majeures :

1. Conception d'évaluation reproductible : Une approche qui distingue la compétence de prévision réelle des artefacts introduits par les validations statiques et les prétraitements non causaux.
2. Interprétation opérationnelle via $H^*$ : Introduction de l'horizon de prévisibilité comme métrique synthétique pour déterminer jusqu'où un modèle reste utile par rapport à une référence minimale (persistance).
3. Preuve de l'instabilité des classements : Démonstration empirique que les classements de modèles ne sont pas invariants au design d'évaluation. Un modèle jugé supérieur sous un split statique peut s'avérer inférieur sous une validation glissante.

4. Résultats

Les résultats montrent une divergence radicale entre les deux protocoles d'évaluation :

• Évaluation Statique (Split unique) :

  • XGBoost apparaît comme le modèle le plus performant, affichant une compétence positive ($SS > 0$) sur tous les horizons (1 à 7 jours).
  • L'horizon de prévisibilité $H^*$ est estimé à 7 jours pour XGBoost.
  • Ce résultat suggère faussement que le modèle apporte une valeur ajoutée constante.

• Évaluation à Origine Glissante (Conditions réelles) :

  • XGBoost : La supériorité disparaît. Le modèle présente une compétence négative aux horizons courts et intermédiaires (1, 2, 3 et 4 jours), signifiant qu'il performe moins bien que la simple persistance. Il ne redevient positif qu'aux horizons plus longs (5-7 jours).
  • SARIMA : Le modèle statistique maintient une compétence positive sur toute la plage d'horizons (1 à 7 jours), avec une robustesse supérieure à XGBoost aux horizons courts.
  • Inversion du classement : Sous validation glissante, SARIMA surpasse systématiquement XGBoost à tous les horizons, inversant le classement observé sous l'évaluation statique.

5. Signification et Implications

• Surévaluation de la complexité : La complexité accrue des modèles (comme XGBoost) ne garantit pas une meilleure utilité opérationnelle. Dans ce cas, un modèle statistique classique (SARIMA) s'est révélé plus robuste et fiable dans un contexte de mise à jour séquentielle.
• Importance du design de validation : Les conclusions sur l'efficacité d'un modèle de prévision dépendent intrinsèquement du protocole de validation. Une validation statique peut masquer l'instabilité des modèles face à l'arrivée de nouvelles données.
• Guide pour les praticiens : Pour les gestionnaires de la qualité de l'air, il est crucial d'utiliser des profils de compétence basés sur la persistance et des validations glissantes. Cela permet d'identifier les horizons spécifiques où un modèle est fiable (ex: SARIMA pour 1-7 jours) et d'éviter le déploiement de modèles complexes qui pourraient dégrader la prise de décision aux horizons courts.
• Limites et généralisation : Bien que l'étude se concentre sur une station unique, la méthodologie (validation glissante + compétence relative) est transférable à d'autres polluants et sites. L'horizon de prévisibilité $H^*$ doit être interprété comme une mesure conditionnelle au protocole d'évaluation et non comme une propriété intrinsèque de la série temporelle.

Conclusion : L'étude plaide pour un changement de paradigme dans l'évaluation des modèles de prévision environnementale : passer de la minimisation de l'erreur absolue sur un split statique à l'évaluation de la compétence relative à la persistance sous des conditions de déploiement réalistes et séquentielles.