Horizon-dependent forecast ranking under structural change: a rolling-origin benchmark for global COVID-19 incidence

Cette étude évalue la performance de divers modèles statistiques pour la prévision quotidienne des cas de COVID-19 à l'échelle mondiale et démontre que, face aux changements structurels, les modèles de base simples (comme la dérive ou la naïveté saisonnière) restent souvent supérieurs aux méthodes plus complexes, soulignant ainsi l'importance d'une évaluation spécifique à l'horizon de prévision.

L'essentiel

🌍 Prédire l'avenir du virus : Pourquoi la distance compte plus que la méthode

Imaginez que vous essayez de prédire la météo. Si vous devez dire s'il va pleuvoir dans 10 minutes, vous regardez simplement le ciel au-dessus de votre tête. Si vous devez prédire la météo dans 15 jours, vous avez besoin de modèles complexes, de satellites et d'ordinateurs puissants.

C'est exactement le dilemme que les chercheurs ont étudié dans ce papier concernant le COVID-19. Ils se sont demandé : « Quelle est la meilleure façon de prédire le nombre de nouveaux cas de coronavirus demain, dans 3 jours, ou dans deux semaines ? »

Leur réponse surprenante ? Il n'y a pas de "meilleure méthode" universelle. Tout dépend de la distance (le "horizon") à laquelle vous regardez.

🏃‍♂️ La course des modèles : Qui gagne sur quelle distance ?

Les chercheurs ont mis en lice plusieurs "coureurs" (des modèles mathématiques) sur une piste de course qui changeait constamment (car la situation du virus changeait vite). Voici ce qu'ils ont découvert :

1. Le sprinteur (1 jour) : La "Naïveté" gagne.
   Pour prédire ce qui va se passer demain, le modèle le plus simple a souvent gagné : celui qui dit "Demain, ce sera à peu près la même chose qu'aujourd'hui". C'est comme dire : "Si je cours à 10 km/h maintenant, je continuerai à 10 km/h dans 10 secondes". C'est étonnamment efficace pour le très court terme.

2. Le coureur de fond (7 et 14 jours) : Le "Dérive" (Drift) domine.
   Pour une prévision à une ou deux semaines, le gagnant est un modèle très simple appelé "Dérive". Imaginez que vous êtes sur un tapis roulant qui accélère doucement. Le modèle "Dérive" ne regarde pas les détails compliqués, il dit simplement : "La tendance actuelle va continuer, donc on va aller un peu plus loin dans la même direction".

   • Leçon : Parfois, un modèle simple qui suit la tendance générale bat des ordinateurs très complexes.

3. Le coureur de 3 jours : Le "Rythme hebdomadaire" gagne.
   Pour 3 jours, le modèle gagnant était celui qui tenait compte du cycle de la semaine (les gens testent moins le week-end, par exemple). C'est comme si le virus avait un rythme biologique lié à nos habitudes de travail.

4. Le géant maladroit (Prophet) :
   Ils ont aussi testé un modèle très célèbre et sophistiqué appelé "Prophet". Résultat ? Il a été très mauvais pour prédire le nombre exact de cas. Pour essayer de ne pas se tromper, il a donné des prédictions avec des marges d'erreur gigantesques (comme dire : "Demain, il y aura entre 0 et 1 million de cas"). C'est techniquement juste, mais inutile pour prendre des décisions !

🛠️ L'outil magique : La "Méthode du Rouleau"

Comment ont-ils pu tester cela sans se tromper ? Au lieu de faire une seule prédiction sur une seule période (comme un examen unique), ils ont utilisé une méthode de "rouleau".

Imaginez que vous lisez un livre page par page.

• Vous lisez la page 1, vous essayez de deviner la page 2.
• Ensuite, vous lisez la page 2, vous essayez de deviner la page 3.
• Vous continuez ainsi jusqu'à la fin.

Cette méthode, appelée "Rolling-origin", permet de voir comment les modèles se comportent en temps réel, alors que le livre (la situation du virus) change constamment. C'est beaucoup plus honnête que de tester un modèle sur un vieux chapitre figé dans le temps.

🧱 Pourquoi les modèles simples battent-ils les complexes ?

C'est la grande surprise de l'étude. On pensait que pour un virus aussi complexe, il fallait des super-ordinateurs et des équations compliquées.

Mais le virus, vu de l'espace (à l'échelle mondiale), ressemble à une vague géante.

• Les modèles complexes essaient de prédire chaque petite vaguelette et chaque écueil.
• Les modèles simples (comme la "Dérive") regardent simplement la direction de la vague géante.

Dans un monde où les données changent vite (nouveaux variants, changements de tests, etc.), essayer de tout modéliser en détail devient un piège. Suivre la tendance générale s'avère souvent plus fiable que d'essayer de tout calculer.

💡 Ce que cela signifie pour nous

Cette étude nous apprend trois choses importantes pour la santé publique :

1. Ne cherchez pas le "Super-Héros" unique. Il n'y a pas un modèle magique qui gagne tout le temps. Si vous voulez savoir ce qui va se passer demain, utilisez un modèle simple. Si vous voulez planifier pour dans deux semaines, utilisez un autre modèle.
2. La simplicité est une force. Dans le chaos d'une épidémie, les modèles simples et transparents sont souvent plus robustes que les boîtes noires complexes.
3. La précision dépend du temps. Comparer des modèles sans préciser "pour quelle date" est comme comparer un sprinteur et un marathonien sans dire la distance. C'est injuste et inutile.

En résumé : Pour prédire l'évolution du virus, il faut savoir quand on regarde. Parfois, le meilleur outil est un crayon et une règle simple, pas un super-ordinateur. Et surtout, il faut toujours vérifier si nos prédictions sont réalistes, ou si elles sont juste des "filets de sécurité" trop larges pour être utiles !

Résumé technique

1. Problématique et Contexte

La prévision à court terme des épidémies est particulièrement difficile lorsque les séries temporelles de surveillance sont hautement non stationnaires, sujettes à des changements structurels (ruptures de tendance, changements de régime) et affectées par l'évolution des conditions de signalement.

• Défi principal : La qualité des prévisions se dégrade souvent lorsque le processus générateur de données change. Les évaluations basées sur une seule division entraînement-test peuvent être fragiles si cette division coïncide avec une phase atypique.
• Objectif de l'étude : Évaluer la performance comparative de différents modèles statistiques pour la prévision quotidienne mondiale des cas de COVID-19 (période du 22 janvier au 27 juillet 2020), en mettant l'accent sur la dépendance de la performance par rapport à l'horizon de prévision et la stabilité des conclusions sous différentes configurations d'évaluation.

2. Méthodologie

Données et Construction de la Cible

• Source : Données agrégées mondiales de l'Université Johns Hopkins (JHU) via Kaggle.
• Période : 188 jours (22/01/2020 – 27/07/2020).
• Cible de prévision : Incidence quotidienne rapportée ($y_t$ = nouveaux cas), plutôt que les totaux cumulés, pour éviter des erreurs artificiellement faibles lors d'une croissance rapide.
• Transformation : Une transformation logarithmique $z_t = \log(1 + y_t)$ est utilisée pour stabiliser la variance dans certains modèles.
• Variable de contrôle : Le nombre de pays rapporteurs (passant de 6 à 187) est utilisé comme proxy de la couverture pour analyser l'impact de l'expansion des données.

Protocole d'Évaluation : "Rolling-Origin" (Retour en arrière glissant)

Pour approximer la prévision en temps réel, l'étude utilise un protocole de validation croisée glissante :

• Origines de prévision : Les modèles sont réestimés à chaque instant $t$ en utilisant les données disponibles jusqu'à $t-1$.
• Horizons : Prévisions à $h \in \{1, 3, 7, 14\}$ jours.
• Fenêtre d'entraînement : Une longueur minimale de 56 jours est imposée.
• Métriques : MAE (Erreur Absolue Moyenne), RMSE (Racine de l'Erreur Quadratique Moyenne), sMAPE et MASE, calculés sur l'échelle originale des incidences.

Modèles Comparés

1. Modèles de base (Baselines) :
   • Naive : Persistance de la dernière observation.
   • Seasonal Naive : Répétition de la valeur de la semaine précédente (période $s=7$).
   • Drift : Extrapolation de la tendance historique moyenne.
2. Modèles statistiques transformés :
   • ARIMA(log1p) : Modèles ARIMA ajustés sur la série transformée, ordre sélectionné par AIC.
   • ETS(log1p) : Lissage exponentiel (State-Space) ajusté sur la série transformée, sélection par AIC.
3. Modèle de référence probabiliste :
   • Prophet(log1p) : Décomposition de tendance et saisonnalité (seulement hebdomadaire ici).

Analyse de Robustesse

L'étude teste la stabilité des résultats face à :

• Différentes configurations de segmentation des régimes (détection de ruptures).
• Politiques de fenêtre d'entraînement (expansive vs glissante).
• Sous-échantillons stabilisés par la couverture (excluant la phase d'expansion rapide du signalement).
• Définitions alternatives de la cible (différences premières des cas cumulés).

3. Résultats Clés

Dépendance à l'Horizon de Prévision

Le résultat central est que le classement des modèles dépend fortement de l'horizon de prévision :

• Horizon 1 jour : Le modèle Drift est le meilleur, suivi de très près par le modèle Naive.
• Horizon 3 jours : Le modèle Seasonal Naive surpasse les autres, suggérant que les effets de signalement hebdomadaires restent détectables même dans une série agrégée.
• Horizons 7 et 14 jours : Le modèle Drift redevient le plus performant.
• Modèles statistiques : ARIMA(log1p) est compétitif aux horizons courts, tandis que ETS(log1p) devient supérieur à ARIMA aux horizons plus longs (7 et 14 jours).
• Prophet : Performe mal en prévision ponctuelle (MAE très élevé) à tous les horizons. Sa haute couverture des intervalles de prédiction (80%) s'explique uniquement par des intervalles extrêmement larges (manque de précision).

Tests Statistiques (Diebold-Mariano)

Les tests de Diebold-Mariano confirment la significativité statistique des différences :

• Drift surpasse significativement ARIMA et ETS aux horizons 1, 7 et 14 jours.
• ETS(log1p) surpasse significativement ARIMA(log1p) aux horizons 7 et 14 jours.
• À l'horizon 3 jours, les différences sont moins marquées ou favorisent légèrement ARIMA/Seasonal Naive.

Analyse par Régime Structurel

En segmentant rétrospectivement la série en trois phases (début de pandémie, escalade rapide, phase de haute incidence stable) :

• La dépendance à l'horizon persiste au sein de chaque régime.
• Le Drift et ETS(log1p) restent les modèles les plus compétitifs globalement, mais leur avantage relatif varie selon la phase épidémique et l'horizon.

Robustesse

• Fenêtres glissantes : L'utilisation de fenêtres glissantes (ex: 84 ou 112 jours) améliore les performances d'ETS aux horizons moyens et longs par rapport aux fenêtres expansives, illustrant un compromis entre adaptation et stabilité.
• Stabilisation de la couverture : En excluant la phase initiale d'expansion des pays rapporteurs, le classement à court terme change légèrement (ETS devient meilleur à 3 jours), mais la conclusion principale (dépendance à l'horizon et compétitivité des baselines) reste intacte.
• Définition de la cible : Les changements mineurs dans la construction des données (cas rapportés vs calculés) n'altèrent pas le classement relatif des modèles.

4. Contributions Principales

1. Benchmark "Rolling-Origin" : Mise en place d'une évaluation réaliste pour les données épidémiques non stationnaires, évitant les biais d'une seule division entraînement-test.
2. Segmentation Régime-Aware : Utilisation de ruptures de régime détectées sur une échelle stabilisée en variance uniquement pour stratifier les erreurs, sans fuite d'information vers l'entraînement.
3. Analyse de Robustesse Systématique : Démonstration que les conclusions sur la dépendance à l'horizon sont stables face aux choix de conception de l'évaluation (fenêtres, définitions de données, segments).
4. Insight Empirique : Preuve que les modèles de base simples (Drift, Naive) restent difficiles à surpasser dans les données de surveillance épidémique, même avec des modèles statistiques transformés plus complexes.

5. Signification et Implications

• Pour la prévision épidémique : Il n'existe pas de "meilleur modèle" universel. Le choix du modèle doit être spécifique à l'horizon de prévision. Une prévision à 3 jours ne doit pas utiliser les mêmes critères de sélection qu'une prévision à 14 jours.
• Rôle des Baselines : Les modèles simples (Drift, Naive) ne doivent pas être considérés comme de simples références triviales. Dans des contextes de surveillance avec des changements structurels, ils offrent souvent une performance robuste et supérieure.
• Évaluation des Incertitudes : La couverture nominale élevée (comme observée avec Prophet) ne garantit pas une prévision utile si elle est obtenue au prix d'intervalles de prédiction trop larges (manque de "sharpness").
• Recommandations Méthodologiques : Les études de prévision épidémique doivent adopter des protocoles d'évaluation glissants, stratifiés par horizon, et vérifier explicitement l'impact des changements de couverture des données (reporting) sur les résultats.

En conclusion, cette étude souligne la nécessité d'une évaluation nuancée et spécifique à l'horizon pour comparer les modèles de prévision, tout en réhabilitant l'efficacité des méthodes statistiques simples face à des données complexes et évolutives.