Evaluation of Deep Learning Based Early Warning Indicators of Epidemic Outbreaks

Résumé Technique : Évaluation des indicateurs d'alerte précoce basés sur l'apprentissage profond pour les épidémies

Énoncé du problème
Dans les systèmes épidémiques, la détection des « transitions critiques » ou bifurcations — spécifiquement le point où le nombre de reproduction de base ($R_0$) franchit la barre de 1, faisant passer une maladie d'un état d'extinction à un état de persistance — est vitale pour la préparation aux épidémies. Bien que les indicateurs statistiques traditionnels (par exemple, l'autocorrélation de retard 1, la variance) puissent signaler un ralentissement critique (CSD) à l'approche de ces transitions, ils échouent généralement à prédire les états futurs ou à classifier le type spécifique de bifurcation (par exemple, repli, Hopf, transcritique).

Des approches récentes d'apprentissage profond (DL), telles que celles de Bury et al. (entraînées sur des ODE génériques) et de Chakraborty/Miry (entraînées sur des simulations stochastiques basées sur le modèle SIR), ont montré leur potentiel pour détecter et classifier les bifurcations. Cependant, ces modèles font face à des limitations significatives lorsqu'ils sont appliqués à des données du monde réel :

1. Écart de généralisation : Les modèles entraînés sur des modèles mathématiques génériques ou des configurations de bruit spécifiques échouent souvent à détecter les bifurcations dans les données épidémiques réelles caractérisées par des niveaux de bruit et des facteurs démographiques variables.
2. Absence d'évaluation rigoureuse : Il n'y a pas eu d'évaluation systématique de ces modèles DL pré-entraînés sur des données de surveillance réelles, à l'échelle des États, couvrant plusieurs régions géographiques.
3. Incertitude opérationnelle : Il reste incertain de savoir comment ces modèles performent sous différentes stratégies de fenêtrage de données requises pour la prédiction en ligne et en temps réel.

Méthodologie
Les auteurs ont développé un pipeline complet pour évaluer les modèles de prédiction de bifurcation pré-entraînés par DL sur un ensemble de données curatées par les CDC concernant les hospitalisations hebdomadaires pour la grippe dans les 50 États américains, Washington D.C. et les agrégats nationaux (juillet 2022 – début 2025).

• Préparation des données :
  • Prétraitement : Pour correspondre aux exigences d'entraînement des modèles de Bury et al., les auteurs ont appliqué un pipeline de prétraitement strict : (1) Dé-tendance à l'aide d'un filtre Lowess (span 0.2) pour éliminer les tendances lentes tout en préservant les structures de fluctuation ; (2) Normalisation en divisant les résidus par la valeur absolue moyenne du jeu de données.
  • Étiquetage de la vérité terrain : Comme des données cohérentes sur l'intervalle sériel n'étaient pas disponibles pour l'estimation de $R_t$ au niveau des États, les points de bifurcation de la vérité terrain ont été identifiés au niveau national à l'aide du package EpyEstim (approche par équation de renouvellement bayésienne). Pour l'évaluation au niveau des États, deux intervalles de bifurcation manuels ont été définis sur la base des tendances nationales : Intervalle A (t=108–118) et Intervalle B (t=127–140).
• Modèles évalués :
  • Bury et al. (2021) : Une architecture CNN-LSTM entraînée sur 500 000 séries temporelles d'ODE génériques présentant des bifurcations de type repli, Hopf et transcritique.
  • Chakraborty/Miry (2024–2025) : Modèles ré-entraînés sur des simulations stochastiques basées sur le modèle SIR intégrant du bruit blanc additif, du bruit environnemental multiplicatif et du bruit démographique.
• Stratégies de fenêtrage : L'étude a évalué systématiquement la performance des modèles sous différentes stratégies de construction de tenseurs d'entrée pour la prédiction en ligne :
  • Fenêtre roulante (Derniers 100) : La méthode originale utilisant uniquement les 100 points les plus récents.
  • Fenêtre extensible : La fenêtre croît depuis le début de la série jusqu'au point actuel (plafonnée à 100).
  • Fenêtre mobile à longueur fixe : Une fenêtre glissante de 100 points sur l'ensemble de la série.
  • Fenêtre roulante plus courte : Longueur de 50 avec remplissage par zéros (zero-padding).
  • Entrée multi-bifurcation : Alimentation par des fenêtres couvrant plusieurs points de bifurcation.

Résultats clés
L'évaluation a révélé que la performance des modèles dépend fortement de la stratégie de fenêtrage et du type de bifurcation.

• Métriques de performance : La stratégie de la Fenêtre extensible (conservant tout le contexte historique de la série jusqu'au point actuel, plafonnée à 100 points) a produit la meilleure performance sur toutes les métriques :
  • Précision (Accuracy) : 90,09 %
  • Précision (Precision) : 72,86 %
  • Rappel (Recall) : 96,23 %
  • Score F1 : 82,93 %
  • Spécificité : 88,05 %
• Comparaison des stratégies :
  • La Fenêtre roulante originale (derniers 100 points) a obtenu une précision nettement plus faible (63,48 %) et une précision (precision) de 17,35 %.
  • Les stratégies exposant le modèle à plusieurs points de bifurcation au sein d'un seul tenseur d'entrée ont généralement diminué la précision pour les intervalles individuels, mais n'ont pas nécessairement dégradé la performance globale si le premier point de basculement était suffisamment couvert.
• Discrépance d'intervalle : Les modèles ont montré une grande cohérence dans la détection de la première bifurcation majeure (Intervalle A), avec des taux de vrais positifs de 51/53 localisations. La performance a chuté pour l'Intervalle B (34/53 localisations), probablement parce que le timing de la seconde vague variait considérablement d'un État à l'autre, rendant difficile la définition d'une fenêtre d'évaluation unique qui engloberait tous les pics sans être trop large. Les modèles ont mieux performé lorsque la dynamique réelle ressemblait étroitement à la distribution des données d'entraînement.

Signification et affirmations
L'article affirme que les modèles de détection de bifurcation basés sur l'apprentissage profond pré-entraînés peuvent se généraliser aux données réelles de la grippe au niveau des États et sont capables de prédiction en ligne/en temps réel, à condition que la stratégie de fenêtrage d'entrée soit optimisée.

• Importance contextuelle : L'étude démontre que conserver l'intégralité du contexte temporel de la série (via une fenêtre extensible) est supérieur à l'utilisation des seuls points de données les plus récents, suggérant que la « mémoire » de l'approche du système vers le point de basculement est cruciale pour les capacités de reconnaissance du modèle.
• Viabilité opérationnelle : Les résultats indiquent que ces modèles sont aptes à une application dans la surveillance réelle, bien que les auteurs notent que les valeurs de précision dans certaines configurations aient été tirées vers le bas par des faux positifs, suggérant la nécessité d'un ajustement des seuils lors du déploiement opérationnel.
• Cadres alternatifs : Le document évoque brièvement les modèles de Changement de Régime de Markov (MRS) comme un cadre prometteur pour la détection des transitions épidémiques, bien qu'une évaluation comparative complète soit réservée aux travaux futurs.

Les auteurs concluent que bien que ces modèles soient prometteurs, leur précision dépend de la similitude entre les dynamiques de bifurcation du monde réel et les données d'entraînement, et qu'une sélection minutieuse de la stratégie de fenêtrage d'entrée est essentielle pour maximiser la performance de détection.