Evaluation of Deep Learning Based Early Warning Indicators of Epidemic Outbreaks

Technische Zusammenfassung: Evaluierung von auf Deep Learning basierenden Frühwarnindikatoren für epidemische Ausbrüche

Problemstellung
In epidemiologischen Systemen ist die Erkennung von „kritischen Übergängen“ oder Bifurkationen – insbesondere des Punktes, an dem die Basisreproduktionszahl ($R_0$) den Wert 1 überschreitet und damit eine Krankheit vom Aussterben zur Persistenz führt – entscheidend für die Krisenvorsorge. Während traditionelle statistische Indikatoren (z. B. Lag-1-Autokorrelation, Varianz) kritische Verlangsamung (Critical Slowing Down, CSD) nahe dieser Übergänge signalisieren können, scheitern sie im Allgemeinen daran, zukünftige Zustände vorherzusagen oder den spezifischen Typ der Bifurkation (z. B. Fold-, Hopf-, Transkritische Bifurkation) zu klassifizieren.

Neuere Deep-Learning-Ansätze (DL), wie jene von Bury et al. (trainiert auf generischen ODEs) sowie Chakraborty/Miry (trainiert auf SIR-basierten stochastischen Simulationen), haben vielversprechende Ergebnisse bei der Detektion und Klassifizierung von Bifurkationen gezeigt. Diese Modelle stehen jedoch vor erheblichen Einschränkungen bei der Anwendung auf Realdaten:

1. Generalisierungslücke: Modelle, die auf generischen mathematischen Modellen oder spezifischen Rauschkonfigurationen trainiert wurden, scheitern oft an der Detektion von Bifurkationen in realen epidemiologischen Daten, die durch variierende Rauschpegel und demografische Faktoren gekennzeichnet sind.
2. Mangel an rigoroser Evaluierung: Es gab bisher keine systematische Evaluierung dieser vortrainierten DL-Modelle auf realen Überwachungsdaten auf Bundesstaatsebene über mehrere geografische Regionen hinweg.
3. Operationale Unsicherheit: Es bleibt unklar, wie diese Modelle unter verschiedenen Fensterungsstrategien (Windowing Strategies) performen, die für die Online-Vorhersage in Echtzeit erforderlich sind.

Methodik
Die Autoren entwickelten eine umfassende Pipeline zur Evaluierung bestehender vortrainierter DL-Bifurkations-Vorhersagemodelle anhand eines vom CDC kuratierten Datensatzes wöchentlicher Influenza-Krankenhausaufnahmen in allen 50 US-Bundesstaaten, Washington D.C. und nationalen Aggregaten (Juli 2022 – Anfang 2025).

• Datenaufbereitung:
  • Preprocessing: Um die Trainingsanforderungen der Bury-et-al.-Modelle zu erfüllen, wandten die Autoren eine strikte Vorverarbeitungspipeline an: (1) Detrending mittels eines Lowess-Filters (Span 0,2), um langsame Trends zu entfernen, während die Fluktuationsstrukturen erhalten bleiben; (2) Normalisierung durch Division der Residuen durch den Mittelabsolutwert des Datensatzes.
  • Ground-Truth-Labeling: Da konsistente Daten zum seriellen Intervall für eine $R_t$-Schätzung auf Bundesstaatsebene nicht verfügbar waren, wurden die Ground-Truth-Bifurkationspunkte auf nationaler Ebene mithilfe des EpyEstim-Pakets (Bayesianischer Renewal-Equation-Ansatz) identifiziert. Für die Evaluierung auf Bundesstaatsebene wurden zwei manuelle Bifurkationsintervalle basend auf nationalen Trends definiert: Intervall A (t=108–118) und Intervall B (t=127–140).
• Evaluierte Modelle:
  • Bury et al. (2021): Eine CNN-LSTM-Architektur, trainiert auf 500.000 Zeitreihen aus generischen ODEs, die Fold-, Hopf- und transkritische Bifurkationen aufweisen.
  • Chakraborty/Miry (2024–2025): Modelle, die auf SIR-basierten stochastischen Simulationen unter Einbeziehung von additivem weißem Rauschen, multiplikativem Umweltrauschen und demografischem Rauschen neu trainiert wurden.
• Fensterungsstrategien (Windowing Strategies): Die Studie evaluierte systematisch, wie die Modelle unter verschiedenen Strategien zur Konstruktion von Input-Tensoren für die Online-Vorhersage abschneiden:
  • Rolling Window (Last 100): Die ursprüngliche Methode unter Verwendung der letzten 100 Datenpunkte.
  • Expanding Window: Das Fenster wächst vom Beginn der Serie bis zum aktuellen Zeitpunkt (gedeckelt auf 100).
  • Fixed-Length Moving Window: Ein gleitendes Fenster von 100 Punkten über die gesamte Serie.
  • Shorter Rolling Window: Länge 50 mit Zero-Padding.
  • Multi-Bifurcation Input: Eingabe von Fenstern, die mehrere Tipping Points umspannen.

Kernergebnisse
Die Evaluierung ergab, dass die Modellleistung stark von der Fensterungsstrategie und dem spezifischen Bifurkationsintervall abhängt.

• Leistungsmetriken: Die Expanding Window-Strategie (Beibehaltung des vollen historischen Kontext der Serie, gedeckelt auf 100 Punkte) lieferte die beste Leistung über alle Metriken hinweg:
  • Genauigkeit (Accuracy): 90,09 %
  • Präzision (Precision): 72,86 %
  • Recall: 96,23 %
  • F1-Score: 82,93 %
  • Spezifität (Specificity): 88,05 %
• Vergleich der Strategien:
  • Das ursprüngliche Rolling Window (letzte 100 Punkte) erreichte eine signifikant geringere Genauigkeit (63,48 %) und Präzision (17,35 %).
  • Strategien, die das Modell mehreren Bifurkationspunkten innerhalb eines einzigen Input-Tensors aussetzten, verringerten im Allgemeinen die Genauigkeit für einzelne Intervalle, beeinträchtigten jedoch nicht zwangsläufig die aggregierte Leistung, sofern der erste Tipping Point ausreichend abgedeckt war.
• Intervall-Diskrepanz: Die Modelle zeigten eine hohe Konsistenz bei der Detektion der ersten großen Bifurkation (Intervall A) mit einer True-Positive-Rate von 51/53 Standorten. Die Leistung sank in Intervall B (34/53 Standorten), was wahrscheinlich darauf zurückzuführen ist, dass der Zeitpunkt der zweiten Welle je nach Bundesstaat erheblich variierte, was es schwierig machte, ein einzelnes Evaluierungsfenster zu definieren, das alle Spitzen abdeckt, ohne zu breit zu werden. Die Modelle funktionierten am besten, wenn die realen Dynamiken der Verteilung der Trainingsdaten eng entsprachen.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass vortrainierte Deep-Learning-Modelle zur Bifurkationsdetektion auf reale Influenza-Daten auf Bundesstaatsebene generalisieren können und zur Online-/Echtzeit-Vorhersage fähig sind, sofern die Input-Fensterungsstrategie optimiert wird.

• Kontextuelle Bedeutung: Die Studie zeigt, dass die Beibehaltung des vollen zeitlichen Kontext der Serie (durch ein Expanding Window) der Verwendung der rein jüngsten Datenpunkte überlegen ist, was darauf hindeutet, dass das „Gedächtnis“ des Systems beim Annähern an den Tipping Point entscheidend für die Erkennungsfähigkeit des Modells ist.
• Operationale Lebensfähigkeit: Die Ergebnisse deuten darauf hin, dass diese Modelle für die Anwendung in der realen Überwachung geeignet sind, wobei die Autoren anmerken, dass die Präzisionswerte in einigen Konfigurationen durch False Positives getrieben wurden, was auf die Notwendigkeit einer Schwellenwertanpassung bei der operationalen Implementierung hindeutet.
• Alternative Frameworks: Das Paper diskutiert kurz Markov-Regime-Switching-Modelle (MRS) als vielversprechenden alternativen Rahmen zur Detektion epidemischer Übergänge, wobei eine vollständige vergleichende Evaluierung der zukünftigen Arbeit vorbehalten bleibt.

Die Autoren kommen zu dem Schluss, dass diese Modelle zwar vielversprechend sind, ihre Genauigkeit jedoch von der Ähnlichkeit zwischen den realen Bifurkationsdynamiken und den Trainingsdaten abhängt und dass eine sorgfältige Auswahl der Input-Fensterungsstrategie essenziell ist, um die Detektionsleistung zu maximieren.