Evaluation of Deep Learning Based Early Warning Indicators of Epidemic Outbreaks

Technische Samenvatting: Evaluatie van op Deep Learning gebaseerde vroege waarschuwingsindicatoren voor epidemische uitbraken

Probleemstelling
In epidemische systemen is het detecteren van "kritieke transities" of bifurcaties—specifiek het punt waar het basisreproductiegetal ($R_0$) de 1 kruist, waardoor een ziekte verschuift van extinctie naar persistentie—van vitaal belang voor de voorbereiding op uitbraken. Hoewel traditionele statistische indicatoren (bijv. lag-1 autocorrelatie, variantie) kritieke vertraging (Critical Slowing Down, CSD) nabij deze transities kunnen signaleren, falen ze over het algemeen in het voorspellen van toekomstige toestanden of het classificeren van het specifieke type bifurcatie (bijv. vouw-, Hopf-, of transcritische bifurcatie).

Recente deep learning (DL) benaderingen, zoals die van Bury et al. (getraind op generieke ODE's) en Chakraborty/Miry (getraind op stochastische SIR-gebaseerde simulaties), hebben veelbelovende resultaten getoond bij het detecteren en classificeren van bifurcaties. Deze modellen kampen echter met aanzienlijke beperkingen bij toepassing op real-world data:

1. Generalisatiekloof: Modellen getraind op generieke wiskundige modellen of specifieke ruisconfiguraties falen vaak bij het detecteren van bifurcaties in real-world epidemische data die gekenmerkt worden door variërende ruisniveaus en demografische factoren.
2. Gebrek aan rigoureuze evaluatie: Er is geen systematische evaluatie uitgevoerd van deze vooraf getrainde DL-modellen op real-world surveillance-data op staatsniveau verspreid over meerdere geografische regio's.
3. Operationele onzekerheid: Het blijft onduidelijk hoe deze modellen presteren onder verschillende windowing-strategieën die vereist zijn voor online, real-time voorspelling.

Methodologie
De auteurs hebben een uitgebreide pipeline ontwikkeld om bestaande vooraf getrainde DL-bifurcatievoorspellingsmodellen te evalueren op een door de CDC gecureerde dataset van wekelijkse influenza-ziekenhuisopnames in alle 50 Amerikaanse staten, Washington D.C. en nationale aggregaten (juli 2022 – begin 2025).

• Datapreparatie:
  • Preprocessing: Om te voldoen aan de trainingsvereisten van de Bury et al. modellen, pasten de auteurs een strikte preprocessing-pipeline toe: (1) Detrending met behulp van een Lowess-filter (span 0.2) om trage trends te verwijderen terwijl de fluctuatiestructuren behouden blijven; (2) Normalisatie door residuen te delen door de gemiddelde absolute waarde van de dataset.
  • Grondwaarheid-labeling: Omdat consistente gegevens over de seriële interval niet beschikbaar waren voor $R_t$-schatting op staatsniveau, werden grondwaarheid-bifurcatiepunten op nationaal niveau geïdentificeerd met behulp van het EpyEstim-pakket (Bayesiaanse vernieuwingsvergelijking-benadering). Voor evaluatie op staatsniveau werden twee handmatige bifurcatie-intervallen gedefinieerd op basis van nationale trends: Interval A (t=108–118) en Interval B (t=127–140).
• Geëvalueerde Modellen:
  • Bury et al. (2021): Een CNN-LSTM architectuur getraind op 500.000 tijdreeksen van generieke ODE's die vouw-, Hopf- en transcritische bifurcaties vertonen.
  • Chakraborty/Miry (2024–2025): Modellen opnieuw getraind op SIR-gebaseerde stochastische simulaties die additieve witte, multiplicatieve omgevings- en demografische ruis bevatten.
• Windowing-strategieën: De studie evalueerde systematisch hoe de modellen presteren onder verschillende strategieën voor de constructie van input-tensoren voor online voorspelling:
  • Rolling Window (Laatste 100): De oorspronkelijke methode waarbij alleen de meest recente 100 punten worden gebruikt.
  • Expanding Window: Het venster groeit vanaf het begin van de reeks tot het huidige punt (gecapped op 100).
  • Fixed-Length Moving Window: Een verschuivend venster van 100 punten over de gehele reeks.
  • Kortere Rolling Window: Lengte 50 met zero-padding.
  • Multi-Bifurcation Input: Vensters die meerdere tipping points beslaan.

Belangrijkste Resultaten
De evaluatie toonde aan dat de prestaties van het model sterk afhankelijk zijn van de windowing-strategie en de specifieke bifurcatie-interval.

• Prestatie-indicatoren: De Expanding Window strategie (waarbij de volledige historische context van de reeks wordt behouden, gecapped op 100 punten) leverde de beste prestaties op over alle metrieken:
  • Accuraatheid: 90,09%
  • Precisie: 72,86%
  • Recall: 96,23%
  • F1-score: 82,93%
  • Specificiteit: 88,05%
• Vergelijking van strategieën:
  • De oorspronkelijke Rolling Window (laatste 100 punten) behaalde een aanzienlijk lagere accuraatheid (63,48%) en precisie (17,35%).
  • Strategieën die het model blootstelden aan meerdere bifurcatiepunten binnen een enkele input-tensor verlaagden over het algemeen de accuraatheid voor individuele intervallen, maar verslechterden de geaggregeerde prestaties niet noodzakelijkerwijs als het eerste tipping point voldoende werd gedekt.
• Interval-discrepantie: De modellen vertoonden een hoge consistentie in het detecteren van de eerste grote bifurcatie (Interval A), met een true positive rate van 51/53 locaties. De prestaties daalden in Interval B (34/53 locaties), waarschijnlijk omdat de timing van de tweede golf aanzienlijk varieerde per staat, waardoor het moeilijk was om een enkel evaluatievenster te definiëren dat alle pieken omvatte zonder te breed te worden. De modellen presteerden het best wanneer de real-world dynamiek nauw aansloot bij de distributie van de trainingsdata.

Betekenis en Claims
Het artikel claimt dat vooraf getrainde deep learning-modellen voor bifurcatiedetectie kunnen generaliseren naar real-world, staatsniveau influenza-data en in staat zijn tot online/real-time voorspelling, mits de input windowing-strategie is geoptimaliseerd.

• Contextuele Belangrijkheid: De studie toont aan dat het behouden van de volledige temporele context van de reeks (via een expanding window) superieur is aan het gebruiken van alleen de meest recente datapunten, wat suggereert dat het "geheugen" van de benadering van het systeem tot het tipping point cruciaal is voor de herkenningscapaciteiten van het model.
• Operationele Leefbaarheid: De bevindingen wijzen erop dat deze modellen geschikt zijn voor toepassing in real-world surveillance, hoewel de auteurs opmerken dat de precisiewaarden in sommige configuraties werden gedreven door false positives, wat wijst op een behoefte aan drempelwaarde-tuning bij operationele inzet.
• Alternatieve Kaders: Het paper bespreekt kort Markov Regime Switching (MRS) modellen als een veelbelovend alternatief kader voor het detecteren van epidemische transities, hoewel een volledige vergelijkende evaluatie is voorbehouden aan toekomstig werk.

De auteurs concluderen dat hoewel deze modellen veelbelovend zijn, hun accuraatheid afhankelijk is van de gelijkenis tussen de real-world bifurcatiedynamiek en de trainingsdata, en dat een zorgvuldige selectie van de input windowing-strategie essentieel is voor het maximaliseren van de detectieprestaties.