A Decade of the Center for Disease Control and Prevention's FluSight Influenza Forecasting

Technische Samenvatting: Een decennium van de CDC FluSight Influenza-voorspelling

Probleemstelling
Voorspellingen van infectieziekten zijn essentieel voor het situationele bewustzijn van de volksgezondheid, het informeren van communicatiestrategieën en het sturen van besluitvorming met betrekking tot surveillance en de toewijzing van middelen. Sinds 2013 beheert de Centers for Disease Control and Prevention (CDC) de FluSight Challenge, een collaboratief platform dat is ontworpen om voorspellingsmodellen voor influenza te evalueren, kruissectorale samenwerking te bevorderen en de bruikbaarheid van voorspellingen te verbeteren. Gedurende een decennium heeft de uitdaging aanzienlijke verschuivingen doorgemaakt in de behoeften aan de volksgezondheid, beschikbaarheid van gegevens en modelleringsbenaderingen, inclusief een belangrijke overgang van het voorspellen van influenza-achtige ziekte (ILI)-activiteit naar het voorspellen van door laboratoria bevestigde ziekenhuisopnames naar aanleiding van de verstoringen door de COVID-19-pandemie. Ondanks de accumulatie van tien jaar aan voorspellingsgegevens, was er een behoefte aan een systematische analyse van de prestaties van diverse modeltypen, de effectiviteit van ensemble-benaderingen en de impact van de ervaring van teams over deze evoluerende seizoenen heen.

Methodologie
Deze studie analyseerde tien jaar aan ingediende voorspellingen van de FluSight Challenge, de periodes 2014/15 tot en met 2019/20 (gericht op ILI) en de periodes 2021/22 tot en met 2024/25 (gericht op ziekenhuisopnames). Het seizoen 2013/14 werd uitgesloten vanwege substantiële verschillen in indieningsformaten en scoringsmethodologieën.

• Data en Doelwitten:
  • ILI-seizoenen: Voorspellingen richtten zich op de week van aanvang, de timing van de piek, de intensiteit van de piek en ILI-percentages 1–4 weken vooruit op nationaal niveau en op niveau van de Health and Human Services (HHS) regio's.
  • Ziekenhuisopname-seizoenen: Voorspellingen richtten zich op 1–4 weken vooruit lopende door laboratoria bevestigde ziekenhuisopnames op nationaal, staat-, D.C.- en Puerto Rico-niveau, gebruikmakend van gegevens uit het National Healthcare Safety Network (NHSN).
• Modelclassificatie: Ingediende modellen werden gecategoriseerd in vijf typen op basis van methodologie: Statistisch, Mechanistisch, Machine Learning (ML), Statistisch/Mechanistisch Hybride, en FluSight Ensembles. Modellen werden verder geclassificeerd als "ensemble" (het combineren van meerdere modellen) of "single".
• Prestatie-indicatoren:
  • ILI-seizoenen: Geëvalueerd met behulp van de geëxponentieerde logaritmische score (skill metric), waarbij hogere waarden duiden op betere prestaties.
  • Ziekenhuisopname-seizoenen: Geëvalueerd met behulp van de log-getransformeerde relatieve Weighted Interval Score (rWIS), waarbij lagere waarden duiden op betere prestaties.
• Statistische Analyse: De studie maakte gebruik van Wilcoxon rank-sum tests om prestaties te vergelijken tussen modeltypen (Statistisch, Mechanistisch, ML, Hybride) en tussen ensemble versus single modellen. Spearman's rangcorrelatie beoordeelde de relatie tussen het aantal jaren dat een team deelnam en de nauwkeurigheid van de voorspelling. Analyses werden afzonderlijk uitgevoerd voor de ILI- en ziekenhuisopnameperiodes om rekening te houden met verschillende scoringsmethoden en de kenmerken van de data.

Belangrijkste Bijdragen en Resultaten

• Variabiliteit in Modelprestaties: Geen enkel modeltype presteerde consistent beter dan andere over alle seizoenen. In ILI-seizoenen presteerden statistische en statistisch/mechanistische hybride modellen over het algemeen beter dan mechanistische modellen (p < 0,05), waarbij statistische modellen een significante superioriteit vertoonden in specifieke seizoenen (bijv. 2018/19, 2019/20). Echter, in de seizoenen van ziekenhuisopnames werden geen significante prestatieverschillen waargenomen tussen modeltypen, waarschijnlijk door de schaarste aan historische trainingsdata voor de nieuwe NHSN-dataset en de atypische timing van recente seizoenen.
• Superioriteit van Ensembles: Ensemble-voorspellingen vertoonden consequent betere algehele prestaties vergeleken met single modellen. Over de ILI-seizoenen heen presteerden ensemble-modellen significant beter dan single modellen (p < 0,001). Het officiële CDC FluSight ensemble rangschikte elk jaar dat het werd opgenomen onder de best presterende voorspellingen en kwam in acht van de negen seizoenen in de top vijf terecht.
• Impact van Participatiegeschiedenis: Er werd een positieve correlatie gevonden tussen de nauwkeurigheid van de voorspelling en het aantal jaren dat een team deelnam aan de Challenge. Teams met ervaring in FluSight (specifiek met ILI-voorspellingservaring) presteerden significant beter in de seizoenen van ziekenhuisopnames dan teams zonder voorafgaande FluSight-ervaring (p = 0,0003). Statistisch significante correlaties tussen participatiejaren en prestaties werden waargenomen in zes individuele seizoenen en in samengevoegde analyses.
• Evolutie van de Challenge: De studie documenteert de evolutie van de challenge, inclusief de introductie van gestandaardiseerde formaten, de overgang naar kwantiel-gebaseerde inzendingen en de adoptie van Hubverse-standaarden. Het aantal deelnemende teams en modellen nam over het algemeen toe over de tijd, met een opvallende stijging van machine learning-modellen in latere seizoenen.

Betekenis
Het artikel concludeert dat de FluSight Challenge een unieke, langdurige opslagplaats heeft geboden voor het begrijpen van de evolutie van de voorspelling van infectieziekten. De bevindingen onderstrepen de robuustheid van ensemble-benaderingen, die de variabiliteit van individuele modellen in verschillende epidemiologische contexten verzachten. Bovendien benadrukken de resultaten de waarde van duurzame betrokkenheid, wat suggereert dat de accumulatie van ervaring en de iteratieve verfijning van modellerings-technieken door deelnemende teams leiden tot verbeterde voorspellingsnauwkeurigheid. De studie benadrukt dat hoewel geen enkel modelleringsparadigma universeel superieur is, het vermogen om zich aan te passen aan veranderende datalandschappen (zoals de verschuiving van ILI naar ziekenhuisopnames) en de voortdurende evaluatie van voorspellingen cruciaal zijn voor het versterken van de paraatheid voor de volksgezondheid. Deze inzichten dienen als leidraad voor toekomstige inspanningen op het gebied van voorspelling van infectieziekten en ondersteunen een effectievere besluitvorming.