Technische Samenvatting: EpiCastBench

Probleemstelling

Epidemieprognose is een hoeksteen van het volksgezondheidsbeleid geworden, maar de ontwikkeling van robuuste, generaliseerbare prognosemethoden wordt gehinderd door een gebrek aan uitgebreide, gestandaardiseerde benchmarks. In tegenstelling tot gebieden zoals computer vision (ImageNet) of natuurlijke taalverwerking (GLUE), ontbreekt het in het domein van epidemieprognose aan grootschalige, gestandaardiseerde repositories. Bestaande datasets zijn vaak univariate, ziektespecifiek of geografisch beperkt, en slagen er niet in de diversiteit van transmissiedynamieken over verschillende infectieziekten en omgevingen vast te leggen. Bovendien maakt het ontbreken van uniforme evaluatieprotocollen het moeilijk om modellen eerlijk te vergelijken of hun reproduceerbaarheid te beoordelen in diverse epidemiologische contexten.

Methodologie

Om deze hiaten aan te pakken, introduceren de auteurs EpiCastBench, een grootschalig benchmarkkader dat is ontworpen voor het evalueren van datagedreven multivariate epidemieprognosemodellen.

Datasetcursatie

Het kader bestaat uit 40 gecureerde multivariate tijdreeksdatasets die incidentiecijfers vertegenwoordigen voor acht infectieziekten: COVID-19, waterpokken, chikungunya, dengue, influenza, mazelen, tuberculose en Zika. Deze datasets bestrijken 27 verschillende geografische regio's, waarbij aanzienlijke ruimtelijke variabiliteit en epidemiologische diversiteit worden vastgelegd. Belangrijke kenmerken van de datasets zijn:

• Temporele Granulariteit: Dagelijkse, wekelijkse en maandelijkse frequenties.
• Reeks Lengte: Variërend van 60 tot 2.088 observaties, waarbij kleine, middelgrote en grote steekproefgroottes worden gedekt.
• Dimensionaliteit: Het aantal reeksen varieert van 4 tot 107, inclusief scenario's met hoge dimensionaliteit en kleine steekproefgroottes (bijvoorbeeld 31 provincies in China met slechts 60 tijdstappen).
• Data-uitdagingen: De datasets vertonen zero-inflatie (langdurige periodes met nul gevallen), ontbrekende waarden (geïmputeerd via Last Observation Carried Forward) en variërende mate van sparsiteit.

Globale Kenmerkanalyse

De auteurs gebruikten het tsfeatures-pakket in R om acht globale tijdreekskenmerken te analyseren (trend, lange geheugen, nonlineariteit, non-stationariteit, entropie, seizoensgebondenheid, spikiness en kromming). Deze analyse onthulde distincte temporele gedragingen op basis van transmissiemechanismen:

• Luchtgedragen ziekten (bijvoorbeeld COVID-19, mazelen) vertonen sterke nonlineariteit en non-stationariteit.
• Vector-overgedragen ziekten (bijvoorbeeld dengue, Zika) tonen uitgesproken spikiness en sterke trends.
• Contact-overgedragen ziekten (bijvoorbeeld waterpokken) vertonen hoge entropie en sterke seizoensgebondenheid.
• Druppel-overgedragen ziekten (bijvoorbeeld influenza) tonen gebalanceerde kenmerken met hogere kromming.

Experimentele Opstelling

De studie evalueert 15 prognosemodellen over drie horizonnen (kortetermijn, middellange termijn en langetermijn) met behulp van een vast-oorsprong evaluatieprotocol. De modellen omvatten vier paradigma's:

1. Statistische Baselines: Naive (Random Walk).
2. Machine Learning: DLinear, Random Forest, XGBoost, TSMixer, KAN.
3. Deep Learning: LSTM, DeepAR, TCN, N-BEATS, N-HiTS, Transformers, TiDE.
4. Foundation Models: Chronos-2 en TimesFM.

De evaluatie werd uitgevoerd met schaalonafhankelijke metrieken (MASE, SMAPE) en schaalafhankelijke metrieken (MAE, RMSE). Statistische significantie werd beoordeeld met de Friedman-test en de Multiple Comparisons with the Best (MCB)-test.

Belangrijkste Resultaten

De empirische evaluatie leverde enkele kritieke bevindingen op met betrekking tot modelprestaties over verschillende datasetgroottes, ziektetypen en prognosehorizonnen:

• Dominantie van Foundation Models: Foundation models, met name TimesFM en Chronos-2, vertoonden consequent superieure prestaties, met de laagste mediaanfouten en de meest stabiele interkwartielafstanden over de meeste datasets en horizonnen. Hun voordeel wordt toegeschreven aan grootschalige pretraining, wat betere generalisatie naar ongezane epidemische dynamieken mogelijk maakt.
• Invloed van Prognosehorizon:
  • Langetermijn: Foundation models vertoonden het meest aanzienlijke voordeel, waarbij ze effectief complexe temporele afhankelijkheden en non-stationaire dynamieken vastlegden.
  • Kortetermijn: Klassieke machine learning-modellen (bijvoorbeeld KAN, Random Forest, XGBoost) bleven concurrerend, en presteerden soms beter dan deep learning-modellen in sterk sparsere of kleine datasets.
• Zero-Inflatie en Steekproefgrootte: De prestaties van foundation models worden gemoduleerd door de interactie tussen zero-inflatie en steekproefgrootte. Hoewel ze sparsiteit goed hanteren in middelgrote tot grote datasets, neemt hun voordeel af in kleine, sterk zero-geïnflateerde reeksen (bijvoorbeeld specifieke COVID-19-datasets in Chili), waar ensemble-methoden soms beter presteren.
• Ziektespecifieke Dynamiek:
  • Lucht- en druppel-overgedragen: Foundation models excelleerden vanwege stabiele trends en seizoensgebondenheid.
  • Vector-overgedragen: De prestaties waren variabele; modellen zoals KAN en Random Forest presteerden soms beter dan foundation models bij het vastleggen van abrupte lokale dynamiek.
  • Contact-overgedragen: Modellen zoals TiDE en KAN vertoonden sterke prestaties bij het vastleggen van gladde seizoensgebonden dynamiek gemengd met hoge variabiliteit.
• Statistische Significantie: De MCB-tests bevestigden dat de superieure prestaties van foundation models statistisch significant zijn over de meeste horizonnen. De verschillen tussen de best presterende foundation models (TimesFM en Chronos-2) waren echter vaak niet statistisch significant, wat wijst op een robuuste "best-in-class"-categorie.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen aan het domein van epidemieprognose:

1. Gestandaardiseerde Benchmark: EpiCastBench biedt de eerste grootschalige, uniforme benchmark voor multivariate epidemieprognose, en vult een kritiek gat in de beschikbaarheid van diverse, hoogwaardige datasets die vergelijkbaar zijn met die in andere AI-domeinen.
2. Reproduceerbaarheid en Eerlijkheid: Door gestandaardiseerde preprocessing-pijplijnen, evaluatie-instellingen en statistische testprotocollen vast te stellen, maakt het kader consistente en reproduceerbare vergelijkingen mogelijk van nieuwe prognosemethoden tegen een diverse reeks baselines.
3. Empirische Inzichten: De studie biedt een uitgebreide karakterisering van hoe verschillende modelarchitecturen presteren onder specifieke epidemiologische omstandigheden (bijvoorbeeld zero-inflatie, variërende steekproefgroottes en transmissiedynamiek), en leidt toekomstige modelselectie en -ontwikkeling.
4. Open Bronnen: Alle datasets, code en evaluatiescripts zijn publiek beschikbaar, wat verdere onderzoek en de ontwikkeling van generaliseerbaardere epidemieprognosemethoden bevordert.

De auteurs concluderen dat, hoewel foundation modellen momenteel de meest robuuste prestaties bieden, de specifieke dynamiek van verschillende ziekten en dataregimes noodzaken tot voortdurende exploratie van hybride en gespecialiseerde benaderingen. Zij identificeren toekomstige werkrichtingen, waaronder uitbreiding naar spatiotemporele settings, integratie van probabilistische prognose, en het inbrengen van mechanistische epidemiologische principes in datagedreven modellen.