Technische Samenvatting: Begrip van de Belangrijkste Kenmerken van Time Series Foundation Models voor Epidemische Voorspellingen

Probleemstelling

Nauwkeurige kortetermijnvoorspellingen van seizoensgebonden influenza zijn een cruciale publieke gezondheidsbehoefte in de Verenigde Staten, wat essentieel is voor de timing van vaccinatie, personeelsbezetting in ziekenhuizen en de toewijzing van middelen. Hoewel de CDC FluSight en COVID-19 Forecast Hub initiatieven concrete benchmarks hebben vastgesteld voor epidemische voorspellingen, blijft de prestatie van moderne time series foundation models (FMs) en op large language model (LLM)-gebaseerde benaderingen voor operationele infectieziektegegevens onvoldoende gekarakteriseerd.

Bestaande evaluaties van tijdreeks FMs in de epidemiologie lijden aan vier primaire beperkingen:

1. Datatoepassing: Ze vertrouwen vaak op enkelvoudige, landelijke tijdreeksen met een beperkte historie, waardoor ze er niet in slagen om multi-seizoensgebonden regionale patronen te vangen die essentieel zijn voor de praktijk.
2. Generalisatie: Ruimtelijke generalisatie (overdracht naar regio's met verschillende demografieën en rapportagepraktijken) wordt zelden getest.
3. Experimenteel Ontwerp: Veel studies gebruiken ad-hoc, lange horizonten (bijv. 24–60 weken) die afwijken van de operationele 1–4-wekelijkse doelstellingen van de CDC en rekening houden met datarevisies (backfill) negeren.
4. Inconsistentie: Heterogene datapijplijnen en baselines maken het moeilijk om werkelijke modelleringstechnische vooruitgang te onderscheiden van preprocessing-artefacten.

Dit artikel adresseert deze hiaten door een systematische evaluatie uit te voeren van regionale influenza-voorspellingen onder realistische publieke gezondheidsbeperkingen, waarbij klassieke neurale netwerken, numerieke transformer-gebaseerde modellen, gepretrainde tijdreeks FMs en LLM-gebaseerde benaderingen worden vergeleken.

Methodologie

Data en Generalisatieregimes

De studie maakt gebruik van wekelijkse tijdreeksgegevens op niveau van de Amerikaanse HHS-regio's (10 regio's) over ongeveer 20 jaar voor Influenza-Like Illness (ILI) en drie seizoenen voor influenza-gerelateerde ziekenhuisopnames.

• Temporele Generalisatie: Modellen worden getraind op eerdere segmenten van een specifieke regio en geëvalueerd op disjuncte, latere tijdsperioden binnen dezelfde regio.
• Ruimtelijke Generalisatie: Modellen worden getraind op een subset van regio's en geëvalueerd op volledig ongeziene regio's om geografische transfer te testen.
• Pretraining Bronnen: Om cross-domein transfer te beoordelen, zijn modellen gepretraind op diverse corpora, waaronder:
  • Epidemische Wekelijkse Data: COVID-19 sterftecijfers.
  • TrafficL: Hoogfrequente verkeersrijstrookbezetting.
  • M4: Een grote, heterogene benchmark van ~100.000 univariate series.
  • Ziekenhuisopnamegegevens: Gebruikt als een mechanistisch gerelateerd signaal.

Experimentele Opstelling

• Horizon: 1–4 weken vooruit, in lijn met de operationele doelstellingen van de CDC.
• Metrieken: Mean Squared Error (MSE) en genormaliseerde Nash–Sutcliffe Efficiency (NNSE).
• Geëvalueerde Modellen: 17 diepe voorspellingsmodellen, waaronder:
  • Patroonmodellen: PatchTST, iTransformer, TFT, TiDE, TCN, LSTM (iteratief en direct).
  • Foundation Models: Chronos varianten, TimesNet, TimeLLM.
  • Voorgestelde Architectuur: MultiFoundationCore (MFC), een Mixture-of-Experts (MoE) model dat meerdere gepretrainde voorspellers fuseert.
• Ablaties: De studie onderzoekt de impact van pretraining bronnen, het gebruik van hulp-signalen (ziekenhuisopnames als input versus pretraining), de frequentie van hertraining en de lengte van de historische data.

Belangrijkste Bijdragen

1. Systematische Benchmarking: De auteurs bieden de eerste systematische evaluatie van tijdreeks foundation models voor zowel ILI- als ziekenhuisopnamevoorspellingen onder expliciete temporele en ruimtelijke generalisatieregimes met 1–4-wekelijkse multi-horizon doelstellingen.
2. Architectuurvergelijking: Een gecontroleerde vergelijking tussen modelfamilies laat zien dat Mixture-of-Experts (MoE) strategieën, specif kind de MultiFoundationCore (MFC) model, de sterkste algehele prestaties leveren. MFC fuseert meerdere gepretrainde voorspellers en maakt gebruik van heterogene representaties om complementaire voorspellende informatie te bieden.
3. Pretraining Inzichten: De studie toont aan dat pretraining de grootste winst oplevert bij langere horizonten (weken 3–4), vooral wanneer de pretraining-domein mechanistisch is uitgelijnd met de influenza-dynamiek (bijv. ziekenhuisopnames). Grote generieke corpora (M4) bieden ook aanzienlijke voordelen voor de stabiliteit op lange termijn.
4. LLM Beperkingen: Het papier stelt vast dat LLM-gebaseerde tijdreeksmethoden (bijv. TimeLLM, Chronos) onderpresteren ten opzichte van numerieke voorspellers in deze setting. De auteurs schrijven dit toe aan architecturale mismatches waarbij taalstijl-tokenisatie er niet in slaagt de continue numerieke structuur (amplitude, helling, fase) te behouden die cruciaal is voor kortetermijn epidemische voorspellingen.
5. Analyse van Hulp-signalen: Het onderzoek verheldert het nut van ziekenhuisopnamegegevens, waarbij wordt aangetoond dat dit de voorspellingen verbetert, zowel als pretraining bron als aanvullende covariaat, waarbij pretraining de meest consistente winsten oplevert over de verschillende horizonten.

Resultaten

Temporele Evaluatie (Binnen Regio)

• Top Prestatie: MultiFoundationCore behaalde de beste algehele gemiddelde prestatie (MSE = 0,382, NNSE = 0,864), waarmee het alle individuele baselines overtrof.
• Numeriek vs. LLM Modellen: Numerieke transformer-gebaseerde modellen (PatchTST, iTransformer) presteerden aanzienlijk beter dan LLM-gebaseerde benaderingen. Bijvoorbeeld, de beste Chronos configuratie behaalde een gemiddelde MSE van 0,683, terwijl PatchTST (zonder pretraining) een MSE van 0,439 bereikte.
• Impact van Pretraining: Pretraining verbeterde numerieke modellen consequent. PatchTST gepretraind op Ziekenhuisopnamegegevens behaalde een MSE van 0,412, en op M4 data een MSE van 0,415, vergeleken met 0,439 voor de baseline. De voordelen van pretraining waren het meest uitgesproken bij de 4-wekelijkse horizon.
• Strategie: Directe multi-output voorspellingsmodellen presteerden over het algemeen beter dan iteratieve modellen bij langere horizonten, omdat iteratieve benaderingen last hadden van foutaccumulatie.

Ruimtelijke Evaluatie (Over Regio's)

• Generalisatie: Modellen presteerden over het algemeen beter onder temporele splits dan onder ruimtelijke splits, waarschijnlijk door de beperkte diversiteit van de 10 HHS-regio's.
• Top Performer: In de ruimtelijke setting was PatchTST het best presterende enkelvoudige model (Gemiddelde MSE = 0,449, NNSE = 0,848), gevolgd door TFT en LSTM.
• LLM Prestaties: LLM-gebaseerde modellen (TimeLLM) bleven onderpresteren in ruimtelijke generalisatie, wat de moeilijkheid bevestigt van het overdragen van taalstijl-priors naar ongeziene geografische contexten.

Hulp-signalen en Hertraining

• Ziekenhuisopnamegegevens: Het gebruik van ziekenhuisopnamegegevens als pretraining bron voor ILI-voorspelling verminderde de MSE aanzienlijk (bijv. de TFT MSE daalde van 0,428 naar 0,346). Het gebruik ervan als een extra inputstroom hielp ook, vooral voor kortere ILI-historieën.
• Hertraining: Frequentere hertraining (elke 10 stappen vs. 200) leverde consistente, zij het afnemende, winsten in nauwkeurigheid op, wat suggereert dat er een praktisch evenwicht bestaat tussen computationele kosten en voorspellende prestaties.
• Ziekenhuisopname Voorspelling: Voor de kortere, luidruchtigere ziekenhuisopname-dataset presteerde een compacte TinyLSTM baseline verrassend goed en presteerde beter dan grote foundation modellen wanneer er geen hulpgegevens werden gebruikt. Echter, MultiFoundationCore behaalde nog steeds de laagste totale fout (MSE = 0,00224) wanneer het ILI-covariaten fuseerde.

Betekenis en Claims

Het artikel claimt bruikbare richtlijnen te bieden voor modelselectie en strategie in de influenza-surveillance:

• Modelselectie: Voor operationele 1–4-wekelijkse voorspellingen zijn Mixture-of-Experts frameworks die gepretrainde numerieke experts fuseren superieur aan enkelvoudige modelbenaderingen.
• Pretraining Strategie: Pretraining is het meest voordelig voor langere horizonten en is het meest effectief wanneer de bron-domein mechanistisch gerelateerd is aan het doel (bijv. ziekenhuisopnames voor ILI).
• LLM Voorzichtigheid: De claim dat hergeprogrammeerde LLM's gespecialiseerde numerieke modellen beslissend verslaan, wordt niet ondersteund onder realistische, kortetermijn, multi-regio epidemische settings. De continue numerieke aard van epidemische data vereist inductieve biases die de huidige taalstijl-architecturen missen.
• Nut van Data: Lange-termijn surveillance-records en mechanistisch verbonden hulp-signalen (zoals ziekenhuisopnames) zijn cruciaal voor robuuste multi-horizon voorspellingen.

De auteurs benadrukken dat hun werk een systematische studie is van voorspellingsgedrag en geen volledig operationeel real-time systeem. Zij stellen hun code, data en gepretrainde checkpoints beschikbaar om als een herbruikbare testomgeving te dienen voor toekomstig onderzoek naar epidemische voorspellingen met time series foundation models.