Horizon-dependent forecast ranking under structural change: a rolling-origin benchmark for global COVID-19 incidence

Deze studie concludeert dat bij het voorspellen van de wereldwijde COVID-19-incidentie onder omstandigheden met structurele veranderingen, eenvoudige basismodellen zoals 'drift' en 'seizoensgebonden naïef' vaak beter presteren dan complexere methoden, waarbij de rangschikking sterk afhankelijk is van de voorspellinghorizon en een rollende evaluatie essentieel is voor betrouwbare vergelijkingen.

De kern

Hoe goed zijn voorspellingen van het coronavirus? Een reis door de tijd met een simpele kompasnaald

Stel je voor dat je probeert het weer te voorspellen, maar niet voor morgen, maar voor over een week, twee weken of zelfs een maand. En stel je voor dat het weer niet alleen verandert door de seizoenen, maar dat de regels van het weer zelf ook veranderen: soms regent het plotseling, soms is de zon fel, en soms verandert de manier waarop we het weer meten. Dat is precies wat er gebeurde met de cijfers van het coronavirus in 2020.

Dit onderzoek kijkt naar een grote vraag: Welke methode is het beste om te voorspellen hoeveel mensen er per dag besmet raken?

De onderzoekers hebben verschillende "voorspellers" tegen elkaar getest. Maar ze hebben een heel slimme truc gebruikt: in plaats van te zeggen "wie is de allerbeste", keken ze naar hoe ver in de toekomst je kijkt.

Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. De "Kijk in de spiegel" vs. De "Reisgids"

De onderzoekers testten verschillende modellen. Je kunt ze vergelijken met twee soorten reizigers:

• De Simpele Voorspellers (De "Naïeve" en "Drift"):
  • De Naïeve: Deze zegt: "Wat er gisteren gebeurde, gebeurt vandaag ook." Alsof je zegt: "Het regende gisteren, dus het regent vandaag."
  • De Drift (Afdrijving): Deze kijkt naar de trend. "Het regent harder en harder, dus morgen regent het nog harder." Het is alsof je een bootje laat drijven op de stroom; je volgt de richting van de rivier.
• De Complexe Voorspellers (De "Reisgidsen"):
  • Dit zijn de slimme, ingewikkelde modellen (zoals ARIMA, ETS en Prophet). Ze proberen alle patronen, seizoenen en wiskundige formules te gebruiken om de perfecte route te vinden. Ze zijn als een GPS met satellietbeelden, verkeersinformatie en historische data.

2. De Grote Ontdekking: Het hangt af van hoe ver je kijkt

Het meest interessante resultaat is dat er geen enkele winnaar is die altijd wint. Het hangt er helemaal vanaf hoe ver je in de toekomst kijkt (de "horizon").

• Voor morgen (1 dag): De simpele "kijk in de spiegel" (Naïeve) of de "stroomvolger" (Drift) doet het vaak het beste. De complexe GPS-modellen raken de weg kwijt omdat de situatie te chaotisch is.
• Voor over 3 dagen: Hier wint een speciale variant: de "Seizoensnaïeve". Deze kijkt naar wat er precies een week geleden gebeurde. Het is alsof je zegt: "Op dinsdag is het altijd drukker dan op maandag." Dit werkt verrassend goed voor een paar dagen.
• Voor over 1 of 2 weken (7 en 14 dagen): Hier begint de "Drift" (de stroomvolger) weer te winnen. De complexe modellen (zoals ETS) doen het ook goed, maar de simpele trendvolger blijft vaak de koning. De ingewikkelde modellen worden soms te verward door de chaos.

De les: Als je wilt weten wat er morgen gebeurt, luister naar de simpele trend. Als je wilt weten wat er over twee weken gebeurt, moet je kijken naar de algemene richting van de stroom.

3. De "GPS" die te voorzichtig is (Prophet)

Er was ook een model genaamd Prophet. Dit model deed het heel slecht in het voorspellen van het exacte aantal gevallen. Het was als een GPS die zegt: "Je bent ergens in de buurt van de stad, maar ik weet niet precies waar."

Om toch "juist" te zijn, gaf het een heel groot waarschuwingsgebied: "Je bent ergens tussen de 0 en 1 miljoen mensen." Technisch gezien had het gelijk (je zit daar ergens), maar voor een burgemeester die bedden in ziekenhuizen moet regelen, is dat nutteloos. Het was te breed en te onzeker.

4. Waarom is dit zo moeilijk? (De "Veranderende Kaart")

Het grootste probleem was dat de "kaart" zelf veranderde.

• Aan het begin van de pandemie meldden maar een paar landen cijfers. Later meldden bijna alle landen.
• Het was alsof je probeert de snelheid van een auto te meten, maar halverwege de rit verandert de snelheidsmeter van een oude analoge meter naar een digitale, en telkens als je een nieuw land binnenrijdt, tellen ze de kilometers anders.

De onderzoekers ontdekten dat de "simpele" modellen (zoals Drift) hier beter mee om konden gaan dan de complexe modellen. De simpele modellen zijn als een kompas: ze wijzen gewoon naar het noorden, ongeacht of de weg eronder verandert. De complexe modellen proberen de weg zelf te tekenen, maar als de weg plotseling verdwijnt of verandert, raken ze in de war.

Conclusie: Houd het simpel en kijk naar de horizon

De belangrijkste boodschap van dit onderzoek is:

1. Er is geen "beste" model voor alles. Je moet altijd kijken hoe ver je wilt voorspellen.
2. Simpel is vaak slim. In tijden van grote onrust (zoals een pandemie) zijn simpele regels (kijk naar gisteren, volg de trend) vaak beter dan ingewikkelde wiskunde.
3. Wees kritisch op voorspellingen. Als iemand zegt "ons model is het beste", vraag dan: "Voor welke termijn?" En als ze zeggen "ons model is 99% zeker", kijk dan of ze dat zeggen door een heel groot, vaag waarschuwingsgebied te geven.

Kortom: In een wereld waar alles verandert, is een simpel kompas soms waardevoller dan een ingewikkelde GPS die de weg kwijt is.

Technische samenvatting

Probleemstelling

Het voorspellen van de incidentie van infectieziekten op korte termijn is uiterst moeilijk wanneer surveillance-reeksen sterk niet-stationair zijn en beïnvloed worden door structurele veranderingen en evoluerende rapportagecondities. Tijdens de COVID-19-pandemie veranderden de data-genererende processen snel door variaties in transmissie, immuniteit, nieuwe varianten, gedragsreacties en wijzigingen in rapportagepraktijken.

Een centraal probleem in de bestaande literatuur is dat forecast-rankings vaak worden samengevat over de gehele dataset of een enkel train-test split, wat kwetsbaar is voor atypische fasen. Er is weinig inzicht in hoe structurele breuken in de tijdreeks interageren met modelprestaties op specifieke voorspellingshorizonten (horizon-specific), en hoe gevoelig conclusies zijn voor keuzes in het evaluatieontwerp (zoals trainingsvensters en target-definities).

Methodologie

De auteurs hebben een transparante statistische benchmark ontwikkeld voor de wereldwijde dagelijkse COVID-19-incidentie (periode: 22 januari tot 27 juli 2020, $T=188$ dagen).

1. Data en Doelstelling:

• Data: Wereldwijde cumulatieve en dagelijkse incidentie data van Johns Hopkins University (JHU).
• Target: De dagelijkse incidentie ($y_t$) in plaats van cumulatieve aantallen, om kunstmatig kleine fouten te vermijden. Voor transformatie werd $z_t = \log(1 + y_t)$ gebruikt om heteroskedasticiteit te stabiliseren.
• Robustheid: Er werd ook een alternatieve target geanalyseerd op basis van het verschil in cumulatieve bevestigde gevallen.

2. Evaluatieprotocol (Rolling-Origin):
In plaats van een enkel train-test split, werd een rolling-origin (walk-forward) backtesting-protocol gebruikt. Dit benadert real-time forecasting beter:

• Modellen worden herhaaldelijk opnieuw geschat met data tot tijdstip $t-1$.
• Voorspellingen worden gemaakt voor horizonten $h \in \{1, 3, 7, 14\}$ dagen.
• Fouten worden geaggregeerd over alle geldige oorsprongstijdstippen.
• Minimale trainingslengte: $W_{min} = 56$ dagen.

3. Modellen:
Er werden verschillende modellen vergeleken:

• Basislijnen (Baselines): Naive (persistence), Seasonal Naive (periode 7), en Drift (trend-extrapolatie).
• Getransformeerde statistische modellen: ARIMA(log1p) en ETS(log1p) (Exponential Smoothing State Space), geschat op de log-getransformeerde reeks.
• Referentie-model: Prophet(log1p), voornamelijk geëvalueerd op intervalgedrag.

4. Regime-detectie:
Structurele breuken werden retrospectief gedetecteerd op de variance-gestabiliseerde reeks ($z_t$) met behulp van een segmentatie-algoritme (minimale som van kwadratische afwijkingen). Deze regimes werden alleen gebruikt om de voorspellingfouten te stratificeren (achteraf), niet voor het trainen van de modellen, om data-lekkage te voorkomen.

5. Statistische Tests:
De Diebold-Mariano (DM) test werd gebruikt om te bepalen of verschillen in forecast-nauwkeurigheid statistisch significant waren.

Belangrijkste Bijdragen

1. Horizon-specifiek benchmarking: Het tonen dat model-rankings sterk afhankelijk zijn van de voorspellingshorizont en niet kunnen worden samengevat door één "beste" model.
2. Regime-bewuste evaluatie: Het analyseren van prestaties binnen verschillende structurele fasen van de epidemie, waarbij rekening wordt gehouden met de niet-stationariteit.
3. Robustheidsanalyses: Een uitgebreide sensitiviteitsanalyse voor:
   • Alternatieve segmentatie-instellingen (aantal breukpunten).
   • Trainingsvenster-beleid (expanderend vs. schuivende vensters).
   • Coverage-gestabiliseerde subsamples (om de invloed van groeiende rapportage te isoleren).
   • Alternatieve target-definities.

Resultaten

1. Horizon-afhankelijkheid van rankings:

• Drift: Presteerde het beste bij horizonten van 1, 7 en 14 dagen. Dit suggereert dat een eenvoudige trend-extrapolatie zeer effectief is in een wereldwijde aggregate reeks met een sterke trend.
• Seasonal Naive: Presteerde het beste bij de 3-daagse horizon, wat wijst op de aanwezigheid van weekelijkse rapportagepatronen.
• ARIMA vs. ETS: Op korte horizonten (1-3 dagen) waren ze vergelijkbaar (ARIMA lichtjes beter). Op langere horizonten (7-14 dagen) overtrof ETS(log1p) ARIMA(log1p) significant.
• Prophet: Presteerde slecht voor puntvoorspellingen (hoge MAE/RMSE). Hoewel het hoge nominale dekking (coverage) bood voor 80% intervallen, gebeurde dit door extreem brede voorspellingsintervallen, wat wijst op een gebrek aan scherpte (sharpness).

2. Statistische significantie (Diebold-Mariano tests):

• Drift was significant beter dan ARIMA en ETS op korte en lange horizonten.
• ETS(log1p) was significant beter dan ARIMA(log1p) op de 7- en 14-daagse horizonten.
• De verschillen tussen de complexere modellen waren op korte horizonten minder stabiel dan op langere horizonten.

3. Regime- en Robustheidsanalyses:

• De resultaten bleven robuust onder verschillende segmentatie-instellingen.
• Trainingsvensters: Schuivende vensters (sliding windows) verbeterden de prestaties van ETS op middellange en lange horizonten ten opzichte van expanderende vensters, wat een afweging (trade-off) tussen adaptatie en stabiliteit aantoont.
• Coverage-stabilisatie: Toen de analyse beperkt werd tot periodes met stabiele rapportage (vanaf 180 landen), veranderden de korte-termijn rankings (ETS werd sterker op dag 3), maar bleef de algemene conclusie dat eenvoudige baselines (zoals Drift) zeer concurrerend blijven.

Betekenis en Conclusie

De studie levert drie cruciale inzichten voor de epidemiologische forecasting:

1. Geen universele winnaar: Er bestaat geen enkel model dat over alle horizonten en fasen van een epidemie de beste prestaties levert. Evaluatie moet per horizon worden gerapporteerd.
2. Sterkte van eenvoudige baselines: Simpele modellen zoals Drift en Naive blijven onder structurele veranderingen uitzonderlijk concurrerend en moeten niet worden gezien als triviale referenties, maar als serieuze benchmarks. In een geglobaliseerde, niet-stationaire reeks vangen deze modellen de dominante trend en lokale continuïteit effectief.
3. Evaluatie-ontwerp is cruciaal: De keuze voor trainingsvensters, het definiëren van regimes en de behandeling van rapportageveranderingen heeft een directe impact op de conclusies. Een rolling-origin protocol is essentieel voor betrouwbare vergelijkingen onder veranderende omstandigheden.

Voor publieke gezondheidsautoriteiten betekent dit dat forecast-systemen horizon-specifiek moeten worden gekozen (bijv. Drift voor langetermijnplanning, Seasonal Naive voor korte termijn monitoring) en dat eenvoudige modellen een essentieel onderdeel moeten blijven van het forecasting-arsenaal, vooral in onzekere tijden.