Quantifying advances in infectious disease forecast skill across seasons and pathogens
Deze studie introduceert een nieuwe skill score-metriek die voorspellingen vergelijkt met hindcasts en baseline-benchmarks om aan te tonen dat ensemble- en teamvoorspellingen voor influenza en COVID-19 over het afgelopen decennium over het algemeen in vaardigheid zijn verbeterd, ondanks gemengde resultaten voor COVID-19.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je probeert het weer over een maand te voorspellen. Je kent de algemene patronen van de seizoenen, maar het specifieke pad van een storm, de exacte dag waarop het gaat regenen, of hoe hard de wind zal waaien, blijft een gok. Het voorspellen van infectieziekten werkt op een vergelijkbare manier. In plaats van wolken en fronten volgen wetenschappers virussen en bacteriën, waarbij ze gegevens gebruiken over hoeveel mensen ziek worden, hoeveel mensen in het ziekenhuis liggen en hoeveel mensen er overlijden. Het doel is om de publieke gezondheidszorg een voorsprong te geven, zodat zij medicijnen kunnen inkopen, ziekenhuisbedden kunnen voorbereiden en gemeenschappen kunnen waarschuwen voordat een golf van ziekte toeslaat. Al meer dan een decennium voeren onderzoekers in de Verenigde Staten een grootschalig, gezamenlijk experiment uit om te zien of ze beter worden in deze voorspellingen. Ze hebben duizenden voorspellingen verzameld van tientallen verschillende teams, variërend van de seizoensgebonden griep tot de wereldwijde pandemie van COVID-19. Maar een cruciale vraag bleef hangen: worden deze voorspellingen daadwerkelijk beter in de loop van de tijd, of draaien ze alleen maar hun wielen rond?
Om dit te beantwoorden, hebben een team onderzoekers van de Northeastern University en de Centers for Disease Control and Prevention een nieuwe manier ontwikkeld om succes te meten. In het verleden vergeleken wetenschappers voorspellingen met scores die hen vertelden welk model beter was dan een ander voor een specifieke week, maar deze scores waren moeilijk te vergelijken tussen verschillende ziekten of verschillende jaren. Een score die goed leek voor een mild griepseizoen, kon er verschrikkelijk uitzien voor een chaotisch pandemisch jaar, niet omdat het model faalde, maar omdat de situatie zelf moeilijker te voorspellen was. De onderzoekers hadden een liniaal nodig die vooruitgang eerlijk kon meten, ongeacht hoe rommelig de gegevens waren. Ze creëerden een "skill score" (vaardigheidsscore), een metriek die elke voorspelling vergelijkt met twee specifieke referentiepunten. Het eerste is een "hindcast", een perfect terugblikvermogen. Stel je voor dat je de toekomst zou kunnen zien en vervolgens precies zou opschrijven wat er gebeurde, rekening houdend met alle ruis en fouten in de gegevensverzameling. Dit vertegenwoordigt het absolute beste wat iemand zou kunnen doen. Het tweede referentiepunt is een "baseline" (nulmeting), een eenvoudige gok die een computer zou kunnen maken zonder complexe modellering. Door te meten hoeveel beter een echte voorspelling is dan een eenvoudige gok, en hoe dicht deze bij de perfecte hindcast komt, konden de onderzoekers eindelijk zien of het vakgebied werkelijk vooruitging.
Het team paste deze nieuwe meetlat toe op meer dan 2,5 miljoen voorspellingen die over een periode van tien jaar werden gegenereerd. Ze bekeken voorspellingen voor griepachtige ziekten, ziekenhuisopnames en sterfte, evenals vergelijkbare doelwitten voor COVID-19. Ze testten deze voorspellingen tegen drie verschillende soorten eenvoudige baselines: één die alleen keek naar de langetermijngeschiedenis van de ziekte, één die ervan uitging dat de volgende week precies hetzelfde zou zijn als de vorige week, en één die de recente trend van de gegevens volgde. De resultaten waren duidelijk voor de seizoensgebonden griep. De collectieve inspanning van alle voorspellings-teams, bekend als een ensemble, presteerde consequent beter dan de eenvoudige gokken. Belangrijker nog, de vaardigheid van deze voorspellingen verbeterde gestaag over de tijd. Een voorspelling die vier weken van tevoren werd gemaakt voor het meest recente griepseizoen, was nauwkeuriger dan een voorspelling die slechts één week van tevoren werd gemaakt tijdens het allereerste jaar van de uitdaging. Dit suggereert dat de teams, naarmate ze meer tijd hadden om te leren, meer gegevens hadden om te bestuderen en betere instrumenten hadden om te gebruiken, werkelijk beter zijn geworden in het zien van de toekomst van de griep.
Het verhaal voor COVID-19 was ingewikkelder, wat de unieke uitdagingen van een nieuwe ziekte weerspiegelde. In de begindagen van de pandemie, toen er bijna geen historische gegevens waren om van te leren, waren de voorspellingen verrassend goed in het voorspellen van gevallen en sterfgevallen, waarbij ze de eenvoudige baselines versloegen. Echter, naarmate de pandemie evolueerde en de spelregels veranderden — zoals toen testmethoden verschoven of rapportagesystemen werden bijgewerkt — nam de nauwkeurigheid van de voorspellingen af. De modellen hadden moeite om de snelheid van deze plotselinge veranderingen in de gegevensverzameling bij te houden. Terwijl de voorspellingen voor ziekenhuisopnames uiteindelijk tekenen van verbetering vertoonden, lieten de voorspellingen voor dagelijkse gevallen en sterfgevallen niet dezelfde duidelijke opwaartse trend zien. Dit benadrukt een belangrijke les: voorspellen werkt het best wanneer de patronen van de ziekte stabiel zijn en de gegevens consistent zijn. Wanneer de grond onder de modellen verschuift, hebben zelfs de slimste algoritmen moeite om hun houvast te vinden.
De onderzoekers ontdekten dat de meest succesvolle voorspellingen niet alleen het resultaat waren van betere wiskunde of snellere computers, maar van betere gegevens en voortdurende samenwerking. De griepvoorspellingen profiteerden van decennia aan consistente rapportage, waardoor modellen het ritme van de seizoenen konden leren. In contrast hiermee waren de problemen met de COVID-19-gevalvoorspellingen vaak gekoppeld aan veranderingen in de manier waarop gevallen werden geteld, wat verwarring introduceerde die geen enkel model gemakkelijk kon ontwarren. De studie onthulde ook dat hoewel de beste collectieve voorspellingen zeer sterk waren, veel individuele teams nog steeds moeite hadden om de eenvoudigste van de baselines te verslaan. Dit suggereert dat hoewel het vakgebied als geheel vooruitgaat, er nog steeds een grote kloof bestaat tussen de beste modellen en de gemiddelde modellen. Het nieuwe skill score-framework biedt een manier om deze vooruitgang duidelijk te zien, door het onderscheid te maken tussen de moeilijkheidsgraad van de taak en de kwaliteit van de voorspelling. Het laat zien dat de voorspellende epidemiologie een volwassen wordende wetenschap is, die leert navigeren door de rommelige realiteit van menselijke ziekte, maar het herinnert ons er ook aan dat sommige van de meest onvoorspelbare momenten in de volksgezondheid nog net buiten ons bereik liggen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.