Evaluation of short-term multi-target respiratory forecasts over winter 2024-25 in England using sub-ensemble contribution analyses

Dit artikel evalueert de prestaties van de operationele ensembles voor influenza- en COVID-19-hospitalisaties in Engeland tijdens de winter van 2024-25 door middel van sub-ensemble-analyses, waarbij wordt onderzocht hoe individuele modellen bijdragen aan de voorspelling van zowel aantallen als trends en welke trade-offs er bestaan bij het optimaliseren van deze voorspellingen.

De kern

De Winter van 2024-25: Een Weerbericht voor Ziekenhuizen

Stel je voor dat je de weerman bent, maar in plaats van regen of zon, voorspel je hoeveel mensen er volgende week met griep of coronavirus in het ziekenhuis terechtkomen. Dat is precies wat dit onderzoek doet voor Engeland tijdens de winter van 2024-25.

Het Grote Probleem: De 'Super-Team' Strategie
In de wereld van voorspellingen werkt men vaak met een 'super-team'. In plaats van te vertrouwen op één model (één weerman), nemen ze de voorspellingen van tientallen verschillende modellen en mixen ze die tot één groot antwoord. Dit heet een 'ensemble'. Het idee is simpel: als één model een fout maakt, kan een ander model dat opvangen.

Maar hoe weet je nu welke modellen echt goed zijn en welke juist de boel verpesten? En hoe zorg je dat je team goed is in twee dingen tegelijk:

1. Het voorspellen van het aantal ziekenhuisopnames (bijv. "er komen 500 mensen").
2. Het voorspellen van de richting (bijv. "het gaat stijgen of dalen").

Soms is een team perfect in het tellen van de mensen, maar verkeerd in de richting, en andersom. Dat is als een schutter die altijd de juiste afstand raakt, maar altijd naast de schijf schiet.

De Experimenten: Een Terugblik op de Winter
De onderzoekers hebben een soort 'tijdreis' gemaakt. Ze hebben gekeken naar de echte data van de winter van 2024-25 en nagebootst wat er was gebeurd als ze verschillende combinaties van modellen hadden gebruikt. Ze noemen dit 'sub-ensembles' (kleine teams binnen het grote team).

Ze gebruikten twee soorten meetlatjes:

• De 'Aantal-maatstaf' (pcWIS): Hoe dicht zat de voorspelling bij het echte aantal mensen?
• De 'Richting-maatstaf' (RPS): Had het team goed begrepen of het ziektebeeld op of neer ging?

Wat Vonden Ze? De Verassende Resultaten
Het verhaal is niet helemaal eenduidig, en dat is heel interessant:

• Bij de Griep: Het grote 'super-team' (het operationele ensemble) deed het fantastisch als het ging om het voorspellen van de aantallen. Ze waren 47% beter dan willekeurige kleine teams. Maar als het ging om de richting (stijgen of dalen), waren ze juist 22% slechter dan sommige kleinere teams.
• Bij het Coronavirus: Hier was het verhaal anders. Het grote team deed het op beide vlakken (aantal én richting) aanzienlijk slechter dan de beste kleine teams die ze konden samenstellen. Het was alsof ze een auto met een kapotte motor gebruikten, terwijl er een snellere sportauto in de garage stond.

De Grote Les: Het is een Afweging
De onderzoekers ontdekten een belangrijke waarheid: je kunt niet altijd alles perfect tegelijkertijd doen. Het is een soort afweging (een 'trade-off').

• Wil je het perfecte aantal voorspellen? Dan heb je misschien een ander team nodig dan wanneer je de perfecte richting wilt voorspellen.
• Het is alsof je een kok bent die een gerecht moet maken dat zowel perfect op smaak is als perfect warm. Soms moet je kiezen: als je het te lang warm houdt, wordt het droog. Als je het te snel serveert, is het koud.

Waarom is dit Belangrijk?
Voor de leiders van de gezondheidszorg is dit goud waard. Ze moeten weten hoeveel bedden ze nodig hebben.

• Als je weet dat je team goed is in het voorspellen van de richting, kun je voorbereidingen treffen voor een piek, zelfs als je het exacte aantal nog niet 100% zeker weet.
• De onderzoekers hebben nu een 'receptboek' (met hun nieuwe methoden) om te zien welke modellen ze in de toekomst in hun super-team moeten stoppen om de beste voorspelling te krijgen.

Kortom:
Dit papier zegt: "Kijk niet blindelings naar één groot team. Kijk naar wie er precies in dat team zit. Soms werkt een klein, specifiek team beter dan het grote, gemengde team, afhankelijk van of je het aantal of de trend wilt voorspellen." Het helpt de gezondheidszorg om slimmer en sneller te reageren op de wintergriep en corona.

Technische samenvatting

Titel

Evaluatie van korte-termijn multi-target respiratoire prognoses voor de winter 2024-25 in Engeland met behulp van sub-ensemble bijdrageanalyses.

Probleemstelling

Infectieziektemodelering en epidemieprognoses maken vaak gebruik van ensemble-modellen (combinaties van meerdere modellen) om de voorspellingsnauwkeurigheid te verhogen. Hoewel probabilistische score-regels worden gebruikt om deze ensembles te evalueren, is het kwantificeren van de specifieke bijdrage van individuele modellen aan de algehele ensemble-prestatie complex. Deze uitdaging wordt groter wanneer men meerdere doelen (zoals zowel het aantal opnames als de trendrichting) en verschillende ruimtelijke schalen moet evalueren. Het is cruciaal om te begrijpen welke modellen op welk moment van een epidemie het meest effectief zijn en hoe men een ensemble kan optimaliseren dat zowel absolute aantallen als trendrichtingen goed voorspelt.

Methodologie

De auteurs hebben een retrospectieve simulatie uitgevoerd voor de winter van 2024-25 in Engeland, met als doel de hospitalisaties door Influenza en COVID-19 te voorspellen. De methodiek omvatte de volgende stappen:

1. Data en Modellen: Er werden operationele prognoses gebruikt van een bestaand modelleerprogramma (UKHSA). Daarnaast werden diverse "sub-ensembles" (combinaties van een subset van de beschikbare componentmodellen) gesimuleerd om de prestaties te vergelijken met het volledige operationele ensemble.
2. Scoring-metrics: De prestaties werden beoordeeld met twee specifieke score-regels:
   • pcWIS (per capita Weighted Interval Score): Voor het beoordelen van de nauwkeurigheid van de voorspelde aantallen (hospitalisaties).
   • RPS (Ranked Probability Score): Voor het beoordelen van de nauwkeurigheid van de voorspelde trendrichting (ordinaal).
3. Analytische Technieken:
   • Generalized Additive Models (GAMs): Gebruikt om de verwachte verandering in score te schatten wanneer een specifiek model aan een sub-ensemble wordt toegevoegd. Dit helpt bij het begrijpen van de impact van individuele modellen tijdens verschillende fasen van de epidemie.
   • Pareto-analyse: Toegepast om te bepalen welke sub-ensembles "Pareto-optimaal" zijn. Dit identificeert de combinaties waarbij een verbetering in de ene score (bijv. aantallen) niet mogelijk is zonder een verslechtering in de andere score (bijv. trendrichting).

Belangrijkste Resultaten

De analyse leverde de volgende kwantitatieve en kwalitatieve inzichten op:

• Operationele Prestaties: Het nationale operationele ensemble bereikte voor Influenza een pcWIS van $5,20 \times 10^{-7}$ en een RPS van $0,234$. Voor COVID-19 waren de scores respectievelijk $3,98 \times 10^{-7}$ (pcWIS) en $0,171$ (RPS).
• Vergelijking Sub-ensembles vs. Operationeel Ensemble:
  • Influenza: Het operationele ensemble presteerde 47% beter dan sub-ensembles op het gebied van pcWIS (aantallen). Echter, het was gemiddeld 22% slechter dan sub-ensembles op het gebied van RPS (trendrichting).
  • COVID-19: Het operationele ensemble presteerde aanzienlijk slechter dan de geoptimaliseerde sub-ensembles: 43% slechter voor pcWIS en 265% slechter voor RPS.
• Fase-afhankelijkheid: De sub-ensemble-simulatie toonde aan dat de invloed van individuele modellen varieert afhankelijk van de fase van de epidemie (bijv. stijging, piek, daling).
• Trade-offs: De Pareto-analyse bevestigde dat er een fundamentele afweging (trade-off) bestaat tussen het optimaliseren van de voorspelling van de relatieve trendrichting en het optimaliseren van de absolute aantallen. Een ensemble dat perfect is voor aantallen, is niet per se het beste voor trendrichting.

Bijdragen en Interpretatie

De belangrijkste bijdrage van dit werk is de ontwikkeling van een methodologisch kader om de bijdrage van individuele modellen binnen een ensemble te analyseren, specifiek gericht op multi-target prognoses.

• Kalibratie: De analyse toont aan dat de prognoses van het UKHSA goed gekalibreerd waren in vergelijking met de waarnemingen.
• Modelselectie: De gebruikte GAM- en Pareto-analyses bieden concrete richtlijnen voor de selectie van modellen voor toekomstige ensembles. Het suggereert dat het "beste" ensemble niet statisch is, maar dynamisch moet worden samengesteld op basis van de epidemische fase en de specifieke prioriteit (aantallen vs. trend).
• Beheersimplicaties: Voor senior zorgleiders zijn deze inzichten essentieel, aangezien ze helpen bij het begrijpen van de onzekerheid en de sterktes/zwaktes van de gebruikte prognoseinstrumenten voor druk op ziekenhuizen.

Significantie

Dit onderzoek onderstreept dat het simpelweg combineren van alle beschikbare modellen niet altijd leidt tot het beste resultaat voor alle doelen. Door sub-ensembles te analyseren en trade-offs te visualiseren, kunnen voorspelteams gerichter modellen selecteren om specifieke behoeften te adresseren (bijvoorbeeld het voorspellen van piekbelasting versus het voorspellen van het tijdstip van de piek). Dit verbetert de robuustheid van de besluitvorming in de volksgezondheid, met name tijdens kritieke periodes zoals de wintergolf van respiratoire virussen.