Insights from the second season of collaborative influenza forecasting in Italy with updated targets incorporating virological information

Dit artikel presenteert de resultaten van het tweede seizoen van Influcast, een samenwerkingsproject in Italië waarbij ensemblevoorspellingen van influenza-achtige ziekte met virologische data (ILI+) de nauwkeurigheid en betrouwbaarheid van traditionele voorspellingen aanzienlijk verbeterden.

De kern

Het "Influcast"-team: Een orkest dat de griepvoorspelling beter maakt

Stel je voor dat we een orkest hebben dat probeert te voorspellen wanneer de volgende storm van griepgolven over Italië zal komen. Dit orkest heet Influcast. In het tweede seizoen (de winter van 2024-2025) hebben ze een belangrijke proef gedaan om te kijken of ze hun voorspellingen nog scherper konden maken.

Hier is wat ze hebben gedaan, vertaald naar alledaagse taal:

1. Het oude probleem: De "Grijze" Voorspelling

Voorheen keken artsen en wetenschappers alleen naar het aantal mensen met griepachtige klachten (koorts, hoesten, pijn). Dit noemen ze ILI.

• De analogie: Stel je voor dat je naar een drukke markt kijkt en telt hoeveel mensen hoesten. Je ziet veel mensen hoesten, maar je weet niet zeker of ze de griep hebben, of misschien gewoon een kou, een RSV-infectie of iets anders.
• Het probleem: Omdat er zoveel verschillende virussen rondwaren (soms zelfs tegelijk met het coronavirus), was het beeld "grijs" en onduidelijk. Het was alsof je probeert een specifiek instrument in een orkest te horen, terwijl iedereen tegelijk speelt. De voorspellingen waren daarom vaak wat wazig.

2. De nieuwe truc: De "Kleuren" toevoegen

In dit nieuwe seizoen hebben ze een slimme truc bedacht. Ze hebben de "grijze" hoest-telling gekoppeld aan laboratoriumtests.

• De analogie: In plaats van alleen te tellen wie er hoest, kijken ze nu ook naar wie er daadwerkelijk een griepvirus (Type A of Type B) in hun bloed heeft. Ze hebben een nieuwe maatstaf bedacht, genaamd ILI+.
• Hoe het werkt: Ze nemen het aantal mensen met klachten en vermenigvuldigen dit met het percentage mensen dat echt de griep heeft.
• Het resultaat: In plaats van een grijze vlek, krijgen ze nu een kleurig schilderij. Ze zien nu precies hoeveel mensen de echte griep A hebben en hoeveel de echte griep B hebben. Het ruis van andere virussen is weggefilterd.

3. Het orkest en de "Super-voorspeller"

Er waren zes verschillende teams (orkestgroepen) die hun eigen voorspellingen maakten. Sommigen gebruikten ingewikkelde wiskundige modellen, anderen keken naar statistieken.

• De ensemble-methode: In plaats van te kiezen voor één "meester", hebben ze alle zes de voorspellingen samengevoegd tot één super-voorspeller (het ensemble).
• De uitkomst: Net zoals een koor dat samen zingt vaak mooier klinkt dan een solist, was deze samenvoeging van alle modellen de beste. Ze maakten de minste fouten en hun voorspellingen waren het meest betrouwbaar.

4. Wat leerden ze?

De resultaten waren duidelijk:

• Scherpere beelden: De voorspellingen over de "echte" griep (ILI+) waren veel beter dan de oude, wazige voorspellingen over alleen "griepachtige klachten".
• Betrouwbaarheid: De super-voorspeller wist niet alleen beter wanneer de piek zou komen, maar gaf ook een beter beeld van hoe groot die piek zou zijn.
• Waarom dit belangrijk is: Als je precies weet hoeveel mensen de echte griep hebben (en niet gewoon een kou), kunnen artsen en overheden beter beslissen. Ze kunnen dan gerichter vaccineren, meer ziekenhuisbedden reserveren of de juiste waarschuwingen geven aan de bevolking.

Conclusie

Kortom: Door te kijken naar de echte virussen in plaats van alleen naar de symptomen, heeft het team van Influcast de "grijze mist" weggeblazen. Ze hebben bewezen dat als je je voorspellingen baseert op scherpere data, je de toekomst van een ziekte-uitbraak veel beter kunt zien en er beter op kunt reageren. Het is alsof je van een oude, wazige televisie overstapt op een 4K-scherm: je ziet de details veel duidelijker.

Technische samenvatting

Probleemstelling

Traditionele voorspellingen van seizoensgebonden influenza in Italië (en wereldwijd) maken gebruik van het syndromische signaal van "Influenza-achtige ziekte" (ILI). ILI wordt gedefinieerd op basis van symptomen (zoals koorts en hoesten) en wordt verzameld via sentinel-artsen. Het fundamentele probleem is dat ILI geen specifieke pathogeen detecteert; het is een aggregaat van meerdere respiratoire infecties die vergelijkbare symptomen veroorzaken.
Sinds de opkomst van SARS-CoV-2 is de specificiteit van ILI voor influenza verder afgenomen, omdat het signaal nu wordt "vervuild" door co-circulerende virussen (zoals RSV, rhinovirus, en SARS-CoV-2). Dit leidt tot ruis in de data, waardoor modellen moeite hebben om de specifieke dynamiek van influenza te ontrafelen van die van andere virussen, wat de voorspellende nauwkeurigheid beperkt. Hoewel virologische surveillance (laboratoriumbevestigde gevallen) beschikbaar is, wordt deze vaak niet direct geïntegreerd in de definitie van de voorspellingstargets.

Methodologie

De studie presenteert de resultaten van het tweede seizoen van Influcast, een collaboratief voorspellingssysteem voor influenza in Italië, voor het winterseizoen 2024/25.

1. Voorspellingstargets:

   • Standaard ILI: Het traditionele aantal gemelde ILI-gevallen per 1.000 patiënten.
   • Nieuwe ILI+-targets: Deze targets zijn geconstrueerd door syndromische data te combineren met virologische detectiegegevens van het Italiaanse Nationale Instituut voor Gezondheid (ISS). De ILI+-waarde wordt berekend als het product van de ILI-incidentie en het percentage laboratoriumbevestigde gevallen voor een specifiek virus:
     • $ILI+(Flu A) = ILI \times \frac{\text{positieve Flu A-tests}}{\text{totaal positieve tests}}$
     • $ILI+(Flu B)$ wordt op dezelfde manier berekend voor type B.
   • Dit creëert een "schoner" signaal dat specifiek is voor influenza A en B, en minder beïnvloed wordt door andere respiratoire virussen.

2. Modellen en Ensembles:

   • Zes onafhankelijke modellen (vijf mechanistische modellen, waaronder één metapopulatie-aanpak, en één statistisch model) leverden probabilistische voorspellingen in voor een horizon van 1 tot 4 weken.
   • Een Ensemble werd gevormd door de voorspellingen van deze individuele modellen te combineren via een "mean-across-quantiles" methode (Vincent-average).
   • Een Baseline-model (een naïef persistentiemodel) diende als referentiepunt.

3. Evaluatiemetrics:

   • Weighted Interval Score (WIS): Een juiste scoreregel die zowel de scherpte (nauwheid van intervallen) als de kalibratie (overeenstemming tussen voorspelde en waargenomen kansen) meet.
   • Absolute Error (AE): De absolute afwijking van de voorspelde mediaan.
   • Prediction Coverage: Het percentage van de waarnemingen dat binnen de voorspelde betrouwbaarheidsintervallen valt (bijv. 90%).
   • Relatieve prestaties werden berekend door de scores van de modellen te vergelijken met de baseline.

Belangrijkste Bijdragen

• Integratie van virologische data: De studie demonstreert operationeel hoe het integreren van virologische surveillance in de definitie van de voorspellingstargets (van ILI naar ILI+) de voorspellende kwaliteit kan verbeteren.
• Evaluatie van een nieuw paradigma: Het is een van de eerste studies die systematisch evalueert of het verfijnen van targets binnen een multi-model collaboratief hub (Influcast) leidt tot meetbare prestatiewinsten voor zowel het ensemble als individuele modellen.
• Proof of Concept voor Italië: Het introduceert en valideert de ILI+-indicators voor influenza A en B op nationaal niveau als een verbeterde methode voor situational awareness.

Resultaten

De resultaten voor het seizoen 2024/25 tonen de volgende trends aan:

1. Superieure prestaties van het Ensemble:

   • Het ensemble voorspelde consistent beter dan de baseline en de meeste individuele modellen voor de nieuwe ILI+-targets.
   • Voor ILI+(Flu A) behaalde het ensemble de op één na beste WIS (0,38) en AE (0,40), slechts licht achter Mechanistic-1.
   • Voor ILI+(Flu B) behaalde het ensemble de tweede beste prestatie op alle metrics, met uitzondering van de 50% dekking waar het eerste was.

2. Verbetering door Virologische Data (ILI vs. ILI+):

   • Het ensemble presteerde significant beter op de ILI+-targets dan op de traditionele ILI-target.
   • De verhouding van de WIS tussen het ensemble en de baseline was aanzienlijk lager voor ILI+ (bijv. 0,36 voor Flu A en 0,47 voor Flu B) dan voor ILI (0,82). Een lagere ratio betekent een betere prestatie ten opzichte van de baseline.
   • Deze verbetering was statistisch significant (Wilcoxon signed-rank test) voor alle horizons bij Flu A, en voor de meeste horizons bij Flu B.
   • De kalibratie (voorspellende dekking) was beter voor ILI+-targets. Het ensemble was minder oververzekerd (overconfident) tijdens de oploop naar het piekmoment voor ILI+ dan voor ILI.

3. Horizon-afhankelijkheid:

   • Het prestatievoordeel van ILI+ ten opzichte van ILI nam iets af naarmate de voorspellingshorizon langer werd (van 1 naar 4 weken), maar bleef significant.
   • De prestatie voor Flu B was iets zwakker dan voor Flu A, wat waarschijnlijk te wijten is aan de lagere en vertraagde circulatie van influenza B tijdens dit specifieke seizoen.

Significantie en Conclusie

De studie concludeert dat het integreren van virologische informatie in de definitie van voorspellingstargets de nauwkeurigheid van korte-termijn influenza-voorspellingen aanzienlijk verbetert.

• Operationele relevantie: Door specifieke pathogenen (Flu A vs. Flu B) te voorspellen in plaats van een ruisig syndromisch signaal, krijgen beleidsmakers en gezondheidsautoriteiten een duidelijker beeld van de dynamiek van co-circulerende virussen.
• Toekomstperspectief: De ILI+-aanpak kan worden uitgebreid naar andere respiratoire pathogenen (zoals RSV of SARS-CoV-2) en naar sub-nationale schalen. Het suggereert ook dat toekomstige modellen kunnen profiteren van het voorspellen van pathogeen-specifieke componenten die later worden geaggregeerd tot een totaal ILI-signaal, in plaats van het totaal direct te voorspellen.
• Beperkingen: De bevindingen zijn gebaseerd op één seizoen en een beperkt aantal modellen. De vertraging in de beschikbaarheid van virologische data (die pas later in het seizoen beschikbaar kwam dan syndromische data) beperkte het aantal vergelijkbare rondes in het begin van het seizoen.

Kortom, deze studie onderbouwt de noodzaak om epidemiologische voorspellingssystemen te moderniseren door syndromische en virologische data te fuseren, wat leidt tot robuustere en actievere voorspellingen voor de volksgezondheid.