Bayesian generative modeling for heterogeneous wastewater data applied to COVID-19 forecasting

Dit artikel presenteert en evalueert een Bayesiaans generatief model dat afvalwaterdata combineert met ziekenhuisopnames voor COVID-19-voorspellingen in de VS, waarbij wordt geconcludeerd dat het toevoegen van afvalwaterdata de algehele voorspellingskwaliteit niet significant verbetert, maar wel aanzienlijke lokale variatie vertoont in hoe deze data de prestaties beïnvloedt.

De kern

Titel: Kijken in het riool om de toekomst te voorspellen: Een verhaal over COVID-19 en slimme voorspellingen

Stel je voor dat je een orkaan ziet aankomen. Je wilt weten of je ramen moet dichtdoen of dat je veilig kunt blijven. Voor artsen en beleidsmakers is het net zo belangrijk om te weten of er een nieuwe golf van COVID-19 aankomt, zodat ze genoeg ziekenhuisbedden en personeel kunnen regelen.

Meestal kijken ze naar het aantal mensen dat nu in het ziekenhuis komt. Maar dat is als naar de achteruitkijkspiegel van een auto kijken: je ziet wat er al gebeurd is, maar niet wat er direct voor je neus komt.

De auteurs van dit onderzoek dachten: "Wat als we ook naar het riool kijken?"

Het riool als een enorme 'ziekte-radar'

Wanneer mensen besmet zijn met een virus, scheiden ze stukjes van dat virus uit via hun ontlasting. Deze stukjes belanden in het riool. Als je het rioolwater analyseert, kun je zien hoeveel virus er in een stad of regio aanwezig is, vaak voordat mensen überhaupt ziek worden of naar het ziekenhuis gaan.

De onderzoekers hebben een slim computerprogramma (een 'model') gebouwd dat twee dingen combineert:

1. Het traditionele verhaal: Het aantal mensen dat het ziekenhuis binnenkomt.
2. Het riool-verhaal: De hoeveelheid virus die in het riool wordt gemeten.

Ze noemen dit een "generatief model". Je kunt dit zien als een super-slimme kok die twee verschillende ingrediënten (ziekenhuisdata en riooldata) probeert te mixen om het beste gerecht (de beste voorspelling) te maken.

Het experiment: Twee koks, één keuken

De onderzoekers hebben dit model getest in de Verenigde Staten tijdens de winter van 2023-2024. Ze deden een soort proef:

• Kok A: Kijkt alleen naar het ziekenhuis (de traditionele methode).
• Kok B: Kijkt naar het ziekenhuis én het riool (de nieuwe methode).

Ze hebben deze twee koks laten "koken" en hun voorspellingen vergeleken met wat er daadwerkelijk gebeurde. Ze hebben dit ook gedaan in het echt (real-time) en achteraf (retrospectief), alsof ze een film terugkijken om te zien hoe goed de regisseur had geprobeerd de plot te voorspellen.

Wat bleek er? Het riool is niet altijd de held

Het resultaat was verrassend en genuanceerd:

1. Over het algemeen: Geen groot verschil.
   Als je naar de gemiddelde prestatie kijkt, waren Kok A (alleen ziekenhuis) en Kok B (ziekenhuis + riool) bijna even goed. Soms was Kok B zelfs een beetje slechter! Het toevoegen van riooldata maakte de voorspelling niet automatisch beter. Het was alsof je een kom soep maakt en er een extra kruidje bij doet, maar de smaak verandert nauwelijks.

2. Maar... het hangt van de plek en het moment af.
   Hier wordt het interessant. Op sommige plekken en op sommige momenten was het riooldata een gouden tip.

   • Voorbeeld: In Californië zagen ze in het riool dat het virus afnam, terwijl het ziekenhuis nog vol zat. Dankzij het riool wist het model dat de drukte in het ziekenhuis binnenkort zou afnemen. De traditionele methode zag dit niet.
   • Voorbeeld: In Ohio en Illinois gebeurde er iets raars. Door zware regenval werd het rioolwater verdund, waardoor de virusmetingen plotseling daalden. Het model dacht toen: "Ah, het virus is weg!" en voorspelde een daling. Maar in werkelijkheid bleef het virus rondwaren. Hier deed het riooldata het model juist verkeerd.

3. De ranglijst.
   Toen ze hun model vergeleken met andere voorspellers in de VS (een soort "olympische wedstrijd" voor voorspellers), zaten ze in de top.

   • De versie zonder riooldata was de 2e beste.
   • De versie met riooldata was de 4e beste.
     Dit betekent dat het riooldata niet per se de winnaar was, maar het model was al sterk genoeg om erbij te horen.

Waarom werkt het niet altijd?

De onderzoekers dachten na over waarom het soms misging. Ze zagen een paar redenen:

• Verkeerde signalen: Soms verandert het rioolwater door regen of industriële afvalstoffen, niet door het virus. Het model nam deze veranderingen dan ten onrechte als een teken dat het virus verdween.
• Te veel vertrouwen: Als alle rioolstations in een stad hetzelfde verhaal vertellen, denkt het model: "Dit moet wel waar zijn!" en wordt het te zelfverzekerd. Als dat verhaal dan toch fout is (bijvoorbeeld door regen), is de voorspelling dramatisch verkeerd.

De les voor de toekomst

Dit onderzoek leert ons een belangrijke les: Nieuwe data (zoals rioolwater) is een krachtig hulpmiddel, maar het is geen magische bal.

Het is alsof je een auto rijdt met een GPS (het riool) en een achteruitkijkspiegel (het ziekenhuis). Soms helpt de GPS je een file te vermijden voordat je hem ziet. Maar als de GPS een verkeerde route aangeeft (bijvoorbeeld door een storm), moet je niet blindelings vertrouwen op de GPS, maar ook kijken wat er voor je neus gebeurt.

Conclusie:
De onderzoekers hebben een openbaar gemaakt computerprogramma (een "recept") gepubliceerd zodat anderen het kunnen gebruiken. Ze concluderen dat we nog moeten leren hoe we riooldata het beste kunnen gebruiken. Het kan een game-changer zijn, maar we moeten eerst beter begrijpen wanneer we erop kunnen vertrouwen en wanneer we het moeten negeren.

Kortom: Kijken in het riool is slim, maar je moet ook blijven kijken door je eigen ogen.

Technische samenvatting

Probleemstelling

Epidemiologische voorspellingen zijn cruciaal voor het informeren van publieke gezondheidsbeslissingen, zoals personeelsplanning en toewijzing van medische hulpbronnen. Tijdens de COVID-19-pandemie bleek het echter moeilijk om betrouwbare voorspellingen te maken vanwege veranderende beleidsmaatregelen, gedragspatronen en rapportagevereisten. Traditionele databronnen, zoals het aantal ziekenhuisopnames, hebben vaak een vertraging ten opzichte van de daadwerkelijke infectiepieken.

Afvalwatermonitoring (wastewater-based epidemiology) wordt gezien als een veelbelovende aanvullende databron omdat het passief, continu en kosteneffectief is en zowel symptomen als asymptomatische infecties kan detecteren. Echter, het integreren van afvalwaterdata in voorspellingsmodellen is complex vanwege:

• Het gebrek aan directe overeenstemming tussen afvalwaterinzamelgebieden en gezondheidsrapporteringsregio's.
• Heterogeniteit in data: verschillende laboratoria, frequenties, rapportagevertragingen en populatieafdekking.
• Het gebrek aan eerdere studies die systematisch evalueren of het toevoegen van afvalwaterdata daadwerkelijk de voorspellingsprestaties verbetert ten opzichte van modellen die alleen klinische data gebruiken.

Methodologie

De auteurs ontwikkelden een hiërarchisch Bayesiaans hernieuwingsmodel (renewal model) dat latentere infectiedynamica infereert om ziekenhuisopnames te voorspellen.

1. Modelstructuur:

   • Het model verdeelt de totale populatie van een jurisdictie (staat/territorium) in niet-overlappende subpopulaties: één voor elk afvalwaterinzamelgebied en een referentiegroep voor de rest van de bevolking.
   • Het effectieve reproductiegetal ($R_t$) wordt gemodelleerd als afwijkingen van een referentie-subpopulatie.
   • Het model genereert verwachte afvalwaterconcentraties op basis van subpopulatie-infecties en verwachte ziekenhuisopnames op basis van totale infecties, rekening houdend met de waarschijnlijkheid van opname en de vertraging tussen infectie en opname.
   • Het model kan worden uitgevoerd in twee modi:
     • Alleen ziekenhuisopnames: Een speciaal geval met slechts één subpopulatie.
     • Afvalwater-informeerd: Integreert ruwe concentraties van SARS-CoV-2 RNA uit meerdere afvalwaterlocaties en laboratoria.

2. Implementatie:

   • Het model is geïmplementeerd in Stan (via cmdstanr en het R-pakket wwinference).
   • Inferentie gebeurt met behulp van de No-U-Turn Sampler (NUTS), een vorm van Markov Chain Monte Carlo (MCMC).
   • Het model gebruikt een semi-mechanistische aanpak waarbij elke datastroom (afvalwater en ziekenhuisopnames) conditioneel wordt gemodelleerd op latente infecties, in plaats van afvalwater als een eenvoudige covariabele te behandelen.

3. Data en Evaluatie:

   • Data: Dagelijkse ziekenhuisopnames (NHSN) en afvalwaterconcentraties (NWSS) voor 52 jurisdicties in de VS.
   • Tijdspanne: Real-time voorspellingen van februari tot april 2024; retrospectieve analyse voor het volledige winterseizoen 2023-2024.
   • Evaluatiemetrics: Continuous Ranked Probability Score (CRPS), Weighted Interval Score (WIS), dekking van kwantielen en bias. De prestaties werden vergeleken met andere modellen ingediend bij het U.S. COVID-19 Forecast Hub.

Belangrijkste Bijdragen

• Ontwikkeling van wwinference: Een open-source R-pakket dat een semi-mechanistisch model implementeert dat flexibel is in het integreren van heterogene afvalwaterdata van meerdere locaties met klinische data.
• Eerste systematische evaluatie: Dit is naar kennis van de auteurs de eerste studie die real-time en retrospectieve infectieziektevoorspellingen in de VS evalueert, zowel met als zonder afvalwaterdata, en deze vergelijkt met een breed scala aan andere voorspellingsmodellen.
• Nuance in prestaties: In plaats van een algemene conclusie te trekken, identificeert de studie specifieke scenario's waarin afvalwaterdata de voorspelling verbetert of verslechtert, en onderzoekt de onderliggende oorzaken.

Resultaten

De resultaten tonen een complex beeld aan, waarbij de toevoeging van afvalwaterdata geen eenduidige verbetering oplevert:

1. Algemene Prestaties:

   • Real-time (Feb-Apr 2024): Het afvalwater-informeerd model behaalde de 4e plaats van de 10 ingediende modellen bij het Forecast Hub. Het model dat alleen ziekenhuisopnames gebruikte, zou de 2e plaats hebben behaald.
   • Retrospectief (Hele seizoen 2023-2024): Zowel het afvalwater- als het alleen-opnames-model zouden als mediumpresteerder hebben gefungeerd (respectievelijk 5e en 4e van 10).
   • Vergelijking: De gemiddelde voorspellingsprestatie (gemeten in WIS/CRPS) was statistisch zeer vergelijkbaar tussen de twee versies van het model. Afvalwaterdata leidde tot een lichte vermindering van de gemiddelde prestatie, maar dit was niet significant over de gehele linie.

2. Heterogeniteit:

   • Er was aanzienlijke variatie per locatie en datum. In sommige gevallen verbeterde afvalwaterdata de voorspelling aanzienlijk (bijvoorbeeld door een dalende trend in afvalwater te detecteren voordat deze zichtbaar was in ziekenhuisdata).
   • In andere gevallen verslechterde het de voorspelling. Voorbeelden zijn situaties waar afvalwaterconcentraties daalden door extreme regenval (verdunning) en vervolgens herstelden, terwijl de ziekenhuisopnames dit niet weerspiegelden. Het model interpreteerde deze "divots" in afvalwaterdata als een daadwerkelijke daling in infecties, wat leidde tot overoptimistische voorspellingen.

3. Kalibratie en Bias:

   • Beide modellen neigden naar een lichte overpredictie (positieve bias), vooral rond piekmomenten.
   • Het afvalwater-informeerd model was soms minder goed gekalibreerd (oververzekerd) wanneer meerdere afvalwaterlocaties sterk gecorreleerde trends vertoonden die niet overeenkwamen met de realiteit.

Betekenis en Conclusie

De studie concludeert dat het integreren van afvalwaterdata in epidemiologische voorspellingsmodellen beloftevol maar uitdagend is.

• Geen "Silver Bullet": Het toevoegen van afvalwaterdata garandeert geen betere voorspellingen. De waarde is contextafhankelijk en afhankelijk van de kwaliteit en consistentie van de afvalwaterdata.
• Oorzaken van variatie: De heterogeniteit in prestaties wordt waarschijnlijk veroorzaakt door factoren zoals:
  • Correlatie tussen afvalwaterlocaties (het model behandelt ze als onafhankelijk, wat kan leiden tot oververzekering).
  • Externe factoren die afvalwaterconcentraties beïnvloeden zonder dat er een verandering in infectie is (bijv. regen, industriële afvalstoffen).
  • Vertragingen in rapportage en verwerking.
• Toekomstperspectief: Voor verdere verbetering is het nodig om modellen te ontwikkelen die rekening houden met de fysieke eigenschappen van het rioleringssysteem, ruimtelijke correlaties en externe verstoringen. De studie benadrukt de noodzaak van "vintaged" (tijdstempel) data voor eerlijke evaluaties en pleit voor bredere toegang tot dergelijke datasets om de waarde van afvalwatermonitoring voor de volksgezondheid verder te optimaliseren.

Kortom, hoewel afvalwatermonitoring waardevolle inzichten kan bieden, vereist de effectieve integratie in voorspellingsmodellen een zorgvuldige afweging van datakwaliteit en modelcomplexiteit om te voorkomen dat ruis de signalen verstoort.