Validation of methods for forecasting the frequency of non-vaccine serotypes after introduction or switch of a pneumococcal conjugate vaccine

Deze studie valideert een ensemble-model dat drie verschillende voorspellingsbenaderingen combineert om de frequentie van niet-vaccin-serotypen van pneumokokken na de introductie of vervanging van pneumokokkenconjugaatvaccins nauwkeurig te voorspellen en zo toekomstige vaccinformuleringen te sturen.

De kern

Stel je voor dat de bacterie Streptococcus pneumoniae (pneumokok) een grote, drukke stad is vol met verschillende buurten. Elke buurt wordt bewoond door een ander type bacterie, wat we een serotype noemen. Sommige buurten zijn heel gevaarlijk en veroorzaken ernstige ziekten, zoals longontsteking of hersenvliesontsteking.

Vroeger hadden we een vaccin (PCV7) dat als een politieagent fungeerde die specifiek 7 van deze gevaarlijke buurten uit de stad verdreef. Later kregen we een grotere agent (PCV13) die 13 buurten kon beveiligen.

Het probleem:
Wanneer de politieagent een gevaarlijke buurt leegt, ontstaat er een leegte. De natuur houdt niet van lege plekken. Andere, minder bekende buurten (de niet-vaccin serotypes of NVT's) springen er snel in om de ruimte op te vullen. Dit noemen we "vervanging". Soms zijn deze nieuwe bewoners zelfs nog gevaarlijker dan de oude.

De uitdaging voor de wetenschappers:
De vraag is: Welke nieuwe buurten zullen precies opvullen als we een nog grotere politieagent (een nieuw vaccin) sturen? Als we dit verkeerd voorspellen, kunnen we een vaccin kiezen dat de verkeerde buurten laat groeien, wat de gezondheid van de bevolking in gevaar brengt.

Wat hebben de auteurs gedaan?
De onderzoekers van Yale hebben een soort kristallen bol ontwikkeld, maar dan gebaseerd op wiskunde en statistiek in plaats van magie. Ze hebben drie verschillende manieren bedacht om te voorspellen hoe deze "vervanging" werkt:

1. De "Proportionele" methode: Dit is alsof je zegt: "Als we 100 mensen uit de stad halen, vullen de overige mensen precies die 100 plekken op, verdeeld naar hun huidige grootte." Het is een simpele, eerlijke verdeling.
2. De "Ranking" methode: Dit kijkt naar de ranglijst. Stel, de grootste buurt is altijd de grootste, de tweede altijd de tweede, enzovoort. Zelfs als de top-buurten verdwijnen, schuiven de volgende op in de rij. Deze methode kijkt naar de orde van de buurten.
3. De "NFDS-lite" methode: Dit is de slimste. Het kijkt naar de familiebanden. Sommige nieuwe buurten lijken heel veel op de oude, verdreven buurten (bijvoorbeeld dezelfde bouwstijl of DNA). Deze methode voorspelt dat die "familieleden" het snelst zullen groeien omdat ze het beste passen in de lege plekken.

De "Ensemble" (Het Koppelteam):
In plaats van te kiezen voor één methode, hebben de auteurs een koppelteam gemaakt. Ze hebben de voorspellingen van al deze drie methoden samengevoegd.

• Soms is de simpele methode het beste.
• Soms is de ranglijst-methode beter.
• Soms is de familie-methode het meest accuraat.

Door ze samen te laten werken, krijgen ze een voorspelling die sterker is dan elk onderdeel op zich. Het is alsof je drie verschillende weersvoorspellers vraagt: als ze het allemaal eens zijn, is de kans groot dat het regent.

Wat leerden ze?

• Het werkt goed: Hun kristallen bol voorspelde heel nauwkeurig wat er gebeurde in de VS na de invoering van de nieuwe vaccins.
• Tijd is belangrijk: De voorspellingen waren het beste als je keek naar de situatie een paar jaar na de invoering van het vaccin, niet direct daarna. Net zoals je pas ziet of een nieuw beleid werkt als je het een tijdje hebt getest.
• Leeftijd maakt uit: De voorspellingen werkten het beste bij baby's en ouderen, de groepen die het meest kwetsbaar zijn.

Waarom is dit belangrijk?
Dit onderzoek is als een landkaart voor de toekomst. Het helpt beleidsmakers en vaccinontwikkelaars om te beslissen:

• Welk nieuw vaccin we moeten maken (bijvoorbeeld een vaccin met 15 of 20 soorten).
• Of we moeten overstappen van het ene vaccin naar het andere.

Zonder deze kaart zouden we blindelings schieten in het donker. Met deze kaart kunnen we ervoor zorgen dat we de juiste vaccins kiezen om de stad (ons lichaam) veilig te houden, zelfs als de bacterie probeert zich te verstoppen in nieuwe buurten.

Kortom: De auteurs hebben een slimme manier bedacht om te voorspellen hoe bacteriën zich gedragen als we ze een vaccin geven. Door drie verschillende denkmethodes te combineren, kunnen we beter voorbereid zijn op de toekomst en betere vaccins ontwikkelen.

Technische samenvatting

Probleemstelling

Pneumokokkenvaccins (zoals PCV7, PCV13, en de nieuwere PCV15/PCV20) zijn zeer effectief tegen de specifieke serotypen die ze targeten. Echter, na introductie of wisseling van een vaccin treedt er vaak serotypenvervanging op: niet-vaccin serotypen (NVT's) vullen de vrijgekomen ecologische nische op en veroorzaken een toename van invasieve pneumokokkenziekte (IPD).
Het voorspellen van de dynamiek van deze NVT's is cruciaal voor het bepalen van de langetermijnimpact van vaccins en het ontwerpen van toekomstige vaccins. Bestaande modellen hebben echter beperkingen:

• Ze focussen vaak alleen op de introductie van een vaccin, niet op de overgang (switch) naar een vaccin met een hogere valentie.
• Ze aggregeren serotypen vaak in brede groepen zonder individueel gedrag te modelleren.
• Ze maken vaak gebruik van beperkte surveillance-data of vereisen carriage-data die tijdens het voorspellen nog niet beschikbaar is.

De auteurs stellen de vraag hoe men nauwkeurige voorspellingen kan maken voor de frequentie van NVT's na een vaccinswitch, rekening houdend met lokale overdrachtsdynamiek en serotype-specifieke invasiviteit.

Methodologie

De studie ontwikkelde en evalueerde een ensemble-model dat drie verschillende statistische modellen combineert, elk met unieke aannames over hoe NVT's toenemen.

1. Databronnen:

• IPD-data: Leeftijd- en serotype-specifieke data van het Amerikaanse CDC (Active Bacterial Core surveillance) voor de periode 1998-2019.
• Periodes: Pre-PCV7 (1998-1999), Vroeg post-PCV7 (2000-2004), Laat post-PCV7/Pre-PCV13 (2005-2009), Vroeg post-PCV13 (2010-2014), Laat post-PCV13 (2015-2019).
• Data-augmentatie: Om onzekerheid bij lage aantallen IPD-cases in de VS te verkleinen, werden data aangevuld met surveillance-data uit Australië, het VK, Israël en Gambia. Een Poisson-regressiemodel met random effects werd gebruikt om robuuste baselineschattingen te maken.
• Invasiviteit: Serotype-specifieke invasiviteit (IPD-cases per drager per jaar) werd afgeleid uit literatuur en gebruikt om de pre-vaccinatie-draagprevalentie te infereren op basis van IPD-cases.

2. De drie componentmodellen:
Elk model voorspelt de verandering in draagprevalentie ($\phi$) van serotypen:

• Proportionate Model: Gaat uit van een constante vermenigvuldigingsfactor voor NVT's, gebaseerd op de grootte van de vrijgekomen nische (daling van vaccin-serotypen). Dit is een simpele lineaire schaalverandering.
• Ranking Model: Gaat uit van het principe dat de rangorde van de meest voorkomende serotypen relatief stabiel blijft. Als vaccin-serotypen verdwijnen, schuiven de NVT's op in rang, maar behouden hun relatieve frequentie binnen de rangorde.
• NFDS-lite (Negative Frequency-Dependent selection): Een vereenvoudigde versie van een complex evolutionair model. Het gaat ervan uit dat serotypen die genetisch verwant zijn aan de vaccin-serotypen (dezelfde capsulaire genen) de grootste kans hebben om toe te nemen omdat ze dezelfde nische kunnen exploiteren.

3. Ensemble-model:
De voorspellingen van de drie individuele modellen worden gecombineerd tot één ensemble-voorspelling. De weging van elk model is dynamisch en gebaseerd op hun historische prestaties (nauwkeurigheid) in eerdere periodes, waardoor de sterktes van elk model worden benut en zwaktes worden gecompenseerd.

4. Validatie:
De modellen werden getest door de voorspelde IPD-cases voor post-PCV7 en post-PCV13 periodes te vergelijken met de daadwerkelijk waargenomen cases in de VS. De nauwkeurigheid werd gemeten met de Genormaliseerde Root Mean Square Error (NRMSE) en correlatiecoëfficiënten (Pearson en Spearman).

Belangrijkste Resultaten

• Data: In totaal werden 23.959 niet-PCV7 en 15.580 niet-PCV13 IPD-cases geanalyseerd. NVT-cases namen toe naarmate de tijd vorderde na vaccinatie.
• Algemene prestatie: Het ensemble-model leverde over het algemeen zeer accurate voorspellingen op, met name in de post-PCV13-periodes. De correlatie tussen voorspelde en waargenomen waarden was hoog.
• Vergelijking modellen:
  • Vroeg post-PCV7: Het Proportionate-model presteerde het beste (NRMSE 0,70-3,95), gevolgd door NFDS-lite en Ranking.
  • Laat post-PCV7: Het NFDS-lite-model presteerde het beste (NRMSE 1,55-9,82), wat suggereert dat genetische verwantschap en negatieve frequentie-afhankelijke selectie belangrijker werden naarmate de vaccinatieperiode vorderde.
  • Post-PCV13: Alle modellen presteerden vergelijkbaar goed, maar het ensemble-model verbeterde de voorspellingen verder door de variantie tussen de modellen te reduceren (NRMSE 0,31-3,09).
• Leeftijdsgroepen: De nauwkeurigheid was het hoogst bij zuigelingen (0-1 jaar) en ouderen (50+), waarschijnlijk omdat de vervanging van serotypen in deze groepen het meest dramatisch en voorspelbaar was.
• Sensitiviteitsanalyse: De nauwkeurigheid was het hoogst wanneer de voorspelling werd gevalideerd op basis van 4-6 jaar data na de vaccinintroductie of -switch. Korter of langer dan dit leidde tot lagere nauwkeurigheid.

Belangrijkste Bijdragen

1. Ensemble-aanpak: Het introduceren van een ensemble-methode die drie verschillende mechanistische aannames combineert, wat leidt tot robuustere voorspellingen dan enig enkel model.
2. Focus op "Switch": De methodologie is specifiek ontworpen om niet alleen de introductie van een nieuw vaccin, maar ook de overgang van een lager naar een hoger valent vaccin (bijv. PCV7 naar PCV13) te modelleren.
3. Integratie van invasiviteit: Het gebruik van serotype-specifieke invasiviteit om draagprevalentie te infereren, waardoor het model minder afhankelijk is van directe carriage-data die vaak ontbreekt in real-time surveillance.
4. Open Data: De beschikbaarheid van de R-code en data via GitHub voor replicatie en verdere ontwikkeling.

Betekenis en Conclusie

De studie toont aan dat het combineren van modellen met verschillende aannames de nauwkeurigheid van voorspellingen voor serotypenvervanging aanzienlijk verbetert. Het ensemble-model biedt een waardevol instrument voor beleidsmakers en vaccinontwikkelaars om:

• De impact van toekomstige vaccins (zoals PCV15, PCV20 en next-generation vaccins) te anticiperen.
• Beslissingen te nemen over welke serotypen in toekomstige vaccins moeten worden opgenomen.
• De langetermijnstrategieën voor pneumokokkenbestrijding te optimaliseren.

Hoewel er beperkingen zijn (zoals het niet volledig kunnen modelleren van kruisbescherming en het afleiden van draagprevalentie uit IPD-data), biedt dit framework een solide basis voor het voorspellen van de evolutie van pneumokokkenserotypen in een veranderend vaccinatie landschap.