Estimating the impact of Shigella vaccines on growth outcomes and implications for clinical trial design

Dit artikel toont aan dat het schatten van vaccin-effecten op de groei binnen de subgroep die zonder vaccinatie zou zijn geïnfecteerd, samen met een zorgvuldig ontworpen proefopzet, de statistische power aanzienlijk verbetert om de groei-bevorderende effecten van Shigella-vaccins aan te tonen, terwijl standaard vergelijkingen tussen vaccinarmen vaak onderbepaald zijn.

De kern

Titel: Waarom het lastig is om te bewijzen dat een Shigella-vaccin kinderen helpt groeien (en hoe we het toch kunnen doen)

Stel je voor dat je een nieuwe, magische regenjas wilt testen voor kinderen. Je wilt bewijzen dat deze jas niet alleen hen droog houdt, maar ook dat ze erdoor minder ziek worden en daardoor beter kunnen groeien. Maar er is een groot probleem: de regen (de ziekte Shigella) valt niet vaak genoeg, en als hij valt, is het soms heel licht en soms heel zwaar.

Dit artikel van onderzoekers van de Emory University in de VS probeert uit te zoeken hoe we dit "groeieffect" van een Shigella-vaccin het beste kunnen meten in een groot onderzoek, zonder dat we duizenden kinderen nodig hebben die we eigenlijk niet hebben.

Hier is de uitleg in simpele taal, met een paar handige vergelijkingen:

1. Het Grote Probleem: De "Verwaterde" Soep

Stel je voor dat je een grote pot soep maakt (dit is je hele onderzoeksgroep met bijvoorbeeld 20.000 kinderen). Je doet er een heel klein beetje superkrachtige peper in (het vaccin).

• De realiteit: De meeste kinderen in de pot krijgen geen Shigella (ze krijgen geen "regen" te pakken). Voor hen maakt het niet uit of ze de peper hebben gehad of niet; ze blijven gewoon normaal groeien.
• Het resultaat: Als je nu de hele pot proeft om te zien of de soep pittiger is, proef je bijna niets. De effecten van de peper worden "verwaterd" door de enorme hoeveelheid soep die er niet bij hoort.
• De risico's: Omdat het effect zo klein is, kan het zijn dat je door toeval denkt dat de soep juist minder lekker is (een negatief resultaat), terwijl het vaccin eigenlijk wel werkt. Dit is wat de auteurs "verkeerd bewijzen dat het vaccin schadelijk is" noemen.

2. De Oplossing: Kijk alleen naar de "Nat Gewordenen"

In plaats van de hele grote pot soep te proeven, kijken de onderzoekers naar een slimme truc. Ze zeggen: "Laten we alleen kijken naar de kinderen die écht nat zijn geworden door de regen (Shigella), of die dat zouden zijn geworden als ze geen jas hadden gedragen."

Dit noemen ze de "Natuurlijk Besmette" groep.

• De analogie: Stel je voor dat je alleen de kinderen meet die door de regen zijn gaan lopen. Als je ziet dat de kinderen met de magische regenjas (vaccin) minder nat zijn en daardoor beter kunnen rennen (groeien) dan de kinderen zonder jas, dan zie je het effect heel duidelijk.
• Het resultaat: Door alleen naar deze groep te kijken, wordt het effect 5 tot 10 keer groter. Het is alsof je van een verwaterde soep overgaat naar een sterke pepersaus. Hierdoor is de kans veel groter om echt te zien dat het vaccin werkt, zelfs als je niet 80.000 kinderen hebt.

3. De Uitdaging: Hoe groot moet het onderzoek zijn?

De onderzoekers hebben met computersimulaties (virtuele proeven) gekeken wat er nodig is om dit te bewijzen.

• Het slechte nieuws: Zelfs met deze slimme methode is het heel moeilijk. Om met zekerheid te zeggen: "Ja, dit vaccin helpt kinderen groeien", heb je waarschijnlijk een onderzoek nodig met 80.000 kinderen. Dat is veel te groot voor een standaard fase-3-vaccinonderzoek (die meestal tussen de 2.500 en 20.000 kinderen hebben).
• De conclusie: In een normaal groot onderzoek is de kans groot dat je niets ziet, of zelfs denkt dat het vaccin niet werkt.

4. Tips voor het Ontwerp van het Onderzoek

Hoewel het moeilijk is, geven de onderzoekers wel advies om de kansen te vergroten, net als het kiezen van de beste locatie voor je regenjas-test:

• Kies de juiste plek: Doe het onderzoek in gebieden waar het heel vaak regent (hoge besmettingsgraad). Als je in een droog gebied test, krijg je te weinig "natte kinderen" om iets te meten.
• Kies de juiste kinderen: Focus op kinderen die het meest risico lopen (bijvoorbeeld jongere kinderen of diegenen die al wat minder goed groeien). Dit is als het testen van je jas alleen bij kinderen die al snel nat worden.
• Het tijdstip van meten: Het is beter om pas aan het einde van het jaar te meten dan halverwege. Net als bij een plant die na een storm even stil staat om te herstellen, duurt het even voordat je ziet of de "groeischade" door de ziekte is opgelopen. Te vroeg meten geeft een vaag beeld.

Samenvatting in één zin

Het bewijzen dat een Shigella-vaccin kinderen helpt groeien is als proberen een druppel inkt te zien in een zwembad; je moet het water laten verdampen (alleen kijken naar de kinderen die ziek zouden zijn geworden) om de inkt echt te zien, maar zelfs dan heb je een heel groot zwembad nodig om het zeker te weten.

Wat betekent dit voor de toekomst?
Omdat het zo moeilijk is om dit in een klein onderzoek te bewijzen, zullen fabrikanten waarschijnlijk eerst het vaccin goedkeuren op basis van het voorkomen van ziekte (diarree). Pas later, in grotere studies na de goedkeuring, zullen ze kunnen bewijzen dat het ook echt helpt bij de groei van kinderen. Maar met de slimme methode van "alleen kijken naar de natgewordenen" maken ze de kans groter dat ze het effect inderdaad kunnen vinden.

Technische samenvatting

Probleemstelling

Shigella is een leidende oorzaak van acute diarree bij jonge kinderen in laag- en middeninkomenslanden en staat op de tweede plaats als oorzaak van diarree-gerelateerde sterfte onder kinderen jonger dan vijf jaar. Naast acute ziekte en sterfte is Shigella-infectie geassocieerd met langdurige lineaire groeivertraging (stunting). De ontwikkeling van vaccins is een prioriteit, maar het evalueren van het effect van deze vaccins op groei in Fase 3 klinische trials is statistisch uitdagend.

De kern van het probleem is dat het verwachte effectgrootte op groei klein is vanwege de beperkte incidentie van Shigella. Een traditionele vergelijking van de groeiparameters (zoals de Height-for-Age Z-score of HAZ) tussen de vaccin- en placebogroep (populatie-niveau) is waarschijnlijk onderbevoegd (underpowered). Omdat de meeste kinderen in de trial niet geïnfecteerd raken, wordt het effect van het vaccin "verdund" door degenen die toch niet ziek worden. Dit leidt tot een hoog risico op het vinden van een nul-effect of zelfs een schijnbaar negatief effect (dat het vaccin schadelijk lijkt voor de groei) puur door toeval.

Methodologie

De auteurs hebben een realistische simulatiestudie opgezet om een nieuwe statistische aanpak te vergelijken met de traditionele populatie-aanpak.

1. Simulatieontwerp:

   • Er werden 1:1 gerandomiseerde, placebogecontroleerde trials gesimuleerd met een follow-up van één jaar.
   • De simulaties waren gebaseerd op data uit grote, multi-site observatiestudies (zoals MAL-ED en EFGH in Gambia en Peru) om realistische parameters te krijgen voor incidentie, groeitrajecten en de impact van diarree op groei.
   • Er werden verschillende trial-scenario's getest variërend in steekproefomvang (n = 2.500 tot 80.000), immunisatieschema's (volledige bescherming op 6 of 12 maanden), rekruteringsstrategieën en timing van groeimetingen.

2. Analysebenaderingen:

   • Populatie-niveau: Traditionele vergelijking van HAZ tussen vaccin- en placebogroep (Intention-to-Treat).
   • Natuurlijk geïnfecteerde subgroep (Naturally Infected): Een causale inferentie-methode die het vaccin-effect schat op de subgroep van kinderen die zonder vaccinatie Shigella-diarree zouden hebben opgelopen. Deze methode corrigeert voor verstorende factoren (confounding), voornamelijk de baseline HAZ, en isoleert het biologische effect van het vaccin op groei bij degenen die risico lopen.

3. Statistische Power:

   • De power werd berekend als het percentage van de 1.000 gesimuleerde datasets waarbij de nulhypothese (geen effect) werd verworpen bij een significantieniveau van 0,05.
   • Er werd ook gekeken naar het risico op het vinden van een negatief effect (schijnbare schade).

Belangrijkste Bijdragen

• Methodologische Innovatie: Het toepassen en valideren van de "natuurlijk geïnfecteerde" (naturally infected) schatter in de context van vaccin-trials voor groei, wat een significant groter effectgrootte en hogere statistische power biedt dan traditionele methoden.
• Ontwerp-richtlijnen: Het kwantificeren van hoe trial-ontwerpkeuzes (zoals het moment van vaccinatie, de keuze van de onderzoekslocatie en de frequentie van metingen) de power beïnvloeden.
• Realistische Projecties: Het aantonen dat zelfs onder optimale omstandigheden de steekproefgrootte die nodig is om een groei-effect met voldoende power te detecteren, waarschijnlijk buiten de reikwijdte ligt van standaard Fase 3 trials.

Resultaten

1. Effectgrootte en Power:

   • De geschatte effectgrootte op lineaire groei in de "natuurlijk geïnfecteerde" subgroep was 5 tot 10 keer groter dan op populatie-niveau.
   • De statistische power was tot 3 keer hoger bij gebruik van de "natuurlijk geïnfecteerde" methode.
   • Bij een realistische steekproefgrootte van 20.000 deelnemers was de power voor de populatie-methode slechts 6%, terwijl de "natuurlijk geïnfecteerde" methode 11% power had. Zelfs bij 80.000 deelnemers bleef de power voor de populatie-methode laag (7%) vergeleken met 25% voor de "natuurlijk geïnfecteerde" methode.

2. Risico op Negatieve Resultaten:

   • Populatie-analyses hadden een hoog risico op het vinden van een negatief effect door toeval (43% van de schattingen bij n=20.000 was negatief).
   • De "natuurlijk geïnfecteerde" methode verlaagde dit risico aanzienlijk (26% negatieve schattingen).

3. Invloed van Trial-ontwerp:

   • Rekruteringsstrategie: Gerichte rekrutering van kinderen met het hoogste risico (hoge incidentie en grotere verwachte groeivertraging) verbeterde de power aanzienlijk ten opzichte van algemene rekrutering.
   • Immunisatieschema: Hoewel het effectgrootte iets groter was bij een schema dat op 6 maanden voltooid is, was de power vaak hoger bij schema's die op 12 maanden voltooid zijn. Dit komt doordat in veel locaties de incidentie bij jongere kinderen lager is, wat leidt tot een kleinere "natuurlijk geïnfecteerde" subgroep in vroege schema's.
   • Tijdstip van meting: Het opnemen van tussentijdse groeimetingen (bijv. na 6 maanden) verbeterde de power niet ten opzichte van één meting aan het einde van de follow-up (12 maanden). Langere follow-up is nodig om het piekeffect van ernstige infecties op de groei te zien.

Betekenis en Conclusie

De studie concludeert dat het detecteren van een positief effect van Shigella-vaccins op lineaire groei in realistische Fase 3 trials (met steekproefgroottes van enkele duizenden) statistisch zeer onwaarschijnlijk is met traditionele methoden. Er bestaat een reëel risico dat trials een nul-effect of een schijnbaar schadelijk effect vinden, wat de communicatie over het nut van het vaccin kan ondermijnen.

Aanbevelingen:

• Gebruik de "natuurlijk geïnfecteerde" schatter in de analyse om het biologische effect te isoleren en het risico op misleidende negatieve resultaten te verminderen.
• Optimaliseer het trial-ontwerp door te focussen op locaties met hoge incidentie bij jonge kinderen en door kinderen met het hoogste risico te rekruteren.
• Wees realistisch: Zelfs met deze verbeteringen is de benodigde steekproefgrootte voor een goed onderbouwde groei-uitkomst (bijv. 80.000 deelnemers) waarschijnlijk te groot voor een standaard Fase 3 trial.
• Post-marketing studies zullen noodzakelijk zijn om het effect van Shigella-vaccins op groei betrouwbaar te evalueren.

De bevindingen bieden cruciale richtlijnen voor het ontwerp en de analyse van toekomstige Shigella-vaccin-trials, waarbij de nadruk ligt op het vermijden van valse negatieve conclusies en het maximaliseren van de kans op het detecteren van een waardevol effect binnen de beperkingen van de huidige trial-omvang.