Time-related biases in observational studies : an illustration with COVID-19 vaccination during immune checkpoint inhibitor therapy

Dit artikel laat zien dat verkeerde keuzes in de tijdlijn van een observationele studie kunnen leiden tot vertekende resultaten, waarbij de eerder gerapporteerde voordelen van COVID-19-vaccinatie bij kankerpatiënten die immuuntherapie krijgen, grotendeels verdwijnen wanneer een correcte 'target trial emulation' wordt toegepast.

De kern

De "Race tegen de Klok" en de Verkeerde Startlijn: Waarom een medische ontdekking misschien een optische illusie was

Stel je voor: er is een grote marathon gaande. De ene groep lopers draagt felgekleurde, superlichte hardloopschoenen (de vaccinatie), en de andere groep draagt gewone schoenen (de niet-gevaccineerden). Na een paar uur ziet de commentator er iets geks uit: "Wauw! De lopers met die felgekleurde schoenen lopen veel langer door en lijken veel fitter dan de rest!"

Je zou denken: die schoenen werken fantastisch! Maar wacht even... als we beter naar de startlijn kijken, zien we dat de commentator een enorme fout heeft gemaakt.

Het probleem: De "foute" startlijn

In de wetenschap noemen we dit tijd-gerelateerde bias. In het onderzoek waar dit artikel over gaat, keken wetenschappers naar kankerpatiënten die een bepaalde immunotherapie kregen. Ze zagen dat patiënten die kort na hun behandeling een COVID-vaccin kregen, het veel beter leken te doen.

Maar de onderzoekers in dit artikel zeggen: "Ho even, jullie hebben de stopwatch niet op het juiste moment ingedrukt!"

Er waren drie grote fouten in de "marathon" van de oorspronkelijke studie:

1. De "Onsterfelijke" Lopers (Immortal-time bias)
Stel je voor dat je pas mag meedoen aan de race als je de eerste 10 kilometer hebt overleefd. De lopers die de felgekleurde schoenen dragen, zijn de mensen die later in de race besloten die schoenen aan te trekken. Maar om die schoenen aan te kunnen trekken, moest je dus wel de eerste 10 kilometer hebben overleefd. De mensen die direct bij de start bezweken, hadden die schoenen nooit kunnen aantrekken. Hierdoor lijkt het alsof de schoenen je beschermen, terwijl ze eigenlijk alleen maar een label zijn voor de mensen die toevallig al een stukje hadden overleefd.

2. De "Overlevers" (Prevalent-user bias)
Denk aan een club voor mensen die een marathon lopen. Als je alleen de mensen toelaat die de eerste helft van de race hebben gehaald, heb je automatisch een groep mensen die "fit" zijn. De mensen die te zwak waren, zijn al uit de race. Als je dan zegt: "Kijk, de lopers in deze club zijn heel fit!", dan klopt dat, maar dat komt niet door de club zelf, maar doordat de zwakkeren al lang zijn afgevallen.

3. De "Tijdmachine" (Calendar-time bias)
De onderzoekers keken naar gegevens van jaren geleden (voordat het vaccin bestond) en vergeleken die met de huidige tijd. Maar de medische wereld verandert snel. Het is alsof je de prestaties van een marathonloper uit 1950 vergelijkt met een loper uit 2024. De techniek, de voeding en de weg zijn totaal anders. Dat is geen eerlijke vergelijking.

Wat hebben de nieuwe onderzoekers gedaan?

De auteurs van dit artikel hebben de stopwatch opnieuw ingesteld. Ze hebben een "virtuele proef" nagebootst (een target trial emulation). Ze hebben de regels heel streng gemaakt:

• Ze begonnen de stopwatch voor iedereen op exact hetzelfde moment.
• Ze vergeleken alleen mensen uit dezelfde periode.
• Ze zorgden dat de groepen vanaf de allereerste stap eerlijk met elkaar vergeleken werden.

De conclusie: Geen wondermiddel, maar een eerlijk beeld

Toen ze de berekeningen opnieuw deden met de juiste "startlijn", verdween het grote voordeel van het vaccin bijna volledig. Het verschil in overlevingskans was in de nieuwe, eerlijke berekening bijna nul.

De les van het verhaal: In de wetenschap is het niet genoeg om te kijken wie er wint; je moet heel goed kijken wanneer je de stopwatch hebt ingedrukt en hoe de lopers aan de startlijn stonden. Alleen dan weet je of de schoenen echt helpen, of dat het een optische illusie was.

Technische samenvatting

Technische Samenvatting: Tijdgerelateerde biases in observationele studies

1. Het Probleem (De Probleemstelling)

De kern van dit onderzoek is de kritische analyse van een recente studie door Grippin et al., die suggereerde dat COVID-19 mRNA-vaccinatie de effectiviteit van immuuncheckpointremmers (ICI) bij kankerpatiënten aanzienlijk verhoogt. De oorspronkelijke studie rapporteerde een spectaculair verschil in de 3-jaars algehele overleving (OS) tussen gevaccineerde (55,7%) en ongevaccineerde (30,8%) patiënten met niet-kleincellige longkanker (NSCLC).

De auteurs van dit paper stellen dat deze conclusie waarschijnlijk het resultaat is van tijdgerelateerde biases (systematische fouten door de manier waarop de tijdlijn van de studie is gedefinieerd). In observationele studies kunnen subtiele keuzes over wanneer de follow-up begint, wanneer de behandeling wordt toegewezen en wanneer patiënten in aanmerking komen, leiden tot foutieve causale conclusies.

2. Methodologie

De auteurs gebruiken de data van de oorspronkelijke studie om een Target Trial Emulation (TTE) uit te voeren. TTE is een methodologisch kader waarbij men probeert een hypothetische gerandomiseerde gecontroleerde trial (RCT) na te bootsen met behulp van observationele data.

De methodologie omvat de volgende stappen:

• Identificatie van Biases: De auteurs identificeren zes specifieke vormen van bias in de studie van Grippin et al., waaronder immortal-time bias, prevalent-user bias, survivor-induced selection bias, en calendar-time confounding.
• Specificatie van de Target Trial: Er wordt een hypothetische trial gedefinieerd met strikte criteria:
  • Inclusie: Alleen patiënten gediagnosticeerd na de beschikbaarheid van COVID-19 vaccins (december 2020) om calendar-time confounding te voorkomen.
  • Time Zero: Het startpunt van de follow-up wordt strikt gelijkgetrokken voor beide groepen (de datum van de eerste ICI-behandeling).
  • Interventietoewijzing: Gebruik van een cloning, censoring, and weighting benadering om de 100-daagse 'grace period' (de tijd waarin een patiënt alsnog gevaccineerd kan worden) correct te modelleren zonder immortal-time bias te introduceren.
• Statistische Correctie: Gebruik van Inverse Probability of Censoring Weights (IPC) om te corrigeren voor baseline confounders (zoals leeftijd, geslacht, ECOG-status en comorbiditeiten).

3. Belangrijkste Bijdragen

• Methodologische deconstructie: Het paper biedt een diepgaande analyse van hoe specifieke ontwerpkeuzes (zoals het verschillend definiëren van 'time zero' voor gevaccineerde versus ongevaccineerde patiënten) de resultaten kunnen vervalsen.
• Demonstratie van TTE: Het dient als een krachtig voorbeeld van hoe de Target Trial Emulation methode kan worden ingezet om de validiteit van bestaande medische literatuur te toetsen.
• Transparantie in bias: De auteurs laten zien dat zelfs een goed uitgevoerde emulatie nog steeds beperkt kan worden door onmeetbare factoren (zoals tijdsvariërende confounders), wat bijdraagt aan een realistischer beeld van de beperkingen van observationeel onderzoek.

4. Resultaten

De resultaten van de re-analyse laten een drastische verandering zien in de conclusies:

• Oorspronkelijke resultaat (Grippin et al.): Een verschil in 3-jaars OS van 24,9 procentpunt (55,7% vs 30,8%), wat duidt op een sterk beschermend effect van het vaccin.
• Gecorrigeerd resultaat (Dumas et al.): Na het corrigeren voor de geïdentificeerde biases, bedroeg de geschatte 3-jaars OS 45,7% voor de gevaccineerde groep en 43,8% voor de ongevaccineerde groep.
• Conclusie van de resultaten: Het verschil is gereduceerd tot slechts 1,9 procentpunt, wat statistisch niet significant is (95% CI: -23,6 tot 25,0). Hiermee verdwijnt het bewijs voor een verhoogde effectiviteit van ICI door vaccinatie in deze dataset.

5. Significantie

Dit onderzoek is van groot belang voor zowel de wetenschappelijke methodologie als de klinische praktijk:

• Klinische implicaties: Het waarschuwt clinici om voorzichtig te zijn met het interpreteren van observationele studies die spectaculaire effecten claimen, aangezien deze effecten puur artefacten van het onderzoeksontwerp kunnen zijn.
• Wetenschappelijke integriteit: Het benadrukt de noodzaak voor strikte naleving van causale inferentie-principes bij het analyseren van 'real-world data'.
• Methodologische standaard: Het versterkt de adoptie van het Target Trial Emulation framework als de gouden standaard voor het minimaliseren van bias in observationele epidemiologie.