An E-value-Informed Sensitivity Analysis Framework for Hybrid Controlled Trials

Deze paper introduceert een E-waarde-gebaseerd raamwerk voor gevoeligheidsanalyses dat de robuustheid van hybride gecontroleerde proeven tegen ongemeten verstorende factoren waarborgt, waardoor de statistische power wordt verhoogd zonder de Type I-fout te inflateren.

De kern

Het Probleem: De "Gouden Kooi" versus de "Wilde Vrijheid"

Stel je voor dat je een nieuwe medicijn wilt testen. Normaal gesproken doe je dit in een RCT (een gerandomiseerde gecontroleerde studie). Dit is als een gouden kooi: je neemt een groep mensen, verdeelt ze willekeurig in twee groepen (één krijgt het nieuwe medicijn, de ander een placebo of standaardbehandeling) en houdt alles perfect onder controle. Omdat alles willekeurig is, weet je zeker dat het verschil in resultaat door het medicijn komt en niet door andere factoren.

Maar gouden kooien zijn duur, tijdrovend en soms moeilijk om vol te krijgen. Daarom willen onderzoekers nu een slimme truc gebruiken: Hybride Gecontroleerde Studies (HCT).

Bij een HCT nemen ze de "gouden kooi" (de echte proefpersonen in het ziekenhuis) en vullen ze de controlegroep aan met mensen uit de echte wereld (bijvoorbeeld uit elektronische patiëntendossiers). Het is alsof je naast je gouden kooi een grote, open veld hebt staan met mensen die dezelfde standaardbehandeling krijgen. Dit maakt de studie goedkoper en sneller, en meer mensen krijgen toegang tot het nieuwe medicijn.

Het gevaar: De mensen in de gouden kooi zijn vaak zorgvuldig geselecteerd en worden nauwlettend in de gaten gehouden. De mensen in de "wilde veld" (de echte wereld) zijn dat niet. Ze kunnen ongemeten verschillen hebben (bijvoorbeeld: ze roepen meer, hebben een zwaardere vorm van de ziekte, of eten anders). Als je deze twee groepen simpelweg vergelijkt, is het alsof je appels vergelijkt met peren. Je kunt denken dat het medicijn werkt, terwijl het eigenlijk alleen werkt omdat de "wilde" groep slechter af was.

De Oplossing: De "E-value" en de Nieuwe "HC-waarde"

De auteurs van dit paper hebben een nieuwe manier bedacht om te checken of je conclusie echt klopt, zelfs als er onbekende verschillen zijn. Ze noemen dit een Sensitiviteitsanalyse.

Stel je voor dat je een weegschaal hebt. Je wilt weten: "Hoe zwaar moet een onzichtbaar gewichtje (een onbekende factor) zijn voordat mijn weegschaal (mijn conclusie) kantelt?"

1. De oude methode (E-value): Dit was al bekend voor gewone studies. Het antwoordde op de vraag: "Hoe sterk moet een onbekende factor zijn om mijn resultaat te verklaren?"
2. Het nieuwe probleem: In een HCT werkt dit niet direct, omdat de "behandeling" in de echte wereld niet willekeurig is. De factor die telt, is niet of iemand het medicijn krijgt, maar of iemand in de studie zit versus in de echte wereld.
3. De nieuwe methode (HC-waarde): De auteurs hebben de E-value aangepast voor deze hybride situatie. Ze noemen het de HC-waarde.
   • Wat betekent dit? De HC-waarde is het antwoord op: "Hoe extreem moet een onbekend geheim zijn (bijvoorbeeld: hoe slechter moet de gezondheid van de mensen in de echte wereld zijn) om mijn positieve resultaat te kunnen verklaren?"
   • Hoe hoger de HC-waarde, hoe veiliger je bent. Als de HC-waarde 10 is, betekent dit dat je een onbekende factor nodig hebt die 10 keer zo sterk is als iets dat we al kennen, om je resultaat te ontkrachten. Dat is onwaarschijnlijk, dus je resultaat is robuust.

De "Maatstaf": De RD-waarde

Om te weten of die HC-waarde wel "hoog genoeg" is, hebben ze een referentiepunt nodig. Ze kijken naar de RD-waarde (Residual Difference).

• De Analogie: Kijk naar de controlegroep in de gouden kooi en de controlegroep in de wilde wereld. Als deze twee groepen exact hetzelfde gedrag en resultaat hadden, is er geen probleem. Maar als de mensen in de wilde wereld duidelijk slechter presteren (bijvoorbeeld vaker astma-aanvallen hebben), is er een gat.
• De RD-waarde meet hoe groot dat gat is.
• De RD-waarde vertelt je: "Op basis van het gat dat we al zien, hoe sterk moet de onbekende factor minimaal zijn om dit gat te verklaren?"

De Beslissingsregel: De "Tipping Point"

Nu hebben ze twee nummers:

1. HC-waarde: Hoe sterk moet de onbekende factor zijn om je medicijn-resultaat te ontkrachten?
2. RD-waarde: Hoe sterk is de onbekende factor minimaal nodig om het verschil tussen de controlegroepen te verklaren?

De regel is simpel:

• Als de HC-waarde veel groter is dan de RD-waarde, dan is je resultaat waarschijnlijk echt. De onbekende factoren die nodig zijn om je resultaat te ontkrachten, zijn zo extreem dat ze onwaarschijnlijk zijn. Je kunt vertrouwen op je medicijn.
• Als de HC-waarde kleiner is (of dichtbij) de RD-waarde, dan is je resultaat niet veilig. Het betekent dat de onbekende factoren die al zichtbaar zijn in je data (het gat tussen de groepen) groot genoeg zijn om je resultaat te verklaren. Je medicijn werkt misschien helemaal niet; het was alleen een statistische illusie.

Wat hebben ze bewezen?

De auteurs hebben dit getest met computersimulaties (alsof ze duizenden keren een studie hebben nagespeeld) en met een echte studie over astma.

• Het resultaat: Hun nieuwe regel werkt!
  • Het voorkomt dat je denkt dat een medicijn werkt terwijl het dat niet doet (het voorkomt "valse positieven").
  • Het laat je toch profiteren van de grotere groep mensen (meer statistische kracht), zolang het resultaat maar robuust is.
• Het Astma-voorbeeld: Ze keken naar twee astma-medicijnen.
  • Medicijn A leek in de hybride studie te werken, maar de nieuwe analyse toonde aan dat het resultaat niet robuust was. Het verschil kon wellicht verklaard worden door de onbekende factoren. Dus: niet vertrouwen.
  • Medicijn B leek ook te werken, en de nieuwe analyse toonde aan dat het resultaat wel robuust was. De onbekende factoren waren niet sterk genoeg om het resultaat te ontkrachten. Dus: dit medicijn werkt waarschijnlijk echt.

Conclusie

Dit paper biedt onderzoekers en artsen een veiligheidsnet. Het stelt hen in staat om slimme, snellere studies te doen met data uit de echte wereld, zonder dat ze bang hoeven te zijn dat ze door onbekende factoren in de val lopen. Het is als een "liegdetector" voor medische studies: het vertelt je of je resultaat echt is, of dat het alleen maar lijkt te werken door toeval of onbekende verschillen.

Technische samenvatting

Probleemstelling

Hybride gecontroleerde trials (HCT's) zijn een innovatief trialontwerp waarbij de interne controlegroep van een gerandomiseerde gecontroleerde trial (RCT) wordt aangevuld met real-world data (RWD) van patiënten die dezelfde behandeling in de routinezorg ontvangen. Hoewel dit ontwerp de statistische power vergroot en de rekrutering kan verbeteren (bijvoorbeeld door ongelijke randomisatie), introduceert het een significant risico op bias door niet-gemeten verstorende factoren (unmeasured confounding).

Omdat externe controlegroepen niet gerandomiseerd zijn, kunnen systematische verschillen in ongemeten kenmerken tussen de RCT-deelnemers en de externe controlegroep leiden tot een gebrek aan uitwisselbaarheid (non-exchangeability) van uitkomsten. Bestaande methoden voor gevoeligheidsanalyse zijn vaak te complex, beperkt tot specifieke uitkomsttypes, of focussen indirect op de bias via de "Residual Difference" (RD) in plaats van direct op de impact van de verstorende factor op het behandelingseffect. Er is behoefte aan een transparante, interpreteerbare en robuuste methode om de validiteit van HCT-resultaten te beoordelen.

Methodologie

De auteurs ontwikkelen een nieuw gevoeligheidsanalyseschema dat is gebaseerd op het bekende E-value-kader, maar aangepast is voor de specifieke context van HCT's. Het kader bestaat uit twee complementaire metrieken:

1. De HC-waarde (Hybrid Controlled-value):

   • Dit is een aanpassing van de E-waarde voor HCT's. Waar de standaard E-waarde de sterkte van de associatie tussen een verstorende factor ($U$) en de behandeling ($A$) meet, is dit in HCT's niet direct van toepassing omdat de behandeling binnen de trial gerandomiseerd is.
   • In HCT's beïnvloedt $U$ de behandeling indirect via de trial-deelname ($S$). De HC-waarde kwantificeert dus de minimale sterkte van associatie die een ongemeten verstorende factor moet hebben met ofwel de trial-deelname of de uitkomst, om het waargenomen behandelingseffect volledig te verklaren (d.w.z. het effect naar nul te brengen).
   • Formule (2) in het artikel definieert de HC-waarde als een functie van het geschatte HCT-effect en de verhouding van de steekproefgroottes ($\eta$).

2. De RD-waarde (Residual Difference-value):

   • De RD is de verhouding van risico's (risk ratio) voor de uitkomst tussen de interne en externe controlegroepen, na correctie voor gemeten verstorende factoren. Het is een directe maat voor de niet-uitwisselbaarheid.
   • De RD-waarde is de minimale sterkte van associatie die een ongemeten verstorende factor moet hebben om de waargenomen RD te induceren.
   • De RD-waarde fungeert als een datagedreven benchmark die de reële omvang van de ongemeten verstorende factoren in de dataset weergeeft.

Beslissingsregel:
De auteurs stellen een praktische beslissingsregel voor om de robuustheid van resultaten te beoordelen:

• Bereken de HC-waarde (voor het puntsschatting en het betrouwbaarheidsinterval dichter bij de null).
• Bereken de RD-waarde.
• Regel: Als de RD-waarde kleiner is dan de HC-waarde, wordt de nulhypothese verworpen (het resultaat is robuust). Als de RD-waarde groter is dan de HC-waarde, wordt de nulhypothese niet verworpen, zelfs als het HCT-resultaat statistisch significant is. Dit betekent dat de waargenomen bias voldoende groot is om het significantie-effect te verklaren.

Belangrijkste Bijdragen

1. Aanpassing van het E-value kader: De eerste toepassing van een E-value-achtige benadering specifiek voor hybride trials, waarbij rekening wordt gehouden met het feit dat verstorende factoren de trial-deelname beïnvloeden in plaats van de behandeling direct.
2. Integratie van een Benchmark: Invoering van de RD-waarde als een interne benchmark. Dit stelt onderzoekers in staat om de theoretisch benodigde sterkte van verstorende factoren (HC-waarde) te vergelijken met de daadwerkelijk waargenomen mate van niet-uitwisselbaarheid (RD-waarde).
3. Operationalisatie: Een duidelijke, stap-voor-stap beslissingsregel die Type I-fouten (vals-positieven) controleert terwijl het vermogen (power) van het gebruik van externe data behouden blijft.
4. Toepasbaarheid: Het kader is ontworpen om toepasbaar te zijn op diverse uitkomsttypes (binair, tijd-tot-event, etc.) en is makkelijker te interpreteren dan eerdere complexe methoden.

Resultaten

Simulatiestudie:

• De auteurs voerden simulaties uit met variërende sterktes van ongemeten verstorende factoren (mild, gematigd, sterk) en verschillende verhoudingen tussen externe en interne controlegroepen.
• Type I-fout: De beslissingsregel gebaseerd op het betrouwbaarheidsinterval (waarbij de RD-waarde wordt vergeleken met de HC-waarde van het interval dichter bij de null) hield de Type I-fout nauwkeurig op het nominale niveau van 5%, zelfs bij aanwezigheid van matige verstorende factoren. Dit was een groot voordeel ten opzichte van een standaard HCT-analyse zonder gevoeligheidsanalyse, waarbij de Type I-fout opliep.
• Power: De methode behield een significant hogere statistische power (10–20% stijging) vergeleken met analyses die alleen RCT-data gebruikten, vooral in scenario's waar externe controles slechtere uitkomsten hadden (wat vaak leidt tot een positieve bias in het behandelingseffect).

Toepassing op Asthma Trial (IRIDIUM + Penn Medicine EHR):

• De methode werd toegepast op een HCT voor astmabehandeling, waarbij data uit de IRIDIUM RCT werden gecombineerd met elektronische gezondheidsregistraties (EHR) van Penn Medicine.
• Medium-dose behandeling: Het HCT-resultaat was statistisch significant (RR = 0.81), maar de analyse met alleen trial-data was het niet. De gevoeligheidsanalyse toonde aan dat de RD-waarde (1.86) groter was dan de HC-waarde van het betrouwbaarheidsinterval (1.52). Conclusie: Het significantie-effect was niet robuust; de waargenomen bias kon het resultaat volledig verklaren.
• High-dose behandeling: Het HCT-resultaat was significant (RR = 0.65) en consistent met de trial-only analyse. De RD-waarde (1.86) was veel kleiner dan de HC-waarde (6.35 voor puntsschatting, 3.20 voor het interval). Conclusie: Het resultaat was robuust; ongemeten verstorende factoren konden het effect niet verklaren.

Betekenis en Conclusie

Dit artikel biedt een cruciaal instrument voor de regulatoire en klinische validatie van hybride gecontroleerde trials. Door een transparante en interpreteerbare manier te bieden om de impact van ongemeten verstorende factoren te kwantificeren, helpt het kader onderzoekers om:

• Vals-positieve conclusies te vermijden die voortkomen uit bias in externe controlegroepen.
• De voordelen van het gebruik van real-world data (zoals hogere power en snellere ontwikkeling) veilig te benutten.
• Een onderbouwde beslissing te nemen over de betrouwbaarheid van een behandelingseffect, zelfs wanneer de trial niet volledig gerandomiseerd is voor de controlegroep.

De methode balanseert de noodzaak van strenge validatie met de praktische voordelen van moderne trialontwerpen, waardoor HCT's een meer geloofwaardige rol kunnen spelen in de geneesmiddelenontwikkeling.