Differences in Performance of Bayesian Dynamic Borrowing and Synthetic Control Methods: A Case Study of Pediatric Atopic Dermatitis

Technische Samenvatting: Verschillen in Prestaties van Bayesian Dynamic Borrowing en Synthetic Control Methods

Probleemstelling
Bij het ontwerp van klinische trials, met name voor pediatrische populaties, zeldzame ziekten, of scenario's waarin de standaardzorg aanzienlijk verschilt van proof-of-concept behandelingen, vormen het werven en behouden van deelnemers voor een prospectieve controlegroep substantiële uitdagingen. Twee methodologieën zijn naar voren gekomen om dit aan te pakken: Bayesian Dynamic Borrowing (BDB) en Synthetic Control Methods (SCM). Hoewel beide methoden ernaar streven om prospectieve controlegroepen aan te vullen of te vervangen met behulp van historische data, is hun prestatie niet direct vergeleken. Dit gat in de kennis bestaat door fundamentele verschillen in hun toepassing, de aard van hun outputs (een prior-distributie versus een gegenereerde controlegroep) en de metrieken die gebruikt worden om hun kwaliteit te evalueren. Deze studie beoogt dit gat te overbruggen door de statistische power en Type 1-foutpercentages van BDB (gebruikmakend van een Meta-Analytic Predictive prior) en SCM te vergelijken binnen de specifieke context van Pediatrische Atopische Dermatitis.

Methodologie
De studie maakte gebruik van een casestudy-benadering gebaseerd op zes historische gerandomiseerde gecontroleerde onderzoeken (RCT's) betreffende pediatrische atopische dermatitis. De primaire uitkomstmaat van belang was de EASI-75 responsratio (75% verbetering in de Eczema Area and Severity Index).

• Databron: Zes historische RCT's werden geselecteerd, die steekproefgroottes en responder-aantallen voor controlegroepen leverden. De leeftijdsbereiken van de deelnemers varieerden van 6 maanden tot 18 jaar, en de interventies omvatten diverse behandelingen zoals Dupilumab, Baricitinib en Tralokinumab.
• Bayesian Dynamic Borrowing (BDB): De R-bibliotheek RBesT werd ingezet om een Meta-Analytic Predictive (MAP) prior te construeren. Deze prior werd gevoed door de historische controledata. De methodologie omvatte het simuleren van hypothetische nieuwe data om deze te combineren met de prior, waardoor het model dynamisch het gewicht van de historische data kan aanpassen op basis van de gelijkenis tussen de historische prior en de geobserveerde trialdata (het verminderen van het gewicht indien de heterogeniteit hoog is).
• Synthetic Control Methods (SCM): De R-bibliotheek Synthpop werd gebruikt om een synthetische controlegroep te genereren. Dit hield in dat de uitkomsten van de controlegroepen werden gesimuleerd op basis van de steekproefgroottes en geobserveerde responder-aantallen uit de historische studies. De algehele controle-respons waarschijnlijkheid werd gemodelleerd als de gecombineerde gemiddelde responsratio en de bijbehorende distributie.
• Simulatie en Metrieken: Over 10.000 gesimuleerde replicaten werden beide methoden geëvalueerd met behulp van Fisher's exact tests en analytische power-berekeningen. De primaire prestatie-metrieken waren de statistische power en de Type 1-foutratio. Voor de SCM werd een synthetische dataset gecreëerd voor elke replicaat met deelnemersaantallen gelijk aan de gemiddelde historische steekproefomvang.

Belangrijkste Resultaten
De vergelijking leverde de volgende prestatie-metrieken op:

• BDB: Produceerde een power van 0,580 en een Type 1-foutratio van 0,026. De resulterende MAP prior had een gemiddelde responsratio van 0,20 met een 95% betrouwbaarheidsinterval van 0,02–0,71.
• SCM: Produceerde een power van 0,641 en een Type 1-foutratio van 0,027. De synthetische controle had een gemiddelde responsratio van 0,24 met een 95% betrouwbaarheidsinterval van 0,14–0,36.

De studie merkte op dat het SCM-model een iets hogere power vertoonde (een verschil van 0,061) terwijl het een bijna identieke Type 1-foutratio behield als die van BDB. Het 95% betrouwbaarheidsinterval voor de BDB-prior was opvallend breder dan het 95% betrouwbaarheidsinterval voor de synthetische controle, wat de grotere onzekerheid reflecteert die inherent is aan de Bayesiaanse prior bij het integreren van heterogene historische studies.

Een secundaire analyse paste de SCM aan om overeen te komen met de totale effectieve steekproefomvang van het BDB-ontwerp (n=64). Onder deze beperking bereikte de SCM een power van 0,639 maar een Type 1-foutratio van 0,312, wat het verwachte toename van het risico op fout-positieven illustreert wanneer steekproefomvang wordt verminderd.

Bijdragen en Betekenis
De primaire bijdrage van dit werk is de eerste directe empirische vergelijking van BDB en SCM prestatie-metrieken (power en Type 1-fout) binnen een verenigd casestudy-kader. De auteurs benadrukken dat hoewel de methoden vergelijkbare controle-respons schattingen produceerden (met een verschil van ongeveer 5%) en overlappende onzekerheidsintervallen, ze verschillende operationele rollen vervullen:

1. Toepassingscontext: BDB is ontworpen om het totale aantal deelnemers dat nodig is te minimaliseren door informatie te lenen, wat het geschikt maakt wanneer werving moeilijk is maar toewijzing aan een controlegroep wel mogelijk is. SCM is ontworpen om een controlegroep volledig te genereren vanuit historische data, wat de voorkeur verdient wanneer het toewijzen van patiënten aan een controlegroep onethisch of praktisch onmogelijk is.
2. Methodologische Verschillen: BDB is adaptief en past zijn invloed aan op basis van de gelijkenis met de trialdata, terwijl SCM een "one and done"-benadering volgt waarbij de controlegroep wordt gegenereerd en vervolgens statisch wordt geanalyseerd.
3. Beslissingskader: Het artikel concludeert dat geen van beide methoden universeel superieur is. De keuze tussen BDB en SCM moet worden gedreven door de specifieke beperkingen van de potentiële trial, specif�s de ethische haalbaarheid van de toewijzing aan een controlegroep en de moeilijkheid van werving.

Beperkingen en Omvang
De auteurs geven expliciet aan dat de vergelijking beperkt is tot de controlegroep. De resultaten kunnen niet worden geëxtrapoleerd naar scenario's waarin de interventiegroep wordt uitgebreid, aangezien behandelingseffecten anders kunnen interageren met trial-specifieke factoren (bijv. populatie, uitval) dan baseline-ratio's. Bovendien maakte de SCM in deze studie gebruik van gesimuleerde datasets afgeleid van historische samenvattende statistieken in plaats van echte individuele patiëntgegevens, wat kan hebben geleid tot nauwere betrouwbaarheidsintervallen dan wat in een real-world toepassing met ruwe data zou worden waargenomen. De studie neemt een bescheiden standpunt in door te stellen dat de "betere" methode afhankelijk is van de specifieke behoeften van de trial, in plaats van een definitieve superioriteit in statistische metrieken.