Introducing precision-weighted bias as a performance measure to inform the inclusion of adaptive designs in meta-analysis

Technische Samenvatting: Introductie van Precisie-Gewogen Bias voor Adaptieve Ontwerpen in Meta-analyses

Probleemstelling
Huidige richtlijnen voor bewijssynthese, zoals GRADE en CONSORT, beschouwen de potentiële toename van bias in adaptieve klinische trial-ontwerpen vaak als een afschrikmiddel voor hun opname in systematische reviews en meta-analyses. Deze richtlijnen adviseren regelmatig sensitiviteitsanalyses waarbij trials die vroegtijdig stoppen vanwege voordeel worden uitgesloten, uitgaande van de veronderstelling dat dergelijke ontwerpen significante bias introduceren. Hoewel simulatiestudies de standaardmethode zijn voor het evalueren van de statistische prestaties van adaptieve ontwerpen, vatten zij de bias doorgaans samen met de eenvoudige (ongewogen) gemiddelde van onvoorwaardelijke fouten over de simulatierepetities heen. Deze aanpak negeert het feit dat in adaptieve ontwerpen de hoeveelheid informatie (precisie) die elke simulatierepetitie biedt, aanzienlijk varieert (bijv. door verschillend steekproefomvang als gevolg van vroegtijdig stoppen). Bijgevolg reflecteert de ongewogen onvoorwaardelijke bias mogelijk niet accuraat de impact van het opnemen van een adaptief ontwerp in een common-effect meta-analyse, waarbij studies worden gewogen naar hun precisie.

Methodologie
De auteurs stellen een nieuw prestatiemaatstaf voor: precisie-gewogen bias (PWB). Deze metriek wordt gedefinieerd als de onvoorwaardelijke bias van een estimator, gewogen door de mate van informatie (precisie) die deze bevat.

• Theoretische Afleiding: Het artikel leidt af dat de bias in een common-effect meta-analyse ongeveer gelijk is aan het precisie-gewogen gemiddelde van de precisie-gewogen biases van de constituerende studies, in plaats van het gemiddelde van hun ongewogen onvoorwaardelijke biases. Met behulp van een Taylor-benadering laten de auteurs zien dat als alle studies in een meta-analyse een precisie-gewogen bias van nul hebben, de resulterende meta-analyse ongeveer nul bias zal hebben. Voorts is de verandering in bias die voortvloeit uit het toevoegen van een nieuwe studie ongeveer evenredig aan de precisie-gewogen bias van de nieuwe studie en zijn relatieve precisiegewicht.
• Simulatiestudies: Om deze beweringen te valideren, voerden de auteurs uitgebreide simulatiestudies uit ($n_{sim} = 100.000$):
  1. Individuele Studies: Zij vergeleken ongewogen onvoorwaardelijke bias en PWB voor zowel vaste (niet-adaptieve) single-arm binaire uitkomst trials als Simon twee-fasen adaptieve ontwerpen (stoppen voor futiliteit). Zij onderzochten scenario's met variërende ware respons-kansen ($\theta$) en steekproefomvangmaten ($N=233$ en $N=127$).
  2. Meta-analyses: Zij construeerden common-effect meta-analyses bestaande uit $K=10$ en $K=100$ studies. Elke meta-analyse bevatte één adaptieve Simon-design studie en $K-1$ niet-adaptieve studies. Zij testten of de bias van de samenvattende schatting overeenkwam met het precisie-gewogen gemiddelde van de individuele studie-biases en of de geobserveerde verandering in bias bij het toevoegen van de adaptieve studie overeenkwam met de voorspelde verandering op basis van PWB.

Belangrijkste Bijdragen en Resultaten

• Divergentie van Bias-maten: In simulatiestudies van individuele adaptieve ontwerpen vertoonde de ongewogen onvoorwaardelijke bias vaak een significante magnitude (bijv. een "dip" waar de bias negatief was) wanneer de kans op vroegtijdig stoppen nabij 0,5 lag. In contrast hiermee was de precisie-gewogen bias voor deze zelfde ontwerpen frequent dicht bij nul. Dit kwam doordat de trials die vroegtijdig stopten (hoge bias) minder informatie (lagere precisie) bevatten dan de trials die doorliepen, wat het effect van de bias effectief neutraliseerde wanneer gewogen naar precisie.
• Implicaties voor Meta-analyse: De simulatieresultaten bevestigden de kernvoorstel: de bias van een common-effect meta-analyse wordt goed benaderd door het precisie-gewogen gemiddelde van de PWB's van de constituerende studies.
  • Wanneer een adaptief ontwerp met een substantiële ongewogen onvoorwaardelijke bias (bijv. $-0,950$) maar een PWB van nul werd toegevoegd aan een onbevooroordeelde meta-analyse, was de resulterende verandering in de meta-analyse bias verwaarloosbaar (bijv. $-0,005$).
  • De geobserveerde verandering in bias bij het toevoegen van een studie bleek ongeveer gelijk te zijn aan het gewogen verschil tussen de PWB van de nieuwe studie en de oorspronkelijke meta-analyse bias, wat de theoretische afleiding valideert.
• Vergelijking met Bestaande Literatuur: De bevindingen ondersteunen eerder werk door Senn (2014) en Schou en Marschner (2013), die suggereerden dat het opnemen van getrunceerde trials niet noodzakelijkerwijs bias veroorzaakt in common-effect meta-analyses. Echter, dit artikel biedt een kwantitatieve metriek (PWB) om te verklaren waarom dit optreedt en biedt een instrument om de impact van inclusie te voorspellen.

Betekenis en Claims
Het artikel claimt dat precisie-gewogen bias een superieure indicator is voor het bepalen van de inclusie van een adaptief ontwerp in een meta-analyse vergeleken met de traditionele ongewogen onvoorwaardelijke en conditionele bias.

• Herwaardering van Richtlijnen: De resultaten suggereren dat de bezorgdheid over de toename van bias door adaptieve ontwerpen in meta-analyses mogelijk overdreven is wanneer men deze bekijkt door de lens van precisie-gewogen bias. Ontwerpen die een ongewogen bias vertonen, hebben vaak een PWB van nul, wat impliceert dat hun opname een verwaarloosbare verandering in de totale meta-analyse bias tot gevolg heeft.
• Aanbeveling: De auteurs bevelen aan dat precisie-gewogen bias als standaard aanvulling op ongewogen onvoorwaardelijke en conditionele bias wordt geadopteerd in simulatiestudies. Deze verschuiving zou een meer inclusieve en accurate bewijssynthese ondersteunen, waardoor adaptieve ontwerpen zonder de automatische aanname van nadelige bias kunnen worden overwogen in systematische reviews.
• Reikwijdte: De auteurs merken op dat hoewel PWB bijzonder waardevol is voor single-arm binaire uitkomst ontwerpen waar de variabiliteit van de standaardfout hoog is, het minder kritisch kan zijn voor twee-arm randomized controlled trials. Zij erkennen dat verdere exploratie nodig is voor continue uitkomsten, aangepaste estimators en andere schalen (bijv. logit), maar stellen dat PWB een potentieel waardevolle meting is voor de huidige praktijk.