Transportability of model-based estimands in evidence synthesis

Technische Samenvatting: Transporteerbaarheid van op modellen gebaseerde schattingen in evidence synthesis

Probleemstelling
Bij evidence synthesis, met name voor health technology assessment (HTA), is het doel vaak om marginale behandelingseffecten te schatten voor besluitvorming op populatieniveau. Standaardpraktijken vertrouwen echter vaak op conditionele effectmaten (bijvoorbeeld odds ratios, hazard ratios) die zijn afgeleid van modellen op individueel niveau. Een kritiek probleem doet zich voor omdat veel gebruikelijke samenvattingsmaten niet-collapsibel zijn of niet direct collapsibel. Voor deze maten is het marginale effect niet simpelweg een gewogen gemiddelde van conditionele effecten. Bijgevolg kunnen puur prognostische covariaten – variabelen die de uitkomst voorspellen maar niet interageren met de behandeling op individueel niveau – fungeren als modulatoren van het marginale effect. Dit betekent dat zelfs bij afwezigheid van heterogeniteit van behandelingseffecten op individueel niveau (d.w.z. geen interacties tussen behandeling en covariaten), verschillen in de verdeling van puur prognostische covariaten tussen studies bias kunnen veroorzaken in niet-gecorrigeerde indirecte vergelijkingen. Bovendien suggereert huidige richtlijn vaak dat covariaatcorrectie alleen noodzakelijk is wanneer er onbalans is in modulatoren van conditionele effecten of wanneer heterogeniteit op individueel niveau bestaat. Dit artikel betoogt dat dergelijke richtlijnen ontoereikend zijn voor niet-collapsibele maten, aangezien marginale effecten afhangen van de volledige gezamenlijke verdeling van covariaten, en niet alleen van hun marginale momenten.

Methodologie
Het artikel hanteert een simulatiestudie gebaseerd op het ADEMP-kader (Aims, Data-generating mechanisms, Estimands, Methods, Performance measures) om deze fenomenen empirisch te onderzoeken. De studie simuleert een scenario voor een verankerde indirecte behandelingvergelijking met twee gerandomiseerde gecontroleerde studies (RCT's) met een gemeenschappelijke comparator.

• Datageneratie: Drie distincte scenario's werden geconstrueerd: (1) Homogeniteit van behandelingseffecten met onbalans in marginale covariaatgemiddelden; (2) Heterogeniteit van behandelingseffecten met gebalanceerde marginale gemiddelden maar verschillende correlatiestructuren; en (3) Heterogeniteit van behandelingseffecten met zowel onbalans in gemiddelden als verschillende correlatiestructuren.
• Uitkomstmodellen: Drie uitkomsttypen werden gemodelleerd: continu (lineair model, gemiddeld verschil), telbaar (log-lineair/Poisson-model, log-risicoratio) en binair (logistiek model, log-odds ratio).
• Vergelijkte methoden: De prestaties van drie methoden voor indirecte vergelijking werden geëvalueerd:
  1. Bucher-methode: Standaard niet-gecorrigeerde verankerde indirecte vergelijking.
  2. Matching-Adjusted Indirect Comparison (MAIC): Een op weging gebaseerde methode die marginale covariaatmomenten balanceert.
  3. Parametrische G-computatie: Een op uitkomstmodellen gebaseerde methode die standaardisatie gebruikt om inferenties te projecteren naar de doelpopulatie.
• Prestatiemetingen: Bias, Mean Square Error (MSE) en empirische dekkingpercentages van 95% betrouwbaarheidsintervallen werden beoordeeld over 500 simulatie-replicaten.

Belangrijkste bijdragen
Het artikel biedt een theoretische en empirische verduidelijking van hoe collapsibiliteitseigenschappen de transporteerbaarheid van behandelingseffecten beïnvloeden:

1. Niet-collapsibiliteit en prognostische variabelen: Het toont aan dat voor niet-collapsibele maten (bijvoorbeeld log-odds ratio) puur prognostische covariaten marginale effecten moduleren, zelfs wanneer behandelingseffecten op individueel niveau homogeen zijn. Bijgevolg veroorzaken onbalans in deze variabelen tussen studies bias in niet-gecorrigeerde vergelijkingen.
2. Directe collapsibiliteit en gezamenlijke verdelingen: Voor maten die collapsibel maar niet direct collapsibel zijn (bijvoorbeeld log-risicoratio) in aanwezigheid van heterogeniteit op individueel niveau, hangt het marginale effect af van de volledige gezamenlijke verdeling van covariaten (inclusief correlaties), en niet alleen van marginale momenten.
3. Beperkingen van huidige richtlijnen: De studie daagt huidige richtlijnen uit die suggereren dat niet-gecorrigeerde vergelijkingen geldig zijn als modulatoren van conditionele effecten gebalanceerd zijn of afwezig. De resultaten tonen aan dat voor niet-direct collapsibele maten niet-gecorrigeerde methoden bias blijven vertonen, zelfs wanneer marginale covariaatmomenten gebalanceerd zijn, als de correlatiestructuren verschillen.
4. Beperkingen van correctie: Het benadrukt dat standaard methoden voor covariaatcorrectie (zoals MAIC) die alleen marginale momenten (gemiddelden/SD's) balanceren, inherent beperkt zijn in het verwijderen van bias wanneer correlatiestructuren tussen studies verschillen, met name voor niet-direct collapsibele maten.

Resultaten

• Gemiddeld verschil (Direct collapsibel): Niet-gecorrigeerde vergelijkingen (Bucher) presteerden goed wanneer behandelingseffecten homogeen waren of wanneer covariaatgemiddelden gebalanceerd waren. Bias trad alleen op wanneer gemiddelden onbalans vertoonden in aanwezigheid van heterogeniteit. Covariaatcorrectie verwijderde bias succesvol.
• Log-risicoratio (Collapsibel maar niet direct collapsibel): In aanwezigheid van heterogeniteit op individueel niveau waren niet-gecorrigeerde vergelijkingen bias, zelfs wanneer marginale covariaatgemiddelden gebalanceerd waren, vanwege verschillen in correlatiestructuren. Methodes voor covariaatcorrectie (MAIC, G-computatie) verlaagden de bias ten opzichte van de niet-gecorrigeerde aanpak, maar bleven bias vertonen omdat ze geen rekening konden houden met de verschillende gezamenlijke verdelingen (correlaties) van de doelpopulatie.
• Log-odds ratio (Niet-collapsibel): Niet-gecorrigeerde vergelijkingen vertoonden aanzienlijke bias, zelfs bij afwezigheid van heterogeniteit van behandelingseffecten op individueel niveau, uitsluitend door onbalans in puur prognostische covariaten. Methodes voor covariaatcorrectie verbeterden de prestaties, maar hadden moeite om bias volledig te elimineren wanneer correlatiestructuren verschilden, aangezien de marginale odds ratio afhangt van de volledige gezamenlijke verdeling.
• Precisie versus bias: Parametrische G-computatie vertoonde vaak lagere bias, maar leed aan overmatige precisie (onderdekking) in situaties met slechte overlap van covariaten of model-extrapolatie. MAIC bood een eerlijkere kwantificatie van onzekerheid (betere dekking), maar met hogere variantie en een verlaagde effectieve steekproefgrootte.

Betekenis en claims
Het artikel claimt dat de keuze van de samenvattende effectmaat fundamenteel de eisen voor externe validiteit en transporteerbaarheid in evidence synthesis verandert.

• Herwaardering van effectmodulatoren: De set covariaten die nodig is om de constantheid van relatieve effecten te waarborgen, hangt af van of de maat collapsibel is en of deze direct collapsibel is. Voor niet-collapsibele maten moeten puur prognostische variabelen worden beschouwd als potentiële modulatoren van marginale effecten.
• Implicaties voor de praktijk: Voor niet-direct collapsibele maten is het vertrouwen uitsluitend op marginale covariatesamenvattingen (gemiddelden en standaarddeviaties) voor correctie ontoereikend om onbevooroordeelde transporteerbaarheid te garanderen als gezamenlijke verdelingen (correlaties) verschillen. Het artikel suggereert dat direct collapsibele maten (zoals gemiddelde verschillen of risicoverschillen) preferabel zijn voor transporteerbaarheid, aangezien ze de afhankelijkheid van complexe modelgebaseerde correcties en aannames over gezamenlijke verdelingen verminderen.
• Herziening van richtlijnen: De bevindingen impliceren dat huidige richtlijnen, die vaak niet-gecorrigeerde indirecte vergelijkingen toestaan bij afwezigheid van interacties tussen behandeling en covariaten, gebrekkig kunnen zijn voor niet-collapsibele maten. Bovendien wordt de aanname dat het balanceren van marginale momenten voldoende is voor covariaatcorrectie uitgedaagd; rekening houden met gezamenlijke verdelingen is noodzakelijk, maar vaak praktisch onuitvoerbaar met geaggregeerde data, wat een aanzienlijke beperking in de huidige mogelijkheden voor evidence synthesis blootlegt.