Assessing covariate-adjusted risk differences in small-sample clinical trials

Technische Samenvatting: Beoordeling van Covariaat-gecorrigeerde Risicoverschillen in Klinische Proeven met Kleine Steekproeven

Probleemstelling
Binaire eindpunten zijn alomtegenwoordig in gerandomiseerde klinische proeven (RCT's). Traditioneel zijn conditionele odds-ratio's, afgeleid van logistische regressie, de standaard geweest voor het beoordelen van behandelingseffecten. Odds-ratio's hebben echter problemen met betrekking tot interpreteerbaarheid, zijn niet-collapsibel (wat betekent dat marginale en conditionele effecten uiteenlopen, zelfs zonder interacties), en vertrouwen op sterke modelaannames. Recent regelgevend advies, met name van de Amerikaanse FDA, benadrukt het belang van marginale estimandi (populatiegemiddelde behandelingseffecten) en moedigt covariaatcorrectie aan om de efficiëntie te verbeteren.

Daarom hebben risicoverschillen (RD) aan belang gewonnen als een meer interpreteerbaar en collapsibel maatstaf. De methodologie voor het schatten en toetsen van covariaat-gecorrigeerde risicoverschillen in situaties met kleine steekproeven ($N \le 150$) blijft echter onderbelicht. Proeven met kleine steekproeven, die vaak voorkomen in de fase-II-ontwikkeling, bij zeldzame ziekten en in de pediatrie, stellen specifieke uitdagingen: asymptotische benaderingen falen vaak, wat leidt tot vertekende schatters, onderschatte varianties, verkeerd gekalibreerde p-waarden en een slechte dekking van betrouwbaarheidsintervallen (BI). Bovendien zijn g-computatie- (standaardisatie-) benaderingen, hoewel flexibel, afhankelijk van werkende modellen voor logistische regressie die kunnen lijden onder separatie of niet-convergentie in schaarse data. Er ontbreekt een gevestigde best practice voor het afstemmen van de estimand, de puntsschatter en de variantieschatter in deze contexten.

Methodologie
De auteurs voerden een uitgebreide simulatiestudie uit om tien statistische methoden te evalueren voor het schatten en toetsen van risicoverschillen in twee-armige RCT's met binaire eindpunten en prognostische categorische baseline-covariaten.

• Simulatieontwerp: De studie weerspiegelde een hypothetische proef met eenvoudige randomisatie ($1:1$), een binaire uitkomst $Y$, en twee binaire covariaten $X_1, X_2$. Data werden gegenereerd via een logistisch model met een vaste marginale responskans voor de controlegroep (0,20) en variërende behandelingseffecten ($\delta = 0, 0,15, 0,30$). De prognostische sterkte van de covariaten en de totale steekproefgroottes ($N \in \{30, 60, 90, 120, 150\}$) werden gevarieerd, waardoor 45 scenario's ontstonden met elk 50.000 replicaties.
• Doel-estimand: Het simulatiekader evalueerde de prestaties tegen de Marginale Behandelingseffect (MTE), gedefinieerd als het gemiddelde behandelingseffect over de populatieverdeling.
• Geëvalueerde Methoden:
  1. Niet-gecorrigeerd: Exacte onvoorwaardelijke test van Suissa–Shuster (richt zich op MTE).
  2. Gestratificeerd (Mantel–Haenszel): Cochran–Mantel–Haenszel (CMH)-test (richt zich op Conditioneel Behandelingseffect, CTE); MH-risicoverschil met Sato-variantie (richt zich op Conditioneel Populatiegemiddeld Behandelingseffect, CPATE); MH-risicoverschil met gewijzigde Greenland–Robins (mGR)-variantie (richt zich op MTE).
  3. G-Computatie (Standaardisatie): Zes varianten die verschillen in variantieschatting en aanpassingen van het werkende model:
     • Ge et al. (modelgebaseerde delta-methode; richt zich op CPATE).
     • Liu en Xi (robuste sandwich-variantie + term voor covariaatvariabiliteit; richt zich op MTE).
     • Ye et al. (semi-parametrische robuuste variantie; richt zich op MTE).
     • Steingrimsson et al. (niet-parametrische bootstrap; richt zich op MTE).
     • Zhang et al. (robuuste scoretest; richt zich op MTE).
     • Firth (gepeneerde logistische regressie om separatie op te vangen; gekoppeld aan de variantie van Ge; richt zich op CPATE).

Belangrijkste Bijdragen en Resultaten

• Rekenstabiliteit: Niet-convergentie van logistische regressiemodellen was uiterst zeldzaam ($<0,004\%$), zelfs bij $N=30$. Separatie (perfecte voorspelling) trad echter frequent op in kleine steekproeven met sterke prognostische covariaten (tot $>30\%$ bij $N=30$). De studie vond dat separatie veroorzaakt door covariaten de prestaties van g-computatiemethoden niet wezenlijk verslechterde, terwijl separatie veroorzaakt door de behandelaanduiding alle methoden beïnvloedde.
• Controle van Type I-fout:
  • Inflatie: Verscheidene g-computatiebenaderingen met standaard Wald-achtige inferentie (Ge et al., Ye et al.) vertoonden een opvallende inflatie van de Type I-fout in zeer kleine steekproeven ($N=30$), voornamelijk door onderschatting van de variantie wanneer de estimand (MTE) en de variantieschatter (conditioneel) niet op elkaar waren afgestemd.
  • Conservatisme: Robuuste varianten (Liu en Xi) en gepeneerde modellen (Firth) behielden een strikte controle van de Type I-fout (vaak onder de 0,05) in kleine steekproeven, maar ten koste van een verminderde power.
  • Robuustheid: De Suissa–Shuster-test en de CMH-test toonden uitstekende controle van de Type I-fout in alle scenario's, hoewel de eerste consequent het meest conservatief was.
• Statistische Power:
  • Methoden met een geïnfliceerde Type I-fout (Ge, Ye) toonden de hoogste power, wat hun liberale aard weerspiegelt.
  • Conservatieve methoden (Liu-Xi, Firth, Suissa–Shuster) toonden de laagste power in kleine steekproeven.
  • G-computatiemethoden met scoretests of bootstrap boden een middenweg.
  • Opmerkelijk is dat in de specifieke setting van categorische covariaten g-computatie geen substantieel power-voordeel toonde ten opzichte van de MH-test wanneer strikte controle van de Type I-fout vereist was. De auteurs merken op dat efficiëntiewinsten door g-computatie naar verwachting duidelijker zullen zijn bij continue covariaten, die niet in deze simulatie waren opgenomen.
• Schatten en Dekking:
  • Bias: De meeste methoden waren onbevooroordeeld. De op Firth gebaseerde aanpak introduceerde een neerwaartse bias in de schatting van het risicoverschil (door krimp naar 0,50), maar bereikte een lagere Root Mean Squared Error (RMSE).
  • Dekking: Standaard Wald-intervallen voor g-computatie (Ge, Ye) en MH-risicoverschillen vertoonden aanzienlijke onderdekking in kleine steekproeven. De Liu–Xi- en Firth-methoden boden uitstekende dekking (dicht bij de nominale 95%) zelfs in kleine steekproeven, ondanks hun conservatieve testgedrag.

Betekenis en Aanbevelingen
Het artikel betoogt dat de waargenomen inflatie van de Type I-fout in analyses met covariaatcorrectie in kleine steekproeven vaak een misalignement tussen de estimand en de variantieschatter weerspiegelt, en niet een fundamenteel falen van de correctiemethode zelf. Specifiek leidt het gebruik van een conditionele variantieschatter (die variabiliteit in de covariaatverdeling negeert) voor het infereren van een marginale estimand tot anti-conservatieve resultaten.

De auteurs geven de volgende praktische aanbevelingen:

1. Voor Strikte Controle van de Type I-fout: De exacte onvoorwaardelijke test van Suissa–Shuster is zeer robuust, maar verliest efficiëntie door het negeren van covariaten. Voor categorische covariaten is de CMH-test een robuust alternatief. Als covariaatcorrectie noodzakelijk is, zorgt robuuste g-computatie (Liu–Xi-variantie of Firth-model) voor conservatieve foutcontrole.
2. Voor het Balanceren van Power en Foutcontrole: G-computatie in combinatie met de Zhang-scoretest of niet-parametrische bootstrap biedt een compromis, met een matige foutinflatie maar hogere power dan conservatieve methoden.
3. Voor Schattingsnauwkeurigheid: De Liu–Xi- en Firth-methoden bieden de meest betrouwbare dekking van betrouwbaarheidsintervallen in kleine steekproeven, hoewel Firth bias introduceert.
4. Afstemming is Sleutel: De studie benadrukt dat de methodeselectie moet worden geleid door de doel-estimand (MTE versus CPATE) en het inferentieframe. G-computatie biedt een verenigend kader voor schatting, toetsing en intervalconstructie, maar de inferentiële procedure (variantieschatter of teststatistiek) moet expliciet zijn afgestemd op de gekozen estimand om geldige inferentie te waarborgen.

De studie concludeert dat g-computatie, hoewel een krachtig kader, bij toepassing in kleine steekproeven een zorgvuldige selectie van variantieschatters en werkende modellen vereist om geïnfliceerde foutpercentages te voorkomen, en dat geen enkele methode op alle prestatiedimensies domineert.