Sharp variance estimator and causal bootstrap in stratified randomized experiments

Technische Samenvatting: Scherp Variansie-estimator en Causale Bootstrap in Gestratificeerde Gerandomiseerde Experimenten

Probleemstelling
Gestratificeerde gerandomiseerde experimenten zijn een standaardontwerp voor het schatten van behandelingseffecten, waarbij wordt vertrouwd op inferentie op basis van randomisatie in een eindige populatie. Hoewel de Neyman-achtige variansie-estimator in combinatie met de normale benadering geldige inferentie biedt, is deze vaak te conservatief, wat leidt tot brede betrouwbaarheidsintervallen. Bovendien kan de normale benadering in situaties met kleine steekproefomvang of scheve uitkomsten de steekproefverdeling niet nauwkeurig weergeven. Bestaande bootstrap-methoden in causale inferentie opereren doorgaans binnen een super-populatiekader, waarbij de willekeur voortkomt uit zowel steekproeftrekking als toewijzing van de behandeling. Echter, bij ontwerpen voor eindige populaties waar de enige bron van willekeur de toewijzing van de behandeling is, blijven de geldigheid en prestaties van deze standaard bootstrap-methoden onduidelijk. Bovendien ontstaan er specifieke uitdagingen bij gepaarde experimenten (strata van grootte twee), waar traditionele rank-preservende imputatiemethoden falen om een niet-degenererde bootstrap-verdeling te genereren.

Methodologie
De auteurs stellen een kader voor dat bestaat uit een scherpe variansie-estimator en twee onderscheiden causale bootstrap-procedures die zijn toegesneden op inferentie gebaseerd op het ontwerp.

1. Scherpe Variansie-estimator:
   Het artikel introduceert een scherpe variansie-estimator voor de gewogen estimator van het verschil in gemiddelden. Deze estimator verfijnt de Neyman-achtige aanpak door gebruik te maken van de scherpe bovengrens voor de covariantieterm $S_{[m]Y(1),Y(0)}$ zoals afgeleid door Aronow et al. (2014). Binnen elke stratum integreert de estimator het product van de inverse empirische verdelingsfuncties van de potentiële uitkomsten. De auteurs stellen de consistentie van deze estimator vast onder algemene asymptotische regimes waarbij het aantal strata en/of de stratumgroottes naar oneindig gaan, waarbij gebruik wordt gemaakt van een concentratie-ongelijkheid voor steekproeftrekking zonder teruglegging (Bobkov, 2004) om een Glivenko–Cantelli-achtige stelling af te leiden.

2. Causale Bootstrap gebaseerd op Rank-Preservende Imputatie:
   Om problemen met kleine steekproeven aan te pakken en een verfijning van de tweede orde te bereiken, stellen de auteurs een causale bootstrap-methode voor. In tegenstelling tot super-populatie-bootstraps behandelt deze methode potentiële uitkomsten als vast en steekproeft toewijzingen van behandelingen volgens het oorspronkelijke experimentele ontwerp.

   • Imputatie: Onwaargenomen potentiële uitkomsten worden binnen elke stratum geïmputeerd met een rank-preservende aanpak. Specifiek wordt, als een eenheid wordt waargenomen in de behandelingsgroep, de gecontroleerde potentiële uitkomst geïmputeerd door de rang in de waargenomen verdeling van de behandeling af te beelden op de gecontroleerde verdeling (en omgekeerd). Dit zorgt ervoor dat de geïmputeerde uitkomsten co-monotoon zijn, waardoor de variansie van de estimator wordt gemaximaliseerd tot de scherpe bovengrens.
   • Procedure: De methode genereert bootstrap-verdelingen voor pivotale statistieken door herhaaldelijk toewijzingen van behandelingen te steekproeven en de gewogen estimator van het verschil in gemiddelden en de scherpe variansie-estimator te berekenen.
   • Theoretische Garantie: De auteurs bewijzen dat deze bootstrap-verdeling een verfijning van de tweede orde biedt ten opzichte van de normale benadering, met een convergentiesnelheid van $o_P(n^{-1/2})$ in vergelijking met $O(n^{-1/2})$ voor de normale benadering, onder voorwaarden waarbij de stratumgroottes voldoende groot zijn (ten minste twee behandelde en twee gecontroleerde eenheden).

3. Causale Bootstrap gebaseerd op Imputatie met Constant Behandelingseffect:
   In het besef dat rank-preservende imputatie faalt bij gepaarde experimenten (waar de stratumgrootte twee is), stellen de auteurs een tweede causale bootstrap-methode voor.

   • Imputatie: Onwaargenomen potentiële uitkomsten worden geïmputeerd onder de aanname van een constant behandelingseffect ($\Delta = \hat{\tau}$) binnen elk paar.
   • Procedure: Toewijzingen van behandelingen worden gestreept volgens het gepaarde ontwerp, en pivotale statistieken worden berekend met behulp van de Neyman-achtige variansie-estimator voor gepaarde experimenten.
   • Theoretische Garantie: De methode blijkt geldig te zijn, zelfs als de aanname van een constant behandelingseffect niet opgaat voor de ware potentiële uitkomsten, waarbij wordt vertrouwd op het gebruik van gestudentiseerde statistieken om asymptotische geldigheid te waarborgen.

Belangrijkste Bijdragen

• Scherpe Variansie-estimator: Het artikel vestigt formele theoretische resultaten voor een scherpe variansie-estimator in gestratificeerde gerandomiseerde experimenten, waarbij rekening wordt gehouden met asymptotische regimes met zowel groeiende aantallen strata als groeiende stratumgroottes.
• Verfijning van de Tweede Orde: De auteurs bewijzen dat de causale bootstrap gebaseerd op rank-preservende imputatie een verfijning van de tweede orde biedt ten opzichte van de normale benadering in gestratificeerde experimenten, waardoor nauwkeurigere dekkingkansen en smallere betrouwbaarheidsintervallen worden verkregen in steekproeven van beperkte omvang.
• Oplossing voor Gepaarde Experimenten: Een nieuwe causale bootstrap gebaseerd op imputatie met constant behandelingseffect wordt voorgesteld, specifiek voor gepaarde experimenten, waarmee de degeneratieproblemen van rank-preservende methoden in deze setting worden overwonnen.
• Kader Gebaseerd op Ontwerp: De analyse is strikt gebaseerd op randomisatie, waarbij uitsluitend wordt vertrouwd op de willekeur van toewijzing van behandelingen in plaats van hypothetische steekproeftrekking uit een super-populatie, in lijn met de filosofie van inferentie gebaseerd op het ontwerp zoals bepleit door Fisher en Neyman.

Resultaten

• Simulatiestudies: Numerieke studies tonen aan dat de voorgestelde scherpe variansie-estimator in combinatie met de causale bootstrap (Sharp+Bootstrap) nominale dekkingkansen (95%) bereikt, terwijl de lengte van de betrouwbaarheidsintervallen aanzienlijk wordt verkort in vergelijking met de traditionele Neyman+Normal-aanpak. De winst in efficiëntie is vooral uitgesproken in scenario's met scheve uitkomsten of kleine steekproefomvang.
• Toepassingen op Real Data:
  • Proef voor Stoppen met Cannabisgebruik: In een gestratificeerd klinisch trial verkleinde de Sharp+Bootstrap-methode de lengte van het betrouwbaarheidsinterval met 8,8% in vergelijking met Neyman+Normal, terwijl geldige dekking werd behouden.
  • Mexicaans Experiment op het Gebied van Openbare Gezondheid: In een gepaard cluster-experiment verkleinde de bootstrap met constant behandelingseffect de interval lengte met 16,1% in vergelijking met de normale benadering, wat een superieure prestatie aantoont in aanwezigheid van scheve uitkomsten en uitschieters.

Betekenis
Het artikel stelt dat de voorgestelde methoden de betrouwbaarheid en efficiëntie van causale inferentie in complexe experimentele ontwerpen verbeteren. Door een scherpe variansie-estimator en geldige causale bootstrap-procedures te bieden die strikt binnen het kader van eindige populaties opereren, bieden de auteurs hulpmiddelen die robuust zijn tegen modelmisspecificatie en goed presteren in steekproeven van beperkte omvang waar normale benaderingen kunnen falen. De beschikbaarheid van een R-pakket (CausalBootstrap) vergemakkelijkt de praktische toepassing van deze methoden. Het werk adresseert een gat in de literatuur met betrekking tot de theoretische eigenschappen van causale bootstraps in gestratificeerde en gepaarde ontwerpen, en biedt een rigoureuze alternatief voor inferentie gebaseerd op super-populaties.