Design-based theory for causal inference from adaptive experiments

1. Probleemstelling

Adaptieve experimentele ontwerpen (zoals multi-armed bandits, covariaat-geadaptiseerde randomisatie en sequentiële herrandomisatie) updaten dynamisch de toewijzingskansen voor behandelingen op basis van geaccumuleerde informatie tijdens het experiment. Hoewel deze methoden efficiëntievoordelen bieden, vormt de causale inferentie hieruit een uitdaging vanwege de afhankelijkheid tussen datapunten die over tijd worden verzameld.

De bestaande theoretische literatuur voor adaptieve experimenten baseert zich voornamelijk op het superpopulatiekader (waarbij eenheden als onafhankelijk en identiek verdeeld, i.i.d., worden beschouwd). Dit kader kan echter leiden tot vertekening (bias) wanneer de verdeling van de eenheden in de tijd evolueert (niet-uitwisselbare eenheden). Daarnaast zijn bestaande methoden vaak te conservatief in variantie-schatting of vereisen ze sterke aannames over uitkomstmodellen (bijv. correct gespecificeerde lineaire modellen) om geldige inferentie te garanderen, wat de toepassing van geavanceerde "black-box" machine learning-methoden beperkt.

2. Methodologie en Kader

De auteurs stellen een finit-populatie, design-based theoretisch kader voor. In dit kader worden de potentiële uitkomsten en covariaten als vast beschouwd; de enige bron van willekeur is de toewijzing van de behandeling. Dit maakt de theorie robuust voor niet-uitwisselbare eenheden.

De kern van de methodologie omvat:

• Schatters: Het gebruik van de Inverse Propensity Weighted (IPW) schatter en de Augmented IPW (AIPW) schatter. De AIPW-schatter combineert IPW met een adaptief uitkomstmodel ($\hat{m}_t(z)$) dat alleen informatie uit de geschiedenis tot tijd $t$ ($H_t$) gebruikt.
• Martingaalstructuur: Door de adaptieve aard van de toewijzing en de constructie van de schatters, vormen de residuals een martingaal-differentie-sequentie. Dit stelt de auteurs in staat om centrale limietstellingen (CLT) af te leiden onder algemene voorwaarden.
• Variance Estimation: De auteurs introduceren nieuwe covariantie-schatters voor de AIPW-schatter. Ze tonen aan dat de standaard schatter conservatief is (een opwaartse bias heeft) en stellen een verbeterde schatter voor die "sharp" (niet-conservatief) wordt wanneer de residuals van de adaptieve regressie additief zijn over de eenheden.
• Adaptieve Covariaat-Adjustment voor Niet-Adaptieve Ontwerpen: Een methodologische innovatie waarbij niet-adaptieve experimenten worden geanalyseerd alsof ze adaptief zijn. Hierdoor kunnen "black-box" uitkomstmodellen (zoals Random Forests) worden gebruikt zonder de sterke consistentie-aannames die nodig zijn bij traditionele cross-fitting methoden.

3. Belangrijkste Bijdragen

1. Uitbreiding naar het Finit-Populatie Kader:
   De theorie is uitgebreid om niet-uitwisselbare eenheden toe te staan. Dit is cruciaal voor experimenten waar de populatie over tijd verandert. De theorie geldt voor zowel convergerende als niet-convergerende (en zelfs verdwijnende) toewijzingskansen ($e_t(z)$).

2. Geldigheid van AIPW met Black-Box Modellen:
   De auteurs bewijzen dat de AIPW-schatter consistent en asymptotisch normaal is, zelfs wanneer het uitkomstmodel $\hat{m}_t(z)$ wordt gegenereerd door complexe machine learning-algoritmen die niet noodzakelijkerwijs convergeren naar een waarheid. Dit wordt mogelijk gemaakt door de martingaalstructuur die inherent is aan het adaptieve ontwerp.

3. Verbeterde Variantieschatting:
   Er wordt een nieuwe covariantie-schatter voorgesteld die de conservatisme van de finit-populatie inferentie vermindert. Deze schatter is asymptotisch scherp wanneer de residuals additief zijn, wat leidt tot nauwkeurigere betrouwbaarheidsintervallen.

4. Toepassing op Bestaande Ontwerpen:
   De theorie omvat en generaliseert bestaande methoden voor:

   • Multi-armed bandits.
   • Covariaat-geadaptiseerde randomisatie.
   • Sequentiële herrandomisatie (waarbij eerdere theorieën tekortschoten).

5. Block Adaptive Randomization:
   De theorie wordt uitgebreid naar blokken van eenheden (groepen), wat relevant is voor experimenten waarbij eenheden in groepen worden gerekruteerd en behandeld.

4. Resultaten en Bewijzen

• Onverwachte Eigenschappen: De IPW- en AIPW-schatters zijn onbevooroordeeld ($E(\hat{\tau}) = \tau$) en hebben een expliciete covariantiematrix.
• Asymptotische Normaliteit: Onder reguliere voorwaarden (zoals beperkte afhankelijkheid van de geschiedenis en begrenzing van uitkomsten) convergeert de geschaalde schatter naar een normale verdeling ($N(0, I)$).
• Geldigheid van Betrouwbaarheidsintervallen: De auteurs bewijzen dat Wald-type betrouwbaarheidsintervallen, gebaseerd op hun nieuwe variantieschatters, de nominale dekking bereiken in grote steekproeven.
• Simulaties:
  • Adaptieve Covariaat-Adjustment: In niet-adaptieve experimenten presteert de adaptieve AIPW-methode (met black-box modellen zoals Random Forest) aanzienlijk beter dan traditionele methoden. Terwijl traditionele cross-fitting met Bonferroni-correctie te conservatief is en cross-fitting zonder correctie geen theoretische garantie biedt, biedt de adaptieve methode geldige dekking en een lagere variantie.
  • Sequentiële Herrandomisatie: Toepassing op sequentiële herrandomisatie toont een aanzienlijke reductie in de Root Mean Squared Error (RMSE) (tot 70% lager) en kortere betrouwbaarheidsintervallen vergeleken met volledig gerandomiseerde ontwerpen (CRD), terwijl de dekking behouden blijft.
  • Invloed van Verdwijnende Kansen: De simulaties bevestigen dat de theorie geldig blijft zolang de toewijzingskansen niet te snel verdwijnen (bijv. $e_t \geq c_0 T^{-1/2+\delta}$ met $\delta \geq 0$). Als ze te snel verdwijnen, treedt er vertekening op en faalt de normale benadering.

5. Betekenis en Impact

Dit artikel vormt een fundamentele doorbraak in de causale inferentie voor adaptieve experimenten:

• Praktische Toepasbaarheid: Het maakt het veilig om geavanceerde machine learning-modellen te gebruiken voor covariaat-adjunctie in adaptieve experimenten zonder de risico's van bias of ongeldige inferentie.
• Robuustheid: Het verschuift de focus van het fragiele i.i.d.-aannamen naar een robuust finit-populatie kader, wat beter past bij real-world scenario's waar populaties dynamisch zijn.
• Efficiëntie: Door de conservatisme in variantieschatting te verminderen, kunnen onderzoekers nauwkeurigere conclusies trekken met kleinere steekproeven of kortere experimenten.
• Unificatie: Het biedt een unified theoretisch raamwerk dat verschillende populaire adaptieve ontwerpen (bandits, herrandomisatie) onder één paraplu brengt, waardoor de analyse van deze complexe experimenten gestandaardiseerd en betrouwbaarder wordt.

Kortom, de paper levert de wiskundige onderbouwing die nodig is om adaptieve experimenten niet alleen te optimaliseren voor beloningen, maar ook voor strikte, geldige wetenschappelijke inferentie.