Transporting treatment effects by calibrating large-scale observational outcomes

Technische Samenvatting: Het Transporteren van Behandelingseffecten door Kalibratie van Groot-Schalige Observationele Uitkomsten

Probleemstelling
Het artikel behandelt de uitdaging om schattingen van behandelingseffecten te transporteren van een klein, hoogwaardig experimenteel dataset (een Gerandomiseerd Gecontroleerd Onderzoek, of RCT) naar een groot, doelgericht observationeel dataset. Deze situatie komt vaak voor wanneer experimentatie op de specifieke doelgroep duur of onuitvoerbaar is, wat het gebruik van aanvullende observationele data noodzakelijk maakt.

Standaard methoden voor causaal transporteren berusten op twee identificerende aannames: gemiddelde uitwisselbaarheid (de conditionele gemiddelden van potentiële uitkomsten zijn gelijk over populaties, gegeven covariaten) en positiviteit (de steun van de covariatenverdeling in de doelgroep is opgenomen in de experimentele populatie). Het artikel benadrukt dat schendingen van positiviteit waarschijnlijk zijn wanneer het experimentele dataset klein is ten opzichte van de dimensie van de covariaten (de "vloek van de dimensionaliteit"). Wanneer positiviteit faalt, is de standaard getransporteerde Average Treatment Effect (ATE) niet goed gedefinieerd voor covariatenregio's die aanwezig zijn in de observationele data maar afwezig in de experimentele data. Bovendien veranderen bestaande methoden die proberen schendingen van positiviteit op te lossen (bijvoorbeeld door trimming of downweighting) vaak de te schatten grootheid op een manier die niet overeenkomt met wetenschappelijke doelen of instabiliteit introduceert.

Methodologie
De auteurs stellen een eenvoudige, tweestaps procedure voor schatting en inferentie voor die omgekeerde propensiteitsgewichtering vermijdt en geldig blijft, zelfs wanneer positiviteit niet geldt.

1. Kalibratie via Gewone Kleinste-Kwadraten (OLS):

   • De methode neemt aan dat het observationele dataset een "behandeling-controle contrast" ($\Delta(X)$) bevat, gedefinieerd als het verschil in conditionele gemiddelde uitkomsten tussen behandelde en controlegroepen in de observationele data ($\Delta(x) = E_{obs}[Y|X=x, Z=1] - E_{obs}[Y|X=x, Z=0]$).
   • De auteurs postuleren dat het ware Conditional Average Treatment Effect (CATE), $\mu(X)$, uit de experimentele data kan worden benaderd door een lineaire transformatie van dit observationele contrast. Specifiek definiëren ze een functieklasse $\mathcal{F}$ van lineaire transformaties van een basisuitbreiding $\psi(\Delta(X))$.
   • Ze schatten de coëfficiënten $\bar{\beta}$ door de experimentele uitkomsten $D_i$ (het behandelingseffect) te regresseren op $\psi(\hat{\Delta}(X_i))$ met behulp van OLS. Hierbij wordt $\hat{\Delta}$ geschat uit de observationele data, mogelijk met behulp van flexibele machine learning-methoden (bijvoorbeeld causale bossen).
   • De resulterende schatter $\bar{\mu}(x) = \hat{\bar{\beta}}^\top \psi(\hat{\Delta}(x))$ dient als een gekalibreerde schatting van het CATE.

2. Aggregatie:

   • De uiteindelijke schatter voor het getransporteerde effect, $\hat{\bar{\tau}}$, is het steekproefgemiddelde van deze gekalibreerde CATE-schattingen over de covariaten in het grote observationele dataset.
   • Om geldige inferentie te waarborgen en overfitting te voorkomen, maken de auteurs gebruik van cross-fitting: de observationele data wordt opgedeeld in folds; $\hat{\Delta}$ wordt geschat op data buiten de betreffende fold, en de kalibratieregressie wordt uitgevoerd op de experimentele data.

3. Inferentie:

   • Het artikel leidt een asymptotische variantieschatter af die rekening houdt met de kalibratiefout (uit de OLS-stap). Onder het regime waarbij de steekproefgrootte van de observationele data $N$ voldoende sneller groeit dan de steekproefgrootte van de experimentele data $n$ ($N \gg n$), wordt de variantie gedomineerd door de kalibratiefout. Dit maakt asymptotisch geldige betrouwbaarheidsintervallen mogelijk zonder het schatten van propensiteitscores.

Belangrijkste Bijdragen

• Alternatieve te schatten grootheid ($\bar{\tau}$): Het artikel introduceert een nieuwe te schatten grootheid, $\bar{\tau} = E_{obs}[\bar{\mu}(X)]$, die het gemiddelde voorstelt van de beste benadering in het kwadraat van het ware CATE binnen de gespecificeerde functieklasse $\mathcal{F}$, gewogen naar de observationele covariatenverdeling.
  • Cruciaal is dat $\bar{\tau}$ geïdentificeerd blijft zelfs zonder positiviteit. Als het kalibratiemodel goed gespecificeerd is (d.w.z. $\mu \in \mathcal{F}$), is $\bar{\tau}$ gelijk aan de standaard getransporteerde ATE. Bij misspecificatie convergeert het naar een projectie-te schatten grootheid, wat kan worden geïnterpreteerd als een gewogen gemiddeld behandelingseffect.
• Robuustheid tegen schendingen van positiviteit: In tegenstelling tot bestaande methoden (zoals AIPSW, collaboratieve schatters) die vertrouwen op propensiteitscores en falen of instabiel worden wanneer positiviteit wordt geschonden, vereist de voorgestelde methode geen schatting van omgekeerde propensiteitsgewichten. Het blijft stabiel, zelfs wanneer de steun van de covariaten in de experimentele en observationele data niet overlapt.
• Semiparametrische efficiëntie: De auteurs stellen vast dat onder een "geneste trial"-kader waarin de verhouding van experimentele tot observationele steekproefgroottes naar nul convergeert ($n/N \to 0$), hun schatter de semiparametrische efficiëntiegrens bereikt voor de geprojecteerde te schatten grootheid $\bar{\tau}$. Deze grens is eindig, zelfs wanneer de efficiëntiegrens voor de standaard getransporteerde ATE oneindig is als gevolg van schendingen van positiviteit.
• Eenvoud en Praktijktoepasbaarheid: De methode vertrouwt op standaard OLS en flexibele CATE-learners, waardoor complexe wegingsschema's en stabiliteitsproblemen die geassocieerd zijn met schatting van propensiteitscores in hoge dimensies worden vermeden.

Resultaten

Het artikel valideert de methodologie door middel van numerieke simulaties en een voorbeeld met real-world data:

1. Univariate Simulatie: In situaties met covariatenverschuiving (maar zonder strikte schending van positiviteit) vertoonde de voorgestelde schatter ($\hat{\bar{\tau}}$) een lagere Gemiddelde Kwartfout (MSE) en een meer stabiele dekking van betrouwbaarheidsintervallen (ongeveer 92-93%) vergeleken met AIPSW en collaboratieve schatters naarmate de mate van covariatenverschuiving toenam. De concurrerende schatters vertoonden significante bias en verslechtering van de dekking.
2. Multivariate Simulatie: In hoge-dimensionale situaties ($d=10$) behield de voorgestelde methode de laagste MSE en betrouwbare dekking. Daarentegen vertoonde de AIPSW-schatter een hoge variantie en slechte dekking, vooral wanneer de observationele covariatenverdeling een hogere variantie had (wat schendingen van positiviteit verergerde).
3. Casestudy Gewasrotatie: Met behulp van data van Kluger et al. (2022) over maïsopbrengsten combineerden de auteurs 611 veldexperimenten met 1,31 miljoen op satelliet gebaseerde opbrengstschattingen.
   • De experimentele data had een schaarse ruimtelijke dekking (missende hele staten zoals Indiana en Michigan), wat leidde tot ernstige schendingen van positiviteit.
   • De AIPSW-schatter was extreem instabiel, met schattingen die over meerdere ordes van grootte varieerden in de simulaties.
   • De collaboratieve schatter was stabieler, maar vertoonde nog steeds een hogere variantie dan de voorgestelde methode.
   • De voorgestelde schatter ($\hat{\bar{\tau}}$) vertoonde de laagste variantie en de hoogste stabiliteit, met een empirische dekking van 96% voor zijn betrouwbaarheidsintervallen.

Betekenis en Beweringen

Het artikel beweert dat zijn methodologie een theoretisch onderbouwde en empirisch robuuste oplossing biedt voor het transporteren van behandelingseffecten in het gebruikelijke regime van "klein experiment, grote observatie".

• Theoretische Validiteit: De auteurs tonen aan dat hun schatter consistent is voor een goed gedefinieerde te schatten grootheid ($\bar{\tau}$), zelfs wanneer de standaard getransporteerde ATE niet geïdentificeerd is. Ze bewijzen dat deze schatter semiparametrische efficiëntie bereikt in de limiet van grote observationele data ten opzichte van experimentele data.
• Praktische Nut: De methode biedt een "naïef" maar effectief alternatief voor complexe wegingsschema's. Door omgekeerde propensiteitsgewichtering te vermijden, omzeilt het de instabiliteit veroorzaakt door schendingen van positiviteit, waardoor het bijzonder geschikt is voor real-world toepassingen waar experimentele data beperkt is en ruimtelijk of demografisch schaars.
• Interpreteerbaarheid: Zelfs wanneer het kalibratiemodel misspecificeerd is, behoudt de resulterende te schatten grootheid zijn interpreteerbaarheid als een gewogen gemiddeld behandelingseffect, vergelijkbaar met literatuur over ATE-schatting onder schendingen van positiviteit in enkele observationele studies.

De auteurs concluderen dat, hoewel hun methode i.i.d. observaties veronderstelt (wat een vereenvoudiging kan zijn voor ruimtelijke/temporale data zoals het voorbeeld van gewasrotatie), het een aanzienlijke verbetering biedt in precisie en stabiliteit ten opzichte van bestaande voorstellen voor het transporteren van behandelingseffecten onder schendingen van positiviteit.