Conformal Inference for Counterfactuals and Individual Treatment Effects with Experiment Attrition

Probleemstelling

In sociale wetenschappelijk onderzoek, met name bij enquêtes en veldexperimenten, is attritie (uitval van respondenten) een veelvoorkomend probleem dat de validiteit van causale inferentie ondermijnt. Wanneer uitval niet willekeurig is (bijvoorbeeld afhankelijk van behandelingsstatus of covariaten), introduceert dit selectiebias.

Bestaande methoden om met dit probleem om te gaan, zoals:

• Volledige casusanalyse (complete case analysis),
• Meerdere imputatie (multiple imputation),
• Weegmethodes (zoals inverse propensity weighting - IPW),

hebben aanzienlijke beperkingen. Ze vertrouwen vaak op sterke parametrische aannames (zoals multivariate normaliteit of correcte modelspecificatie) die in de praktijk niet altijd gelden. Bovendien negeren veel methoden het probleem van covariaatverschuiving (covariate shift), waarbij de verdeling van covariaten verschilt tussen de waargenomen groep en de groep met uitval. Dit leidt tot vertekende schattingen van behandelingseffecten of onbetrouwbare onzekerheidsintervallen.

Methodologie

De auteur stelt een nieuwe methode voor die conformale inferentie combineert met semiparametrische efficiënte schatters om geldige voorspellingsintervallen te construeren voor individuele behandelingseffecten (ITE) en contrafactuele uitkomsten, zelfs bij aanwezigheid van experimentele attritie.

De kern van de methode omvat de volgende stappen:

1. Raamwerk en Aannames:

   • Het artikel hanteert het potentieel-uitkomstenraamwerk (Potential Outcome Framework).
   • Er wordt aangenomen dat uitval Willekeurig Ontbreekt (MAR - Missing At Random) is, gegeven de covariaten en behandelingsstatus.
   • Er wordt een overlap-aanname gemaakt voor zowel behandelings- als responskansen.

2. Tweestapsbenadering:
   De methode lost het probleem op in twee fasen, waarbij in beide fasen rekening wordt gehouden met covariaatverschuiving:

   • Fase 1 (Waargenomen Groep): Construeren van voorspellingsintervallen voor contrafactuele uitkomsten en ITE binnen de groep met waargenomen uitkomsten ($R=1$). Hierbij wordt rekening gehouden met de verschuiving tussen behandelde en controlegroepen binnen deze waargenomen steekproef.
   • Fase 2 (Extrapolatie naar Uitvalgroep): Extrapoleren van deze intervallen naar de groep met uitval ($R=0$). Dit vereist het corrigeren voor de verschuiving in covariaten tussen de waargenomen groep en de uitvalgroep.

3. Semiparametrische Efficiënte Schatters (EIF):
   In plaats van te vertrouwen op de empirische verdeling van niet-conformiteitscores (wat leidt tot zeer brede intervallen), gebruikt de auteur de Efficient Influence Function (EIF).

   • De EIF wordt afgeleid voor de kwantile van de niet-conformiteitscores.
   • Dit maakt het mogelijk om de drempelwaarden voor de intervallen te identificeren die zorgen voor asymptotische dekking, zelfs bij eindige steekproeven, en verbetert de efficiëntie ten opzichte van eerdere gewogen conformale methoden.
   • De methode gebruikt "Split Conformal Inference" in combinatie met machine learning-algoritmen (zoals Random Forest, BART, XGBoost) via een SuperLearner-omgeving.

4. Intervalconstructie:

   • Voor de waargenomen groep worden intervallen voor contrafactuele uitkomsten ($Y(0)$ of $Y(1)$) berekend.
   • Deze worden gecombineerd tot een interval voor de ITE ($\tau_i = Y_i(1) - Y_i(0)$).
   • Voor de uitvalgroep wordt een "interval expansion" toegepast op de ITE-intervallen van de waargenomen groep, gecorrigeerd voor de covariaatverschuiving, om een breed interval te krijgen dat de ware ITE in de uitvalgroep met een bepaalde betrouwbaarheid (bijv. 95%) bevat.

Belangrijkste Bijdragen

1. Nieuw Raamwerk voor Politieke Wetenschappen: Het introduceert conformale inferentie als een robuust, niet-parametrisch raamwerk voor onzekerheidskwantificatie in causale inferentie, specifiek ontworpen om de uitdagingen van experimentele uitval aan te pakken.
2. Integratie van Conformale Inferentie en Ontbrekende Data: De auteur combineert de theorie van conformale inferentie (Lei & Candès, 2021) met recente ontwikkelingen in semiparametrische efficiëntie (Yang et al., 2024; Gao et al., 2025) om een methode te creëren die specifiek is voor MAR-uitval en covariaatverschuiving.
3. Asymptotische Dekking en Efficiëntie: In tegenstelling tot eerdere methoden die alleen eindsteekproef-dekking garanderen (vaak met te brede intervallen), biedt deze methode asymptotische dekking met smalle, informatieve intervallen door gebruik te maken van EIF.
4. Uitgebreide Evaluatie: Het artikel biedt een van de meest uitgebreide evaluaties van conformale inferentie over verschillende voorspellingsmodellen en vergelijkt de prestaties met bestaande methoden.

Resultaten

De methode werd geëvalueerd via uitgebreide Monte Carlo-simulaties en twee empirische toepassingen (re-analyse van studies van Margalit & Shayo, 2021, en Finkel et al., 2024).

• Simulaties:
  • De voorgestelde methode (CISE - Conformal Inference with Semiparametric Efficient Estimator) behaalde de nominale dekking (bijv. 95%) over verschillende steekproefgroottes en covariaatcorrelaties.
  • Het leverde smallere intervallen op dan de alternatieven (meerdere imputatie met Amelia II en gewogen CQR met een ongewogen genest kader).
  • Bestaande methoden presteerden slecht: Meerdere imputatie had vaak te lage dekking (door schending van normaliteitsaannames), terwijl gewogen CQR te conservatief was (zeer brede intervallen).
• Empirische Toepassingen:
  • Bij de re-analyse van de experimenten bleek dat het negeren van de uitvalgroep leidde tot verschillende substantieve conclusies.
  • De methode kon individuele behandelingseffecten aggregeren tot gemiddelde behandelingseffecten (ATE) voor de uitvalgroep en de totale populatie.
  • In sommige gevallen veranderde het meenemen van de uitvalgroep de statistische significantie van de resultaten (bijv. van 5% naar 1% significantie), wat aantoont dat het negeren van uitval tot misleidende conclusies kan leiden.
  • De intervallen van de voorgestelde methode waren over het algemeen nauwkeuriger en smaller dan die van de concurrenten.

Betekenis en Conclusie

Dit artikel biedt een sterkere fundament voor causale inferentie in de aanwezigheid van uitval. Het demonstreert dat onderzoekers niet langer hoeven te kiezen tussen sterke parametrische aannames (zoals bij imputatie) of zeer conservatieve, onbruikbare intervallen (zoals bij partiële identificatie).

De voorgestelde methode stelt onderzoekers in staat om:

1. Betrouwbare onzekerheidsintervallen te construeren voor individuele behandelingseffecten, zelfs voor respondenten die uitvallen.
2. Covariaatverschuiving expliciet te corrigeren zonder zware parametrische aannames.
3. Substantieve conclusies te trekken die robuust zijn tegenover selectieve uitval.

Beperkingen en Toekomstperspectief:
De methode vereist nog steeds de MAR-aanname (uitval is willekeurig gegeven covariaten) en kan niet direct omgaan met MNAR (Missing Not At Random). Daarnaast kan een zeer hoge uitvalpercentage leiden tot ruis in de schattingen. Toekomstig onderzoek zou zich kunnen richten op het uitbreiden van dit raamwerk naar MNAR-situaties, het integreren met Double Machine Learning, en het toepassen op paneldata.