Conformal Inference for Counterfactuals and Individual Treatment Effects with Experiment Attrition

1. Il Problema: Attrito Sperimentale e Inferenza Causale

La ricerca nelle scienze sociali, in particolare negli esperimenti randomizzati (survey e field experiments), è spesso minacciata dal fenomeno dell'attrito (dropout o mancata risposta). Quando i partecipanti abbandonano lo studio o non rispondono, si crea un problema di dati mancanti che compromette la validità delle inferenze causali.

• Limitazioni degli approcci esistenti:
  • Analisi dei casi completi (Complete Case Analysis): Porta a stime distorte se l'attrito non è casuale (MCAR).
  • Imputazione Multipla e Modelli di Selezione: Richiedono assunzioni parametriche forti (es. normalità multivariata) e spesso non riescono a gestire correttamente lo spostamento della distribuzione delle covariate (covariate shift) tra il gruppo osservato e quello attrito.
  • Ponderazione (IPW): Può correggere il bias ma spesso non sfrutta le informazioni dei soggetti attriti e può produrre stime distorte se la mancata risposta dipende dal trattamento e dalle covariate.
  • Identificazione Parziale: Rilassa le assunzioni parametriche ma produce intervalli di confidenza troppo ampi (non informativi) e non affronta lo spostamento delle covariate.

Il problema centrale è costruire intervalli di previsione validi per gli effetti del trattamento individuali (ITE) e controfattuali sia per il gruppo osservato che per il gruppo attrito, garantendo una copertura statistica corretta senza assumere una specifica distribuzione dei dati.

2. Metodologia Proposta: Inferenza Conformale con Stimatori Efficienti Semiparametrici

L'autore propone un nuovo framework che combina l'Inferenza Conformale (un metodo non parametrico per la quantificazione dell'incertezza) con la teoria degli Stimatori Efficienti Semiparametrici (Efficient Influence Function - EIF).

A. Impostazione del Problema

Il lavoro si basa sul framework dei risultati potenziali (Neyman-Rubin). Si definiscono:

• $D$: Trattamento.
• $Y(1), Y(0)$: Risultati potenziali.
• $R$: Indicatore di attrito ($R=1$ per osservati, $R=0$ per attriti).
• Si assume MAR (Missing At Random): L'attrito dipende dalle covariate osservate $X$ e dal trattamento $D$, ma non dai risultati potenziali non osservati, condizionatamente a $X$ e $D$.

B. Il Framework a Due Passi

Il metodo affronta lo spostamento delle covariate (covariate shift) in due fasi sequenziali:

1. Fase 1: Costruzione di intervalli per il gruppo osservato ($R=1$).

   • Si costruiscono intervalli di previsione per i risultati controfattuali ($Y(1)$ per i controlli e $Y(0)$ per i trattati) all'interno del gruppo osservato.
   • Viene utilizzato un approccio Split Conformal Quantile Regression (CQR) potenziato da stimatori efficienti semiparametrici.
   • Invece di usare la distribuzione empirica dei punteggi di non-conformità (che può produrre intervalli troppo ampi in campioni finiti), si deriva la soglia di quantile utilizzando l'Efficient Influence Function (EIF). Questo permette di correggere lo spostamento delle covariate tra i gruppi di trattamento e controllo all'interno del campione osservato.

2. Fase 2: Estrapolazione al gruppo attrito ($R=0$).

   • Gli intervalli di previsione ottenuti nella Fase 1 (per gli ITE) vengono trattati come "surrogati" per il gruppo attrito.
   • Si applica una seconda fase di inferenza conformale per espandere questi intervalli e coprire i soggetti attriti.
   • Anche qui, si utilizza l'EIF per derivare la soglia di quantile, correggendo lo spostamento delle covariate tra il gruppo osservato ($R=1$) e quello attrito ($R=0$).
   • Viene applicata una correzione di Bonferroni per garantire che la copertura complessiva (sia per la stima del controfattuale che per l'estrapolazione) sia almeno $1 - (\alpha + \gamma)$.

C. Vantaggi Tecnici

• Robustezza: Non richiede assunzioni sulla distribuzione dei dati (distribution-free).
• Efficienza: L'uso degli stimatori efficienti semiparametrici (EIF) garantisce proprietà asintotiche ottimali e intervalli più stretti rispetto ai metodi puramente basati sulla distribuzione empirica (come il weighted split-CQR standard).
• Gestione dello Shift: Corregge esplicitamente lo spostamento della distribuzione delle covariate in entrambe le fasi.

3. Contributi Chiave

1. Nuovo Framework per le Scienze Politiche: Introduce l'inferenza conformale come strumento robusto per la quantificazione dell'incertezza su effetti causali individuali e controfattuali in presenza di dati mancanti.
2. Integrazione Metodologica: Combina l'inferenza conformale con stimatori efficienti semiparametrici per affrontare specificamente il problema dell'attrito sperimentale sotto l'assunzione MAR, superando i limiti dei metodi esistenti (troppo conservativi o basati su assunzioni parametriche).
3. Valutazione Empirica Completa: Fornisce una delle valutazioni più esaustive delle prestazioni di questo approccio attraverso diversi modelli predittivi (Random Forest, BART, XGBoost, ecc.) e scenari di simulazione.

4. Risultati

A. Studi di Simulazione (Monte Carlo)

• Copertura: Il metodo proposto (CISE - Conformal Inference with Semiparametric Efficient Estimator) raggiunge una copertura empirica vicina al livello nominale (95%) su diversi algoritmi di apprendimento automatico e dimensioni del campione.
• Larghezza degli Intervalli: Rispetto ai metodi concorrenti:
  • Imputazione Multipla (Amelia II): Mostra una copertura scarsa (sotto il livello nominale) quando i dati non seguono una distribuzione normale, rendendo gli intervalli brevi ma inaffidabili.
  • Weighted CQR (metodo di Lei & Candès): Produce intervalli estremamente ampi (copertura vicina al 100%) per garantire la validità, risultando poco informativi.
  • Metodo Proposto: Offre il miglior compromesso, mantenendo una copertura valida (95%) con intervalli significativamente più stretti rispetto al Weighted CQR e più affidabili dell'Imputazione Multipla in scenari non parametrici.

B. Applicazioni Empiriche

L'autore ri-analizza due studi pubblicati:

1. Margalit and Shayo (2021): Esperimento sui mercati finanziari e valori socioeconomici.
   • Il metodo proposto rivela che l'effetto del trattamento nel gruppo attrito è circa il doppio di quello nel gruppo osservato, sebbene non significativo statisticamente da solo.
   • L'aggregazione degli effetti mostra che ignorare l'attrito può portare a conclusioni sostanziali diverse.
2. Finkel et al. (2024): Educazione civica online in Tunisia.
   • Per alcune misure (es. valutazione del regime di Ben Ali), includere il gruppo attrito cambia la significatività statistica dei risultati (da 5% a 1%).
   • Gli intervalli di previsione generati dal metodo proposto sono più stretti rispetto all'Imputazione Multipla e molto più informativi rispetto al Weighted CQR.

5. Significato e Implicazioni

Questo lavoro è significativo perché fornisce agli scienziati sociali uno strumento rigoroso per gestire l'attrito sperimentale senza ricorrere a assunzioni parametriche forti che spesso non sono verificabili.

• Validità Causale: Permette di fare inferenze causali robuste anche quando una parte significativa del campione manca, riducendo il rischio di bias di selezione.
• Precisione: Dimostra che è possibile ottenere intervalli di previsione stretti e informativi (non solo "conservativi") anche in presenza di dati mancanti complessi.
• Implicazioni Sostanziali: Le applicazioni empiriche mostrano che ignorare il gruppo attrito può portare a conclusioni errate sulla dimensione o sulla significatività degli effetti del trattamento. Il metodo permette di confrontare direttamente i risultati tra chi rimane nello studio e chi abbandona.

Limitazioni e Direzioni Future:
Il metodo richiede ancora l'assunzione MAR (non MNAR). Inoltre, la necessità di dividere i dati per l'addestramento e la calibrazione riduce leggermente la dimensione del campione utilizzabile per la previsione finale. L'autore suggerisce futuri lavori per estendere il framework al caso MNAR e integrarlo con il Double Machine Learning per gestire parametri di disturbo ad alta dimensionalità.