Retrospective Counterfactual Prediction by Conditioning on the Factual Outcome: A Cross-World Approach

1. Il Problema: Previsione Controfattuale Retrospectiva

L'obiettivo centrale dell'inferenza causale è spesso duplice: stimare l'effetto medio del trattamento (ATE/CATE) e prevedere cosa sarebbe accaduto a un individuo specifico se avesse ricevuto un trattamento diverso (previsione controfattuale).
Il paper si concentra sul problema della previsione controfattuale retrospectiva: stimare l'esito controfattuale $Y(1)$ per un individuo che ha osservato un esito fattuale $Y(0)$ e covariate $X$.
Formalmente, l'obiettivo è stimare:
$$\mu(x, y) = E[Y(1) \mid X = x, Y(0) = y]$$
e costruire intervalli di previsione validi $C(x, y)$ tali che:
$$P(Y(1) \in C(x, y) \mid X = x, Y(0) = y) \ge 1 - \alpha$$

La sfida fondamentale: Il problema è non identificabile senza assunzioni aggiuntive. Poiché per ogni individuo si osserva solo uno dei due potenziali esiti ($Y(0)$ o $Y(1)$), la distribuzione congiunta $(Y(0), Y(1))$ non può essere derivata dai dati osservati. I metodi esistenti spesso ignorano l'esito osservato $Y(0)$ (stimando solo $E[Y(1)|X]$) o assumono implicitamente che gli esiti siano indipendenti, perdendo informazioni preziose a livello individuale.

2. Metodologia: L'Approccio "Cross-World"

Per colmare il divario tra l'osservato e il non osservato, l'autore introduce un approccio basato sulla correlazione cross-world (o "tra mondi").

A. L'Assunzione Cross-World

Si definisce il parametro di dipendenza $\rho(x)$ come la correlazione condizionata tra i potenziali esiti:
$$\rho(x) = \text{cor}(Y(1), Y(0) \mid X = x)$$
Poiché $\rho(x)$ non è identificabile dai dati, il metodo richiede che sia specificato (o vincolato) basandosi su conoscenza di dominio, dati ausiliari o analisi di sensibilità. L'ipotesi è che esista una struttura di dipendenza (spesso positiva) dovuta a fattori latenti condivisi che influenzano entrambi gli esiti.

B. Stimatori RCP($\rho$)

L'autore propone un framework chiamato Retrospective Counterfactual Prediction (RCP) che combina stime di base (basate solo su $X$) con l'informazione di $Y(0)$, ponderata da $\rho(x)$.

1. Stime di Base: Si stimano le medie condizionali $\hat{\mu}_0(x)$ e $\hat{\mu}_1(x)$ e gli intervalli di previsione $\tilde{C}_0(x)$ e $\tilde{C}_1(x)$ (usando metodi come Random Forests o Quantile Regression).
2. Aggiornamento Condizionale: L'estimatore puntuale $\hat{\mu}_\rho(x, y)$ per il controfattuale $Y(1)$ dato $Y(0)=y$ è una combinazione lineare:
   $$\hat{\mu}_\rho(x, y) = \hat{\mu}_1(x) + \rho \cdot \lambda(x) \cdot (y - \hat{\mu}_0(x))$$
   dove $\lambda(x)$ è un fattore di scala basato sulla larghezza relativa degli intervalli di previsione dei due gruppi.
3. Intervalli di Previsione: L'intervallo $C_\rho(x, y)$ viene contratto rispetto all'intervallo di base, riflettendo la riduzione della varianza dovuta alla conoscenza di $Y(0)$. La larghezza dell'intervallo è scalata da $\sqrt{1-\rho^2}$.

C. Correzione per Bias in Campioni Finiti

Poiché in pratica $\hat{\mu}_\rho$ è stimato e non noto, l'autore introduce una variante $C^{+CI}_\rho$ che incorpora intervalli di confidenza per la stima della media, scalati con un fattore $c = \rho^2$. Questo garantisce una copertura corretta anche quando $\rho$ è vicino a 1 (caso di effetto costante), dove l'incertezza sulla stima della media diventa dominante.

3. Contributi Chiave

1. Formalizzazione della Dipendenza Cross-World: L'articolo tratta esplicitamente la correlazione $\rho(x)$ come un parametro di modellazione fondamentale, rendendo espliciti i presupposti che molti metodi esistenti lasciano impliciti (spesso assumendo $\rho=0$).
2. Stimatori Consistenti e Ottimali: Sotto l'assunzione di una distribuzione congiunta Gaussiana (o Copula fissa), gli stimatori proposti sono consistenti e gli intervalli di previsione sono asintoticamente ottimali (minima larghezza per una data copertura).
3. Interpolazione tra Casi Limite: Il metodo interpola tra:
   • $\rho = 0$: Ignora l'esito osservato (riduce alla regressione standard su $X$).
   • $\rho = 1$: Assume un effetto costante del trattamento (il controfattuale è esattamente $Y(0) + \tau$).
   • Valori intermedi: Sfruttano la dipendenza per migliorare la precisione.
4. Validazione Empirica: Dimostrazione che l'inclusione di $Y(0)$, anche con una stima approssimata di $\rho$, porta a guadagni sostanziali in termini di accuratezza (MSE) e affidabilità degli intervalli rispetto ai metodi basati solo su covariate.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetici, semi-sintetici (IHDP) e reali (Twins), confrontando RCP($\rho$) con quattro baseline:

• Modellazione diretta dell'esito (DO).
• Imputazione aggiustata per CATE (CATE-adj, es. T-learner).
• Imputazione basata su Matching.
• Modelli generativi avversari (GANITE).

Risultati principali:

• Riduzione dell'Errore (MSE): Quando $0 < \rho < 1$, RCP($\rho$) supera significativamente tutte le baseline. La riduzione dell'errore scala approssimativamente con $(1-\rho^2)$, confermando la teoria sulla riduzione della varianza condizionale.
• Robustezza alla Specificazione: Anche se $\rho$ è specificato in modo errato (ma vicino al valore vero), le prestazioni sono superiori rispetto all'assunzione di indipendenza ($\rho=0$).
• Copertura degli Intervalli: Gli intervalli $C_\rho$ e $C^{+CI}_\rho$ raggiungono la copertura desiderata (es. 90%) con larghezze inferiori rispetto ai metodi tradizionali, specialmente quando la correlazione è alta.
• Limiti Dimensionali: Il metodo è particolarmente efficace in dimensioni basse/medie dove l'informazione di $Y(0)$ è dominante rispetto al rumore di stima delle funzioni di regressione.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nell'inferenza causale individuale:

• Trasparenza Assuntiva: Sposta il dibattito da "come stimare il controfattuale" a "quali sono le nostre credenze sulla dipendenza tra i mondi controfattuali". Rende esplicito che ogni metodo di imputazione fa un'assunzione su $\rho$, anche se nascosta.
• Utilità Pratica: Fornisce un framework pratico per incorporare la conoscenza del dominio (es. "i pazienti con buona salute di base tendono a stare bene indipendentemente dal trattamento", implicando $\rho > 0$) per migliorare le previsioni individuali in ambiti ad alto rischio come la medicina e la legge.
• Fondamento Teorico: Stabilisce che la previsione controfattuale retrospectiva non può essere risolta senza specificare la struttura di dipendenza, e offre uno strumento matematico rigoroso per farlo in modo flessibile.

In sintesi, il paper dimostra che condizionare sull'esito osservato è la chiave per migliorare le previsioni controfattuali, a patto di modellare correttamente (o analizzare la sensibilità su) la correlazione tra i potenziali esiti.