Regularizing Extrapolation in Causal Inference

Titolo: Regularizzazione dell'Estrapolazione nell'Inferenza Causale

1. Il Problema

Nell'inferenza causale osservazionale e nell'adattamento di dominio, un problema centrale è l'aggiustamento delle distribuzioni dei dati per rendere confrontabili gruppi distinti (es. gruppo di controllo vs. trattato, o popolazione sorgente vs. target). Molti stimatori (come IPW, Random Forest, OLS) sono "smussatori lineari", dove la previsione è una media ponderata dei risultati di addestramento.

Esiste un compromesso fondamentale (trade-off) legato al vincolo di non-negatività dei pesi:

• Pesi non negativi (es. IPW, Matching, Synthetic Control): Limitano l'estrapolazione (evitano di pesare punti fuori dal supporto dei dati), ma spesso peggiorano lo squilibrio delle covariate (covariate imbalance), specialmente in spazi ad alta dimensionalità dove la positività è scarsa.
• Pesi non vincolati (es. OLS, Kernel Ridge Regression): Migliorano l'equilibrio delle covariate ma introducono pesi negativi. Questo aumenta la dipendenza da assunzioni parametriche (modello di outcome) e la varianza dello stimatore, poiché i pesi negativi equivalgono a estrapolare verso punti "riflessi" rispetto all'origine.

L'approccio attuale tende a scegliere tra vincoli rigidi (nessuna estrapolazione) o assenza di vincoli (estrapolazione incontrollata). Il paper propone di colmare questa lacuna.

2. Metodologia

Gli autori propongono un quadro unificato che penalizza direttamente l'estrapolazione attraverso un vincolo morbido (soft constraint) sui pesi negativi, sostituendo la restrizione rigida di non-negatività con un parametro di regolarizzazione $\gamma$.

A. Rappresentazione per Riflessione e Bound dell'Errore
Il cuore teorico della metodologia si basa su una rappresentazione geometrica:

• Un peso negativo $w_i < 0$ su un punto $X_i$ è matematicamente equivalente a un peso positivo $|w_i|$ applicato a un punto riflesso $-X_i$.
• Se la funzione di outcome $\mu(x)$ fosse lineare (o dispari), questa riflessione sarebbe perfetta. Tuttavia, se $\mu$ è non lineare, l'uso di pesi negativi introduce un bias dovuto alla violazione del modello parametrico.
• Gli autori derivano un bound dell'errore nel caso peggiore basato sulla continuità di Hölder di $\mu$. L'errore totale viene decomposto in tre componenti:
  1. Bias da squilibrio distribuzionale: Errore dovuto alla discrepanza tra il punto target e i punti di addestramento ripesati (riflessi).
  2. Bias da violazione del modello (Estrapolazione): Errore aggiuntivo causato dai pesi negativi quando la funzione non è lineare. Questo termine è proporzionale alla somma dei pesi negativi pesati per la norma delle covariate.
  3. Varianza: Errore dovuto al rumore nei dati.

B. Formulazione dell'Ottimizzazione
Viene proposto un nuovo problema di ottimizzazione convessa per trovare i pesi ottimali $\hat{w}$:
$$\hat{w} \in \arg \min_{w} \underbrace{\| \sum w_i X_i - x^* \|_2^2}_{\text{(a) Squilibrio}} + \underbrace{\lambda \|w\|_2^2}_{\text{(b) Varianza}} + \underbrace{\gamma \sum_{i} \mathbb{1}(w_i < 0) |w_i| \|X_i\|^\alpha}_{\text{(c) Penalità Estrapolazione}}$$

• Il termine (c) è la novità: penalizza l'uso di pesi negativi in modo proporzionale alla loro magnitudine e alla distanza delle covariate.
• $\gamma = 0$: Recupera gli stimatori lineari non vincolati (es. Ridge Regression).
• $\gamma \to \infty$: Impone un vincolo rigido di non-negatività (es. IPW o Matching).
• $\gamma$ intermedio: Permette un controllo graduale dell'estrapolazione.

Il problema è fortemente convesso e può essere risolto efficientemente come un programma quadratico (QP) o un programma a cono di secondo ordine (SOCP).

3. Contributi Chiave

1. Trade-off "Bias-Bias-Varianza": Gli autori identificano e quantificano un nuovo tipo di compromesso. Non è solo il classico bias-varianza, ma un compromesso tra:
   • Bias da squilibrio delle covariate (distribuzionale).
   • Bias da errata specificazione del modello (model misspecification).
   • Varianza dello stimatore.
     Questo trade-off è particolarmente pronunciato in alta dimensionalità con scarsa positività.
2. Bound dell'Errore e Ottimizzazione Vincolata: Derivazione di un bound teorico per l'errore di stima basato sulla violazione di Hölder e presentazione di un metodo di ottimizzazione che minimizza questo bound controllando esplicitamente i termini di bias.
3. Framework di Analisi di Sensibilità: Il parametro $\gamma$ non è trattato come un semplice iperparametro da ottimizzare, ma come un parametro di sensibilità. Variando $\gamma$, i ricercatori possono valutare sistematicamente quanto le stime dipendano dalle assunzioni parametriche (non linearità) rispetto allo squilibrio delle covariate.

4. Risultati

• Dati Sintetici:
  • In scenari lineari (dove l'assunzione parametrica è vera), l'errore aumenta monotonicamente all'aumentare di $\gamma$ (poiché si perde l'efficienza dell'estrapolazione corretta).
  • In scenari non lineari, si osserva una curva a "U" per l'errore quadratico medio (MSE). Piccoli valori di $\gamma$ permettono un'estrapolazione benefica (sfruttando la componente lineare), mentre valori troppo alti (vincoli rigidi) causano bias da squilibrio. Esiste un punto ottimale intermedio.
  • In setting ad alta dimensionalità, la scansione su $\gamma$ interpola fluidamente tra il comportamento della regressione parametrica e quello dell'IPW.
• Applicazione Reale (Studio START su Opioidi):
  • Lo studio generalizza i risultati di un trial randomizzato (START) a una popolazione target specifica (donne ispaniche con storia di uso di anfetamine e benzodiazepine) dove la positività è violata.
  • Confrontando il metodo proposto con regressione lineare, GBR, IPW e Double Machine Learning, si osserva che:
    • Senza regolarizzazione ($\gamma \approx 0$), le stime convergono alla regressione lineare.
    • All'aumentare di $\gamma$, le stime si spostano verso zero e talvolta cambiano segno.
    • L'aumento di $\gamma$ riduce l'influenza dei pesi negativi (migliorando la robustezza alle assunzioni) ma peggiora l'equilibrio delle covariate (RMSE più alto).
  • Questo dimostra l'utilità del metodo come analisi di sensibilità: le conclusioni sul trattamento dipendono criticamente dal compromesso scelto tra modello e bilanciamento.

5. Significato e Implicazioni

Il lavoro offre un approccio più sfumato e robusto all'inferenza causale in presenza di violazioni della positività e di modelli potenzialmente errati.

• Superamento della dicotomia rigida: Non è più necessario scegliere tra "nessuna estrapolazione" (che può portare a grandi bias da squilibrio) e "estrapolazione libera" (che dipende fortemente dal modello).
• Interpretabilità: Fornisce ai ricercatori uno strumento visivo e quantitativo per valutare la sensibilità delle loro conclusioni alle assunzioni di non linearità.
• Applicabilità: Il metodo è generale e può essere applicato a qualsiasi stimatore che ammette una rappresentazione in pesi (inclusi metodi "doubly robust" e machine learning).

In sintesi, il paper propone di regolarizzare l'estrapolazione non come un errore da eliminare, ma come una fonte di bias da controllare attivamente, permettendo una stima più affidabile in scenari complessi e ad alta dimensionalità.