Towards Representation Learning for Weighting Problems in Design-Based Causal Inference

1. Il Problema

Nell'inferenza causale basata sul disegno (design-based), l'obiettivo è stimare effetti causali (come l'effetto medio del trattamento, ATE, o la trasportabilità dei risultati da un RCT a una popolazione osservazionale) utilizzando pesi di re-weighting. Questi pesi mirano a bilanciare la distribuzione delle covariate di una popolazione sorgente ($P$) su una distribuzione target ($Q$) senza utilizzare informazioni sugli esiti ($Y$), sia per principio (separazione tra fase di disegno e analisi) che per necessità (es. studi prospettici dove gli esiti non sono ancora disponibili).

Il problema centrale è che i pesi ottimali dipendono dal processo generatore dei dati (DGP) sottostante, che è sconosciuto. I metodi esistenti spesso:

• Assumono che una rappresentazione delle covariate (es. punteggio di propensione, selezione di variabili) sia ben specificata.
• Non offrono garanzie teoriche sul bias se l'assunzione di corretta specificazione fallisce.
• Utilizzano metodi che apprendono rappresentazioni basandosi sugli esiti, il che non è permesso in contesti puramente "design-based".

Non esistono procedure principiate per valutare e controllare direttamente la qualità di una rappresentazione e il suo impatto sul bias dell'estimatore ponderato in assenza di informazioni sugli esiti.

2. Metodologia e Contributi Teorici

Gli autori propongono un quadro teorico e un metodo pratico per apprendere rappresentazioni flessibili che minimizzino la perdita di informazione necessaria per il bilanciamento.

A. Quantificazione della Perdita di Informazione

Il contributo teorico principale è la decomposizione del bias dell'estimatore ponderato in tre termini quando si utilizza una rappresentazione $\phi(X)$ invece delle covariate originali $X$:

$$\text{Bias} = \underbrace{\text{Bias}_{\phi}}_{\text{Bias rispetto alla rappresentazione}} + \underbrace{\text{Chosen weights bias}}_{\text{Bias dei pesi scelti}} + \underbrace{\text{Confounding bias}}_{\text{Bias di confondimento}}$$

1. Bias rispetto alla rappresentazione: Dipende dalla capacità dei pesi di bilanciare la distribuzione su $\phi(X)$.
2. Chosen weights bias: È zero se i pesi sono funzioni della rappresentazione (garantito dal metodo di ottimizzazione).
3. Confounding bias: È il termine cruciale. Rappresenta la perdita di informazione dovuta al fatto che $\phi(X)$ non preserva completamente l'indipendenza non confusa rispetto a $X$. È definito come la differenza tra l'aspettativa dell'esito condizionata a $\phi(X)$ e quella condizionata a $X$, pesata dalla differenza tra i veri pesi e i pesi proiettati su $\phi$.

B. Errore del Punteggio di Bilanciamento (Balancing Score Error - BSE)

Poiché il confounding bias dipende da modelli sconosciuti (il vero modello di esito e i veri pesi), gli autori introducono una quantità superiore (upper bound) che può essere calcolata senza osservare gli esiti: l'Errore del Punteggio di Bilanciamento (BSE).

Il BSE misura quanto la densità di probabilità del rapporto tra le distribuzioni target e sorgente ($dQ/dP$) non sia una funzione della rappresentazione $\phi(X)$. Formalmente:
$$\text{BSE}(\phi) = \left\| \frac{dQ}{dP}(X) - \mathbb{E}\left[\frac{dQ}{dP}(X) \mid \phi(X)\right] \right\|_{L^2(P)}$$

Corollario 3.5: Il bias totale è limitato dalla somma dell'IPM (Integral Probability Metric) sulla rappresentazione e del prodotto tra la norma $L^2$ dell'esito e il BSE.
$$|\text{Bias}| \leq \text{IPM}_{\phi} + \|\tilde{Y}\|_{L^2} \cdot \text{BSE}(\phi)$$

Questo risultato è fondamentale perché permette di minimizzare il bias potenziale minimizzando il BSE, senza conoscere il modello di esito.

C. Algoritmo di Apprendimento End-to-End

Per minimizzare il BSE senza conoscere $dQ/dP$, gli autori sfruttano un risultato della letteratura sul covariate shift (AutoDML). Minimizzare il BSE è equivalente a minimizzare una funzione di perdita nota come AutoDML loss (o loss di Riesz):
$$L_{P,Q}(v) = \mathbb{E}_P[v(X)^2] - 2\mathbb{E}_Q[v(X)]$$

L'algoritmo proposto (Algorithm 1) funziona come segue:

1. Apprendimento della Rappresentazione: Si addestra una rete neurale che mappa le covariate $X$ in una rappresentazione $\phi(X; \theta_\phi)$ e una funzione scalare $g(\phi; \theta_g)$. Si minimizza la loss AutoDML rispetto ai parametri $\theta_\phi$ e $\theta_g$.
   • Nota: Non vengono utilizzati gli esiti $Y$ in questa fase.
2. Calcolo dei Pesi: Una volta appresa la rappresentazione $\phi$, si utilizzano metodi di bilanciamento standard (come Kernel Optimal Matching - KOM) sullo spazio delle rappresentazioni $\phi(X)$ per trovare i pesi ottimali che minimizzano la discrepanza (es. MMD) tra le distribuzioni.

Questo approccio è generico e può essere applicato a problemi simultanei (es. ATE con più livelli di trattamento o trasportabilità).

3. Risultati Sperimentali

Il metodo è stato valutato su tre dataset standard:

• IHDP: Simulazione per ATE.
• News: Dataset ad alta dimensionalità per ATE.
• TBI (Traumatic Brain Injury): Dataset reale per la trasportabilità da RCT a popolazione osservazionale.

Metodi di confronto:

• Pesi basati su covariate originali (Energy Balancing, Linear Kernel).
• PCA (riduzione della dimensionalità classica).
• Punteggi di propensione (PS) stimati con Gradient Boosting.
• Neural Score Matching (NSM).
• Pesi derivati direttamente dalla testa della rete neurale (NN Head).

Risultati Chiave:

• Performance: L'approccio proposto ("Ours + Energy/Linear") ha mostrato prestazioni competitive o superiori nella maggior parte dei casi, riducendo significativamente il bias congiunto (Joint Bias) rispetto ai metodi basati su covariate originali o su PS classici, specialmente su dataset complessi come News e TBI.
• Robustezza: Il metodo supera spesso i metodi che utilizzano la testa della rete neurale (NN Head) per generare i pesi, dimostrando che l'apprendimento della rappresentazione separata dal calcolo dei pesi è vantaggioso.
• Efficienza: Su dataset ad alta dimensionalità (News, 3477 dimensioni), l'uso di una rappresentazione a bassa dimensionalità appresa ha accelerato significativamente il calcolo del bilanciamento rispetto all'uso delle covariate originali.
• Eccezioni: Su IHDP, dove le covariate sono prevalentemente binarie e la dimensionalità è bassa, l'uso di rappresentazioni apprese non ha sempre migliorato le prestazioni rispetto alle covariate originali, suggerendo che la riduzione della dimensionalità non è sempre benefica se non necessaria.

4. Significato e Conclusioni

Questo lavoro fornisce un ponte teorico e pratico tra l'apprendimento di rappresentazioni (Representation Learning) e l'inferenza causale basata sul disegno.

• Teorico: Introduce il concetto di Confounding Bias generalizzato e lo lega all'errore di punteggio di bilanciamento (BSE), offrendo una garanzia teorica sul bias anche in caso di specificazione errata del modello, purché il BSE sia piccolo.
• Pratico: Propone un metodo "end-to-end" che apprende rappresentazioni ottimali per il bilanciamento senza richiedere dati sugli esiti, rendendolo applicabile in scenari reali dove gli esiti sono assenti o devono essere tenuti separati dalla fase di progettazione.
• Generale: Il metodo appreso può servire come pre-processing generico per qualsiasi tecnica di weighting esistente (KOM, Entropy Balancing, ecc.), migliorandone le prestazioni in contesti di alta dimensionalità o complessità strutturale.

In sintesi, il paper dimostra che l'apprendimento di rappresentazioni guidato dalla minimizzazione dell'errore di bilanciamento (BSE) è una strategia superiore rispetto all'uso di rappresentazioni predefinite o stimate tramite modelli di propensione tradizionali, specialmente quando non si possono utilizzare informazioni sugli esiti durante la fase di progettazione.