Causal Effect Estimation with Learned Instrument Representations

1. Il Problema: Bias da Confondimento Non Osservato

Nell'inferenza causale osservazionale, la stima degli effetti causali è spesso distorta dalla presenza di confonditori non osservati ($U$), variabili che influenzano sia il trattamento ($T$) che l'esito ($Y$).
Il metodo standard per mitigare questo problema è la Regressione con Variabile Strumentale (IV). Tuttavia, l'approccio IV classico richiede la disponibilità di una variabile strumentale valida ($Z$) che soddisfi tre condizioni rigorose:

1. Rilevanza: $Z$ deve essere correlata al trattamento $T$.
2. Restrizione di Esclusione: $Z$ non deve avere un effetto diretto su $Y$ (l'effetto deve passare solo attraverso $T$).
3. Non Confondibilità: $Z$ non deve essere correlata con i confonditori non osservati $U$.

Il problema principale è che in molti scenari reali (es. ricerca medica, scienze sociali), identificare o misurare una variabile $Z$ esplicita e valida è difficile o impossibile. I metodi esistenti spesso si basano su dati tabellari dove gli strumenti devono essere osservati direttamente, limitando l'applicabilità a dati non strutturati o ad alta dimensionalità (immagini, testo, ECG).

2. Metodologia: ZNet

Gli autori propongono ZNet, un approccio di representation learning che costruisce rappresentazioni strumentali direttamente dai covariati osservati ($X$), senza necessitare di uno strumento esplicito preesistente.

Architettura e Decomposizione

ZNet è un encoder che scompone lo spazio delle feature osservate $X$ in due componenti latenti:

• $\tilde{X} = f(X)$: Una rappresentazione dei confonditori osservati.
• $\tilde{Z} = g(X)$: Una rappresentazione appresa che funge da strumento latente.

Questa decomposizione è ispirata al Modello Causale Strutturale (SCM) delle IV. L'obiettivo è apprendere funzioni $f$ e $g$ tali che $\tilde{Z}$ soddisfi empiricamente le proprietà di un IV valido.

Funzione di Perdita e Condizioni di Momento

Il modello è addestrato minimizzando una funzione di perdita che combina l'errore di previsione supervisionata con vincoli basati su condizioni di momento empiriche. La perdita totale ($L_{ZNet}$) include:

1. Perdite Supervisionate:
   • Minimizzazione dell'errore nella previsione del trattamento $T$ dato $\tilde{Z}$ (per garantire la Rilevanza).
   • Minimizzazione dell'errore nella previsione dell'esito $Y$ dato $\tilde{X}$ e $T$ (per garantire che $\tilde{X}$ catturi i confonditori).
2. Vincoli di Momento (Regularizzazione):
   • Indipendenza da Confonditori: $\text{Cov}(\tilde{Z}, \tilde{X}) = 0$.
   • Esogeneità (Restrizione di Esclusione): $\text{Cov}(\tilde{Z}, \tilde{\epsilon}_Y) = 0$, dove $\tilde{\epsilon}_Y$ è il residuo della previsione di $Y$.
   • Distribuzione: Penalità KL per mantenere le distribuzioni di $\tilde{X}$ e $\tilde{Z}$ vicine a una normale standard, evitando collasso delle rappresentazioni.

Le condizioni di momento sono approssimate empiricamente utilizzando coefficienti di correlazione di Pearson o informazione reciproca (MI) tramite stime di densità (KDE).

Fasi di Addestramento

L'addestramento avviene in tre fasi:

1. Addestramento di una rete $\Phi$ per stimare i residui $\tilde{\epsilon}_Y$.
2. Pre-addestramento supervisionato di $f$ e $g$ per allinearle a $Y$ e $T$.
3. Fine-tuning end-to-end con l'inserimento di tutti i vincoli di momento.

3. Contributi Chiave

• Generazione Automatica di IV: ZNet automatizza la selezione e la costruzione di strumenti causali partendo da dati grezzi, eliminando la necessità di conoscenza di dominio preesistente per identificare $Z$.
• Compatibilità Universale: L'output di ZNet (le rappresentazioni $\tilde{Z}$) è compatibile con qualsiasi stimatore IV a due stadi esistente (es. TSLS, DeepIV, DFIV).
• Gestione di Dati Non Strutturati: Il metodo estende l'uso delle IV a spazi di feature ad alta dimensionalità (immagini, segnali medici) dove gli strumenti non sono variabili singole ma pattern latenti complessi.
• Ricostruzione di Strumenti Esistenti: Se un IV valido esiste già nei dati osservati, ZNet riesce a recuperarne una rappresentazione altamente correlata. Se non esiste, ne costruisce uno latente.

4. Risultati Sperimentali

Gli autori hanno valutato ZNet su 180 dataset sintetici (basati sul benchmark IHDP) e su un dataset semi-sintetico di Elettrocardiogrammi (ECG).

• Recupero degli Strumenti: In scenari dove esistevano candidati IV espliciti, ZNet ha dimostrato una forte correlazione con gli strumenti veri e ha soddisfatto le condizioni di IV (alta statistica F, bassa correlazione con confonditori ed errori).
• Stima dell'Effetto Causale (ATE e CATE):
  • ZNet ha superato i metodi di baseline (inclusi AutoIV, VIV, GIV) e il modello TARNet (che ignora i confonditori non osservati) nella stima dell'Effetto Medio del Trattamento (ATE).
  • Ha mostrato prestazioni superiori in scenari difficili dove i confonditori non osservati influenzano anche i dati osservati ($U \to X$) e dove non esistono candidati IV.
• Applicazione su Dati ECG: In un caso d'uso reale con dati ECG (dove non esiste un IV vero), ZNet ha estratto una rappresentazione latente che ha ridotto drasticamente l'errore di stima rispetto alla regressione OLS standard (Errore ATE: 0.126 vs 0.665), sfruttando pattern latenti nei dati medici.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo verso l'inferenza causale automatizzata in contesti di Machine Learning moderni.

• Superamento dei Limiti Tabellari: Sposta l'uso delle IV dal dominio dei dati tabellari strutturati a quello dei dati non strutturati e multimodali.
• Robustezza: Dimostra che è possibile mitigare il bias da confondimento non osservato anche senza conoscere a priori l'esistenza di uno strumento valido, aprendo nuove strade per la ricerca in medicina e scienze sociali dove gli strumenti classici sono rari.
• Limiti: Gli autori sottolineano che, sebbene le condizioni siano soddisfatte empiricamente, non vi è garanzia teorica di identificabilità in tutti i casi senza assunzioni forti sullo SCM. Tuttavia, i risultati empirici suggeriscono che ZNet è uno strumento pratico e potente per l'inferenza causale in scenari osservazionali complessi.

In sintesi, ZNet trasforma il problema della ricerca di strumenti causali in un problema di apprendimento di rappresentazioni, rendendo le tecniche IV accessibili e applicabili in una vasta gamma di scenari reali complessi.