Sintesi Tecnica: Causal Variational Deep Embedding (CAUVADE)

Definizione del Problema

I modelli generativi profondi (ad es., VAE, GAN, modelli di diffusione) sono progettati per riprodurre la distribuzione osservazionale dei dati di addestramento. Tuttavia, quando i dati di addestramento contengono correlazioni spurie guidate da confonditori non osservati ($U$), questi modelli ereditano tali bias. In un contesto causale, se un utente desidera manipolare un attributo $X$ (ad es., l'identità del numero) e osservare la distribuzione risultante di un attributo dipendente $Y$ (ad es., il colore dello sfondo), i modelli standard restituiscono la condizionale osservazionale $P(Y|X)$ piuttosto che la distribuzione interventiva $P_x(Y)$.

La sfida centrale è la identificabilità parziale. Quando $U$ è nascosto, la distribuzione osservazionale $P(X, Y)$ è coerente con un insieme di distinti meccanismi causali, ognuno dei quali predice una diversa $P_x(Y)$. Gli approcci generativi causali esistenti spesso risolvono questa ambiguità imponendo forti assunzioni strutturali (ad es., specifiche forme funzionali o indipendenza dal rumore) per selezionare un'unica distribuzione interventiva. Nei domini delle immagini, tali assunzioni sono raramente giustificate; un modello che restituisce una stima puntuale singola è eccessivamente sicuro di sé, avendo scelto silenziosamente uno degli elementi di un insieme di spiegazioni causali indistinguibili. L'obiettivo è caratterizzare la regione ammissibile — l'insieme di tutte le distribuzioni interventive coerenti con i dati osservati e con le assunzioni strutturali difendibili — piuttosto che impegnarsi su una singola stima puntuale.

Metodologia

1. Modelli Causali Strutturali Canonici Aumentati (CASCM)

Gli autori propongono una base teorica basata sugli Augmented Structural Causal Models (ASCM) estesi alla generazione di immagini. Un ASCM include una variabile immagine $I$ generata da variabili semantiche ($X, Y, Z$) e rumore esogeno.

• Giustificazione Teorica: Il documento dimostra che la classe dei Canonical ASCMs (CASCMs) è densa nella classe di tutti gli ASCM compatibili con un dato diagramma causale, sia sotto la distanza di 1-Wasserstein osservazionale che interventiva ($W_1$).
• Struttura Canonica: In un CASCM, il confonditore non osservato $U$ è limitato a una variabile latente discreta con supporto limitato ($U \in \{1, \dots, d\}$), mentre la variazione continua viene assorbita in rumori esogeni indipendenti ($E_Z, E_X, E_Y, E_I$). Questa riduzione permette di approssimare lo spazio di ricerca infinito-dimensionale dei generici ASCM tramite una classe trattabile dove il confonditore è un cluster discreto.

2. Architettura CAUVADE

Causal Variational Deep Embedding (CAUVADE) istanzia la classe CASCM come un VAE a miscela gaussiana (Gaussian-mixture VAE).

• Variabili Latenti:
  • Cluster $C$: Una variabile discreta che rappresenta il confondore canonico $U$.
  • Latente Continuo $Z$: Raggruppa l'attributo pre-trattamento e i rumori esogeni indipendenti.
• Processo Generativo: Il modello definisce una distribuzione congiunta in cui $C$ e $Z$ guidano la generazione di $X$, $Y$ e dell'immagine $I$.
• Intervento: Per generare campioni interventivi $P_x(I)$, il modello campiona $(C, Z)$ dalla loro prior congiunta (non dalla posterior data $X$), fissa $X=x$ e propaga attraverso i decoder per $Y$ e $I$. Questo interrompe il percorso di confondimento, distinguendo l'intervento dalla selezione.

3. Addestramento e lo Sweep $\gamma$

CAUVADE è addestrato su dati confusi dove solo $X$ è etichettato. La funzione obiettivo combina i termini standard del VAE con due regolarizzatori specifici:

1. Termine di Coerenza del Trattamento ($L_X$): Un classificatore ausiliario assicura che la rappresentazione latente $(C, Z)$ contenga informazioni sufficienti per predire il trattamento osservato $X$.
2. Regolarizzatore di Entropia del Cluster ($L_{ent}$): Un termine di entropia sulla posterior del cluster $q_\phi(C|I)$ pesato da uno scalare $\gamma$.
   • $\gamma$ Basso: La posterior collassa (bassa entropia), portando a un comportamento deterministico di tipo VAE che segue la condizionale osservazionale $P(Y|X)$.
   • $\gamma$ Alto: La posterior diventa uniforme (alta entropia), disaccoppiando l'immagine dalla specifica realizzazione del confondore e mediando sulla prior.
   • Lo Sweep: Effettuando uno sweep di $\gamma$ su un intervallo $[0, \infty)$, CAUVADE traccia una famiglia continua di generatori. Ogni $\gamma$ corrisponde a un diverso ottimo che si adatta ai dati osservazionali con una verosimiglianza comparabile ma induce una distinta distribuzione interventiva $P_x(I)$.

Contributi Chiave

1. Augmented SCM Canonico: Introduzione di una classe di modelli strutturali in cui i confonditori non osservati sono cluster latenti discreti. Gli autori dimostrano che questa classe è densa nello spazio di tutti gli ASCM compatibili sotto la distanza di Wasserstein, giustificando l'uso di questa classe più semplice per i domini delle immagini.
2. Framework CAUVADE: Un'istanza pratica della classe canonica utilizzando un VAE a miscela. Introduce un regolarizzatore di entropia sulla posterior del cluster per navigare la regione ammissibile delle distribuzioni interventive senza richiedere forti assunzioni strutturali o supervisione ausiliaria.
3. Identificazione Parziale tramite $\gamma$-Sweep: Dimostrazione che variando il peso dell'entropia $\gamma$, si traccia una curva attraverso la regione ammissibile delle spiegazioni causali. Ciò consente al modello di produrre un insieme diversificato di campioni interventivi coerenti con i dati, anziché una singola stima distorta.

Risultati Sperimentali

Gli autori valutano CAUVADE su tre dataset: Color-MNIST Confounded, CelebA e MIMIC-CXR-JPG.

• Color-MNIST: In un contesto in cui l'identità del numero e il colore dello sfondo sono correlati spuramente tramite un confondore nascosto, i VAE standard e gli ANCM collassano a stime puntuali singole (ovvero la condizionale confusa o un singolo punto all'interno del bound di Manski). CAUVADE, attraverso lo sweep di $\gamma$, produce un insieme diversificato di associazioni numero-colore che copre l'intero intervallo dei bound di Manski.
• CelebA: Modellando l'effetto di "Giovane" su "Trucco Pesante" con "Attrattiva" come confondore nascosto, CAUVADE genera campioni che si allineano visivamente alla verità di base non confusa attraverso diversi valori di $\gamma$, mentre i baseline falliscono nel disaccoppiare la correlazione spuria.
• MIMIC-CXR-JPG: Modellando l'effetto causale della Polmonite sull'Opacità Polmonare (confuso dalla posizione del paziente), CAUVADE raggiunge un Fréchet Inception Distance (FID) significativamente più basso rispetto a un riferimento non confuso (284.57) rispetto a VAE (354.97) e ANCM (407.73). I baseline o ereditano direttamente il bias o si impegnano in una singola spiegazione causale errata.

Significato e Rivendicazioni

Il paper sostiene che, in presenza di confonditori nascosti, l'oggetto "giusto" da modellare è la regione ammissibile delle distribuzioni interventive, non una singola stima puntuale.

• Rivendicazioni Modeste: Gli autori non pretendono di identificare il vero meccanismo causale (il che è impossibile senza ulteriori assunzioni). Sostengono invece di fornire un metodo che caratterizza fedelmente l'insieme delle spiegazioni plausibili coerenti con i dati.
• Impatto Pratico: Evitando l'eccessiva sicurezza dei stimatori puntuali, CAUVADE offre una rappresentazione più onesta dell'incertezza nella generazione di immagini causali. Il metodo è presentato come uno strumento pratico per la "generazione di immagini deconfundata" che produce campioni diversificati e di alta qualità che coprono l'intervallo di spiegazioni causali consentite dai dati osservazionali.
• Contributo Teorico: Il teorema di densità (Teorema 2.2) fornisce una giustificazione rigorosa per l'uso di cluster latenti discreti per approssimare complessi confonditori continui in spazi di immagini ad alta dimensione, colmando il divario tra l'inferenza causale teorica e la modellazione generativa profonda.