Resumen Técnico: Causal Variational Deep Embedding (CAUVADE)

Planteamiento del Problema

Los modelos generativos profundos (p. ej., VAEs, GANs, modelos de difusión) están diseñados para reproducir la distribución observacional de los datos de entrenamiento. Sin embargo, cuando los datos de entrenamiento contienen correlaciones espurias impulsadas por confundidores no observados ($U$), estos modelos heredan dichos sesgos. En un entorno causal, si un usuario desea manipular un atributo $X$ (p. ej., la identidad de un dígito) y observar la distribución resultante de un atributo dependiente $Y$ (p. ej., el color de fondo), los modelos estándar devuelven la condicional observacional $P(Y|X)$ en lugar de la distribución intervencional $P_x(Y)$.

El desafío central es la identificabilidad parcial. Cuando $U$ está oculto, la distribución observacional $P(X, Y)$ es consistente con un conjunto de mecanismos causales distintos, cada uno de los cuales predice una $P_x(Y)$ diferente. Los enfoques generativos causales existentes suelen resolver esta ambigüedad imponiendo supuestos estructurales fuertes (p. ej., formas funcionales específicas o independencia de ruido) para seleccionar una única distribución intervencional. En dominios de imágenes, tales supuestos rara vez están justificados; un modelo que devuelve una estimación de punto único es excesivamente confiado, habiendo elegido silenciosamente un elemento de un conjunto de explicaciones causales indistinguibles. El objetivo es caracterizar la región factible —el conjunto de todas las distribuciones intervencionales consistentes con los datos observados y los supuestos estructurales defendibles— en lugar de comprometerse con un único punto estimado.

Metodología

1. Modelos Causales Estructurales Canónicos Aumentados (CASCMs)

Los autores proponen una base teórica basada en Modelos Estructurales Causales Aumentados (ASCMs) extendidos a la generación de imágenes. Un ASCM incluye una variable de imagen $I$ generada por variables semánticas ($X, Y, Z$) y ruido exógeno.

• Justificación Teórica: El artículo demuestra que la clase de los CASCMs (Canonical ASCMs) es densa en la clase de todos los ASCMs compatibles con un diagrama causal dado, tanto bajo la distancia de Wasserstein 1-Wasserstein ($W_1$) observacional como intervencional.
• Estructura Canónica: En un CASCM, el confundidor no observado $U$ se restringe a una variable latente discreta con soporte acotado ($U \in \{1, \dots, d\}$), mientras que la variación continua se absorbe en ruidos exógenos independientes ($E_Z, E_X, E_Y, E_I$). Esta reducción permite que el espacio de búsqueda de dimensiones infinitas de los ASCMs generales sea aproximado por una clase tratable donde el confundidor es un clúster discreto.

2. Arquitectura CAUVADE

Causal Variational Deep Embedding (CAUVADE) instancia la clase CASCM como un VAE de mezcla gaussiana (Gaussian-mixture VAE).

• Variables Latentes:
  • Clúster $C$: Una variable discreta que representa el $U$ canónico.
  • Latente Continuo $Z$: Agrupa el atributo pre-tratamiento y los ruidos exógenos independientes.
• Proceso Generativo: El modelo define una distribución conjunta donde $C$ y $Z$ impulsan la generación de $X$, $Y$ y la imagen $I$.
• Intervención: Para generar muestras intervencionales $P_x(I)$, el modelo muestrea $(C, Z)$ de su prior conjunto (no de la posterior dado $X$), fija $X=x$, y propaga a través de los decodificadores para $Y$ e $I$. Esto rompe la vía de confusión, distinguiendo la intervención de la selección.

3. Entrenamiento y el $\gamma$-Sweep

CAUVADE se entrena con datos confundidos donde solo $X$ está etiquetado. La función objetivo combina términos estándar de VAE con dos regularizadores específicos:

1. Término de Consistencia de Tratamiento ($L_X$): Un clasificador auxiliar asegura que la representación latente $(C, Z)$ contenga información suficiente para predecir el tratamiento observado $X$.
2. Regularizador de Entropía de Clúster ($L_{ent}$): Un término de entropía sobre la posterior del clúster $q_\phi(C|I)$ ponderado por un escalar $\gamma$.
   • $\gamma$ Bajo: La posterior colapsa (entropía baja), lo que lleva a un comportamiento determinista tipo VAE que rastrea la condicional observacional $P(Y|X)$.
   • $\gamma$ Alto: La posterior se vuelve uniforme (entropía alta), desacoplando la imagen de la realización específica del confundidor y promediando sobre el prior.
   • El Barrido (Sweep): Al barrer $\gamma$ sobre un rango $[0, \infty)$, CAUVADE traza una familia continua de generadores. Cada $\gamma$ corresponde a un óptimo distinto que ajusta los datos observacionales con una verosimilitud comparable pero induce una distribución intervencional $P_x(I)$ distinta.

Contribuciones Clave

1. ASCM Canónico: Introducción de una clase de modelos estructurales donde los confundidores no observados son clústeres latentes discretos. Los autores demuestran que esta clase es densa en el espacio de todos los ASCMs compatibles bajo la distancia de Wasserstein, justificando la restricción a esta clase más simple para dominios de imágenes.
2. Marco CAUVADE: Una instancia práctica de la clase canónica utilizando un VAE de mezcla. Introduce un regularizador de entropía en la posterior del clúster para navegar la región factible de distribuciones intervencionales sin requerir supuestos estructurales fuertes o supervisión auxiliar.
3. Identificación Parcial vía $\gamma$-Sweep: Demostración de que variar el peso de la entropía $\gamma$ traza una curva a través de la región factible de explicaciones causales. Esto permite que el modelo produzca un conjunto diverso de muestras intervencionales consistentes con los datos, en lugar de una única estimación sesgada.

Resultados Experimentales

Los autores evalúan CAUVADE en tres conjuntos de datos: Color-MNIST confundido, CelebA y MIMIC-CXR-JPG.

• Color-MNIST: En un escenario donde la identidad del dígito y el color de fondo están correlacionados espuriamente a través de un confundidor oculto, los VAEs estándar y los ANCM colapsan a estimaciones de punto único (ya sea la condicional confundida o un punto único dentro del límite de Manski). CAUVADE, mediante el barrido de $\gamma$, produce un conjunto diverso de asociaciones dígito-color que abarcan toda la región factible definida por los límites de Manski.
• CelebA: Modelando el efecto de "Joven" sobre "Maquillaje Pesado" con "Atractivo" como un confundidor oculto, CAUVADE genera muestras que se alinean visualmente con la verdad de campo no confundida a través de diferentes valores de $\gamma$, mientras que las líneas base fallan en el desentrelazamiento de la correlación espuria.
• MIMIC-CXR-JPG: Modelando el efecto causal de la Neumonía en la Opacidad Pulmonar (confundido por la posición del paciente), CAUVADE logra una Distancia de Fréchet Inception (FID) significativamente menor contra una referencia no confundida (284.57) comparado con VAE (354.97) y ANCM (407.73). Las líneas base o heredan el sesgo directamente o se comprometen con una única explicación causal incorrecta.

Significancia y Reivindicaciones

El artículo sostiene que, en presencia de confundidores ocultos, el "objeto correcto a modelar" es la región factible de distribuciones intervencionales, no un único estimador de punto.

• Reivindicaciones Modestas: Los autores no afirman identificar el mecanismo causal verdadero (lo cual es imposible sin supuestos adicionales). En su lugar, afirman proporcionar un método que caracteriza fielmente el conjunto de mecanismos plausibles consistentes con los datos.
• Impacto Práctico: Al evitar la sobreconfianza de los estimadores de punto único, CAUVADE ofrece una representación más honesta de la incertidumbre en la generación de imágenes causales. El método se presenta como una herramienta práctica para la "generación de imágenes desconfundida" que produce muestras diversas y de alta calidad que cubren el rango de explicaciones causales permitidas por los datos observacionales.
• Contribución Teórica: El teorema de densidad (Teorema 2.2) proporciona una justificación rigurosa para el uso de clústeres latentes discretos para aproximar complejos confundidores continuos en espacios de imágenes de alta dimensión, cerrando la breancia entre la inferencia causal teórica y el modelado generativo profundo.