Discrete Causal Representations from Heterogeneous Domains: A Bayesian Approach with Social Survey Applications

Resumen Técnico: Aprendizaje de Representaciones Causales Multidominio Bayesiano

Configuración del Problema
El aprendizaje de representaciones causales (CRL, por sus siglas en inglés) tiene como objetivo inferir conceptos causales latentes de alto nivel a partir de mediciones observadas de bajo nivel. Si bien la identificabilidad de tales representaciones ha sido ampliamente estudiada teóricamente, los métodos prácticos que consideran la incertidumbre para datos del mundo real siguen siendo poco explorados. Este trabajo aborda el desafío de aprender representaciones causales discretas a partir de datos heterogéneos recolectados a través de múltiples dominios (entornos).

La dificultad central radica en que las variables causales suelen ser latentes y solo se observan indirectamente a través de indicadores de alta dimensión (por ejemplo, respuestas de encuestas). Además, los cambios en la distribución a través de los dominios suelen surgir de cambios esparcidos y localizados en los mecanismos causales subyacentes (intervenciones), mientras que otras partes del proceso generativo permanecen invariantes. Los métodos estándar de descubrimiento causal suelen fallar en este escenario debido al desajuste entre los datos observados y las variables latentes, así como a la falta de intervenciones perfectas de un solo nodo en escenarios del mundo real.

Metodología
Los autores proponen un modelo bayesiano jerárquico que formaliza el proceso generador de datos como un modelo de variables latentes con conceptos causales discretos. El marco integra tres componentes clave:

1. Estructura del Modelo Generativo:

   • Modelo Causal Latente: Las variables latentes $Z = (Z_1, \dots, Z_L)$ son discretas y siguen un grafo causal $G$. La distribución conjunta se factoriza en mecanismos causales $p(Z_\ell | PA_\ell)$.
   • Intervenciones Multidominio: Las diferencias entre dominios se modelan como intervenciones desconocidas, suaves (imperfectas) y de múltiples nodos sobre los mecanismos causales latentes. El modelo asume un proceso de medición invariante $p(X|Z)$ en todos los dominios, mientras que la distribución latente $p(Z)$ varía debido a estas intervenciones.
   • Latentes Discretos: El modelo se centra en variables latentes discretas, lo que permite que las distribuciones marginales específicas de cada dominio $p(X)$ se expresen como modelos de mezcla finitos con pesos de mezcla específicos de cada dominio pero con componentes de mezcla compartidos.

2. Prioris Bayesianos y Supuestos:

   • Cambios de Mecanismo Esparcidos: Para manejar muestras finitas y evitar el sobreajuste, los autores refinan la hipótesis de cambio de mecanismo esparcido. Introducen la detectabilidad de intervención $\epsilon$ (Supuesto 3.3), que requiere que cualquier intervención activa induzca un cambio de distribución (medido por la divergencia KL) de al menos $\epsilon$.
   • Prior de Cambio con Umbral de KL: Para operativizar la detectabilidad, los autores diseñan un nuevo prior para los cambios de intervención en el espacio logit. Este prior utiliza una aproximación cuadrática de la divergencia KL para truncar los cambios que son demasiado pequeños para ser distinguibles del ruido, descartando efectivamente intervenciones insignificantes.
   • Inducción de la Escasez (Sparsity): Se coloca un prior Beta-Bernoulli sobre los objetivos de intervención para inducir escasez, reflejando la suposición de que los cambios de distribución afectan solo a unos pocos factores.
   • Modelo de Medición: Se utiliza un modelo de medición gaussiano aditivo, donde los conceptos latentes contribuyen de forma aditiva a la media de las variables observadas. Esta parametrización ayuda a la interpretabilidad al tratar los niveles latentes como factores ordinales.

3. Esquema de Inferencia:

   • Debido a la naturaleza altamente multimodal de la posterior (derivada de las simetrías de permutación en el ordenamiento latente), el muestreo de Gibbs estándar es insuficiente.
   • Los autores emplean Muestreo de Monte Carlo Secuencial (SMCS) con atemperamiento de verosimilitud (likelihood tempering). Este método basado en poblaciones hace evolucionar un conjunto de partículas a través de una secuencia de distribuciones intermedias (desde el prior hacia la posterior) utilizando pasos de reponderación, remuestreo y mutación (actualizaciones de Gibbs).
   • La inferencia aprovecha las actualizaciones conjugadas para la mayoría de los parámetros y utiliza la aumentación de datos Pólya-Gamma para manejar eficientemente los parámetros logit no conjugados.

Contribuciones Clave

1. Conceptual: El artículo formula un modelo bayesiano jerárquico para datos intervencionistas multidominio, traduciendo supuestos causales (modularidad, cambios esparcidos) en elecciones de modelado y prioris específicos. Refina la hipótesis de cambio de mecanismo esparcido para escenarios de muestra finita mediante la condición de $\epsilon$-detectabilidad.
2. Técnica: Los autores desarrollan un nuevo prior truncado por divergencia KL para los cambios de intervención y un procedimiento de inferencia basado en SMCS capaz de explorar posteriores complejas y multimodales sobre estructuras causales latentes.
3. Empírica: El trabajo demuestra la aplicación de un flujo completo de CRL no supervisado —desde la formulación del modelo hasta la estimación e interpretación— en datos complejos del mundo real, específicamente conjuntos de datos de encuestas sociales y políticas.

Resultos
El método fue evaluado en datos sintéticos y dos estudios de caso del mundo real:

• Experimentos Sintéticos: El enfoque SMCS superó al muestreo de Gibbs estándar, al Parallel Tempering y a la Inferencia Variacional en la recuperación de la verdadera estructura causal latente y los objetivos de intervención. Los estudios de ablación mostraron que eliminar el umbral de KL o los prioris de escasez mejoraba el ajuste predictivo (LPPD) pero degradaba significamente la recuperación de la estructura causal subyacente, resaltando un compromiso entre la predicción y el descubrimiento causal.
• Encuesta de Valores Mundiales (WVS): Aplicado a datos de encuestas transnacionales (2017–2022), el modelo recuperó tres factores latentes interpretables: dificultad económica, demografía y conservadurismo cultural. Estos se alinearon con el mapa establecido de Inglehart–Welzel sobre la variación transcultural. El modelo infirió una estructura causal donde la dificultad económica y la demografía influyen en el conservadurismo cultural, e identificó patrones de intervención específicos de cada país consistentes con los cambios socioeconómicos conocidos.
• Datos de Opinión Política de EE. UU.:
  • Datos Reales: El análisis de datos de encuestas de diferentes regiones de EE. UU. y niveles de urbanidad reveló una estructura latente mayoritariamente unidimensional que refleja las divisiones partidistas (gradientes rural vs. urbano), consistente con las tendencias políticas conocidas.
  • Datos Generados por LLM: Utilizando un conjunto de datos "semi-sintético" generado por Modelos de Lenguaje de Gran Escala (LLM) con intervenciones controladas, el modelo recuperó con éxito un grafo causal de cinco variables que involucraba Regulación, Partidismo, Comercio, Inmigración y Pobreza. Las dependencias recuperadas (por ejemplo, Regulación $\to$ Pobreza) se alinearon con los efectos de tratamiento de la "verdad fundamental" (ground-truth) embebidos en el proceso de generación sintética.

Significancia y Reivindicaciones
El artículo afirma ser una de las primeras demostraciones exitosas de la aplicación de un flujo completo de CRL no supervisado a datos complejos del mundo real. Su significancia radica en ir más allá de los entornos sintéticos idealizados y los resultados de identificabilidad teórica para desarrollar un marco bayesiano robusto y consciente de la incertidumbre, capaz de manejar:

• Tamaños de muestra finitos.
• Intervenciones imperfectas, de múltiples nodos y suaves.
• Identificabilidad parcial y errores de especificación del modelo.

Al dirigirse a una distribución posterior en lugar de a un estimador puntual, el método cuantifica tanto la incertidumbre epistémica (debida a datos limitados) como la incertidumbre aleatoria (debida a ambigüedades inherentes en el proceso generativo). Los autores posicionan este trabajo como un paso hacia el cierre de la brecha entre el aprendizaje de representaciones causales teórico y las aplicaciones prácticas en campos como las ciencias sociales, donde las variables causales son latentes y las intervenciones no son observadas.