Consistent Bayesian causal discovery for structural equation models with equal error variances

Aquí presento un resumen técnico detallado del artículo "Consistent Bayesian causal discovery for structural equation models with equal error variances" (Descubrimiento causal bayesiano consistente para modelos de ecuaciones estructurales con varianzas de error iguales), estructurado según los puntos solicitados.

1. El Problema

El artículo aborda el problema de la descubrimiento de la estructura causal a partir de datos puramente observacionales. Específicamente, se centra en recuperar el grafo acíclico dirigido (DAG) verdadero que genera un conjunto de variables aleatorias, bajo el marco de Modelos de Ecuaciones Estructurales (SEM) lineales.

Los desafíos y supuestos clave del problema son:

• Identificabilidad: En general, los DAGs solo son identificables hasta su clase de equivalencia de Markov (diferentes DAGs pueden codificar las mismas independencias condicionales). Sin embargo, bajo ciertas suposiciones distribucionales, el DAG verdadero puede ser identificado de manera única.
• Suposición de Varianzas Iguales: El trabajo se centra en el caso donde los términos de error de las ecuaciones estructurales son independientes, tienen media cero y, crucialmente, varianzas iguales ($\sigma^2$), pero no necesariamente siguen una distribución Gaussiana.
• Brecha de Investigación: Aunque se sabe teóricamente que el DAG es identificable bajo la suposición de varianzas iguales (incluso con errores no Gaussianos), los métodos bayesianos existentes suelen enfocarse en modelos Gaussianos o carecen de garantías teóricas de consistencia (es decir, que la probabilidad posterior del DAG verdadero tienda a 1 a medida que el tamaño de la muestra crece) cuando el modelo de trabajo está mal especificado (es decir, se asume Gaussianidad pero los datos no lo son).

2. Metodología

Los autores proponen un método de selección de DAGs bayesiano que combina un modelo de trabajo paramétrico con una prueba teórica de consistencia bajo mal especificación.

A. Modelo de Trabajo y Priors

Aunque los datos pueden generarse con errores no Gaussianos, el método asume un modelo de trabajo SEM Gaussiano con varianzas de error iguales para facilitar el cálculo analítico:

• Ecuación: $X_j = X_{pa_\gamma(j)}^T b_j^\gamma + e_j^\gamma$, donde $e_j^\gamma \sim N(0, \theta^\gamma)$.
• Priors:
  • Se utilizan priors $g$ independientes para los coeficientes de las ecuaciones estructurales ($b_j^\gamma$) condicionados a la varianza $\theta^\gamma$.
  • Se utiliza un prior de Jeffreys no informativo para la varianza del error ($\theta^\gamma \propto 1/\theta^\gamma$).
  • Se asume un prior sobre la estructura del DAG ($\pi(\gamma)$), típicamente uniforme o con masa positiva en todo el espacio de DAGs.

B. Cálculo de la Verosimilitud Marginal

Bajo esta combinación de modelo y prior, los autores derivan una expresión de forma cerrada para la verosimilitud marginal (evidencia) de un DAG $\gamma$:
$$m(D_n | \gamma) \propto (V_n + g R_n^\gamma)^{-np/2} (1+g)^{(np - |\gamma|)/2}$$
Donde:

• $V_n$ es una estadística basada en la varianza total de los datos.
• $R_n^\gamma$ es la suma de los errores cuadrados mínimos (SSE) de las regresiones lineales de cada variable sobre sus padres en el grafo $\gamma$.
• $|\gamma|$ es el número de aristas en el grafo.

Este término $R_n^\gamma$ es el componente clave que conecta la verosimilitud bayesiana con la propiedad de minimización de errores.

C. Estrategia de Selección

El método selecciona el DAG maximizando la probabilidad posterior $\pi(\gamma | D_n)$. La consistencia se logra eligiendo el parámetro $g$ de manera que crezca con el tamaño de la muestra (específicamente $g=n$), lo que permite que los factores de Bayes favorezcan exponencialmente al DAG verdadero frente a otros candidatos a medida que $n \to \infty$.

3. Contribuciones Clave

1. Nueva Prueba de Propiedad de Minimización (Teorema 1):
   Los autores proporcionan una demostración alternativa y rigurosa de un resultado fundamental: la suma de los errores cuadráticos esperados mínimos (al predecir cada variable con la mejor combinación lineal de sus padres) se minimiza si y solo si el grafo considerado es un supergrafo del DAG verdadero ($\gamma \supseteq \gamma^*$).

   • Innovación: Utilizan una formulación basada en la descomposición de Cholesky de la matriz de covarianza y sus entradas diagonales, vinculando la regresión lineal con la estructura de la covarianza bajo un orden causal.

2. Consistencia Posterior bajo Mal Especificación (Teorema 2):
   Demuestran que su método de selección bayesiana es consistente incluso si los errores reales no son Gaussianos.

   • Bajo la suposición de varianzas iguales, la probabilidad posterior del DAG verdadero converge a 1 en probabilidad cuando $n \to \infty$.
   • Esto se logra sin asumir que la distribución de los errores es Gaussiana, ni asumiendo que el orden causal es conocido de antemano, ni requiriendo supuestos de "fiabilidad" (faithfulness) adicionales más allá de la estructura del modelo.

3. Marco Bayesiano Robusto:
   Llenan la brecha teórica en el aprendizaje de estructuras bayesianas para casos no Gaussianos con varianzas iguales, proporcionando garantías asintóticas que antes faltaban en la literatura.

4. Resultados

• Simulaciones: Los autores realizaron un estudio de simulación con $p=3$ variables y errores generados a partir de distribuciones no Gaussianas (Laplace, t-Student y Normal).

  • Se probaron tamaños de muestra crecientes ($n = 1600, 3200, \dots, 12800$).
  • Hallazgo: Los diagramas de caja de la probabilidad posterior del DAG verdadero ($\pi(\gamma^* | D_n)$) se contraen rápidamente hacia 1 a medida que aumenta $n$, confirmando empíricamente la convergencia en probabilidad predicha teóricamente.
  • La concentración de la masa posterior cerca de 1 fue evidente incluso con distribuciones de error altamente no Gaussianas (como la t-Student con 3 grados de libertad).

• Análisis Teórico: La prueba del Teorema 2 establece una cota superior para la probabilidad de error de selección ($1 - \pi(\gamma^* | D_n)$), mostrando que decae exponencialmente con el tamaño de la muestra, dominada por términos que involucran la diferencia en los errores cuadráticos esperados entre el DAG verdadero y los falsos.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Robustez Distribucional: Permite aplicar métodos bayesianos de descubrimiento causal en escenarios del mundo real donde la normalidad de los errores es una suposición poco realista, pero donde la homogeneidad de la varianza del error es plausible (o puede ser aproximada).
• Identificabilidad Única: Refuerza la utilidad de la suposición de "varianzas de error iguales" como una vía para la identificación única del DAG, superando la ambigüedad de la clase de equivalencia de Markov sin necesidad de intervenciones experimentales.
• Fundamento Teórico: Proporciona una base teórica sólida para el uso de priores $g$ en SEMs lineales, demostrando que la inferencia bayesiana puede ser consistente incluso cuando el modelo de trabajo (Gaussiano) es una aproximación de la realidad.
• Aplicabilidad: El método es computacionalmente eficiente debido a la forma cerrada de la verosimilitud marginal, lo que facilita su implementación en comparación con métodos que requieren MCMC complejo o optimización no convexa para distribuciones no Gaussianas.

En resumen, el artículo establece un nuevo estándar para el aprendizaje de estructuras causales bayesianas, demostrando que se puede lograr una recuperación consistente del DAG verdadero bajo condiciones distribucionales más generales de lo que se creía posible anteriormente, utilizando una estrategia de modelado de trabajo Gaussiano con priores adecuados.