Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

Resumen Técnico: Aprendizaje de Estructura Adaptativo de DAGs con Prior No Conjugado

Planteamiento del Problema
El artículo aborda el desafío de aprender la estructura de Grafos Acíclicos Dirigidos (DAGs) dentro de un marco bayesiano, específicamente para modelos DAG gaussianos. Si bien los DAGs son herramientas poderosas para representar independencias condicionales y relaciones causales, determinar la estructura de grafo óptima es computacionalmente intensivo y estadísticamente incierto. Los enfoques bayesianos tradicionales suelen depender de priors conjugados, como la distribución Normal-Inversa-Gamma (NIG), para facilitar la tractabilidad analítica. Sin embargo, los autores argumentan que estos priors conjugados pueden no siempre proporcionar la mayor probabilidad posterior o el aprendizaje estructural más preciso, particularmente en lo que respecta a la inclusión de nodos y aristas en el modelo generador. El objetivo principal es desarrollar un método que mejore la probabilidad posterior y la eficiencia computacional manteniendo la adaptabilidad en el aprendizaje de la estructura.

Metodología
Los autores proponen un nuevo enfoque de aprendizaje de estructura bayesiana utilizando un prior Normal-Gamma (NG) no conjugado para los parámetros de los DAGs gaussianos.

1. Formulación del Modelo:

   • La distribución conjunta de las variables se modela como un DAG gaussiano de media cero, reparametrizado mediante una descomposición de Cholesky modificada ($\Omega = L D^{-1} L^T$).
   • Los parámetros consisten en los elementos diagonales $D_{jj}$ (varianzas condicionales) y los coeficientes de regresión triangulares inferiores $L_{\prec j]}$.
   • A diferencia del enfoque NIG estándar donde $D_{jj}$ sigue una distribución Inversa-Gamma, el método propuesto asigna a $D_{jj}$ una distribución Gamma ($\Gamma$), manteniendo una distribución Normal para $L_{\prec j]}$ condicional a $D_{jj}$.

2. Derivación Teórica:

   • Los autores derivan la verosimilitud marginal y las funciones de densidad posterior conjunta para los parámetros de los nodos bajo este prior no conjugado.
   • Un resultado teórico clave involucra la aparición de la función de Bessel de tercera especie ($K_\nu$) en las expresiones de la densidad posterior y marginal. Esta propiedad matemática permite el cálculo de las probabilidades posteriores sin las simplificaciones analíticas que típicamente ofrece la conjugación.

3. Algoritmo MCMC:

   • Para realizar la inferencia posterior, se desarrolla un esquema de Monte Carlo por Cadenas de Markov (MCMC).
   • El algoritmo explora el espacio de los DAGs ($S_q$) utilizando operadores locales: insertar, eliminar y revertir aristas dirigidas, asegurando que el grafo resultante permanezca acíclico.
   • La probabilidad de aceptación para la transición entre DAGs se calcula utilizando las verosimilitudes marginales derivadas (Teorema 1) y la probabilidad a priori de inclusión de aristas.
   • Se muestrean las distribuciones condicionales completas para los parámetros en cada iteración para actualizar la estructura del grafo y los parámetros simultáneamente.

Contribuciones Clave

• Implementación de Prior No Conjugado: El artículo introduce el uso de un prior Normal-Gamma para DAGs gaussianos, alejándose del marco conjugado Normal-Inversa-Gamma estándar.
• Eficiencia Computacional vía Funciones de Bessel: Contrario a la intuición de que los priors no conjugados aumentan la carga computacional, los autores demuestran que el uso de la función de Bessel en el cálculo del posterior resulta en una computación MCMC más rápida en comparación con el modelo NIG conjugado.
• Esparcidad Adaptativa: El método propuesto exhibe un comportamiento "cauto" o conservador respecto a la inclusión de aristas. Tiende a incluir aristas solo cuando la probabilidad de inclusión es alta, lo que conduce a DAGs más esparsos cuando la probabilidad a priori de inclusión de aristas es baja.
• Mayor Probabilidad Posterior: El estudio afirma que el prior NG propuesto produce una mayor probabilidad posterior para el DAG de Máxima Probabilidad a Posteriori (MAP) en comparación con el prior NIG.

Resultados
La metodología fue evaluada mediante estudios de simulación y una aplicación en el mundo real:

1. Estudios de Simulación:

   • Métricas de Desempeño: El modelo NG se comparó contra el modelo NIG a través de varios tamaños de muestra ($n=200, 300$) y conteos de nodos ($q=40, 50$).
   • Precisión: El modelo NG demostró un desempeño superior en Especificidad (SP), Tasa de Falsos Negativos (FNR), Tasa de Mal Especificación (MISR) y Exactitud (AC).
   • Compromiso de Sensibilidad: El modelo NG mostró una Sensibilidad (SE) y puntuaciones F1 más bajas en comparación con el NIG. Los autores atribuyen esto a la naturaleza conservadora del modelo; con una baja probabilidad a priori de inclusión de aristas, el modelo NG produce menos verdaderos positivos, lo que resulta en una menor sensibilidad pero una mayor especificidad.
   • Tiempo Computacional: El tiempo de computación por iteración para el modelo NG fue generalmente menor que el del modelo NIG, incluso a medida que aumentaban el número de variables y el tamaño de la muestra. La inclusión de la función de Bessel no introdujo retrasos computacionales significativos.

2. Análisis de Datos de AML:

   • El método se aplicó a un conjunto de datos de pacientes con Leucemia Mieloide Aguda (AML) ($n=68, q=18$ proteínas).
   • Convergencia: Los gráficos de traza (trace plots) indicaron una buena mezcla (mixing) y convergencia de MCMC.
   • Probabilidad Posterior: La probabilidad posterior del DAG MAP estimado por el modelo NG fue de 0.769, significativamente mayor que el 0.0016 obtenido por el modelo NIG.
   • Estimaciones Estructurales: Tanto el Modelo de Probabilidad Mediana (MPM) como las estimaciones MAP fueron generados, mostrando capacidades consistentes de aprendizaje estructural.

Significancia y Reivindicaciones
El artículo afirma que el enfoque de aprendizaje de estructura bayesiana adaptativo propuesto ofrece una alternativa robusta a los priors conjugados tradicionales. Al emplear un prior Normal-Gamma no conjugado, el método logra:

• Mayor Probabilidad Posterior: El DAG MAP resultante tiene una probabilidad posterior sustancialmente mayor, lo que sugiere un mejor ajuste al proceso generador de datos.
• Ventaja Computacional: A pesar de la complejidad teórica de la no conjugación, el método es computacionalmente más rápido que el enfoque NIG conjugado.
• Adaptabilidad: El modelo se adapta a la estructura real al ser conservador en la inclusión de aristas, filtrando eficazmente las relaciones espurias cuando el prior sugiere una baja densidad de aristas.

Los autores concluyen que esta técnica tiene aplicaciones potenciales en el descubrimiento y la estimación causal, proporcionando una herramienta más precisa y eficiente para descubrir dependencias de variables en escenarios multivariantes.