Nonparametric undirected graphical model selection using diffusion models

Resumen Técnico: Selección de Modelos Gráficos No Dirigidos No Paramétricos mediante Modelos de Difusión

Planteamiento del Problema
Los modelos gráficos no dirigidos proporcionan un marco para representar estructuras de independencia condicional entre variables aleatorias de alta dimensión. Si bien la selección de modelos es un problema central en la estadística de alta dimensión con aplicaciones en genómica, neurociencia y finanzas, la mayoría de los métodos existentes dependen de supuestos paramétricos (por ejemplo, modelos gráficos gaussianos o modelos de Ising). Estos métodos suelen fallar cuando la distribución verdadera se desvía de la forma paramétrica asumida. Existen enfoques no paramétricos, pero son estadísticamente desafiantes debido a la "maldición de la dimensionalidad" en la estimación de la densidad y la complejidad adicional de estimar las derivadas de segundo orden (el Hessiano de la log-densidad), que son necesarias para identificar la estructura del grafo mediante la equivalencia $(i, j) \notin E_0 \iff \frac{\partial^2 \log p_0}{\partial x_i \partial x_j} = 0$.

Metodología
Los autores proponen un novedoso enfoque no paramétrico para la selección de modelos gráficos no dirigidos basado en modelos de difusión. El método aprovecha el hecho de que los modelos de difusión pueden estimar funciones de puntuación (gradientes de la log-densidad) y adaptarse a estructuras de baja dimensión sin sufrir la plena maldición de la dimensionalidad.

El procedimiento propuesto, resumido en el Algoritmo 1, consta de los siguientes pasos:

1. Estimación de la Función de Puntuación: Utilizando un marco de modelado de difusión estándar (específicamente, el Modelo Probabilístico de Difusión de Eliminación de Ruido, DDPM), los autores estiman una familia de funciones de puntuación $f_0(x, t) = \nabla \log p_t(x)$, donde $p_t$ es la densidad marginal del proceso de difusión hacia adelante en un tiempo $t$. Esto se logra mediante el ajuste de puntuación (score matching) sobre los datos observados.
2. Estimación del Hessiano mediante la Fórmula de Tweedie: En lugar de diferenciar directamente la función de puntuación estimada (lo cual es numéricamente inestable), el método utiliza la fórmula de Tweedie de segundo orden. Esta fórmula relaciona el Hessiano de la log-densidad $\nabla^2 \log p_t(x)$ con la covarianza condicional de los datos originales $X_0$ dada la observación ruidosa $X_t = x$:
   $$\nabla^2 \log p_t(x) = \sigma_t^{-4} \mu_t^2 \text{Cov}[X_0 | X_t = x] - \sigma_t^{-2} I_D$$
   donde $\mu_t$ y $\sigma_t$ son parámetros del proceso de Ornstein-Uhlenbeck hacia adelante.
3. Recuperación del Grafo: El método estima la covarianza condicional $\text{Cov}[X_0 | X_t = x]$ utilizando el muestreo de Monte Carlo del proceso de difusión inversa. Específicamente, para un tiempo $t$ fijo y un vector aleatorio $U_t$, los autores computan la expectativa empírica de los valores absolutos de las entradas del Hessiano estimado, $E_n[|\hat{H}_{ij}(U_t, t)|]$.
4. Umbralización y Agrupamiento: Se incluye un arco $(i, j)$ en el grafo estimado si la magnitud promedio de la entrada del Hessiano supera un umbral $\tau$. Para manejar la sintonización práctica, los autores proponen agregar información a través de múltiples pasos de tiempo pequeños $t_1, \dots, t_M$ y aplicar el agrupamiento K-means a los valores estandarizados del Hessiano para separar los arcos de las no-arcos.

Contribuciones Teóricas Clave
El artículo establece garantías teóricas rigurosas para el método propuesto bajo condiciones de regularidad suaves (específicamente, que $\log p_0$ pertenece a una clase de Hölder $\mathcal{H}_{\beta, K}$):

• Tasas de Decaimiento: Los autores demuestran que la covarianza condicional $\text{Cov}[X_{0,i}, X_{0,j} | X_t = x]$ decae a diferentes tasas dependiendo de la distancia de grafo $d(i, j)$ entre los nodos. Para los arcos ($d(i, j)=1$), la covarianza decae como $O(t^2)$, mientras que para los no-arcos ($d(i, j) \ge 2$), decae más rápido, como $O(t^{(\beta+2)\wedge 5/2})$.
• Consistencia de Selección: Bajo el supuesto de que el estimador de la función de puntuación converge a la verdadera función de puntuación a una tasa $\epsilon_n$, los autores derivan un límite superior no asintótico para la probabilidad de una selección de grafo incorrecta. Muestran que, con elecciones apropiadas del parámetro de tiempo $t$ y el umbral $\tau$, el estimador es consistente (es decir, $P(\hat{G}_{t, \tau} \neq G_0) = o(1)$) en un régimen de dimensión fija.
• Evitación de la Estimación Directa del Hessiano: Al utilizar el proceso de difusión y la fórmula de Tweedie, el método evita la necesidad de estimar directamente el Hessiano de la log-densidad de la distribución original $p_0$, lo cual es estadísticamente más exigente.

Resultados Empíricos
Los autores evalúan el método a través de simulaciones extensas y dos análisis de datos reales:

• Simulaciones: El método fue probado en cuatro distribuciones: dos gaussianas y dos no gaussianas (distribución Butterfly y cópula Gaussiana). El método basado en difusión propuesto (DDPM) se desempeñó de manera competitiva con los modelos paramétricos correctamente especificados (por ejemplo, Lasso Gráfico para datos gaussianos) y superó significativamente a las líneas base no paramétricas existentes (SING y L-SING) en todas las distribuciones. Notablemente, logró una recuperación perfecta del grafo en entornos no gaussianos donde los métodos paramétricos fallaron.
• Análisis de Imágenes (MNIST): Aplicado al conjunto de datos MNIST ($D=784$), el método recuperó un grafo de independencia condicional disperso consistente con el principio de localidad de las imágenes (píxeles conectados principalmente a sus vecinos inmediatos). También identificó una asimetría específica en los bordes diagonales, reflejando la inclinación hacia la derecha de los dígitos escritos a mano en el conjunto de datos.
• Datos Financieros (Precios de Acciones): Aplicado a los rendimientos diarios de 28 empresas industriales, el método recuperó un grafo disperso de dependencias condicionales. Los arcos estimados mostraron relaciones económicas significativas, incluyendo algunas no etiquetadas explícamente como competidoras en bases de datos externas, pero que cuentan con el respaldo de asociaciones de cadena de suministro o tecnología.

Significancia y Reivindicaciones
El artículo afirma cerrar la brecha entre la adaptabilidad teórica de los modelos de difusión a estructuras de grafos desconocidas y su aplicación práctica para la estimación explícita de grafos. Los autores enfatizan que su método ofrece una alternativa no paramétrica unificada a los enfoques existentes, capaz de manejar distribuciones complejas y no gaussianas sin requerir la especificación correcta del modelo. Señalan que, si bien la consistencia teórica se establece para dimensiones fijas, los resultados empíricos sugieren que el método escala efectivamente a entornos de alta dimensión ($D \gg n$), aprovechando la estructura intrínseca de baja dimensión de los datos. El trabajo concluye identificando la extensión a la asintótica de alta dimensión y a las distribuciones discretas como direcciones naturales para investigaciones futuras.