Bayesian Inference for Discrete Markov Random Fields Through Coordinate Rescaling

1. El Problema: Inferencia en Campos Aleatorios de Markov (MRF) Discretos

Los Campos Aleatorios de Markov (MRF) discretos son modelos gráficos no dirigidos que capturan dependencias condicionales complejas entre variables discretas (por ejemplo, niveles de expresión génica o severidad de síntomas de salud mental). El desafío central en su análisis bayesiano es la doble intratabilidad:

1. Constante de normalización intratable: La función de verosimilitud requiere calcular una constante de normalización $Z(\eta)$ que implica sumar sobre todo el espacio de estados. Dado que el tamaño de este espacio crece exponencialmente con el número de variables y sus categorías, el cálculo exacto es computacionalmente prohibitivo para sistemas de tamaño moderado o grande.
2. Consecuencia: La distribución posterior es "doble intratable" porque tanto la verosimilitud como la evidencia marginal (denominador de Bayes) contienen constantes de normalización inabordables.

Limitaciones de los métodos existentes:

• Métodos de Verosimilitud Exacta (ej. Double Metropolis-Hastings - DMH): Aunque proporcionan estimaciones precisas, requieren muestreo anidado (MCMC interno) para aproximar la razón de constantes de normalización. Esto conlleva un costo computacional muy alto, limitando su escalabilidad.
• Verosimilitud Pseudo (Pseudo-likelihood): Es computacionalmente eficiente y evita la constante de normalización al aproximar la verosimilitud como un producto de distribuciones condicionales. Sin embargo, tiende a subestimar sistemáticamente la variabilidad posterior (incertidumbre), produciendo intervalos de credibilidad demasiado estrechos y sesgados en la cuantificación de la incertidumbre.

---

2. Metodología Propuesta: Redimensionamiento de Coordenadas (CoRe)

Los autores proponen una nueva clase de métodos de muestreo MCMC denominados Coordinate Rescaling (CoRe). La idea central es transformar la geometría de la distribución posterior basada en la pseudo-verosimilitud para que coincida con la geometría de la posterior objetivo (la exacta), preservando la eficiencia computacional.

Mecanismo Técnico:

1. Transformación Lineal: Se introduce una transformación lineal en el espacio de parámetros. Si $\eta$ son los parámetros en la escala de la pseudo-posterior y $\beta$ en la escala transformada:
   $$\beta = A(\eta - \eta^*) + \eta^*$$
   Donde $\eta^*$ es un estimador puntual (como el MAP o MPLE) y $A$ es una matriz de redimensionamiento.

2. Construcción de la Matriz de Redimensionamiento ($A$):

   • La matriz $A$ se define como $A = \Gamma L^\top$.
   • $L^\top$ es el factor de Cholesky superior de la curvatura local (Hessiano negativo) de la pseudo-posterior.
   • $\Gamma$ es el factor de Cholesky inferior de una matriz de escala que captura la estructura de varianza-covarianza de la posterior objetivo.
   • Para estimar esta estructura objetivo sin calcular la verosimilitud completa, se utiliza un estimador robusto de covarianza posterior basado en Godambe-Huber-White (GHW), que combina la curvatura de la pseudo-verosimilitud con la varianza de las puntuaciones (scores).

3. Algoritmo de Muestreo:

   • El muestreador opera sobre los parámetros transformados $\beta$.
   • Se propone un nuevo estado $\beta'$, se transforma de vuelta a $\eta'$, y se calcula la probabilidad de aceptación utilizando la pseudo-verosimilitud (evitando así la constante intratable).
   • El Jacobiano de la transformación es constante, por lo que se cancela en la relación de aceptación, manteniendo la propiedad de reversibilidad detallada.

4. Versión Adaptativa (AdaCoRe):

   • Se introduce una variante donde la matriz de redimensionamiento $A^{-1}$ se actualiza iterativamente durante la fase de "burn-in" (calentamiento) basándose en la media móvil de los parámetros. Esto elimina la necesidad de especificar $A$ a priori y permite adaptarse a la curvatura local del posterior.

---

3. Contribuciones Clave

1. Nueva Clase de Muestreadores: Introducción de CoRe y AdaCoRe, que integran la corrección de la escala de la incertidumbre dentro del propio algoritmo de muestreo, en lugar de ser un ajuste post hoc.
2. Equilibrio Eficiencia-Precisión: Logran la escalabilidad computacional de la pseudo-verosimilitud (sin muestreo anidado costoso) mientras corrigen la subestimación de la varianza posterior, acercándose a la precisión de los métodos de verosimilitud exacta.
3. Fundamentación Teórica: Demuestran que la transformación lineal preserva la estructura de Markov de la cadena y converge a la distribución objetivo, corrigiendo tanto la escala como la correlación entre parámetros.
4. Evaluación Exhaustiva: Comparación sistemática contra métodos existentes (DMH, AdaDMH, calibración post hoc, y una nueva aproximación de verosimilitud empírica) mediante estudios de simulación rigurosos.

---

4. Resultados de los Estudios de Simulación

Los autores evaluaron los métodos en redes de tamaño $p=6$ y $p=9$ con diversos tamaños de muestra ($n$) y estructuras de red (small-world, aleatoria, completa).

• Precisión de la Incertidumbre (Overlap y Desviación Estándar):

  • La pseudo-verosimilitud subestima la variabilidad posterior en un 30-35%.
  • Los métodos CoRe y AdaCoRe logran una relación de desviación estándar (método/exacto) cercana a 1, corrigiendo eficazmente la subestimación.
  • En términos de índice de solapamiento con la posterior exacta, CoRe alcanza medianas del 90-95%, superando significativamente a la pseudo-verosimilitud (~65-70%) y rivalizando con DMH.

• Ratio de Savage-Dickey (Evidencia de Independencia Condicional):

  • La pseudo-verosimilitud distorsiona los factores de Bayes para la independencia condicional (subestima la evidencia lejos de cero y la infla cerca de cero).
  • CoRe y AdaCoRe corrigen estas distorsiones, alineándose estrechamente con la posterior exacta en la detección de aristas ausentes.

• Eficiencia Computacional:

  • DMH/AdaDMH: Son extremadamente lentos (minutos a horas por cadena) y su eficiencia (ESS) disminuye drásticamente a medida que aumenta la complejidad de la red.
  • CoRe/AdaCoRe: Son mucho más rápidos que DMH (segundos a minutos, dependiendo del tamaño) y mantienen un Effective Sample Size (ESS) estable y alto, similar a la pseudo-verosimilitud pero con mayor precisión estadística.
  • Verosimilitud Empírica: Es la más rápida, pero muestra inestabilidad en muestras pequeñas.

---

5. Significado e Implicaciones

El trabajo de Arena y Marsman ofrece una solución práctica y teóricamente sólida para el problema de la doble intratabilidad en MRFs discretos:

• Viabilidad para Redes Grandes: Permite realizar inferencia bayesiana en redes que serían imposibles de analizar con métodos exactos debido a restricciones de tiempo, sin sacrificar la cuantificación de la incertidumbre.
• Selección de Estructura de Red: Al corregir la escala de la posterior, los métodos CoRe mejoran la fiabilidad en la selección de aristas (determinar qué variables están conectadas), crucial para aplicaciones en psicología (redes de síntomas) y genética.
• Integración en Algoritmos: A diferencia de la calibración post hoc, CoRe realiza el redimensionamiento durante el muestreo, lo que facilita su integración en marcos de trabajo que estiman simultáneamente la estructura de la red y los parámetros.
• Herramienta Accesible: Los autores planean implementar estos métodos en el paquete R bgms, democratizando el acceso a inferencia bayesiana escalable y precisa para investigadores aplicados.

En resumen, CoRe representa un avance significativo al demostrar que es posible corregir la geometría de la incertidumbre en modelos intratables mediante transformaciones lineales inteligentes, evitando el costo computacional prohibitivo de los métodos de intercambio de muestras (exchange algorithms).