Detecting Model Misspecification in Bayesian Inverse Problems via Variational Gradient Descent

Resumen Técnico: Detección de Especificación Incorrecta de Modelos en Problemas de Inversión Bayesiana mediante Descenso de Gradiente Variacional

1. Planteamiento del Problema

La inferencia bayesiana es óptima cuando el modelo estadístico está correctamente especificado (es decir, el modelo genera los datos reales). Sin embargo, en escenarios de especificación incorrecta del modelo (model misspecification), la inferencia bayesiana estándar puede fallar catastróficamente, produciendo predicciones altamente confiables pero incorrectas.

El desafío principal radica en detectar cuándo un modelo es inadecuado sin depender de:

• Enfoques predictivos tradicionales: Como la validación cruzada o las verificaciones predictivas posteriores, que a menudo son computacionalmente prohibitivas en problemas de inversión física (donde la evaluación de la verosimilitud requiere resolver ecuaciones diferenciales parciales costosas) y difíciles de aplicar con datos dependientes.
• Enfoques comparativos: Que requieren definir manualmente un conjunto de modelos alternativos plausibles, lo cual es difícil sin conocimientos físicos profundos adicionales.

El objetivo del artículo es proponer un método general, práctico y automatizado para detectar la especificación incorrecta en problemas bayesianos, con un enfoque especial en la tomografía de tiempos de viaje sísmicos.

2. Metodología Propuesta

La propuesta central combina dos ideas: la inferencia orientada a la predicción (PrO) y el descenso de gradiente variacional (VGD).

A. Enfoque Orientado a la Predicción (PrO)
En lugar de buscar una distribución posterior sobre los parámetros $\theta$ (como hace la inferencia bayesiana estándar), el método eleva el modelo paramétrico $P_\theta$ a un modelo de mezcla infinito:
$$P_Q = \int P_\theta \, dQ(\theta)$$
Donde $Q$ es una distribución de mezcla (una "distribución de mezcla") que se aprende de los datos.

• Posterior Bayesiana Estándar ($Q_{Bayes}$): Minimiza la divergencia KL entre la distribución de parámetros y el prior, más el término de verosimilitud logarítmica estándar.
• Posterior Orientada a la Predicción ($Q_{PrO}$): Minimiza un funcional objetivo regularizado por entropía basado en la verosimilitud de la mezcla:
  $$Q_{PrO} := \arg \min_{Q} \left( -\sum_{i=1}^n \log \int p_\theta(y_i|x_i) dQ(\theta) + \text{KL}(Q || Q_0) \right)$$
  • Lógica de detección: Si el modelo está bien especificado, $Q_{PrO}$ debería concentrarse en el mismo parámetro verdadero que $Q_{Bayes}$. Si el modelo está mal especificado, $Q_{PrO}$ aprenderá una mezcla no trivial (una distribución más difusa o multimodal) para adaptarse a los datos, mientras que $Q_{Bayes}$ seguirá colapsando en un "mejor parámetro" incorrecto.

B. Algoritmo: Descenso de Gradiente Variacional (VGD)
Dado que el espacio de distribuciones $Q$ no es un espacio vectorial, no se puede aplicar el gradiente estándar. Los autores utilizan VGD, una generalización no lineal del Stein Variational Gradient Descent (SVGD).

• Mecanismo: Se inicializa un conjunto de partículas $\{\theta_j\}$ que se actualizan determinísticamente siguiendo un campo vectorial que maximiza la disminución del funcional objetivo.
• Eficiencia: El algoritmo para calcular $Q_{PrO}$ requiere únicamente un cambio de una línea en el código estándar de SVGD utilizado para $Q_{Bayes}$. Esto permite calcular ambas distribuciones en paralelo con el mismo código base.
• Convergencia: Se presentan condiciones teóricas suficientes para garantizar la consistencia de VGD en el contexto de $Q_{PrO}$, validadas en el contexto de problemas físicos restringidos.

C. Prueba de Hipótesis de Especificación Incorrecta
Para operacionalizar la detección, se compara la distribución predictiva asociada a $Q_{Bayes}$ ($P_{Bayes}$) con la de $Q_{PrO}$ ($P_{PrO}$).

1. Se calcula una estadística de discrepancia, específicamente la Discrepancia Máxima de Medias (MMD) cuadrática promedio entre las distribuciones predictivas.
2. Se utiliza un bootstrap paramétrico para generar una distribución nula (asumiendo que el modelo es correcto) y comparar el valor observado de la estadística.
3. Si la discrepancia es significativa, se rechaza la hipótesis de que el modelo está bien especificado.

3. Contribuciones Clave

1. Detección Directa de Especificación Incorrecta: Propone comparar directamente las distribuciones predictivas de $Q_{PrO}$ y $Q_{Bayes}$ como una estrategia general. Si difieren sustancialmente, es evidencia de especificación incorrecta.
2. Prueba Formal de Hipótesis: Establece una prueba formal basada en MMD y bootstrap paramétrico, demostrando teóricamente la corrección asintótica de la distribución nula bajo ciertas condiciones de regularidad.
3. Algoritmo VGD Eficiente: Desarrolla un algoritmo numérico robusto para optimizar el funcional no lineal de $Q_{PrO}$. Demuestra que la implementación es trivialmente modificable desde SVGD estándar, facilitando la adopción.
4. Aplicación a Problemas de Inversión Física: Valida el método en un caso de estudio complejo: tomografía de tiempos de viaje sísmicos. Aquí, la evaluación de la verosimilitud implica resolver la ecuación Eikonal (PDE), lo que hace inviables los métodos de validación cruzada tradicionales.

4. Resultados Empíricos

El estudio se divide en simulaciones controladas y un caso de estudio realista:

• Estudio de Simulación (Regressión Gaussiana):

  • En modelos bien especificados, $Q_{Bayes}$ y $Q_{PrO}$ son casi idénticos y sus distribuciones predictivas coinciden.
  • En modelos mal especificados (ej. datos generados con ruido no gaussiano o funciones no lineales no capturadas), $Q_{Bayes}$ colapsa en un parámetro único (sobreconfianza), mientras que $Q_{PrO}$ se expande para capturar la incertidumbre estructural.
  • La estadística de prueba MMD detecta correctamente la especificación incorrecta con alta potencia, especialmente a medida que aumenta el tamaño de la muestra.

• Caso de Estudio: Tomografía Sísmica:

  • Escenario: Reconstrucción de un campo de velocidad sísmica subterránea.
  • Fallo inducido: Se simula una especificación incorrecta al asumir una ubicación de sensores errónea en el modelo estadístico, mientras que los datos se generan con la ubicación correcta.
  • Hallazgo: La comparación visual y cuantitativa entre $Q_{Bayes}$ y $Q_{PrO}$ revela diferencias claras. $Q_{Bayes}$ muestra una sobreconfianza injustificada cerca de los sensores, mientras que $Q_{PrO}$ mitiga esta confianza, reflejando la incertidumbre real debida al error del modelo.
  • Costo Computacional: Generar la gráfica de diagnóstico requiere solo un factor de 2 más de costo computacional que calcular la posterior bayesiana estándar, lo cual es muy eficiente dado el costo de resolver la PDE.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Solución a un problema práctico: Ofrece una herramienta automática para la "crítica de modelos" en aplicaciones científicas complejas donde los métodos tradicionales (como la validación cruzada) son computacionalmente prohibitivos.
• Robustez ante la especificación incorrecta: Proporciona una vía para obtener distribuciones predictivas más fiables ($P_{PrO}$) incluso cuando el modelo físico subyacente es imperfecto, evitando las predicciones "seguras pero incorrectas".
• Generalidad: Aunque se demuestra en geofísica, el marco es aplicable a cualquier problema de inversión bayesiana donde la evaluación de la verosimilitud sea costosa.
• Eficiencia de implementación: Al basarse en VGD/SVGD, el método es escalable y fácil de integrar en flujos de trabajo existentes de inferencia bayesiana variacional.

En conclusión, el artículo demuestra que la comparación entre una inferencia bayesiana estándar y una inferencia orientada a la predicción, resuelta mediante descenso de gradiente variacional, constituye una herramienta poderosa y práctica para diagnosticar y mitigar los efectos de los modelos mal especificados en problemas de inversión científica.