Efficient prior sensitivity analysis for Bayesian model comparison

Resumen Técnico: Análisis Eficiente de la Sensibilidad de la Prior para la Comparación de Modelos Bayesianos

Planteamiento del Problema
La comparación de modelos bayesianos depende del cálculo de la verosimilitud marginal (evidencia bayesiana), la cual encarna intrínsecamente la navaja de Occam al penalizar modelos con un espacio de parámetros excesivo o desperdiciado. Sin embargo, este mecanismo hace que la evidencia sea directamente sensible a la especificación del volumen de la prior. Si bien las buenas prácticas dictan que las priors deben estar motivadas físicamente o informadas por los datos, la comparación de modelos resultante puede ser arbitraria si las priors no se eligen cuidadosamente. En consecuencia, evaluar la sensibilidad de la evidencia ante priors alternativas plausibles es crítico para una inferencia científica robusta.

Actualmente, tales análisis de sensibilidad son computacionalmente prohibitivos. Evaluar la influencia de priors alternativas requiere típicamente de ajustes de modelos repetidos y costosos (ejecutar MCMC completo o muestreo anidado desde cero) o esquemas de muestreo especializados. Los métodos existentes de análisis de sensibilidad formal para la inferencia posterior no se extienden a los factores de Bayes, y los controles "informales" suelen ser solo tratables en casos límite simples. Este trabajo aborda la necesidad de un método eficiente para evaluar la dependencia de la prior sin incurrir en el costo computacional de volver a ejecutar procedimientos de muestreo completos.

Metodología
Los autores proponen un enfoque que desacopla el proceso de muestreo del cálculo de la evidencia, permitiendo la reutilización de los dibujos de la posterior existentes para el análisis de sensibilidad de la prior. El método consta de dos componentes principales:

1. Remuestreo por Importancia (SIR):
   Dado un conjunto de muestras de la posterior $\{\theta_i\}$ extraídas de un modelo original $M_0$ (definido por la verosimilitud $L$ y la prior $p(\theta|M_0)$), el método aproxima la posterior para un modelo alternativo $M_1$ (con la misma verosimilitud pero una prior diferente $p(\theta|M_1)$) utilizando el Remuestreo de Importancia de Muestreo (SIR).

   • Los pesos de importancia no normalizados se calculan como la razón entre la nueva prior y la antigua prior: $w_i = p(\theta_i|M_1) / p(\theta_i|M_0)$.
   • Se genera un nuevo conjunto de muestras sin ponderar $\{\theta^*_i\}$ mediante el remuestreo del conjunto original con reemplazo de acuerdo con estos pesos.
   • Este paso evita cualquier nueva evaluación de la verosimilitud, ya que los términos de la verosimilitud se cancelan en el cálculo del peso.

2. Estimador de la Media Armónica Aprendida (LHME):
   Para calcular la evidencia para el modelo alternativo utilizando los dibujos remuestreados, los autores emplean el Estimador de la Media Armónica Aprendida.

   • El LHME introduce una distribución objetivo aprendida $\phi(\theta)$ (típicamente un flujo normalizador entrenado sobre las muestras de la posterior) para estabilizar el estimador estándar de la media armónica.
   • La evidencia para el modelo alternativo se estima utilizando los dibujos remuestreados y la nueva prior, sin reevaluar la verosimilitud.
   • Si la posterior es insensible al cambio de la prior, se reutiliza la $\phi_0(\theta)$ original aprendida. Si la posterior cambia significativamente, $\phi(\theta)$ se reentrena sobre los dibujos remuestreados (un proceso significativamente más rápido que un reajuste de modelo completo).

Controles Diagnósticos
Para asegurar la fiabilidad del muestreo por importancia, los autores implementan un flujo de trabajo diagnóstico de dos etapas:

• Diagnóstico Pareto-$\hat{k}$: Estima el parámetro de forma de la distribución de Pareto generalizada ajustada a la cola superior de los pesos de importancia. Si $\hat{k} > 0.7$, el muestreo por importancia se considera poco fiable, indicando que es necesario un reajuste de modelo completo.
• Tamaño de Muestra Efectivo (ESS): Calcula el ESS fraccional de los pesos de importancia. Si el ESS cae por debajo de un umbral conservador (por ejemplo, 0.95), indica una baja superposición entre las posteriores originales y la nueva, lo que activa el reentrenamiento de la densidad objetivo $\phi(\theta)$ para mantener una baja varianza en la estimación de la evidencia.

Contribuciones Clave

• Desacoplamiento del Muestreo y la Evidencia: El trabajo demuestra que, al aprovechar el LHME, se puede desacoplar la generación de muestras de la posterior del cálculo de la evidencia. Esto permite que los dibujos de la posterior de cualquier método de muestreo (MCMC, muestreo anidado, estimadores de densidad neuronal) puedan reutilizarse para priors alternativas.
• Eficiencia Computacional: El método elimina la necesidad de evaluaciones repetidas de la verosimilitud durante el análisis de sensibilidad. Proporciona una vía para evaluar la dependencia de la prior que es agnóstica a la estrategia de muestreo original.
• Diagnósticos Robustos: La integración de los diagnósticos Pareto-$\hat{k}$ y ESS proporciona una forma sistemática de señalar cuándo el muestreo por importancia falla y cuándo un reajuste completo es inevitable, evitando el reporte de estimaciones de evidencia erróneas.

Resultos
El método fue validado en dos problemas de juguete y un caso de estudio cosmológico:

1. Problema de Juguete Gaussiano: En un entorno Gaussiano de 10 dimensiones, el método reprodujo valores analíticos de evidencia a través de variaciones en las anchuras de la prior. Los diagnósticos identificaron correctamente cuándo la posterior era insensible (alto ESS, no se requirió reentrenamiento) frente a cuando la prior se volvió tan informativa que la posterior cambió drásticamente (bajo ESS, $\hat{k}$ alto, requiriendo reentrenamiento o reajuste).
2. Problema de Juguete de Rosenbrock: Utilizando una verosimilitud de Rosenbrock no lineal, el método estimó con éxito la evidencia para priors informativas desplazadas lejos del modo de la verosimilitud. Identificó correctamente la prior más desplazada como poco fiable mediante el diagnóstico Pareto-$\hat{k}$.
3. Caso de Estudio Cosmológico: Aplicado a la relación tensor-escalar ($r$) en cosmología, el método comparó priors logarítmicas y uniformes. Reprodujo estimaciones de evidencia consistentes con los reajustes completos de muestreo anidado y las ejecuciones de MCMC.
   • Aceleración: Para el ejemplo cosmológico, el enfoque remuestreado logró aceleraciones computacionales de aproximadamente 3000× a 6000× en comparación con los reajustes completos de modelos.
   • Precisión: Los valores de log-evidencia estimados coincidieron con los de los reajustes completos dentro de las incertidumbres citadas, incluso cuando la posterior cambió moderada o significativamente.

Significancia y Reivindicaciones
Los autores afirman que este enfoque ofrece una solución práctica a un cuello de botella de larga data en la comparación de modelos bayesianos: el alto costo del análisis de sensibilidad de la prior. Al permitir el cálculo directo de la evidencia a partir de los dibujos de la posterior remuestreados, el método reduce drásticamente los costos computacionales mientras permanece agnóstico a la técnica de muestreo utilizada para generar las muestras originales.

El artículo enfatiza que, si bien la fragilidad de la evidencia bayesiana ante la elección de la prior es un problema conocido, la incapacidad de probar eficientemente las priors alternativas ha obstaculizado la transparencia en el reporte. Este método facilita dicha transparencia, permitiendo a los investigadores explorar la sensibilidad de sus conclusiones ante elecciones de priors alternativas razonables sin un gasto computacional prohibitivo. Los autores señalan que el estimador de la media armónica aprendida es el habilitador clave de esta eficiencia post-hoc y que el método es aplicable a cualquier escenario donde existan muestras de la posterior disponibles, extendiéndose potencialmente a la combinación de evidencias a través de conjuntos de datos.