Approximate posterior recalibration

Resumen Técnico: Recalibración Aproximada de Posteriores

1. El Problema

En la inferencia bayesiana moderna, a menudo es computacionalmente inviable obtener la distribución posterior exacta $p(\theta|y)$ para modelos complejos o grandes conjuntos de datos. Por ello, se recurre a algoritmos de aproximación como la inferencia variacional (VI) o métodos basados en muestreo aproximado.

El problema central identificado es la mala calibración de las incertidumbres. Las intervalos de credibilidad derivados de estas aproximaciones suelen ser demasiado estrechos, subestimando la verdadera incertidumbre y no capturando adecuadamente los errores de estimación. Aunque los intervalos bayesianos exactos están calibrados con respecto a la distribución a priori (promediando sobre el espacio de parámetros antes de ver los datos), las aproximaciones computacionales rompen esta propiedad, incluso con un número grande de simulaciones.

2. Metodología Propuesta

Los autores proponen un marco general llamado Calibración de Posterior Aproximada (APC), basado en la extensión de la Verificación de Calibración Basada en Simulación (SBC).

Concepto Central:
La idea fundamental es que la posterior exacta satisface una "autoconsistencia" específica: si se muestrea un parámetro $\theta_l$ de la prior, se generan datos $y_l$ y se calcula la posterior $p(\theta|y_l)$, entonces $\theta_l$ debería parecerse a una muestra de esa posterior. Los autores utilizan esta propiedad para aprender una corrección (ajuste) que fuerce a las aproximaciones a cumplir con dicha autoconsistencia.

Algoritmo General (APC):

1. Simulación: Generar $L$ réplicas de parámetros $\theta_l$ desde la prior y datos $y_l$ desde el modelo.
2. Aproximación: Calcular las posteriores aproximadas para cada $y_l$ usando el método aproximado $M'$.
3. Aprendizaje de Ajuste: Determinar un factor de ajuste (escala o desplazamiento) que minimice la discrepancia entre las simulaciones y la autoconsistencia teórica.
4. Aplicación: Aplicar este ajuste aprendido a la posterior aproximada de un conjunto de datos real $y_D$ de interés.

Dos Métodos Específicos de Ajuste:
Los autores proponen dos formas de elegir el ajuste, asumiendo principalmente que el problema es una subestimación de la varianza (escalamiento):

• Método de Cobertura Nominal: Busca que los intervalos $(1-\alpha)$ alcancen su cobertura nominal. Se realiza una búsqueda en cuadrícula (grid search) sobre factores de escala $\sigma$ para minimizar la diferencia entre la cobertura observada y la nominal.
• Método de Puntajes Z (Z-scores): Evalúa si los puntajes Z de los parámetros reales $\theta_l$ dentro de las simulaciones de la posterior siguen una distribución estándar normal $N(0,1)$.
  $$z_l = \frac{\theta_l - \mu_{post}}{\sigma_{post}}$$
  Se calcula la media ($\bar{z}$) y la desviación estándar ($s_z$) de estos puntajes sobre las $L$ réplicas. El ajuste consiste en reescalar la posterior aproximada por $s_z$ y desplazarla por $\bar{z}$. Este método es computacionalmente más eficiente que la búsqueda en cuadrícula.

3. Contribuciones Clave

1. Métodos de Recalibración: Introducen dos técnicas prácticas para ampliar los intervalos de incertidumbre de posteriores aproximadas, logrando una calibración marginal con respecto a la prior.
2. Análisis de Recalibración Posterior (Posterior Recalibration): Exploran una variante donde el paso de simulación (paso 1 del algoritmo SBC) reemplaza la prior por la posterior observada.
   • Ventaja: Se enfoca en la zona del espacio de parámetros de interés práctico (donde los datos apoyan al modelo).
   • Desventaja Teórica: Demuestran que, incluso con inferencia exacta, la recalibración basada en la posterior no produce intervalos calibrados (no uniformidad en los cuantiles), a menos que se trate de casos extremos. Esto se debe a que la inferencia bayesiana no está diseñada para ser calibrada condicionalmente a los datos observados de esa manera específica.
3. Aplicabilidad en Modelos Jerárquicos: Discuten cómo, en modelos jerárquicos con suficiente replicación interna, la recalibración basada en la posterior podría funcionar aproximadamente bien, actuando como un compromiso entre la inferencia bayesiana pura y la cobertura clásica.

4. Resultados Experimentales

Los autores validan sus métodos en varios escenarios:

• Modelo Normal-Normal Simple:

  • Introdujeron artificialmente un error de muestreo reduciendo la desviación estándar de la posterior en un factor de 3.
  • Ambos métodos (cobertura nominal y puntajes Z) recuperaron exitosamente el factor de escala correcto (aprox. 3.0) y restauraron la cobertura nominal de los intervalos.
  • El método de puntajes Z fue más eficiente computacionalmente.

• Modelo Jerárquico (8 Escuelas) con ADVI:

  • Se utilizó Inferencia Variacional Diferenciada Automáticamente (ADVI) para aproximar la posterior.
  • La posterior de ADVI no estaba calibrada (intervalos demasiado estrechos y desplazados).
  • Tras aplicar la recalibración, los intervalos ajustados alcanzaron coberturas cercanas a las nominales (ej. 95% observado vs 95% nominal).
  • Se observó que el ajuste necesario fue mayor que el simple escalamiento de la desviación estándar de ADVI, debido a que ADVI también presentaba un desplazamiento (bias) en la media que variaba entre réplicas.

• Análisis de Recalibración Posterior (Sección 5):

  • En un modelo normal simple, demostraron analíticamente y mediante simulación que intentar calibrar basándose en la distribución predictiva posterior (usando la posterior como prior en el SBC) resulta en inferencias que reducen la "pooling" (agrupamiento) hacia la prior y subestiman la incertidumbre.
  • Esto confirma que, desde una perspectiva bayesiana estricta, la recalibración posterior no es deseable, ya que distorsiona la inferencia correcta. Sin embargo, podría ser útil como herramienta pragmática para obtener cobertura condicional a los datos.

5. Significado y Discusión

• Utilidad Práctica: El trabajo ofrece herramientas para que los practicantes de inferencia bayesiana puedan usar métodos aproximados rápidos (como VI) con la confianza de que sus intervalos de credibilidad reflejan la incertidumbre real, corrigiendo la tendencia a la sobreconfianza.
• Debate Teórico: El artículo destaca una tensión fundamental: la inferencia bayesiana está calibrada promediando sobre la prior, pero no sobre la posterior. La "recalibración posterior" propuesta es una desviación del marco bayesiano formal que busca objetivos de calibración frecuentista (cobertura condicional a los datos), lo cual puede ser útil en contextos de predicción o modelos abiertos, aunque altera la interpretación bayesiana estricta.
• Limitaciones: Los métodos actuales se centran en el escalamiento de intervalos para parámetros escalares individuales. No corrigen la estructura conjunta de la distribución en dimensiones altas ni asumen que el modelo es correcto (si el modelo está mal especificado, la recalibración no arreglará el sesgo estructural).

En conclusión, el papel propone un enfoque pragmático para mejorar la fiabilidad de la inferencia bayesiana aproximada mediante la corrección de la incertidumbre basada en simulaciones, equilibrando la eficiencia computacional con la necesidad de intervalos de confianza válidos.