Bayesian inference for the learning rate in Generalised Bayesian inference

Resumen Técnico: Inferencia Bayesiana para la Tasa de Aprendizaje en la Inferencia Bayesiana Generalizada

Enunciado del Problema
La Inferencia Bayesiana Generalizada (IBG) actualiza las creencias utilizando un posterior de Gibbs de la forma $\pi_s(\phi|x) \propto \exp(-\eta \ell_\beta(\phi; x))\pi(\phi)$, donde $\eta$ es una tasa de aprendizaje y $\beta$ representa los hiperparámetros de la función de pérdida $\ell_\beta$. Aunque la IBG es efectiva para manejar la mala especificación del modelo y combinar conjuntos de datos heterogéneos, los hiperparámetros de inferencia $s = (\eta, \beta)$ no pueden estimarse conjuntamente con los parámetros del modelo $\phi$ simplemente asignándoles una distribución a priori y condicionando a los datos. Hacerlo distorsiona el posterior para $\phi$ debido a la constante de normalización $c(\phi, s)$. En consecuencia, los métodos existentes a menudo dependen de una selección ad-hoc o de validación cruzada. Este artículo aborda la necesidad de un marco coherente para estimar $s$ y cuantificar la incertidumbre sobre la misma, particularmente en escenarios que involucran múltiples módulos de datos donde algunos pueden estar mal especificados.

Metodología
Los autores proponen un marco para la inferencia bayesiana sobre los hiperparámetros de inferencia $s$ utilizando datos de calibración retenidos $y$. La idea central es tratar la distribución predictiva posterior de los datos de calibración, $p_s(y|x)$, como una cantidad tipo verosimilitud para $s$. Se definen dos distribuciones posteriores distintas para $s$ basadas en diferentes funciones de pérdida:

1. Pérdida Agrupada (Pooled Loss): Definida como $l^{(1,J)}(s; y, x) = -\log p_s(y|x)$, donde $p_s(y|x) = \int p(y|\phi)\pi_s(\phi|x)d\phi$. Este enfoque apunta a la cobertura del parámetro "pseudo-verdadero" $\tilde{\phi}$ (el parámetro que minimiza la divergencia de Kullback-Leibler entre el proceso generador de datos real y el modelo). El posterior resultante $\rho^{(1,J)}(s|y; x)$ no se concentra a medida que el tamaño de los datos de calibración $J \to \infty$, sino que converge a una distribución difusa proporcional a $\pi_s(\tilde{\phi}|x)\rho(s)$.
2. Pérdida Producto (Product Loss): Definida como $l^{(J,1)}(s; y, x) = -\sum_{j=1}^J \log p_s(y_j|x)$, correspondiente a la negativa de la Densidad Predictiva Puntual Esperada del Logaritmo (ELPPD). Este enfoque apunta a la minimización del riesgo predictivo. Bajo condiciones de regularidad, el posterior resultante $\rho^{(J,1)}(s|y; x)$ se concentra en el hiperparámetro óptimo $s^*$ a una tasa de $J^{-1/2}$, con una distribución normal asintótica.

El artículo extiende este marco a la Inferencia Semi-Modular (SMI), un escenario donde un modelo consiste en múltiples módulos, algunos de los cuales pueden estar mal especificados. Los autores identifican la SMI como un caso específico de un posterior de Gibbs Secuencial (Winter et al., 2023). Introducen una nueva variante, el posterior $(\eta, \beta)$-SMI, que controla conjuntamente el flujo de información desde un módulo sospechoso (mediante $\eta$) y la robustez de la función de pérdida (mediante $\beta$).

Contribuciones Clave

• Estimación Conjunta de Hiperparámetros: El artículo proporciona un marco unificado para la estimación conjunta de la tasa de aprendizaje $\eta$ y los hiperparámetros de pérdida (por ejemplo, $\beta$ en la pérdida-$\beta$) utilizando datos retenidos, superando el ajuste de un solo parámetro.
• Caracterización Teórica: Los autores establecen propiedades asintóticas para los posteriores agrupados y producto. Demuestran que el posterior producto se concentra en los hiperparámetros óptimos para la predicción, mientras que el posterior agrupado apunta al parámetro pseudo-verdadero. También proporcionan resultados para casos no regulares donde el $s$ óptimo se encuentra en la frontera del espacio de parámetros (por ejemplo, $\eta=0$ en modelos de Corte), mostrando convergencia a una distribución Gamma.
• Integración SMI: Al enmarcar la SMI como un posterior de Gibbs Secuencial, los autores importan teoremas existentes de consistencia y de Bernstein-von Mises (BvM) al entorno modular, validando el comportamiento asintótico de la nueva actualización $(\eta, \beta)$-SMI.
• Estimadores: Se proponen y comparan varios estimadores para $s$, incluyendo la media posterior, el minimizador de pérdida (MAP), la media armónica y un minimizador de la divergencia KL.

Resultados
Los métodos propuestos fueron evaluados mediante estudios de simulación y una aplicación real de análisis de texto:

• Mezclas Normales y Modelos de Espacio de Estados: En experimentos sintéticos con modelos mal especificados, los hiperparámetros aprendidos (particularmente mediante la pérdida producto) superaron consistentemente a la inferencia bayesiana fija ($\eta=1$) y a los modelos de Corte ($\eta=0$) en términos de ratios de riesgo esperado en datos de prueba. El enfoque $(\eta, \beta)$-SMI demostró un rendimiento comparable al $\eta$-SMI pero con la flexibilidad añadida de funciones de pérdida robustas, logrando a menudo un riesgo menor que las actualizaciones bayesianas estándar o de Corte.
• Análisis de Texto (Cambio de Sentido): Aplicado a un corpus de texto en inglés que abarca de 1810 a 2010 (el modelo EDiSC), el método se utilizó para agrupar sentidos de palabras. Las tasas de aprendizaje aprendidas $\hat{\eta}$ produjeron probabilidades predictivas posteriores más altas en datos de prueba retenidos en comparación con $\eta=1$ o valores seleccionados mediante verificaciones predictivas posteriores. Los grupos resultantes mostraron una coherencia semántica mejorada (medida mediante puntuaciones Brier) en comparación con la inferencia bayesiana estándar, manejando efectivamente la mala especificación del modelo y los datos dispersos.
• Validación Asintótica: Las simulaciones confirmaron las predicciones teóricas: los posteriores producto se concentraron alrededor de los valores óptimos a medida que aumentaba $J$, mientras que los posteriores agrupados permanecieron difusos, alineándose con los objetivos inferenciales distintos de la predicción frente a la cobertura de parámetros.

Significado y Afirmaciones
El artículo afirma que tratar los hiperparámetros de inferencia como variables aleatorias con un posterior derivado de datos retenidos proporciona una vía coherente para la cuantificación de la incertidumbre y la selección óptima en la Inferencia Bayesiana Generalizada. Los autores enfatizan que la elección entre la calibración agrupada y la producto corresponde a objetivos inferenciales diferentes (cubrir el parámetro pseudo-verdadero frente a maximizar la densidad predictiva), y por lo tanto, los hiperparámetros óptimos resultantes no necesitan coincidir.

El trabajo es particularmente significativo para la inferencia multi-modular, donde ofrece una manera principista de equilibrar el flujo de información entre módulos bien especificados y mal especificados sin recurrir a un ajuste arbitrario. Los autores señalan que, aunque el enfoque es computacionalmente intensivo para espacios de hiperparámetros de alta dimensión, es práctico para casos de baja dimensión (por ejemplo, $\eta$ y $\beta$) y ofrece una alternativa robusta a métodos como WAIC, que pueden ser poco fiables en escenarios de mala especificación. El marco respalda el uso de la Bayesiana Generalizada en problemas complejos del mundo real que involucran datos heterogéneos y mala especificación del modelo.