Resumen Técnico: Aproximación de Laplace Auto-supervisada para la Cuantificación de Incertidumbre Bayesiana

Enunciado del Problema

La inferencia bayesiana aproximada (ABI) se centra tradicionalmente en calcular la distribución posterior de los parámetros del modelo, $p(\theta | D)$. Sin embargo, en aplicaciones prácticas, el objeto principal de interés suele ser la distribución predictiva posterior, $p(\hat{y}_{n+1} | x_{n+1}, D)$, que cuantifica la incertidumbre de las predicciones en lugar de los propios parámetros.

Los métodos estándar para aproximar la predictiva posterior, como la Inferencia Variacional (VI), las Cadenas de Markov de Monte Carlo (MCMC) o las aproximaciones de Laplace clásicas aplicadas a la posterior de los parámetros seguidas de muestreo Monte Carlo (MC), a menudo incurren en una sobrecarga computacional significativa. Específicamente, en las Redes Neuronales Bayesianas (BNN), la necesidad de muestreo MC para integrar sobre la posterior de los parámetros incrementa drásticamente los costos de inferencia. Además, las alternativas deterministas existentes suelen depender de supuestos distribucionales fuertes o restringen la modelización de la incertidumbre a la capa final, limitando su aplicabilidad a modelos generales de regresión profunda.

Metodología

Los autores proponen la Aproximación de Laplace Auto-supervisada (SSLA), una técnica que elude el cálculo explícito de la posterior de los parámetros para aproximar directamente la distribución predictiva posterior. El método se inspira en conceptos de auto-entrenamiento y aprendizaje semi-supervisado, específicamente en la idea de aprender a partir de datos auto-predichos.

Mecanismo Central

La idea fundamental de SSLA es cuantificar la incertidumbre predictiva observando cómo cambia el ajuste del modelo cuando se "reajusta" sobre sus propios datos auto-predichos.

1. Conjunto de Datos Aumentado: Dado un conjunto de datos de entrenamiento $D$ y una nueva entrada $x_{n+1}$, el modelo genera una predicción puntual $\hat{y}_{n+1}$ (por ejemplo, la predicción MAP). Se construye un conjunto de datos aumentado $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
2. Reajuste: El modelo se reajusta sobre $D_{n+1}$ para encontrar un nuevo óptimo $\tilde{\theta}$.
3. Cuantificación de la Incertidumbre: La incertidumbre predictiva se deriva del cambio en la verosimilitud, el prior y la curvatura (información de Fisher) del modelo inducido por la inclusión de la auto-predicción.
   • Si el modelo asigna una alta verosimilitud a su auto-predicción (es decir, $\tilde{\theta} \approx \hat{\theta}$), la predicción se considera de baja incertidumbre.
   • Si la auto-predicción provoca un cambio significativo en el ajuste del modelo (gran cambio en la verosimilitud o curvatura), a la predicción se le asigna una alta incertidumbre.

Formulación Matemática

Los autores derivan una aproximación tratable para la densidad log-posterior predictiva, $\log p(\hat{y}_{n+1} | x_{n+1}, D)$, que se descompone en tres incrementos interpretables evaluados en los ajustes del modelo:
$$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{Incremento de Verosimilitud}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{Incremento de Prior}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{Incremento de Curvatura}}$$
Donde:

• $\hat{\theta}$ es la estimación MAP sobre $D$.
• $\tilde{\theta}$ es la estimación MAP sobre $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
• $\ell$ y $\tilde{\ell}$ son log-verosimilitudes.
• $J$ y $\tilde{J}$ son matrices de información de Fisher observadas (Hessianos negativos).

Variante Aproximada (ASSLA)

Para eliminar el costo computacional de reajustar el modelo (resolver para $\tilde{\theta}$), los autores introducen la SSLA Aproximada (ASSLA).

• Expansión Asintótica: Los resultados teóricos (Lema 1, Teorema 1) muestran que para $n$ grande, la diferencia entre el óptimo aumentado $\tilde{\theta}$ y el óptimo original $\hat{\theta}$ es del orden $O(n^{-1})$.
• Simplificación: ASSLA aproxima $\tilde{\theta} \approx \hat{\theta}$ y retiene solo los términos de orden principal. Esto permite que el método evalúe la incertidumbre predictiva utilizando únicamente el ajuste original $\hat{\theta}$ y las contribuciones de curvatura local de la nueva pseudo-observación, evitando la necesidad de un segundo paso de optimización.
• Modularidad del Prior: En la aproximación ASSLA, el incremento del prior se descarta como un término de orden superior, haciendo que el método sea computacionalmente eficiente mientras mantiene la sensibilidad a los cambios en la verosimilitud y la curvatura.

Contribuciones Clave

1. Aproximación Predictiva Directa: Un marco novedoso que aproxima la distribución predictiva posterior directamente, eludiendo la posterior de los parámetros y la necesidad de muestreo Monte Carlo.
2. Mecanismo Auto-supervisado: La introducción de una aproximación de Laplace basada en auto-entrenamiento donde la incertidumbre se cuantifica mediante la sensibilidad del ajuste del modelo a datos auto-predichos.
3. Modularidad: La formulación SSLA permite la inserción de diferentes especificaciones de prior sin reentrenamiento, facilitando el análisis de sensibilidad bayesiana respecto a la elección del prior.
4. Eficiencia Computacional: La derivación de ASSLA, que elimina el requisito de reajuste, hace que el método sea escalable a modelos y conjuntos de datos grandes manteniendo una calibración competitiva.
5. Justificación Teórica: Demostraciones rigurosas que caracterizan el error de aproximación de ASSLA, demostrando que el error disminuye linealmente con el tamaño de la muestra $n$ bajo condiciones de regularidad estándar.

Resultados Experimentales

Los autores evaluaron (A)SSLA en tareas de regresión que van desde modelos analíticos conjugados hasta regresión heterocedástica compleja con redes neuronales.

• Modelos Conjugados: En configuraciones Normal-Normal y Poisson-Gamma, SSLA y ASSLA coincidieron estrechamente con las distribuciones predictivas posteriores calculadas analíticamente a través de tamaños de muestra desde $n=20$ hasta $n=1,000,000$. Se observaron inestabilidades numéricas en ASSLA solo en $n$ muy grandes ($>10^6$) debido a la cancelación de punto flotante, lo cual se resolvió utilizando doble precisión.
• Regresión Heterocedástica (Sintética): En datos sintéticos con ruido dependiente de la entrada, ASSLA produjo intervalos creíbles más suaves y ajustados que las aproximaciones de Laplace clásicas (que fueron excesivamente conservadoras) y fue competitivo con la Inferencia Variacional (VI) y el Monte Carlo Hamiltoniano (HMC). Sin embargo, ASSLA mostró una tendencia a subestimar ligeramente la incertidumbre en intervalos anchos en comparación con HMC.
• Benchmarks del Mundo Real: Evaluado en diversos conjuntos de datos UCI (por ejemplo, Concreto, Calidad del Vino, Alquiler de Bicicletas):
  • Calibración: ASSLA logró generalmente una Mejor Verosimilitud Negativa (NLL) y Puntuación de Probabilidad Clasificada Continua (CRPS) que la aproximación de Laplace clásica, indicando predicciones más nítidas y mejor calibradas.
  • Cobertura: Aunque ASSLA a veces exhibió sub-cobertura en regímenes difíciles (por ejemplo, el conjunto de datos de Trastornos Hepáticos con una relación señal-ruido pobre), a menudo superó a la línea base conservadora de Laplace, que producía intervalos excesivamente amplios.
  • Eficiencia: ASSLA proporcionó una compensación favorable entre el costo computacional y la calidad predictiva, evitando la alta sobrecarga del muestreo MC.

Significado y Afirmaciones

El artículo afirma que (A)SSLA ofrece una alternativa determinista y libre de muestreo a las técnicas estándar de inferencia bayesiana para la cuantificación de incertidumbre predictiva. El significado radica en:

• Eludir la Intratabilidad: Evita el cuello de botella computacional de integrar sobre el espacio de parámetros mediante muestreo MC, que es una limitación importante en el Aprendizaje Profundo Bayesiano.
• Aplicabilidad Práctica: El método es aplicable a modelos generales de regresión profunda y soporta especificación modular de priores, lo cual es particularmente relevante para campos emergentes como el Aprendizaje Profundo Bayesiano Credal.
• Gestión de Compensaciones: Los autores posicionan a ASSLA como un método que equilibra la tratabilidad computacional con una calibración probabilística competitiva, ofreciendo una solución práctica para tareas de regresión del mundo real donde la inferencia bayesiana completa es demasiado costosa.

Los autores permanecen modestos respecto a las limitaciones, reconociendo que SSLA puede volverse inestable en conjuntos de datos muy grandes o con conflictos prior-datos, y que ASSLA puede subestimar la incertidumbre en regiones de alta varianza. Sugieren que estos métodos deben utilizarse junto con detección de deriva/ODD y modelización de verosimilitud robusta.