📊 statistics

Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

Este artículo desafía la sabiduría convencional de que la Inferencia Variacional de Campo Medio siempre subestima la incertidumbre al demostrar que, en la Regresión Lineal Bayesiana, en realidad puede sobreestimar la varianza predictiva en datos dentro de la distribución debido a un compromiso donde la subestimación en algunas direcciones de los parámetros requiere la sobreestimación en otras, un fenómeno que puede mitigarse mediante el escalado de temperatura.

Autores originales: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran malentendido

Durante mucho tiempo, los científicos creyeron que un método específico llamado Inferencia Variacional de Campo Medio (MFVI) siempre era "demasiado confiado". Pensaban que observaba los datos, hacía una suposición y luego decía: "Estoy bastante seguro de esto", incluso cuando debería haber sido más incierto. En términos técnicos, pensaban que subestimaba la varianza (la incertidumbre).

Este artículo le da la vuelta a esa historia. Los autores demuestran que, si bien el MFVI es de hecho demasiado confiado con respecto a los detalles internos del modelo, puede ser en realidad demasiado inseguro (sobreestima la incertidumbre) cuando se trata de hacer predicciones sobre datos que se parecen a los datos de entrenamiento.

La analogía: El mapa y la carretera

Imagina que estás intentando dibujar un mapa de una ciudad basándote en unas pocas fotos de una sola calle.

La visión "interna" (Espacio de parámetros):
Si miras el mapa en sí, el MFVI dibuja un círculo muy cerrado y pequeño alrededor de la calle. Piensa: "Sé exactamente dónde está esta calle". Ignora el hecho de que el resto de la ciudad es nebulosa y desconocida. En este sentido, es demasiado confiado con respecto a los detalles del mapa.
La visión de "predicción" (Espacio predictivo):
Ahora, imagina que eres un conductor que intenta predecir hacia dónde va la carretera delante de ti.
- La verdad exacta: La carretera real es recta y estrecha. La incertidumbre es baja porque la carretera está bien definida.
- La predicción del MFVI: Debido a que el MFVI dibujó un círculo tan pequeño y cerrado en el paso 1, se confunde sobre cómo ese círculo cerrado se traduce a la carretera que tiene por delante. Termina dibujando una enorme y difusa nube de "tal vez la carretera vaya a la izquierda, tal vez a la derecha, tal vez desaparezca".
- El resultado: En la carretera real (los datos de entrenamiento), el MFVI es demasiado miedoso. Piensa que la carretera es mucho más peligrosa e impredecible de lo que realmente es.

El "equilibrio" (El sube y baja)

El artículo explica una regla extraña sobre este método: No puede equivocarse de una sola manera.

Imagina la incertidumbre del modelo como un sube y baja (balancín).

Si el modelo es demasiado confiado (subestima la incertidencia) en algunas direcciones, debe ser demasiado inseguro (sobreestima la incertidumbre) en otras direcciones para mantener las matemáticas equilibradas.
El artículo demuestra que para datos que se parecen a los de entrenamiento (In-Distribution), el lado del sube y baja que es "demasiado inseguro" es el que gana. El modelo sobreestima el riesgo.

El arreglo "Frío"

Los autores descubrieron una forma de arreglar este exceso de cautela. En el mundo de las matemáticas bayesianas, existe un concepto llamado Temperatura.

Temperatura Alta: Hace que el modelo sea más relajado y disperso (más incierto).
Temperatura Baja (Frío): Hace que el modelo sea más nítido y enfocado (menos incierto).

Normalmente, la gente piensa que necesitas "enfriar" un modelo para hacerlo menos confiado. Pero aquí, debido a que el modelo ya es demasiado miedoso (sobreestima la incertidumbre), los autores descubrieron que bajar la temperatura (hacerlo "Frío") ayuda en realidad.

Es como decirle a un conductor nervioso: "Estás sobreestimando el peligro. Respira hondo y concéntrate". Al bajar la temperatura, las predicciones del modelo vuelven a la realidad, coincidiendo mucho mejor con la respuesta exacta y verdadera.

La trampa de las altas dimensiones

El artículo muestra un escenario aterrador donde esto empeora a medida que las cosas se vuelven más complejas (altas dimensiones).

Imagina intentar navegar por una ciudad con 1,000 calles en lugar de solo una.
Si todas tus fotos son de solo una calle específica, el modelo MFVI se confunde tanto por las otras 999 calles vacías que olvida la calle que realmente vio.
Termina prediciendo que la carretera es tan incierta como si no hubiera visto ningún dato en absoluto. Falla por completo al aprender de los datos de entrenamiento.
Sin embargo, aplicar el arreglo "Frío" (bajar la temperatura) salva el día, permitiendo que el modelo se dé cuenta de: "Oh, sí sé algo sobre esta calle", y corrija su predicción.

El "Efecto de la Posterior Fría"

En el mundo del Aprendizaje Profundo (Deep Learning), los investigadores han notado que los modelos suelen funcionar mejor cuando se "enfrían" (un fenómeno llamado Efecto de la Posterior Fría). Normalmente, la gente culpaba a esto de malos datos o malos modelos.

Este artículo ofrece una nueva razón: Incluso con datos perfectos y un modelo perfecto, la matemática del MFVI hace naturalmente que el modelo sea demasiado miedoso. Por lo tanto, "enfriar" el modelo no es un truco, sino una corrección necesaria para evitar que el modelo sobreestime la incertidumbre en datos que debería conocer bien.

Resumen

Creencia antigua: El MFVI siempre es demasiado confiado.
Nuevo descubrimiento: El MFVI es demasiado confiado con respecto a los ajustes internos del modelo, pero demasiado incierto con respecto a las predicciones que realiza sobre datos familiares.
El arreglo: Bajar la "temperatura" (hacer la posterior "Fría") corrige este exceso de cautela, haciendo que las predicciones vuelvan a ser precisas.
La advertencia: En situaciones muy complejas y de altas dimensiones, esta cautela excesiva puede volverse tan mala que el modelo olvida por completo lo que aprendió, a menos que apliques el arreglo "Frío".

Resumen Técnico: La Inferencia Variacional de Campo Medio Gaussiano Puede Sobrestimar la Varianza Predictiva

Planteamiento del Problema
La Inferencia Variacional de Campo Medio (MFVI, por sus siglas en inglés) es ampliamente caracterizada en la literatura como una aproximación que subestima la varianza posterior, lo que conduce a predicciones excesivamente confiadas. Esta caracterización surge de la observación de que la MFVI, al factorizar la posterior a través de los parámetros, actúa como una aproximación de ajuste de moda en el espacio de parámetros, evitando regiones de baja probabilidad y, por lo tanto, reduciendo la varianza de la distribución de parámetros. Sin embargo, este artículo argumenta que esta caracterización es incompleta cuando el objetivo cambia de la inferencia de parámetros a la predicción. Específicamente, los autores demuestran que, si bien la MFVI puede subestimar la varianza en el espacio de parámetros, puede paradójicamente sobrestimar la varianza predictiva para puntos de prueba extraídos de la distribución de entrenamiento (datos de Distribución Interna o ID). Esta sobreestimación es particularmente pronunciada en las direcciones donde los datos de entrenamiento se concentran.

Metodología
Los autores llevan a cabo un análisis teórico riguroso utilizando la Regresión Lineal Bayesiana Conjugada (BLR) como un entorno tratable para derivar resultados exactos.

Configuración: Asumen un modelo lineal $y = \theta^\top x + \epsilon$ con ruido gaussiano, una distribución previa gaussiana $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$ , y un conjunto de datos de entrenamiento $D$ .
Exacto vs. Aproximado: Comparan la posterior exacta $p(\theta|D)$ , que es una Gaussiana Multivariante con covarianza $\Sigma$ , frente a la posterior MFVI $q(\theta) = \mathcal{N}(m, S)$ , donde $S$ está restringida a ser diagonal.
Derivación Teórica:
- Derivan que la media óptima de MFVI $m^*$ es igual a la media de la posterior exacta $\mu$ .
- Demuestran que los autovalores de la covarianza óptima de MFVI $d_p^*$ son las medias armónicas ponderadas de los autovalores de la posterior exacta $\delta_q$ , ponderadas por las proyecciones al cuadrado de los autovectores de la posterior exacta sobre los vectores de la base canónica.
- Utilizando estas propiedades, analizan la varianza predictiva $x^\top S^* x$ frente a $x^\top \Sigma x$ para diferentes distribuciones de puntos de prueba.
Escalamiento de Temperatura: Para abordar la discrepancia, los autores exploran el Efecto de la Posterior Fría (CPE). Definen una posterior de "MFVI Fría" minimizando la divergencia KL respecto a una posterior templada o fría $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ con $T < 1$ . En el caso gaussiano conjugado, esto simplemente escala la covarianza de la MFVI por $T$ ( $S^*_T = T S^*$ ).

Contribuciones Clave

Prueba Teórica de la Sobreestimación: El artículo demuestra que para BLR con distribuciones previas esféricas, la MFVI sobrestima la varianza predictiva a lo largo del primer componente principal de los datos de entrenamiento. Crucialmente, para puntos de prueba distribuidos según la distribución empírica de entrenamiento, la varianza predictiva esperada de la MFVI supera la de la posterior exacta (Teorema 3.7).
Restricción de Calibración: Los autores establecen una propiedad de "calibración" (Lema 3.6): la razón entre la varianza de MFVI y la varianza exacta, promediada sobre los autovectores de la verdadera posterior, es igual a 1. Esto implica que si la MFVI subestima la varianza en algunas direcciones (típicamente aquellas ortogonales a los datos), debe sobrestimarla en otras (típicamente en las direcciones de alta varianza de los datos) para compensar.
Límite Patológico de Alta Dimensionalidad: En una configuración patológica donde los datos residen en un subespacio de rango 1, los autores muestran que a medida que la dimensión $P \to \infty$ , la posterior de MFVI no logra reducir la varianza predictiva respecto a la distribución previa en absoluto. La información de la única dirección de los datos se diluye a través de los $P$ componentes alineados con los ejes, causando que la predictiva de la MFVI colapse hacia la predictiva de la previa.
Reinterpretación del Efecto de la Posterior Fría (CPE): El artículo proporciona una explicación novedosa para el Efecto de la Posterior Fría (CPE) en ausencia de desajuste del modelo o aumento de datos. Argumentan que reducir la temperatura ( $T < 1$ ) corrige la sobreestimación de la varianza predictiva en los datos de ID, acercando las predicciones de la MFVI a la posterior exacta. Por el contrario, para datos Fuera de Distribución (OOD), se pueden requerir posteriores "cálidas" ( $T > 1$ ) para corregir la subestimación.

Resultados

Experimentos Sintéticos: En entornos de baja dimensión ( $P=2$ ), la MFVI con $T=1$ aproxima bien la posterior exacta. Sin embargo, en entornos de alta dimensión ( $P=1024$ ) con datos de rango deficiente, la MFVI con $T=1$ se vuelve indistinguible de la previa, fallando en capturar la información de los datos.
Ajuste de Temperatura: Experimentos en tareas de regresión de UCI (usando Regresión de Funciones de Base) confirman que:
- Para datos de prueba ID, la temperatura óptima $T^*$ es consistentemente menor que 1, minimizando diversas divergencias estadísticas (KL, Wasserstein, etc.) entre las distribuciones predictivas de la MFVI y la exacta.
- Para datos de prueba OOD (ortogonales a las direcciones de entrenamiento), la temperatura óptima suele ser mayor que 1.
Regresión de Funciones de Base: La aplicación de estos hallazgos a la regresión no lineal mediante Funciones de Base Radial (RBF) muestra que la patología de sobreestimación escala con el número de funciones de base (dimensionalidad), reflejando los hallazgos de la regresión lineal.

Significancia y Reivindicaciones
El artículo pretende proporcionar una comprensión mecánica de por qué la MFVI puede ser poco confiable (sobreestimar la varianza) en los datos de distribución interna, desafiando el dogma estándar de que la MFVI siempre es excesivamente confiada.

Integridad de la Caracterización: Los autores afirman que la narrativa de que "la MFVI subestima la incertidumbre" es incompleta; la dirección del error depende de la distribución de prueba en relación con los datos de entrenamiento.
Justificación del CPE: El trabajo ofrece una nueva justificación para el Efecto de la Posterior Fría (CPE), distinta de las explicaciones que involucran modelos mal especificados o aumento de datos. Sugiere que el templado es una corrección necesaria para los errores de aproximación específicos introducidos por el supuesto de campo medio en entornos de datos de alta dimensión y correlacionados.
Implicación Práctica: Los hallazgos sugieren que para tareas donde los datos de prueba se asemejan a los de entrenamiento, aplicar una posterior fría (reduciendo la temperatura) a la MFVI puede mejorar significamente la calibración y el rendimiento predictivo, alineando la aproximación de la posterior más estrechamente con la solución bayesiana exacta.

Los autores mantienen la modestia, señalando que sus resultados teóricos se derivan para modelos lineales conjugados, pero demuestran empíricamente que estas intuiciones se extienden a la regresión de funciones de base no lineales y a conjuntos de datos del mundo real. No pretenden resolver todas las limitaciones de la VI, sino corregir un modo de falla específico y contraintuitivo de la MFVI en entornos predictivos.