🤖 machine learning

A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning

Este estudio demuestra que reportar un único valor promedio de métricas como el CRPS en aprendizaje profundo bayesiano es engañoso, ya que la varianza de estas métricas puede presentar picos irregulares durante el entrenamiento que invalidan la estabilidad de una sola semilla, especialmente en métodos con cabezales de varianza aprendida.

Autores originales: Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

Publicado 2026-04-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema de la "Foto Única": Por qué confiar en un solo resultado de Inteligencia Artificial puede ser un error

Imagina que quieres saber si un nuevo chef es bueno cocinando paella. Para evaluarlo, vas a su restaurante una sola vez, pides un plato, lo pruebas y dices: "Está un 8 de 10. Es un buen chef".

Pero, ¿qué pasa si ese día el chef estaba cansado? ¿O si el arroz que le tocó era de mala calidad? ¿O si simplemente tuvo un momento de mala suerte con la sal? Al probarlo una sola vez, has tomado una "foto fija" de su talento, pero esa foto no te dice si el chef es consistentemente bueno o si fue solo un golpe de suerte (o de mala suerte).

Este es el problema que los científicos han descubierto en la Inteligencia Artificial (IA) de tipo "Bayesiana".

1. La "Trampa de la Foto Única" (El problema del Benchmark)

Cuando los científicos entrenan modelos de IA para predecir cosas (como el clima o el tráfico), suelen reportar un único número final para decir qué tan bueno es el modelo. Es como decir: "Este modelo tiene un 90% de precisión".

El problema es que entrenar una IA es un proceso con mucha "suerte" (aleatoriedad). Si la entrenas dos veces, podrías obtener resultados distintos. Los autores descubrieron que, en ciertos momentos, esa "foto única" es una mentirosa total.

2. El "Valle de la Inestabilidad" (Los picos de varianza)

Aquí es donde la cosa se pone interesante. Los investigadores notaron que la IA no mejora de forma suave y constante como una escalera. En lugar de eso, hay momentos —especialmente cuando el modelo tiene una cantidad "media" de datos de entrenamiento— donde la IA entra en una especie de "crisis de identidad".

Imagina que estás aprendiendo a conducir. Al principio eres un desastre, luego empiezas a entenderlo y vas mejorando poco a poco. Pero de repente, en un punto intermedio, te sientes tan confundido que empiezas a cometer errores absurdos que no cometías al principio. Ese es el "pico de varianza".

En ese punto crítico, si un científico hace una sola prueba, el resultado puede ser un desastre absoluto, aunque el modelo sea bueno en general. Es como si el chef, justo en medio de su aprendizaje, un día quemara la cocina por accidente. Si solo lo ves ese día, dirás que es un pésimo cocinero, cuando en realidad solo está pasando por una fase de inestabilidad.

3. ¿Por qué ocurre esto? (El culpable: La ambición de la IA)

El estudio encontró que los modelos que intentan ser "demasiado listos" al aprender no solo qué predecir, sino también qué tan seguros están de sí mismos (esto se llama aprendizaje heterocedástico), son los que más sufren estas crisis.

Es como un estudiante que, en lugar de solo estudiar la materia, también intenta adivinar qué tan difícil será el examen. En los momentos de duda, el estudiante se confunde tanto con su propia inseguridad que termina fallando en lo más básico.

4. La Solución: Un "Manual de Estabilidad"

Los autores proponen tres cosas para que la ciencia sea más honesta:

No nos des solo una foto, danos el video: En lugar de decir "el modelo es un 9/10", los científicos deberían decir: "el modelo es un 9/10, pero su rendimiento es muy inestable cuando tiene pocos datos".
Repetir la prueba en los momentos críticos: Si sabes que la IA tiene una "crisis de identidad" cuando tiene 500 datos, no hagas una prueba; haz cien.
Cambiar la forma de estudiar: Sugieren cambiar la "forma de aprender" de la IA (usando algo llamado $\beta$ -NLL) para que sea más estable y no se pierda en sus propias dudas.

En resumen:

Este estudio nos advierte que un buen resultado hoy no garantiza un buen resultado mañana. En el mundo de la IA, como en la cocina, para saber si alguien es realmente bueno, no basta con una sola cena; hay que observar cómo se comporta a través de diferentes situaciones y momentos de crisis.

1. El Problema: La falacia del "punto final" único

En el aprendizaje profundo bayesiano (BDL), el rendimiento de los modelos de regresión probabilística suele reportarse mediante una métrica de punto final, comúnmente el Continuous Ranked Probability Score (CRPS), expresado como un único valor promedio.

El problema central que identifican los autores es que, en entornos de datos limitados, este valor no es una propiedad estable del método, sino una variable aleatoria resultante de un proceso estocástico (muestreo de datos, inicialización aleatoria y entrenamiento). La práctica estándar de reportar un solo valor (un "single-seed") puede ocultar una incertidumbre masiva, llevando a interpretaciones erróneas sobre la superioridad de un método sobre otro.

2. Metodología

Los autores proponen un marco de evaluación basado en la trayectoria de la varianza del CRPS a medida que aumenta el tamaño del conjunto de entrenamiento ( $n$ ).

Experimentos: Realizaron 50 repeticiones independientes en seis conjuntos de datos (sintéticos y reales de robótica, biología y energía urbana).
Clasificación de Métodos:
- Métodos de parametrización directa: Aprenden la varianza mediante una cabeza heterocedástica (ej. MAP y Deep Ensembles).
- Métodos de incertidumbre implícita: Obtienen la incertidumbre mediante muestreo estocástico sin una cabeza de varianza dedicada (ej. MC Dropout y Bayes by Backprop).
Métricas de Diagnóstico:
- Ajuste de Ley de Potencia ( $R^2$ ): Para medir qué tan regular es la disminución de la varianza.
- Monotonicidad: Para verificar si la varianza disminuye consistentemente con $n$ .
- Error de auto-estimación: Comparan el resultado de una sola semilla con la media de las 50 repeticiones usando el RMSE relativo.

3. Contribuciones Clave

Identificación de "Picos de Varianza": Demuestran que los métodos de parametrización directa presentan picos de varianza pronunciados y reproducibles en tamaños de muestra intermedios, rompiendo la expectativa de una reducción suave de la incertidumbre.
Diagnóstico de Confiabilidad: Establecen que la varianza local del CRPS es un predictor extremadamente preciso (correlación de Spearman $> 0.96$ ) del error de estimación de una sola semilla.
Vínculo con la Función de Pérdida: Identifican que la inestabilidad está ligada al objetivo de la Log-Verosimilitud Negativa (NLL) heterocedástica estándar.
Propuesta de Intervención: Demuestran que el uso de una función de pérdida modificada ( $\beta$ -NLL) estabiliza significativamente las trayectorias de los métodos directos.

4. Resultados Principales

Inestabilidad de los Métodos Directos: Mientras que los métodos implícitos (MCD, BBB) muestran una contracción de varianza suave y monótona, los métodos directos (MAP, Ensembles) muestran picos de inestabilidad. Por ejemplo, en el dataset Seoul Bike, el error relativo del RMSE para una sola semilla de MAP alcanza un alarmante 93.6% en el pico de varianza.
Falla de la Métrica de Punto Final: En las regiones de alto pico, la probabilidad de que un reporte de una sola semilla esté dentro del $\pm 10\%$ de la media real cae drásticamente (hasta el 5.9% en algunos casos).
Efecto de la $\beta$ -NLL: Al reemplazar la NLL estándar con $\beta$ -NLL, la trayectoria de la varianza en métodos como MAP se vuelve regular y monótona, mejorando el $R^2$ de la ley de potencia (de $0.158 $a$ 0.950$ en el dataset Kin8nm).

5. Significancia y Recomendaciones

El trabajo tiene implicaciones profundas para la práctica de la investigación en IA:

Para Investigadores: No basta con reportar el valor final de una métrica. Es crucial reportar la estabilidad de la trayectoria (resúmenes de $R^2$ y monotonicidad).
Para la Práctica de Benchmarking: Los evaluadores deben concentrar las repeticiones de experimentos en las regiones de $n$ donde la varianza local es alta, en lugar de aplicar un número uniforme de semillas a todos los tamaños de datos.
Para Desarrolladores de Modelos: Para métodos que aprenden la varianza directamente, se recomienda el uso de $\beta$ -NLL para evitar comportamientos de optimización patológicos que inducen inestabilidad en la evaluación.

Conclusión técnica: El estudio transforma la visión de los benchmarks de "números fijos" a "cantidades aleatorias", proporcionando herramientas matemáticas para cuantificar cuándo un experimento es estadísticamente poco fiable.