📊 statistics

Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties

Este artículo propone un marco de entrenamiento cooperativo que integra una red de estimación de varianza con una red neuronal bayesiana para desentrañar eficazmente las incertidumbres aleatorias y epistémicas, al tiempo que mejora la estimación de la media en diversos conjuntos de datos.

Autores originales: Jiaxiang Yi, Miguel A. Bessa

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiaxiang Yi, Miguel A. Bessa

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando predecir el clima. Tienes un modelo que dice: "Mañana hará 75 °F". Pero, ¿qué tan seguro está el modelo?

En el mundo de la IA, hay dos razones principales por las que un modelo podría estar inseguro:

El problema de los "Datos Desordenados" (Incertidumbre Aleatoria): El termómetro está roto, o el viento sopla salvajemente. No importa cuán inteligente sea tu modelo, no puedes predecir la temperatura exacta porque los datos en sí mismos son ruidosos. Esto es como intentar adivinar el resultado exacto de lanzar un dado; el ruido está incorporado en el proceso.
El problema de "Nunca He Visto Esto Antes" (Incertidumbre Epistémica): Le preguntas a tu modelo sobre un patrón climático que nunca ha visto en sus datos de entrenamiento. El modelo está inseguro porque carece de conocimiento, no porque los datos sean ruidosos. Esto es como pedirle a un chef que solo cocina comida italiana que adivine el sabor de un plato de una cocina que nunca ha estudiado.

El Problema con la IA Actual
La mayoría de los modelos de IA son como estudiantes excesivamente seguros de sí mismos. Te dan una sola respuesta (la media) pero actúan como si supieran todo. Si se equivocan, no te lo dicen.

Algunos modelos intentan admitir que están inseguros sobre los "datos desordenados", pero se confunden y a menudo sobreajustan (memorizan el ruido), lo que lleva a predicciones deficientes.
Otros modelos (Redes Neuronales Bayesianas) intentan admitir que están inseguros sobre su "falta de conocimiento", pero son increíblemente difíciles de entrenar y a menudo quedan atrapados en un callejón sin salida matemático.

Intentar entrenar un modelo para hacer ambas cosas al mismo tiempo es como pedirle a un estudiante que resuelva un problema de matemáticas mientras intenta simultáneamente averiguar cuán desordenado está su lápiz. Las dos tareas se luchan entre sí, y el resultado suele ser un desastre.

La Solución: Un Equipo Cooperativo (VeBNN)
Los autores de este artículo proponen una nueva forma de entrenar IA llamada VeBNN (Red Neuronal Bayesiana de Estimación de Varianza). En lugar de forzar a un modelo a hacerlo todo a la vez, dividen el trabajo en tres pasos distintos, como una carrera de relevos donde cada corredor se especializa en una etapa.

Paso 1: El Corredor de la "Media"
Primero, entrenan un modelo simple solo para encontrar la respuesta promedio (la media). Por un momento, fingen que los datos están perfectamente limpios. Esto les proporciona una predicción de línea base sólida sin distraerse con el ruido.

Paso 2: El Detective del "Ruido"
A continuación, toman esa línea base sólida y entrenan un segundo modelo especializado solo para observar los errores que cometió el primer modelo. Este "Detective del Ruido" aprende a mapear dónde los datos son desordenados y dónde son limpios. Aprende la Incertidumbre Aleatoria (el ruido irreducible). Crucialmente, hace esto sin intentar cambiar la predicción promedio, por lo que no se confunde.

Paso 3: El Experto de "Conocimiento"
Finalmente, entrenan una compleja Red Neuronal Bayesiana. Este es el experto que sabe cómo manejar situaciones de "no lo sé". Pero aquí está el truco: le dan a este experto el mapa del "ruido" creado por el detective en el Paso 2. Como el experto ya sabe exactamente dónde los datos son desordenados, puede concentrarse completamente en averiguar dónde él carece de conocimiento. Esto le permite medir con precisión la Incertidumbre Epistémica.

Por Qué Esto Funciona (La Analogía)
Piensa en ello como un equipo de médicos diagnosticando a un paciente:

Doctor A mide la temperatura y la frecuencia cardíaca del paciente (la Media).
Doctor B revisa el historial del paciente y nota que el termómetro es inestable y el paciente está sudando (el Ruido Aleatorio).
Doctor C (el experto Bayesiano) utiliza las mediciones de A y el contexto de B para decidir: "¿Es esta una enfermedad rara que nunca he visto?" (La Incertidumbre Epistémica).

Si le pides al Doctor C que haga los tres trabajos a la vez, podría abrumarse. Pero al hacerlos trabajar cooperativamente en secuencia, el diagnóstico es mucho más preciso.

Lo Que Encontraron
Los autores probaron este método en varios conjuntos de datos, incluyendo:

Problemas matemáticos estándar.
Tareas de reconocimiento de imágenes.
Un conjunto de datos especial que crearon relacionado con la ciencia de materiales (predecir cómo se deforma el metal bajo estrés). En este caso específico, realmente conocían la cantidad real de ruido en los datos, lo que les permitió demostrar que su método era correcto.

Los Resultados

Mejor Precisión: Los modelos predijeron el resultado promedio mejor que los métodos anteriores.
Desenredo Real: El modelo separó con éxito los "datos desordenados" de la "falta de conocimiento". En los métodos anteriores, estas dos incertidumbres a menudo se mezclaban, haciendo que el modelo fuera demasiado seguro o demasiado temeroso.
Robustez: El método funcionó bien incluso cuando los datos eran escasos o cuando se le pedía al modelo que predijera cosas fuera de su rango de entrenamiento (extrapolación).

En Resumen
Este artículo introduce una estrategia de "dividir y conquistar" para la incertidumbre de la IA. Al entrenar tres redes especializadas en un orden específico, los autores crearon un sistema que puede decirte no solo qué sucederá, sino qué tan seguro está sobre el ruido de los datos versus su propia falta de conocimiento. Es una forma más simple y robusta de hacer que la IA admita lo que no sabe.

Resumen Técnico: Estimación Cooperativa de Varianza y Redes Neuronales Bayesianas para Desentrelazar Incertidumbres Aleatorias y Epistémicas

Enunciado del Problema

Los datos del mundo real contienen inherentemente dos tipos distintos de incertidumbre: incertidumbre aleatoria (ruido de datos que surge de mediciones imperfectas o procesos de generación estocásticos) e incertidumbre epistémica (incertidumbre del modelo que surge de datos limitados o capacidad del modelo). Si bien las redes de estimación media-varianza (MVE) pueden aprender la incertidumbre aleatoria, a menudo sufren de sobreajuste y fallan al predecir la incertidumbre epistémica. Por el contrario, las Redes Neuronales Bayesianas (BNN) pueden predecir la incertidumbre epistémica, pero son notoriamente difíciles de entrenar, especialmente cuando se intenta modelar simultáneamente el ruido aleatorio heterocedástico (dependiente de la entrada).

Los enfoques existentes para entrenar conjuntamente redes MVE a menudo encuentran desafíos de optimización. La función de pérdida de Negativa Log-Verosimilitud (NLL) utilizada para el entrenamiento conjunto crea un paisaje no convexo con puntos de silla. Específicamente, el gradiente con respecto a la varianza contiene términos de alto orden en el denominador, lo que conduce a desequilibrios donde la red puede sobreajustar el ruido (impulsando la varianza a cero) o fallar en converger (impulsando la varianza a infinito). Además, se ha demostrado que los intentos de desentrelazar incertidumbres utilizando métodos de ensamblaje o MC-Dropout en redes MVE producen resultados poco fiables, a menudo confundiendo los dos tipos de incertidumbre.

Metodología: VeBNN

Los autores proponen VeBNN (Red Neuronal Bayesiana de Estimación de Varianza), una estrategia de entrenamiento cooperativa que desacopla secuencialmente la estimación de la media, la incertidumbre aleatoria y la incertidumbre epistémica. El método procede en tres pasos distintos:

Entrenamiento de la Red de Medias (Paso 1): Se entrena una red determinista para estimar la media ( $\mu$ ) asumiendo incertidumbre aleatoria constante (homocedástica). Esto simplifica el paisaje de optimización, permitiendo que la red encuentre una estimación puntual robusta de la media sin la interferencia de gradientes de varianza.
Entrenamiento de la Red de Estimación de Varianza (Paso 2): Se entrena una red separada para predecir la incertidumbre aleatoria ( $\sigma^2_a$ ) basándose en los residuos de la estimación de media fija del Paso 1. Crucialmente, en lugar de utilizar la pérdida NLL Gaussiana estándar (que sufre de desequilibrio de gradientes), los autores proponen modelar los residuos al cuadrado utilizando una distribución Gamma. Esto conduce a una pérdida NLL basada en Gamma donde los gradientes con respecto a los parámetros de la red no contienen términos de denominador de alto orden, asegurando una optimización estable. La varianza aleatoria se deriva entonces como el valor esperado de esta distribución Gamma.
Entrenamiento de la Red Neuronal Bayesiana (Paso 3): Se entrena una BNN con un "arranque en caliente" utilizando la estimación de media del Paso 1 y la estimación de varianza aleatoria fija del Paso 2. Dado que el ruido aleatorio ahora se trata como una cantidad conocida y fija durante esta etapa, la BNN se centra exclusivamente en aprender la distribución posterior de los pesos para capturar la incertidumbre epistémica.

La predicción final para una nueva entrada $x'$ descompone la incertidumbre total en:

Media Predictiva: La esperanza de la salida de la BNN.
Incertidumbre Aleatoria: La estimación de varianza fija del Paso 2.
Incertidumbre Epistémica: La varianza de la media predictiva de la BNN a través de la distribución posterior.

Los autores señalan que el proceso puede iterar entre los Pasos 2 y 3 para refinar el desentrelazado, aunque los resultados empíricos sugieren que la convergencia se logra a menudo con una sola iteración ( $K=1$ o $K=2$ ).

Contribuciones Clave

Estrategia de Entrenamiento Cooperativo: El artículo introduce un marco de entrenamiento secuencial que evita los problemas de optimización acoplada inherentes al entrenamiento conjunto de MVE. Al separar las tareas, el método mitiga los problemas de no convexidad y desequilibrio de gradientes asociados con la estimación conjunta media-varianza.
Verosimilitud Gamma para Estimación de Varianza: Los autores proponen utilizar una verosimilitud Gamma para modelar los residuos al cuadrado para la estimación de varianza. Esto evita la inestabilidad numérica de la pérdida NLL Gaussiana y proporciona un problema de optimización convexa y teóricamente fundamentado para la red de varianza.
Desentrelazado Efectivo: El método separa con éxito las incertidumbres aleatoria y epistémica, una tarea donde muchos métodos existentes (incluidos los ensambles profundos y MC-Dropout aplicados a MVE) fallan en proporcionar una separación fiable.
Escalabilidad e Implementación: El enfoque es sencillo de implementar utilizando arquitecturas estándar (MLP, GRU, ResNets) y métodos de inferencia (pSGLD, Ensembles, BBB, MC-Dropout), demostrando que el entrenamiento cooperativo puede mejorar incluso los métodos de inferencia "débiles" como BBB.

Resultados Experimentales

Los autores evaluaron VeBNN en cinco categorías de conjuntos de datos:

Ejemplos ilustrativos unidimensionales: Demostraron que VeBNN evita las predicciones de varianza excesivamente seguras y la mala estimación de la media observadas en el entrenamiento conjunto de MVE, particularmente en regiones de extrapolación.
Conjuntos de datos de regresión UCI: VeBNN mejoró consistentemente la Log-Verosimilitud de Prueba (TLL) y el Error Cuadrático Medio (RMSE) en varios métodos de inferencia (Ensembles, MC-Dropout, BBB, pSGLD) en comparación con sus contrapartes MVE conjuntas. Cabe destacar que VeBNN (BBB) logró un rendimiento competitivo, mientras que MVE conjunta (BBB) a menudo fallaba en converger.
Regresión de Imágenes a Gran Escala: Bajo cambios de distribución del mundo real, VeBNN (Ensembles) logró una TLL más alta y una mejor cobertura de prueba que las líneas base, demostrando una mayor capacidad para manejar datos desplazados.
Descubrimiento de Leyes de Plasticidad de Materiales (Verdad Terrena Conocida): Utilizando un conjunto de datos personalizado donde la incertidumbre aleatoria de verdad terrena es conocida (mediante múltiples simulaciones físicas), VeBNN (pSGLD) superó a todas las líneas base en RMSE, distancia de Wasserstein (midiendo la cercanía de la incertidumbre aleatoria estimada a la verdad terrena) y TLL Epistémica. El método identificó correctamente que la incertidumbre aleatoria permaneció estable mientras que la incertidumbre epistémica aumentó en regiones fuera de la distribución.
Conjunto de datos APPA-REAL: VeBNN logró el mejor rendimiento en todas las métricas (RMSE, WA, TLL Epistémica) en comparación con las líneas base MVE.

Estudios de ablación confirmaron que la pérdida Gamma es superior a la NLL Gaussiana o a la $\beta$ -NLL para la red de varianza y que el método converge rápidamente, requiriendo a menudo solo una iteración adicional más allá del entrenamiento inicial.

Significado y Afirmaciones

El artículo afirma que la estrategia de entrenamiento cooperativa propuesta ofrece una solución robusta, eficiente y escalable para la cuantificación de incertidumbre en el aprendizaje profundo. Al desacoplar la estimación de las incertidumbres aleatoria y epistémica, el método supera los obstáculos de optimización que han limitado la adopción generalizada de la regresión bayesiana heterocedástica.

Los autores enfatizan que, si bien entrenar BNN sigue siendo más desafiante que entrenar redes deterministas, su enfoque facilita este proceso proporcionando un arranque en caliente de alta calidad (la media) y una estimación fija de ruido aleatorio. Indican que este método es particularmente valioso para aplicaciones críticas para la seguridad donde distinguir entre incertidumbre reducible (epistémica) e irreducible (aleatoria) es esencial para el aprendizaje activo y la toma de decisiones sensible al riesgo. El artículo concluye que VeBNN es una alternativa práctica e implementable a los métodos actuales de última generación, capaz de mejorar la estimación de medias y el desentrelazado de incertidumbre en diversas arquitecturas de modelos y técnicas de inferencia.