🤖 machine learning

Can we trust our models? Epistemic calibration in second-order classification

Este artículo introduce la calibración epistémica como un criterio más estricto que la calibración clásica para evaluar la confiabilidad de las estimaciones de incertidumbre epistémica en la clasificación de segundo orden, proponiendo la métrica del Error de Calibración Epistémica Esperada (EECE, por sus siglas en inglés) para revelar diferencias significativas de fiabilidad entre los métodos de cuantificación de la incertidumbre que las métricas estándar suelen pasar por alto.

Autores originales: Arthur Hoarau

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Arthur Hoarau

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El problema del "Seguro pero equivocado"

Imagina que estás contratando a un pronosticador del tiempo.

Nivel 0 (Precisión): ¿Predijo lluvia cuando llovió?
Nivel 1 (Calibración): Cuando dice "Hay un 70% de probabilidad de lluvia", ¿realmente llueve 7 de cada 10 veces?
Nivel 2 (Confianza/Incertidumbre): En esto se centra el artículo. Cuando el pronosticador dice: "No estoy seguro, mi confianza es baja", ¿significa eso realmente que la situación es caótica e impredecible? ¿O simplemente está adivinando al azar mientras finge estar inseguro?

La mayoría de los modelos de IA actuales son buenos en el Nivel 0 y el Nivel 1. Pero suelen fallar en el Nivel 2. Pueden decir: "Estoy un 50% inseguro", cuando en realidad la situación es muy predecible (o viceversa). El artículo pregunta: ¿Cómo sabemos si la "incertidumbre" de un modelo es realmente digna de confianza?

El concepto central: "Calibración Epistémica"

Los autores introducen una nueva regla llamada Calibración Epistémica.

Piensa en un modelo no como una sola persona, sino como un comité de expertos (esto se llama un "modelo de segundo orden").

La predicción: El comité toma una votación. Si el 60% dice "Sí" y el 40% dice "No", la predicción final es 60%.
La incertidumbre: La "dispersión" de la votación. Si todos votaron 60%, la incertidumbre es cero (están de acuerdo). Si la mitad votó 100% y la otra mitad 0%, la incertidumbre es alta (están en desacuerdo).

Calibración Epistémica significa: El tamaño del desacuerdo (la incertidumbre) debe coincidir perfectamente con qué tan equivocado está realmente el comité.

Buena calibración: Cuando el comité discrepa mucho (alta incertidumbre), deberían equivocarse mucho. Cuando están de acuerdo (baja incertidumbre), deberían acertar.
Mala calibración: El comité podría discrepar salvajemente (diciendo "¡Estamos súper inseguros!"), pero en realidad todos están en lo cierto. O bien, podrían estar de acuerdo perfectamente (diciendo "¡Estamos 100% seguros!"), pero todos están equivocados.

El artículo argumenta que un modelo puede estar "calibrado" en el sentido antiguo (Nivel 1) pero seguir estando "mal calibrado" en este nuevo sentido (Nivel 2).

La regla "imposible"

El artículo presenta un hallazgo sorprendente (un "Teorema de Imposibilidad"). Dice que:
Si un modelo está verdaderamente Calibrado Epistémicamente, la cantidad de desacuerdo entre los expertos no puede decirte nada nuevo sobre la respuesta.

Analogía: Imagina a un grupo de estudiantes haciendo un examen.

Si los estudiantes están "calibrados", el hecho de que estén discutiendo entre ellos (alta incertidumbre) no revela mágicamente la respuesta correcta. La respuesta correcta ya está oculta en el promedio de sus votos.
Si el grado de discusión te dice algo sobre la respuesta (por ejemplo, "Si discuten tanto, la respuesta debe ser A"), entonces el modelo está roto. La estimación de la incertidumbre está haciendo demasiado trabajo.

La nueva herramienta: EECE (El "Medidor de Confianza")

Para medir esto, los autores crearon una nueva puntuación llamada EECE (Error de Calibración Epistémica Esperado).

La analogía:
Imagina que tienes una bolsa de dados.

Lanzas los dados 100 veces.
Por cada lanzamiento, los dados te dicen: "Creo que el resultado será un 4, y estoy un 20% inseguro".
El EECE comprueba: "Muy bien, dijiste que estabas un 20% inseguro. ¿Variaron los resultados reales aproximadamente un 20%?".
- Si los resultados variaron salvajemente (50% de varianza) pero dijiste que solo estabas un 20% inseguro, tu puntuación de EECE es mala. Mentiste sobre tu confianza.
- Si los resultados variaron exactamente tanto como predijiste, tu puntuación de EECE es perfecta.

El artículo demuestra matemáticamente que esta puntuación EECE es una forma fiable de medir el error "Real", tal como un termómetro mide la temperatura de forma fiable.

Lo que mostraron los experimentos

Los autores probaron esto en varios modelos de IA (como Random Forests, modelos Bayesianos y Deep Ensembles) utilizando problemas matemáticos simples y tareas de reconocimiento de imágenes (como identificar números escritos a mano).

Algunos modelos son excelentes en esto: Modelos como la Regresión Logística Bayesiana (que funciona bien en problemas de líneas rectas simples) estaban casi perfectamente "Calibrados Epistémicamente". Sabían exactamente qué tan inseguros estaban.
Algunos modelos tienen dificultades: Los Random Forests (un método muy popular) a menudo tenían puntuaciones de incertidumbre que no coincidían con sus errores reales. Estaban "confundidos" de una manera que no correspondía con la realidad.
La complejidad importa: Con datos simples, casi todos lo hicieron bien. Con datos complejos (como fotos del mundo real), las diferencias se volvieron enormes. Algunos métodos que parecían buenos prediciendo la respuesta eran terribles informando su incertidumbre.
Los métodos "ilustrativos": Los autores probaron algunos métodos que ni siquiera fueron diseñados para esto (como simples conjeturas basadas en la distancia). Como era de esperar, fallaron la prueba, demostrando que la prueba funciona.

La conclusión

El artículo concluye que, a medida que ponemos la IA en sistemas críticos (como coches autónomos o diagnósticos médicos), no podemos limitarnos a preguntar: "¿Es el modelo correcto?". También debemos preguntar: "¿Es honesta la incertidumbre del modelo?".

La Calibración Epistémica es el nuevo estándar para verificar esa honestidad. Asegura que cuando una IA dice "No lo sé", realmente signifique que la situación es impredecible, y cuando dice "Lo sé", realmente signifique que está segura y en lo cierto. Sin este control, estamos confiando en modelos que pueden estar errados con total seguridad o ser ciertos siendo inciertos.

Resumen Técnico: Calibración Epistémica en la Clasificación de Segundo Orden

Planteamiento del Problema

Si bien la estimación de la incertidumbre es crítica para el despliegue de modelos de aprendizaje automático en entornos de alto riesgo (por ejemplo, conducción autónoma, aplicaciones médicas), las métricas de evaluación actuales son insuficientes. La calibración clásica evalúa la fiabilidad de las probabilidades predichas (Nivel-1), asegurando que una probabilidad predicha de $p$ corresponda a una frecuencia empírica de $p$ . Sin embargo, esto no evalúa si los estimadores de la incertidumbre epistémica (Nivel-2) son, en sí mismos, dignos de confianza.

Los modelos de clasificación de segundo orden (por ejemplo, métodos bayesianos, ensambles, aprendizaje profundo evidencial) producen una distribución sobre las predicciones en lugar de una única estimación puntual. Existe una brecha significativa en la literatura sobre si la incertidumbre epistémica reportada (la dispersión de estas predicciones) refleja fielmente la dispersión real de las predicaciones del modelo alrededor de la verdad de campo (ground truth). Los métodos existentes a menudo fallan al distinguir entre un modelo que vacila debido a la dificultad inherente de los datos (incertidumbre aleatoria) frente a una falta de datos de entrenamiento (incertidumbre epistémica), y las métricas estándar no pueden detectar modos de fallo específicos donde las estimaciones de incertidumbre están mal calibradas a pesar de tener un buen rendimiento predictivo promedio.

Metodología y Marco de Trabajo

El artículo introduce la Calibración Epistémica, un criterio fundamentado para modelos de segundo orden. A diferencia de la calibración clásica, que se centra en la media de la predicción, la calibración epistémica requiere que la incertidumbre reportada (la varianza de la distribución de segundo orden) coincida con el error cuadrático esperado real de los modelos individuales muestreados de esa distribución.

Definiciones Clave y Resultados Teóricos:

Calibración Epistémica (Definición 5): Un predictor de segundo orden $\Pi$ está epistemicamente calibrado si, para cualquier distribución de predicciones $\Psi$ , la probabilidad de la etiqueta real dada la distribución es igual a la media de dicha distribución. Crucialmente, esto implica que la dispersión (varianza) de la distribución no aporta información adicional sobre la etiqueta real más allá de lo que la media ya codifica (Teorema 2).
Teorema de Imposibilidad: Los autores relacionan su trabajo con la literatura existente sobre la descomposición sesgo-varianza. Demuestran que, para un modelo epistemicamente calibrado, la dispersión no puede codificar el sesgo respecto a la verdad de campo; si un modelo está epistemicamente calibrado, su estimación de incertidumbre debe reflejar estrictamente la varianza de las predicciones alrededor de la verdad, no un sesgo sistemático.
Error de Calibración Epistémica Esperado (EECE): Para operacionalizar este concepto, los autores proponen el EECE. Esta métrica cuantifica la discrepancia entre la incertidumbre epistémica reportada y el error cuadrático esperado empírico de las hipótesis muestreadas dentro de regiones agrupadas (binned) en el espacio de predicción conjunto.
- Consistencia: El artículo demuestra (Teorema 3) que el EECE es un estimador consistente del Error de Calibración Epistémica Real (TECE), convergiendo al valor real a medida que aumentan el número de grupos (bins) y de muestras.

Configuración Experimental:
La metodología se evalúa a través de dos grupos de métodos:

Métodos Activos: Teóricamente compatibles con el marco basado en la varianza, incluyendo Regresión Logística Bayesiana, Aprendizaje Profundo Bayesiano (Aproximación de Laplace), Ensambles Profundos (Deep Ensembles), Bosques Aleatorios (Random Forests), DropConnect y MC-Dropout.
Métodos Ilustrativos: Métodos basados en centroides, basados en verosimilitud y de k-vecinos más cercanos, que no están diseñados para la descomposición basada en la varianza y sirven como líneas base para la malcalibración esperada.

Los experimentos se realizan en:

Un Conjunto de Datos de Juego (mezcla de Gaussianas) para controlar la verdad de campo y analizar comportamientos esperados (por ejemplo, sensibilidad al ruido y tamaño del conjunto de entrenamiento).
Conjuntos de Datos de Visión de Alta Dimensión (MNIST y CIFAR-10), donde los datos se proyectan en un espacio latente mediante autoencoders y se tratan como 10 tareas de clasificación binaria "uno contra todos".

Resultados Clave

Distinción de la Calibración Clásica: Los experimentos revelan que los modelos pueden estar clásicamente calibrados (predicciones de la media fiables) mientras están epistemicamente mal calibrados (estimaciones de incertidumbre no fiables). Por ejemplo, los Bosques Aleatorios mostraron una pobre calibración epistémica a pesar de tener un rendimiento predictivo razonable, mientras que la Regresión Logística Bayesiana funcionó bien en datos gaussianos linealmente separables pero tuvo dificultades en datos complejos del mundo real.
Validación del Comportamiento: En el conjunto de datos de juego, el EECE se comportó según lo esperado teóricamente:
- El error de calibración epistémica aumentó significamente a medida que el ruido en el conjunto de entrenamiento incrementaba.
- El EECE disminuyó a medida que el tamaño del conjunto de entrenamiento crecía, estabilizándose a medida que el modelo se volvía más seguro.
Comparación de Métodos:
- Ensambles Profundos y MC-Dropout demostraron una fuerte calibración epistémica en la tarea de CIFAR-10.
- Bosques Aleatorios exhibieron consistentemente el mayor error de calibración epistémica entre los métodos basados en la varianza.
- Los métodos ilustrativos (basados en centroides/verosimilitud) funcionaron deficientemente, confirmando que los métodos no fundamentados en distribuciones de segundo orden o en la diversidad de ensambles fallan en cumplir el criterio de calibración epistémica.
Dependencia del Sesgo Inductivo: Los resultados resaltan que la calibración epistémica depende altamente del sesgo inductivo del modelo. Los modelos funcionan bien cuando sus supuestos coinciden con la estructura de los datos (por ejemplo, Regresión Logística Bayesiana en datos linealmente separables), pero se degradan cuando se aplican a datos complejos y no lineales del mundo real.

Significancia y Reivindicaciones

El artículo afirma proporcionar una base fundamentada para la confianza en los modelos de clasificación de segundo orden. Al introducir la calibración epistémica, los autores argumentan que los investigadores y profesionales ahora pueden evaluar si la "confianza" de un modelo en su propia incertidumbre es válida.

Noción más Fuerte: La calibración epistémica se establece como una condición estrictamente más fuerte que la calibración clásica.
Detección de Modos de Fallo: La métrica EECE captura modos de fallo invisibles para las métricas estándar, tales como cuando un modelo reporta una alta incertidumbre que no corresponde a la dispersión real de la predicción.
Utilidad Práctica: El trabajo cierra la brecha entre la cuantificación de la incertidumbre teórica y las demandas de fiabilidad de los sistemas críticos para la seguridad. Sugiere que, para que un modelo sea verdaderamente confiable en entornos de alto riesgo, no solo debe predecir correctamente en promedio, sino también reportar con precisión la dispersión de su propia distribución predictiva.

Los autores mantienen la modestia, señalando que, si bien la calibración epistémica es una propiedad natural para modelos bien especificados (como la Regresión Logística Bayesiana en datos Gaussianos), no es universalmente satisfecha por todos los métodos de cuantificación de la incertidumbre, particularmente en conjuntos de datos complejos del mundo real. El artículo no propone nuevos algoritmos de entrenamiento, sino un nuevo marco de evaluación para identificar qué métodos existentes son dignos de confianza.