🤖 machine learning

Subtype Robustness Is Not Just Accuracy: Calibration Under Unseen Subtype Shift

Este artículo presenta el primer estudio sistemático que demuestra que los modelos de aprendizaje automático se vuelven sistemáticamente excesivamente confiados al enfrentarse a subtipos no vistos dentro de categorías conocidas, revelando que la robustez de los subtipos requiere evaluar la calibración en lugar de depender únicamente de métricas de exactitud.

Autores originales: Hanyu Su, Carlota Julbe i Juanola, Yibo Hu

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hanyu Su, Carlota Julbe i Juanola, Yibo Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a reconocer animales. Le muestras miles de fotos de perros y gatos, y aprende a decir: "¡Eso es un mamífero!" con total confianza. Pero, ¿qué pasa cuando le muestras la foto de un animal completamente nuevo, como un ornitorrinco, que nunca ha visto antes? Si el robot sigue diciendo: "¡Eso es un mamífero!" pero se equivoca en el animal específico, ¿está haciendo un buen trabajo? Esta pregunta se sitúa en el corazón de un campo llamado aprendizaje automático, que se centra específicamente en cómo la inteligencia artificial gestiona las nuevas variaciones de cosas que ya conoce.

En el mundo de la IA, hay dos grandes ideas que debemos entender para seguir esta historia. Primero, existe la precisión (accuracy), que es simplemente qué tan seguido el robot da la respuesta correcta. Si dice "mamífero" y es un mamífero, eso es un punto para la precisión. Segundo, existe la calibración. Esto es un poco más complejo; se trata de si la confianza del robot coincide con su precisión. Un robot bien calibrado que está un 90% seguro de su respuesta debería acertar el 90% de las veces. Si está un 90% seguro pero solo acierta el 50% de las veces, es "excesivamente confiado", lo cual es peligroso porque no sabrá cuándo pedir ayuda. Nos importa esto porque, en el mundo real, los sistemas de IA se encuentran constantemente con nuevas versiones de categorías antiguas —como una nueva especie de ave o un nuevo modelo de coche— y necesitamos saber si pueden mantenerse humildes y honestos cuando encuentran lo desconocido.

La trampa del exceso de confianza silencioso

Este artículo, titulado "Subtype Robustness Is Not Just Accuracy" (La robustez de los subtipos no es solo precisión), investiga un problema sigiloso donde los modelos de IA fallan de una manera que las pruebas estándar no detectan. Los investigadores plantearon un escenario donde un modelo es entrenado en "subtipos" específicos (como ver solo Golden Retrievers y Poodles) pero es probado en subtipos completamente nuevos dentro de la misma categoría amplia (como ver un Dálmata por primera vez). Se supone que el modelo aún debe identificar correctamente la categoría amplia (por ejemplo, "Perro") incluso si no conoce la raza específica.

El equipo descubrió algo alarmante: los modelos pierden su precisión en estos nuevos subtipos, pero no pierden su confianza.

Imagina a un estudiante tomando un examen. Ha estudiado solo Golden Retrievers y Poodles. Cuando ve un Dálmata, adivina "Perro" correctamente, pero en realidad solo está adivinando. En un mundo perfecto, el estudiante se sentiría inseguro y diría: "No estoy seguro, pero creo que es un perro". En cambio, estos modelos de IA actúan como un estudiante que está un 95% seguro de tener razón, aunque en realidad esté equivocado sobre los detalles específicos. El artículo muestra que, a medida que la precisión del modelo disminuye en estos nuevos subtipos, su confianza apenas baja. Esto crea un "exceso de confianza silencioso" donde el sistema está erróneamente seguro, y debido a que se siente tan seguro, no activa ninguna alarma.

Por qué no son solo "malas fotos"

Podrías pensar: "Bueno, tal vez las fotos nuevas se ven raras o borrosas, así que la IA se confunde". Los investigadores probaron esto comparando el problema del "nuevo subtipo" con la "corrupción genérica", que es como tomar una foto normal y mancharla con barro, añadirle ruido o desenfocarla.

Descubrieron una gran diferencia. Cuando hicieron que las fotos se vieran mal (corrupción genérica), la confianza de la IA cayó drásticamente junto con su precisión. Sabía que estaba mirando un desastre. Pero cuando le mostraron una foto limpia y perfecta de un nuevo subtipo que nunca había visto, la IA se mantuvo obstinadamente confiada a pesar de que estaba teniendo dificultades para ser precisa. El modelo reacciona al daño visible, pero permanece ciego ante la "novedad intra-taxonómica": cosas nuevas que parecen normales pero que son técnicamente nuevas para el sistema.

Las herramientas que tenemos no lo solucionan

Los investigadores se preguntaron entonces: "¿Podemos simplemente arreglar esto después de los hechos?". Probaron dos soluciones comunes:

Recalibración: Intentaron ajustar las puntuaciones de confianza del modelo utilizando datos de los tipos que sí conocía. Esto ayudó un poco, reduciendo la brecha entre lo visto y lo no visto, pero no la cerró. El modelo seguía siendo demasiado confiado con lo nuevo.
Detección de fuera de la distribución (Out-of-Distribution Detection): Intentaron usar herramientas estándar diseñadas para señalar entradas "extrañas". Estas herramientas fallaron estrepitosamente. No pudieron distinguir entre un perro conocido y un perro nuevo y no visto. Las puntuaciones eran tan similares que las herramientas básicamente estaban adivinando.

La causa raíz: ¿Cuántos ejemplos viste?

El artículo también descubrió un patrón que explica por qué sucede esto. Cuantos más ejemplos de una categoría específica vio el modelo durante el entrenamiento, mejor se mantuvo calibrado en los nuevos. Por ejemplo, si el modelo vio 100 tipos diferentes de perros, manejó mucho mejor a los perros nuevos que si solo vio 2 tipos. Es como un chef que ha cocinado con 50 tipos de manzanas; pueden adivinar el sabor de una manzana nueva mucho mejor que un chef que solo ha cocinado con una. El artículo sugiere que el "exceso de confianza" está directamente relacionado con qué tan escasos fueron los datos de entrenamiento para ese grupo específico.

La conclusión

La idea principal es que no podemos limitarnos a mirar la precisión para ver si una IA es robusta. Si un modelo obtiene la respuesta amplia correcta pero es increíblemente excesivamente confiado ante nuevas variaciones, en realidad está fallando. El artículo argumenta que debemos empezar a medir la calibración junto con la precisión. Hasta que construyamos mejores herramientas que puedan detectar estos fallos "silenciosos", tenemos que tener cuidado al confiar en sistemas de IA que afirman ser robustos cuando en realidad solo están adivinando con total seguridad ante las cosas nuevas que encuentran.

Resumen Técnico: La robustez de los subtipos no es solo precisión: Calibración bajo el cambio de subtipo no visto

Definición del Problema
El artículo aborda un modo de fallo específico en sistemas de aprendizaje profundo desplegados en espacios de etiquetas jerárquicas: la robustez de los subtipos. En este escenario, un modelo se entrena en un conjunto de subtipos finos conocidos (por ejemplo, razas de perros específicas), pero debe realizar predicciones sobre ejemplos de prueba de subtipos no vistos (por ejemplo, nuevas razas de perros) que pertenecen a la misma categoría gruesa conocida (por ejemplo, "perro"). No se requiere que el modelo identifique el subtipo no visto exacto, pero debe preservar la predicción semántica gruesa correcta.

Mientras que trabajos previos han evaluado este escenario principalmente a través de la precisión (accuracy), este artículo argumenta que la precisión por sí sola proporciona una visión incompleta. Un modelo puede mantener una alta confianza en las predicciones que obtiene erróneamente debido a subtipos no vistos, lo que conduce a una sobreconfianza sistemática. Esto representa un fallo de calibración, donde la confianza del modelo ya no coincide con su precisión empírica. Los autores formalizan esto como un "cambio de mismo nivel de etiqueta gruesa, subtipo fino no visto", distinto de la detección clásica de datos fuera de distribución (OOD) donde la propia etiqueta gruesa es inválida.

Metodología
Los autores llevan a cabo un estudio empírico sistemático a través de cuatro conjuntos de datos (ImageNet-25, BREEDS [Living-17 y Nonliving-26], iNaturalist-25 y CIFAR-100) y cinco arquitecturas (AlexNet, ResNet-18, ResNet-50, ViT-B/16, ConvNeXt-T).

Configuración Experimental: Los modelos se entrenan de extremo a extremo utilizando etiquetas gruesas empleando solo ejemplos de subtipos vistos. No se utilizan ejemplos de subtipos no vistos para el aprendizaje de representaciones, el entrenamiento del clasificador o la selección del modelo.
Métricas: El estudio evalúa tres brechas emparejadas entre las divisiones de vistos y no vistos:
- $\Delta$ acc: Caída en la precisión gruesa.
- $\Delta$ conf: Caída en la confianza media.
- $\Delta$ cal: Incremento en el Error de Calibración Esperado (ECE).
- Las métricas adicionales incluyen la detección de fallos mediante AUROC y el riesgo-cobertura (AURC) para evaluar la discriminación por muestra.
Comparaciones:
- Corrupción Genérica: Los autores comparan los cambios de subtipo con corrupciones de imagen genéricas (ImageNet-C) ajustadas para igualar la pérdida de precisión, con el fin de determinar si las caídas de confianza son una consecuencia general de la pérdida de precisión o específicas de la novedad.
- Remedios Post-hoc: Prueban métodos de recalibración estándar (Escalamiento de Temperatura, Escalamiento de Vectores) ajustados en subtipos vistos y aplicados a los no vistos.
- Puntuaciones de Detección: Evalúan las puntuaciones OOD estándar (Probabilidad Máxima de Softmax, Puntuación de Energía, Distancia de Mahalanobis) sobre su capacidad para señalar subtipos no vistos.

Resultos Clave

La Confianza No Sigue a la Precisión: En todos los conjuntos de datos y arquitecturas, la precisión cae significativamente en los subtipos no vistos (por ejemplo, 29–40 puntos porcentuales en ImageNet-25), mientras que la confianza cae mínimamente (2–16 puntos porcentuales). Esto resulta en un gran incremento del error de calibración ( $\Delta$ cal), dejando a los modelos en un estado de "sobreconfianza silenciosa".
Comportamiento Distinto de la Corrupción Genérica: Cuando las corrupciones de imagen genéricas se ajustan para causar la misma pérdida de precisión que los cambios de subtipo, estas causan una caída de confianza mucho mayor. Esto indica que los modelos reaccionan ante la degradación visible, pero permanecen "ciegos" ante la novedad dentro de la taxonomía, donde la apariencia de la imagen permanece normal.
Fracaso de los Remedios Estándar:
- Recalibración: La calibración post-hoc ajustada en subtipos vistos reduce la brecha de calibración, pero no la cierra. La división no vista sigue estando significativamente mal calibrada en comparación con la división vista.
- Puntuaciones de Detección: Las puntuaciones OOD estándar (MSP, Energía, Mahalanobis) funcionan deficientemente para distinguir subtipos no vistos de los vistos (AUROC $\approx$ 0.5–0.72), fallando al proporcionar una señal de triaje fiable.
Predictibilidad: El grado de colapso de la calibración se correlaciona fuertemente con el número de subtipos vistos por clase gruesa ( $n_j$ ). Las superclases con menos subtipos vistos exhiben una mayor sobreconfianza en los subtipos no vistos, lo que sugiere un mecanismo basado en la cobertura.

Significancia y Reivindicaciones
El artículo sostiene que la robustez de los subtipos debe evaluarse a través de la calibración, no solo de la precisión. La contribución principal es la identificación de un modo de fallo de "sobreconfianza silenciosa" donde los modelos pierden precisión en los subtipos no vistos sin una caída correspondiente en la confianza.

Los autores argumentan que:

Las métricas de evaluación actuales (precisión) ocultan este fallo crítico.
El fenómeno es distinto del cambio de distribución general o de la detección de OOD, ya que la etiqueta gruesa sigue siendo válida.
Las herramientas post-hoc actuales y las puntuaciones de detección estándar son insuficientes para recuperar la calibración o señalar estas entradas.
Por lo tanto, cualquier afirmación de robustez de subtipos debe ir acompañada de un análisis de la fiabilidad de la confianza, ya que preservar la precisión gruesa es insuficiente si la confianza del modelo ya no refleja la fiabilidad.

El artículo concluye sugiriendo direcciones futuras, tales como objetivos durante el entrenamiento (por ejemplo, aprendizaje evidencial, aumentación de diversidad de subtipos) y detectores diseñados específicamente para la novedad dentro de la taxonomía, en lugar de depender de las soluciones actuales listas para usar.

La trampa del exceso de confianza silencioso

Por qué no son solo "malas fotos"

Las herramientas que tenemos no lo solucionan

La causa raíz: ¿Cuántos ejemplos viste?

La conclusión

Más como este