Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?

Este estudio presenta una evaluación a gran escala de 326 modelos de clasificación de imágenes que analiza nueve dimensiones de calidad más allá de la precisión, revelando que los modelos de visión-lingüística y el aprendizaje auto-supervisado mejoran significativamente estas propiedades y proponiendo la métrica QUBA para clasificar y recomendar modelos según necesidades específicas.

Lo esencial

¡Claro que sí! Imagina que el mundo de la Inteligencia Artificial (IA) y las redes neuronales es como un gran concurso de cocina donde el objetivo principal es hacer el plato más delicioso posible.

Durante años, los chefs (los científicos) solo se preocupaban por una cosa: ¿Qué tan rico sabe el plato? En el mundo de la IA, esto se llama "precisión" o "exactitud". Si el modelo puede identificar un gato en una foto con un 99% de acierto, ¡gana el concurso!

Pero, como dice el título de este paper: "Más allá de la precisión".

Los autores de este estudio (Robin, Doğukan, Bernt, Simone y Stefan) se dieron cuenta de que un plato puede saber increíble, pero tener otros problemas graves:

• ¿Es seguro si alguien le echa un poco de sal extra (ruido o ataques)?
• ¿Se quema si lo cocinas en una cocina diferente (cambio de entorno)?
• ¿Es justo para todos los ingredientes, o siempre prefiere la carne sobre las verduras (sesgo)?
• ¿Cuánto cuesta la receta en ingredientes y tiempo (costo computacional)?

¿Qué hicieron? El "Gran Cata" de 326 Modelos

En lugar de probar solo un plato, estos investigadores hicieron algo monumental: probaron 326 recetas diferentes (modelos de IA) en un "banquete" gigante llamado ImageNet (una base de datos de millones de fotos).

No solo probaron el sabor (precisión), sino que evaluaron 9 dimensiones de calidad para ver qué modelos son realmente "bien portados" (well-behaved).

Las 9 Dimensiones (Los 9 Sentidos del Chef)

Imagina que evalúas un coche, no solo por su velocidad, sino por todo lo demás. Así evaluaron a la IA:

1. Precisión (El Sabor): ¿Acierta la foto? (Lo clásico).
2. Robustez ante ataques (El Escudo): Si alguien intenta engañar al coche poniendo una pegatina en la señal de "Pare" para que parezca "Límite de velocidad", ¿sigue funcionando bien?
3. Robustez ante corrupción (El Paraguas): Si la foto está borrosa, quemada o tiene nieve, ¿sigue reconociendo al gato?
4. Robustez fuera de dominio (El Viajero): Si el coche fue entrenado en carreteras de Alemania, ¿puede conducir bien en las de Japón o en un dibujo animado?
5. Calibración (La Honestidad): Si el coche dice "Estoy 99% seguro", ¿es verdad? O ¿está mintiendo y solo tiene un 50% de certeza? (Muchos modelos son muy seguros... pero equivocados).
6. Equilibrio de clases (La Justicia): ¿El modelo trata igual a un "perro" que a un "gato"? ¿O siempre falla más con los gatos?
7. Enfoque en el objeto (La Atención): ¿El modelo mira al gato en sí, o se distrae mirando el sofá de fondo? (Muchos modelos son "tramposos" y miran el fondo).
8. Sesgo de forma (La Intuición): Si ves un perro con la textura de un elefante, ¿reconoces que es un perro por su forma o te confunde por la textura? (Los humanos miramos la forma, las IAs antiguas miraban la textura).
9. Tamaño (El Costo): ¿Cuántos ingredientes (parámetros) necesita la receta? ¿Es una receta gourmet cara o algo sencillo y eficiente?

Los Descubrimientos Sorprendentes (Las Lecciones del Chef)

Después de probar todo, descubrieron cosas fascinantes:

• El secreto de los "Pre-entrenados" (Self-Supervised): Imagina que un chef primero aprende a cocinar con ingredientes crudos y sin recetas (aprendizaje no supervisado) y luego aprende a hacer el plato final. ¡Funciona mejor! Los modelos que se entrenan primero de forma "autónoma" y luego se ajustan, suelen ser más fuertes, justos y robustos en casi todo.
• Los modelos de "Visión y Lenguaje" (ViL): Piensa en modelos como CLIP, que "ven" imágenes y "leen" texto al mismo tiempo. Son como chefs que también son críticos de arte.
  • Ventaja: Son increíblemente justos (no discriminan clases) y muy buenos viajando a nuevos entornos (robustez fuera de dominio).
  • Desventaja: Son muy grandes (comen muchos ingredientes) y a veces son un poco menos precisos en tareas simples que los modelos tradicionales.
• El tamaño importa (pero no todo): Entrenar con más datos (una despensa más grande) generalmente mejora todo. Pero, a veces, entrenar demasiado tiempo en un solo tipo de plato puede hacer que el modelo se vuelva "obeso" y pierda la capacidad de adaptarse a otros entornos.
• Los clásicos ya no son los mejores: Modelos famosos como ResNet50 o ViT (que fueron los reyes hace unos años) ahora quedan en posiciones medias o bajas cuando los miras desde todas estas 9 dimensiones. ¡Hay modelos nuevos que son mucho más equilibrados!

La Gran Innovación: El "Puntaje QUBA"

Antes, si querías elegir un modelo, tenías que mirar una tabla gigante con 9 números diferentes y decidir tú mismo qué era más importante. ¿Prefieres velocidad o seguridad? ¿Justicia o tamaño? Era confuso.

Los autores crearon el Puntaje QUBA (Quality Understanding Beyond Accuracy).
Imagina que es un "Índice de Calidad Integral".

• Toma los 9 criterios.
• Los normaliza (para que el tamaño no domine al sabor).
• Te da un solo número que te dice: "Este modelo es un 1.08 veces mejor que el promedio en todo".

Con este puntaje, pueden recomendarte el mejor modelo según lo que necesites. Si quieres un modelo rápido y pequeño, te dan uno. Si quieres uno ultra-justo y robusto, te dan otro.

Conclusión: ¿Qué nos enseña esto?

La lección principal es que la IA no debe ser solo "inteligente" (precisa), debe ser "bien portada".

Un modelo perfecto no existe en una sola dimensión. Un buen modelo de IA debe ser como un multitool suizo: preciso, pero también seguro, honesto, justo, eficiente y adaptable.

Este estudio es como un mapa del tesoro para los ingenieros: ya no tienen que adivinar qué modelo usar. Tienen un mapa que les dice exactamente qué modelo elegir según si necesitan velocidad, seguridad, justicia o eficiencia.

En resumen: Deja de obsesionarte solo con la precisión. Si quieres construir un futuro de IA confiable, necesitas mirar el cuadro completo, y este paper te da las gafas para verlo todo.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?", publicado en Transactions on Machine Learning Research (01/2026).

1. El Problema

El aprendizaje profundo (Deep Learning) ha logrado un rendimiento predictivo excepcional en visión por computadora, medido tradicionalmente por la precisión (accuracy) en conjuntos de datos como ImageNet-1k. Sin embargo, los modelos de redes neuronales profundas (DNN) a menudo fallan en otras dimensiones críticas de calidad, como la robustez (frente a ataques adversarios, corrupciones o cambios de dominio), la calibración (confianza alineada con la probabilidad real), la equidad (balance entre clases) y la eficiencia computacional.

La investigación actual tiende a abordar estas dimensiones de forma ortogonal (estudiando cada una por separado), lo que impide comprender cómo las mejoras en un aspecto afectan a los demás. Existe una brecha en el conocimiento sobre qué hace que un modelo sea "bien comportado" (well-behaved) de manera holística y cómo las decisiones de diseño (arquitectura, paradigma de entrenamiento) influyen simultáneamente en múltiples métricas de calidad.

2. Metodología

Los autores realizaron un estudio a gran escala para llenar esta brecha, analizando 326 modelos base (backbones) diversos para la clasificación de imágenes en ImageNet-1k.

• Dimensiones de Calidad Evaluadas: Se definieron y evaluaron nueve dimensiones simultáneamente:

  1. Precisión (Accuracy): Clasificación correcta en datos limpios.
  2. Robustez Adversarial: Resistencia a ataques FGSM y PGD.
  3. Robustez a Corrupciones (C-Robustness): Resistencia a degradaciones de imagen (JPEG, ruido, etc.) usando ImageNet-C.
  4. Robustez Fuera de Distribución (OOD): Generalización a dominios diferentes (ImageNet-R, Sketch, etc.).
  5. Error de Calibración: Desalineación entre la confianza del modelo y su precisión (ECE y ACE).
  6. Equilibrio de Clases (Class Balance): Desviación estándar de la precisión y confianza entre clases (proxy de equidad).
  7. Enfoque en Objetos (Object Focus): Capacidad de basar decisiones en el primer plano y no en el fondo.
  8. Sesgo de Forma (Shape Bias): Preferencia por la forma sobre la textura en la toma de decisiones.
  9. Costo Computacional: Medido por el número de parámetros.

• Paradigmas de Entrenamiento Analizados: Se compararon modelos bajo diferentes estrategias:

  • Aprendizaje supervisado estándar (SL).
  • Entrenamiento adversarial (AT).
  • Aprendizaje auto-supervisado (Self-Supervised Learning - SSL) con fine-tuning completo (E2E) y linear probing (LP).
  • Aprendizaje semi-supervisado.
  • Entrenamiento con estrategias A[1,2,3] (variaciones en duración y técnicas de optimización).
  • Modelos de Visión-Lenguaje (ViL) como CLIP y SigLIP.

• Arquitecturas: Se incluyeron CNNs (ResNet, EfficientNet, ConvNeXt), Transformers (ViT, Swin, Hiera, DeiT) y modelos B-cos.

• Métrica Propuesta (QUBA Score): Para sintetizar estos resultados dispares, los autores introdujeron el QUBA Score (Quality Understanding Beyond Accuracy).

  • Calcula la desviación estándar de cada métrica de un modelo respecto a la media y desviación estándar de todo el "zoológico de modelos".
  • Es un promedio ponderado que permite recomendar modelos basados en las necesidades específicas del usuario (ej. priorizar robustez sobre precisión).

3. Contribuciones Clave

1. Benchmark Unificado: Introducción de un nuevo benchmark compatible con cualquier DNN que realice clasificación en ImageNet-1k, evaluando nueve dimensiones de calidad simultáneamente.
2. Estudio a Gran Escala: Evaluación sistemática de 326 modelos, proporcionando una visión global sin precedentes sobre el estado del arte.
3. Análisis de Interrelaciones: Descubrimiento de nuevas correlaciones y compensaciones entre las dimensiones de calidad, resolviendo contradicciones de estudios anteriores que usaban conjuntos de modelos más pequeños.
4. Métrica QUBA: Desarrollo de una métrica estandarizada para clasificar modelos multidimensionalmente, permitiendo recomendaciones personalizadas.

4. Resultados Principales

Impacto de las Estrategias de Entrenamiento

• Tamaño del Dataset: Entrenar en datasets más grandes (ImageNet-21k vs. ImageNet-1k) mejora casi todas las dimensiones, especialmente precisión, robustez a corrupciones y calibración.
• Aprendizaje Auto-supervisado (SSL):
  • El fine-tuning completo (E2E) de modelos pre-entrenados con SSL mejora la mayoría de las dimensiones (robustez, equilibrio de clases, enfoque en objetos) en comparación con el entrenamiento supervisado estándar.
  • Curiosamente, mejora el equilibrio de clases a pesar de usar datasets masivos que podrían tener desequilibrios, probablemente porque las características aprendidas sin etiquetas de clase son menos sesgadas hacia categorías específicas.
  • El linear probing (LP) rinde peor en la mayoría de las métricas, excepto en robustez OOD y calibración.
• Entrenamiento Adversarial (AT): Mejora significativamente la robustez adversarial, la robustez OOD y el sesgo de forma, pero deteriora la precisión general y el equilibrio de clases.
• Modelos Visión-Lenguaje (ViL):
  • Exhiben una robustez OOD excepcional y un alto equilibrio de clases.
  • Sin embargo, tienen una precisión inferior (debido a la clasificación zero-shot) y un error de calibración significativamente peor que los modelos supervisados.
  • Requieren muchos más parámetros debido al codificador de lenguaje.

Comparación de Arquitecturas

• Transformers vs. CNNs: Los Transformers superan consistentemente a las CNNs en casi todas las dimensiones de calidad (robustez, calibración, enfoque en objetos), no solo en precisión.
• Modelos B-cos: La transformación B-cos, diseñada para interpretabilidad, deteriora significativamente la mayoría de las dimensiones de calidad (precisión, robustez), sugiriendo que la alineación de pesos con la entrada limita la expresividad del modelo.

Correlaciones y Nuevos Hallazgos

• Precisión y Equidad: Existe una fuerte correlación positiva entre la precisión y el equilibrio de clases; los modelos más precisos tienden a ser más justos.
• Enfoque en Objetos: Está fuertemente correlacionado con casi todas las demás dimensiones de calidad (excepto la calibración), lo que sugiere que aprender a enfocarse en el objeto es fundamental para un comportamiento robusto.
• Calibración: El error de calibración no está correlacionado significativamente con la mayoría de las otras dimensiones, lo que indica que es un desafío independiente que requiere investigación dedicada.
• Robustez Adversarial vs. OOD: Contrario a algunas hipótesis previas, no se encontró una correlación estadísticamente significativa entre la robustez adversarial y la robustez a corrupciones o fuera de distribución en este conjunto de datos diverso.

Mejores Modelos (QUBA Score)

Los modelos con los puntajes QUBA más altos son predominantemente Transformers o CNNs modernas entrenadas con paradigmas auto-supervisados o semi-supervisados (ej. EVA02-B/14, Hiera-B-Plus, ConvNeXtV2-B). Modelos clásicos y muy populares como ResNet50 y ViT-B/16 estándar tienen un rendimiento pobre en múltiples dimensiones y ocupan rangos bajos en la clasificación QUBA.

5. Significado e Impacto

Este trabajo cambia el paradigma de evaluación en visión por computadora:

1. Más allá de la Precisión: Demuestra que optimizar solo para la precisión puede llevar a modelos frágiles, mal calibrados o injustos.
2. Guía de Diseño: Proporciona evidencia empírica de que el uso de datasets grandes y pre-entrenamiento auto-supervisado seguido de fine-tuning es la estrategia más efectiva para crear modelos "bien comportados".
3. Reevaluación de Estándares: Sugiere que la comunidad debe reconsiderar el uso de modelos canónicos antiguos (como ResNet50) como puntos de referencia, ya que existen arquitecturas modernas que superan en todas las dimensiones de calidad.
4. Herramienta Práctica: El score QUBA y el código abierto del benchmark permiten a los investigadores y practicantes seleccionar modelos basados en requisitos específicos (ej. priorizar la robustez en entornos médicos o la eficiencia en dispositivos móviles) en lugar de una métrica única.

En conclusión, el artículo establece que es posible desarrollar modelos que excelan simultáneamente en múltiples dimensiones de calidad, y que las decisiones de diseño actuales (especialmente el uso de SSL y Transformers) están alineadas con este objetivo de crear sistemas de IA más robustos, justos y confiables.