Loss Design and Architecture Selection for Long-Tailed Multi-Label Chest X-Ray Classification

Este trabajo presenta una evaluación sistemática de funciones de pérdida, arquitecturas y estrategias de post-entrenamiento para la clasificación de radiografías de tórax con distribución de clases de cola larga, logrando el quinto lugar en el desafío CXR-LT 2026 mediante el uso de LDAM-DRW y la arquitectura ConvNeXt-Large.

Lo esencial

Imagina que estás entrenando a un detective médico (una Inteligencia Artificial) para que revise miles de radiografías de tórax y encuentre enfermedades. El problema es que este detective tiene un gran defecto: es muy bueno encontrando las enfermedades "populares" (como una neumonía común), pero es terrible detectando las enfermedades "raras" (como un neumotórax o un enfisema), aunque estas últimas sean muy peligrosas y vitales de detectar.

En el mundo de la estadística, esto se llama un problema de "cola larga": hay miles de casos comunes y muy pocos casos raros.

Este artículo es como el diario de entrenamiento de un equipo de investigadores (liderado por Nikhileswara Rao Sulake) que intentó arreglar a su detective para que fuera justo con todas las enfermedades, no solo con las populares. Participaron en una gran competencia llamada "CXR-LT 2026".

Aquí tienes la explicación de su viaje, usando analogías sencillas:

1. El Problema: El Detective Prejuicioso

En la mayoría de los datos médicos, hay 100 casos de "corazón grande" (común) por cada 1 caso de "pulmón colapsado" (raro).
Si entrenas a una IA con los métodos normales, el detective piensa: "¡Eh, casi siempre veo corazones grandes! Mejor me enfoco solo en eso y ignoro lo demás". Como resultado, falla estrepitosamente en los casos raros.

2. La Solución: Tres Herramientas Mágicas

El equipo probó tres cosas principales para arreglar a su detective:

A. El Entrenador Especial (La Función de Pérdida)

Imagina que el entrenador le grita al detective durante el entrenamiento.

• Entrenador Normal (BCE): Le dice: "Si aciertas el caso común, ¡bien hecho! Si fallas el raro, no pasa nada". Esto hace que el detective ignore lo raro.
• Entrenador Especial (LDAM-DRW): Este es el ganador. Le dice: "Si fallas un caso común, no te castigo mucho. PERO, si fallas un caso raro, ¡te voy a castigar muchísimo!". Además, empieza suave y luego se vuelve estricto con los casos difíciles.
  • Resultado: El detective aprende a prestar atención a las enfermedades raras.

B. El Cuerpo del Detective (La Arquitectura)

El equipo probó diferentes "cuerpos" o cerebros para su detective:

• Los viejos confiables (ResNet, DenseNet): Eran buenos, pero tenían un límite. Como un coche antiguo, podían ir rápido en carretera plana (casos comunes), pero se quedaban cortos en terrenos difíciles (casos raros).
• Los modernos (ConvNeXt): Imagina un coche de carreras futurista. Este modelo, llamado ConvNeXt-Large, tenía más "potencia" y un diseño más inteligente. Fue el que mejor desempeño tuvo, logrando ver detalles que los otros no podían.

C. Los Trucos de Último Minuto (Estrategias Post-Entrenamiento)

Una vez que el detective estaba entrenado, probaron trucos para mejorar su examen final:

• Re-entrenar la cabeza (cRT): Imagina que el detective ya sabe ver bien las imágenes (el cuerpo), pero su "lente de decisión" (la cabeza) está un poco torcida. Les quitaron el lente y le pusieron uno nuevo, entrenándolo solo con los casos raros para que se ajustara mejor.
• Mirar desde varios ángulos (TTA): Le mostraron la misma radiografía pero girada un poquito o reflejada. Si el detective veía la enfermedad en todas las versiones, estaba más seguro.
• El consejo de expertos (Ensamblaje): En lugar de un solo detective, reunieron a varios y tomaron la decisión que la mayoría votó.

3. Los Resultados: ¿Cómo les fue?

• En el entrenamiento (El simulacro): ¡Fue increíble! Su mejor modelo (ConvNeXt-Large con el Entrenador Especial) logró un puntaje de 0.5220. Era el mejor detective individual.
• En la competencia real (El examen final): Cuando presentaron su trabajo a la competencia oficial, obtuvieron el 5º lugar entre 68 equipos.
  • Su puntaje bajó a 0.3950.
  • ¿Por qué bajó? El equipo fue muy honesto: admitieron que su detective estaba un poco "sobreentrenado" para sus propios datos de práctica. Era muy bueno clasificando (saber qué enfermedad es), pero malo en dar la probabilidad exacta (saber cuán seguro está).

4. La Lección Principal (El "Moraleja")

El equipo descubrió algo muy importante para la medicina:

No basta con saber "qué" enfermedad hay; también hay que saber "cuán seguro" estás de ello.

Su detective era muy bueno para decir: "Aquí hay una enfermedad rara" (bueno para el ranking), pero a veces decía "Estoy 51% seguro" cuando debería haber dicho "Estoy 90% seguro". Esto es peligroso en medicina.

En resumen:
Para que una IA funcione bien en radiografías con muchas enfermedades raras, necesitas:

1. Un entrenador estricto que castigue los errores en casos raros (LDAM-DRW).
2. Un cerebro moderno y potente (ConvNeXt).
3. Y, sobre todo, ajustar la confianza del detective para que no sea ni demasiado arrogante ni demasiado tímido.

El equipo logró un gran avance, pero su mayor contribución fue decir: "Aquí está lo que funcionó, aquí está lo que falló, y aquí es donde debemos mejorar para salvar vidas en el futuro".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Diseño de Pérdida y Selección de Arquitectura para la Clasificación Multi-etiqueta de Rayos X de Tórax con Distribución de Cola Larga

1. Planteamiento del Problema

La clasificación de rayos X de tórax (CXR) enfrenta un desafío fundamental debido a la distribución de cola larga de las enfermedades. Mientras que condiciones como la cardiomegalia son frecuentes, hallazgos clínicamente críticos pero raros (como el neumotórax o el enfisema) están severamente subrepresentados. Esto genera un desequilibrio de clases que sesga a los modelos de aprendizaje profundo hacia las clases mayoritarias ("cabeza"), fallando en reconocer patologías raras.
Además, la interpretación de CXR es intrínsecamente un problema multi-etiqueta, ya que un solo paciente puede presentar múltiples hallazgos simultáneos. El objetivo es desarrollar un sistema que no solo clasifique correctamente, sino que mantenga un rendimiento equilibrado entre clases frecuentes y raras, optimizando métricas de ordenamiento (como mAP) y precisión a nivel de instancia (F1).

2. Metodología

El estudio se basó en una evaluación empírica sistemática utilizando el conjunto de datos CXR-LT 2026 (derivado de PadChest), que contiene aproximadamente 143,000 imágenes con 30 etiquetas de enfermedades.

• Funciones de Pérdida (Loss Functions):
  • Se compararon tres enfoques: Binary Cross-Entropy (BCE) estándar, Asymmetric Loss (ASL) y LDAM con re-pesado diferido (LDAM-DRW).
  • LDAM-DRW: Esta función impone márgenes de decisión más grandes para las clases minoritarias. El esquema de "re-pesado diferido" (DRW) entrena inicialmente con pesos uniformes para aprender representaciones generales y luego cambia a pesos equilibrados por clase para enfocarse en las colas largas.
• Arquitecturas de Red:
  • Se evaluaron diversas CNNs, desde baselines tradicionales hasta arquitecturas modernas: ResNet-50/101, DenseNet-121/169, EfficientFormerV2-S y ConvNeXt-Base/Large.
  • ConvNeXt incorpora principios de diseño inspirados en Transformers (como stems fragmentados y kernels grandes) dentro de una arquitectura puramente convolucional.
• Estrategias Post-Entrenamiento:
  • Re-entrenamiento del Clasificador (cRT): Un enfoque de dos etapas donde se congela la red base y se re-entrena solo la cabeza del clasificador con muestreo equilibrado por clase.
  • Aumento en Tiempo de Prueba (TTA): Promedio de predicciones sobre versiones aumentadas (volteos horizontales, rotaciones).
  • Ensamblaje: Combinación ponderada de múltiples modelos.

3. Contribuciones Clave

1. Evaluación Sistemática: Se realizó una comparación exhaustiva que demuestra que LDAM-DRW es superior consistentemente a BCE y ASL para la reconocimiento de clases raras en este dominio específico.
2. Ventaja de Arquitecturas Modernas: Se evidenció que arquitecturas modernas, específicamente ConvNeXt, superan significativamente a las CNN tradicionales. ConvNeXt-Large logró el mejor rendimiento de un solo modelo.
3. Análisis de Estrategias: Se cuantificó el impacto de cRT, TTA y el ensamblaje, revelando que mientras mejoran las métricas de ordenamiento (AUC), a veces no se traducen directamente en mejoras en la precisión de instancia (F1) o pueden degradar la calibración de probabilidad.
4. Análisis Crítico de Brecha Desarrollo-Prueba: Se ofrece una reflexión honesta sobre la caída de rendimiento entre el conjunto de desarrollo y el líder oficial, identificando causas como el sobreajuste, la mala calibración de probabilidades y la selección de umbrales.

4. Resultados

• Rendimiento en Desarrollo:
  • El modelo ConvNeXt-Large con LDAM-DRW alcanzó el mejor rendimiento individual con un mAP de 0.5220 y un F1 de 0.3765.
  • El uso de LDAM-DRW mejoró el mAP de ResNet-50 en más de un 30% (de 0.3248 a 0.4241) en comparación con BCE.
  • La pérdida Asimétrica (ASL) funcionó muy mal (mAP 0.0667), probablemente porque sus parámetros de enfoque suprimieron excesivamente los gradientes de las etiquetas positivas ya escasas.
• Rendimiento en el Leaderboard Oficial (CXR-LT 2026):
  • La propuesta se clasificó en 5º lugar entre 68 equipos (1528 envíos).
  • Métricas finales: mAP = 0.3950, AUC = 0.8591, F1 = 0.0945.
  • Análisis de la Brecha: Hubo una caída significativa del mAP de desarrollo (0.52) al de prueba (0.395) y un F1 extremadamente bajo. Esto se atribuye a un sobreajuste a la validación interna, una calibración de probabilidades subóptima y una selección de umbrales que priorizó métricas de ordenamiento sobre la detección a nivel de instancia.
• Visualización: Los mapas de activación mostraron que el modelo localizaba correctamente las regiones clínicas, pero las probabilidades a menudo estaban cerca del umbral de decisión, causando falsos negativos en la detección binaria.

5. Significado y Conclusiones

Este trabajo establece que la combinación de LDAM-DRW con arquitecturas modernas como ConvNeXt constituye una línea base sólida para la clasificación multi-etiqueta de rayos X con desequilibrio de clases.

• Implicaciones Clínicas: Para el despliegue de sistemas de cribado automatizado, es crucial detectar patologías raras con la misma fiabilidad que las comunes.
• Lecciones Aprendidas: El estudio destaca que un buen rendimiento en métricas de ordenamiento (AUC/mAP) no garantiza una alta precisión de detección (F1).
• Futuro: Se identifica la necesidad urgente de estrategias de calibración de probabilidades (escalamiento de temperatura, regresión isotónica) y optimización de umbrales por clase para cerrar la brecha entre el rendimiento de desarrollo y el de producción. Técnicas como la minimización de la nitidez (Sharpness Aware Minimisation) y métodos basados en gráficos para modelar la co-ocurrencia de etiquetas se proponen como direcciones prometedoras.

En resumen, el artículo proporciona una hoja de ruta técnica crítica para abordar el desequilibrio de clases en imágenes médicas, enfatizando que la selección de la función de pérdida y la arquitectura es tan vital como las estrategias de post-procesamiento para lograr sistemas clínicamente útiles.