Who Gets Missed in the Tail? Thresholded Subgroup Underdiagnosis in Long-Tailed Chest X-ray Classification

Resumen Técnico: Subdiagnóstico de Subgrupos Mediante Umbral en la Clasificación de Radiografías de Tórax de Cola Larga

1. Definición del Problema

El artículo aborda una brecha de equidad específica en la clasificación de radiografías de tórax (CXR) multietiqueta de cola larga: la discrepancia entre el rendimiento de clasificación aceptable (por ejemplo, macro-mAP) y el resultado real de despliegue, donde los pacientes con casos positivos raros, particularmente dentro de subgrupos específicos, permanecen sin detectar por debajo del umbral de decisión.

Mientras que los métodos existentes para colas largas se centran en el reponderado de clases y los métodos de equidad suelen agregar sobre grupos, este trabajo argumenta que el modo de falla crítico es el subdiagnóstico de clase-subgrupo mediante umbral. Un modelo puede lograr métricas agregadas altas mientras detecta sistemáticamente erróneamente hallazgos raros (la "cola") para grupos demográficos específicos (por ejemplo, combinaciones específicas de edad o sexo) una vez que las puntuaciones se convierten en decisiones binarias. La pregunta central de auditoría es: Después de que un modelo de cola larga se convierte de puntuaciones a decisiones, ¿a quién se le pasa por alto?

2. Metodología

Los autores emplean un enfoque de "escalera de diagnóstico" utilizando variantes del modelo como sondas para aislar la fuente del subdiagnóstico. El estudio utiliza dos cohortes: VinDr-CXR (limitada a metadatos de sexo y edad) y MIMIC-CXR/CXR-LT (metadatos más ricos que incluyen raza y seguro médico). Todos los modelos comparten una arquitectura de fondo ConvNeXt-Tiny con una cabeza lineal específica para cada conjunto de datos.

La escalera de diagnóstico consta de seis configuraciones de modelos (M1–M6):

• M1 (Línea base): Pérdida de Entropía Cruzada Binaria (BCE).
• M2: Pérdida Asimétrica (ASL).
• M3: ASL con ponderación de clase de Número Efectivo (CB-ASL).
• M4: Optimización Robusta de Distribución de Grupo (GroupDRO) como referencia para la robustez de grupo agregada.
• M5: ASL multiplicado por un peso de clase-subgrupo recortado basado en los conteos de entrenamiento (entrenamiento consciente de los subgrupos).
• M6 (Sonda de Umbralización): Reutiliza las puntuaciones de M5 pero altera la regla de umbralización. Mientras que las clases media/alta usan umbrales óptimos de F1, los umbrales de las clases de la cola se establecen para maximizar la recuperación (recall) del peor grupo sujeto a un piso de precisión mínima ($\tau = 0.05$).

Diseño Experimental Clave:

• Separación de Variables: Al comparar M5 y M6, el estudio aisla el efecto de la selección del umbral del entrenamiento de la puntuación del modelo, ya que ambos comparten puntuaciones, ECE y puntuaciones Brier idénticas.
• Métricas: El estudio va más allá de las métricas de clasificación (macro-mAP, tail-mAP) para centrarse en la Tasa de Falsos Negativos (FNR) umbralizada, la Peor-FNR de Grupo por eje de subgrupo y los Positivos Perdidos por cada 100 Verdaderos Positivos.
• Cuantificación de la Incertidumbre: Debido a los pequeños tamaños de muestra en las clases de la cola (por ejemplo, 3–19 positivos por clase en VinDr), los autores reportan intervalos de confianza de bootstrap del 95% independientes y contrastes de bootstrap emparejados para asegurar el rigor estadístico.

3. Resultados Clave

Hallazgos de VinDr-CXR:

• Impacto de la Umbralización: Pasar de los umbrales F1 estándar (M5) a los umbrales conscientes de la cola (M6) redujo drásticamente la FNR de la cola de 0.471 a 0.269.
• Mejoras en Subgrupos: La peor FNR de grupo para el sexo cayó de 0.507 a 0.157, y para la edad de 0.633 a 0.133.
• Métricas Macro: El macro-mAP se mantuvo estable (0.635 para M5 y M6), confirmando que la mejora fue impulsada por la selección del umbral, no por el reordenamiento de puntuaciones.
• Impacto en Enfermedades Específicas: Las mejoras fueron impulsadas por clases de la cola con soporte suficiente (por ejemplo, Calcificación, ILD, Consolidación), mientras que las clases con soporte extremadamente bajo (por ejemplo, Atelectasia con $n=3$) mostraron resultados inestables.

Hallazgos de MIMIC-CXR/CXR-LT:

• Dirección Consistente: La misma estrategia de umbralización (M6) redujo la FNR de la cola de 0.866 a 0.741 y disminuyó la peor FNR de grupo a través de sexo, edad, raza y seguro médico.
• Riesgo Residual: A pesar de las reducciones, las tasas absolutas de positivos perdidos siguieron siendo altas (por ejemplo, 0.741 FNR de la cola), lo que indica que la umbralización por sí sola no resuelve el problema de la cola, pero mitiga significativamente los casos perdidos en el peor de los grupos.
• Limitaciones de GroupDRO: El modelo base GroupDRO (M4) no superó a M6 en la FNR de la cola umbralizada, lo que sugiere que la robustez de grupo agregada es insuficiente para abordar los casos perdidos de subgrupos raros en este entorno.

Compromisos (Trade-offs):

• Reducir los casos perdidos mediante umbrales más bajos aumenta la "carga de alerta" (etiquetas positivas de la cola predichas por cada 100 estudios). Para VinDr, esto aumentó de 4.9 (umbral F1) a 38.9 (umbral consciente de la cola), resaltando un compromiso de política clínica entre sensibilidad y carga de flujo de trabajo.

4. Contribuciones

El artículo realiza cuatro contribuciones principales:

1. Definición de la Unidad de Auditoría: Define el subdiagnóstico de clase-subgrupo umbralizado como la unidad fundamental para auditar la equidad en CXR de cola larga, desplazando el enfoque de etiquetas o grupos aislados hacia la intersección de hallazgo, subgrupo y umbral operativo.
2. Escalera de Diagnóstico: Introduce una metodología para separar las pérdidas a nivel de clase, el reponderado consciente de subgrupos, la robustez de grupo y la selección de umbrales para localizar dónde entran los positivos perdidos en el flujo de trabajo.
3. Métricas Interpretables: Reporta FNR condicionado a subgrupos, positivos perdidos por cada 100 verdaderos positivos y contrastes de bootstrap para hacer interpretable la evidencia de celdas pequeñas.
4. Evidencia Empírica: Demuestra a través de dos cohortes que las métricas de clasificación y la robustez de grupo agregada no determinan quién es pasado por alto tras la umbralización; el punto operativo cambia materialmente el daño observado en la cola.

5. Significado y Pretensiones

El artículo se posiciona como un instrumento de medición más que como una solución desplegable o un remedio general de equidad. Sus pretensiones principales son modestas y metodológicas:

• Dependencia del Umbral: La equidad de las etiquetas raras en CXR depende conjuntamente del hallazgo, el subgrupo y el umbral operativo. No está determinada únicamente por la frecuencia de la etiqueta o las métricas de clasificación.
• Limitación de las Métricas Agregadas: Un modelo puede tener un macro-mAP aceptable mientras deja casos positivos raros en subgrupos específicos por debajo del umbral.
• Límites de Observabilidad: Las afirmaciones de equidad están estrictamente limitadas por los metadatos disponibles (por ejemplo, VinDr carece de datos de raza/seguro) y el soporte positivo en el conjunto de prueba.
• Política Clínica: La elección del umbral ($\tau$) es una decisión de política clínica que implica un compromiso entre los positivos perdidos y la carga de revisión, no un parámetro universal.

El estudio concluye que la auditoría consciente del umbral es necesaria para reducir los casos perdidos observados en los subgrupos, pero la alta FNR residual y las limitaciones de metadatos significan que este enfoque debe tratarse como una herramienta de medición de equidad para guiar la política, no como una solución de despliegue lista por sí misma.