CTSCAN: Evaluation Leakage in Chest CT Segmentation and a Reproducible Patient-Disjoint Benchmark

1. El Problema: Fuga de Evaluación (Evaluation Leakage)

El artículo identifica un defecto crítico en la evaluación de modelos de segmentación de tomografía computarizada (CT) de tórax. La mayoría de las pipelines actuales exportan estudios volumétricos a imágenes PNG por cortes (slice) y dividen los datos directamente a nivel de corte individual en conjuntos de entrenamiento, validación y prueba.

• La Falacia: Aunque los nombres de archivo de los cortes sean diferentes, si los cortes provienen del mismo estudio de paciente, este paciente aparece en múltiples conjuntos (entrenamiento y prueba).
• La Consecuencia: Esto genera una fuga de datos (data leakage) masiva. Las métricas reportadas (como Dice e IoU) no miden la capacidad de generalización del modelo a nuevos pacientes, sino su capacidad para "memorizar" la apariencia específica de los pacientes que ya vio durante el entrenamiento.
• Impacto: Las métricas infladas enmascaran el rendimiento real, llevando a conclusiones científicas erróneas sobre la eficacia de las arquitecturas de segmentación.

2. Metodología y Enfoque

Los autores presentan CTSCAN, un benchmark reproducible y multi-fuente diseñado para establecer la evaluación disjoint por paciente (sin superposición de pacientes entre conjuntos) como el estándar por defecto.

• Conjunto de Datos: El benchmark actual agrega 89 casos de tres fuentes públicas: PleThora (78 casos), MedSeg SIRM (10 casos) y LongCIU (1 caso), totalizando 10,423 cortes. Se enfoca en una tarea de 4 clases: fondo, vidrio esmerilado, consolidación y derrame pleural.
• Comparación de Protocolos: Se comparan dos protocolos de división estrictamente controlados:
  1. Slice-mixed (Mezcla de cortes): División directa de la lista de pares de imágenes PNG (el enfoque tradicional defectuoso).
  2. Patient-disjoint (Disjoint por paciente): Los cortes se agrupan por ID de caso antes de la división, asegurando que ningún paciente aparezca en más de un conjunto.
• Configuración Experimental:
  • Se utiliza una arquitectura de control común: FPN (Feature Pyramid Network) con codificador EfficientNet-B0.
  • Se ejecuta un protocolo de múltiples semillas (3 semillas) y 12 épocas para cada configuración.
  • Se mantienen fijos todos los hiperparámetros, funciones de pérdida (Dice-CE) y tamaños de imagen para aislar el efecto del protocolo de división.
  • Se incluye un entorno de validación en GPU de Apple y scripts deterministas para garantizar la reproducibilidad.

3. Contribuciones Clave

1. Exposición del Efecto de Fuga: Demuestran que el protocolo tradicional de división por cortes induce una reutilización casi completa de casos (89 de 89 casos en entrenamiento y prueba se solapan), inflando artificialmente el rendimiento.
2. Lanzamiento de un Benchmark Determinista: Publican un protocolo de división por paciente con manifiestos exactos, auditoría de superposición y una página de benchmark pública que clasifica los modelos solo bajo evaluación disjoint por paciente.
3. Evidencia Ejecutable: Proporcionan un estudio scriptado de múltiples semillas que compara controles emparejados, demostrando que la brecha de rendimiento es robusta y no un artefacto de una sola ejecución.

4. Resultados Cuantitativos

Los resultados revelan una caída drástica en el rendimiento cuando se elimina la fuga de datos, lo que indica que el rendimiento anterior era mayoritariamente memorización:

• Métricas de Dice (Fondo):
  • Protocolo Slice-mixed: 0.6665 ± 0.0067
  • Protocolo Patient-disjoint: 0.2066 ± 0.0509
  • Reducción absoluta: 0.4599 (una caída del 69.00% relativo).
• Métricas de IoU (Fondo):
  • Protocolo Slice-mixed: 0.5031 ± 0.0070
  • Protocolo Patient-disjoint: 0.1181 ± 0.0313
  • Reducción absoluta: 0.3850 (una caída del 76.52% relativo).
• Robustez de Arquitectura: El mismo efecto de colapso se observó en una arquitectura U-Net compartida (Dice cayó de 0.7098 a 0.2472), demostrando que el problema es del protocolo de evaluación, no de la arquitectura específica.
• Ablaciones: Ajustes de entrenamiento (como muestreo de fondo raro o funciones de pérdida Lovász-Softmax) mejoraron ligeramente las métricas dentro de cada protocolo, pero no lograron cerrar la brecha masiva entre los protocolos.

5. Significado e Implicaciones

• Cambio de Conclusión Científica: La elección del protocolo de división no es solo un detalle técnico; cambia la conclusión científica fundamental sobre qué modelos generalizan realmente. Lo que parecía un rendimiento "fuerte" (Dice ~0.66) resulta ser un rendimiento muy pobre (Dice ~0.20) en un escenario realista de generalización.
• Necesidad de Estándares: Para conjuntos de datos derivados de cortes (slice-derived), la división disjoint por paciente no es un paso de limpieza cosmético, sino un requisito indispensable para medir la generalización cruzada entre pacientes.
• Reproducibilidad: CTSCAN proporciona la infraestructura (scripts, manifiestos, página de leaderboard) para que la comunidad pueda auditar y replicar estos resultados, evitando que la fuga de datos continúe distorsionando el progreso en la segmentación médica.

En resumen, el paper advierte que sin una división estricta por paciente, las métricas de segmentación de CT de tórax son engañosas, y ofrece una herramienta reproducible para corregir esta distorsión y establecer una línea base realista para la investigación futura.