Do Diabetic Foot Ulcer Segmentation Models Generalize? A Cross-Dataset Benchmark of CNN and Transformer Architectures

Resumen Técnico: ¿Generalizan los modelos de segmentación de úlceras de pie diabético?

Planteamiento del problema
Los modelos de aprendizaje profundo para la segmentación de úlceras de pie diabético (DFU, por sus siglas en inglés) reportan rutinariamente una alta precisión (puntuaciones Dice a menudo >0.80) cuando se entrenan y prueban en el mismo conjunto de datos. Sin embargo, estas evaluaciones son casi exclusivamente "dentro del dominio", fallando al medir el comportamiento del modelo en datos provenientes de diferentes fuentes clínicas, cámaras o poblaciones de pacientes. Los estudios previos de validación cruzada entre conjuntos de datos se han limitado a redes neuronales convolucionales (CNN) y modelos basados en prompts (por ejemplo, SAM), dejando sin medir la capacidad de generalización de las arquitecturas modernas de Transformers en el dominio de las DFU. Además, los benchmarks existentes suelen carecer de un cribado riguroso de fuga de datos (solapamiento de imágenes) entre los conjuntos de entrenamiento y de prueba, lo que podría inflar las afirmaciones de generalización.

Metodología
Los autores realizaron un benchmark de validación cruzada controlado y con cribado de fugas, comparando tres arquitecturas de segmentación representativas:

• Baselines de CNN: U-Net y DeepLabV3+ (ambas utilizando codificadores ResNet-34).
• Arquitectura Transformer: SegFormer-B2 (utilizando un codificador MiT-B2).

Protocolo de Datos:

• Fuente de Entrenamiento: Un conjunto combinado de imágenes de heridas de FUSeg y AZH. Los autores realizaron una auditoría rigurosa utilizando MD5 y hashing perceptual (dHash) para detectar y eliminar solapamientos a nivel de imagen, tratando a FUSeg y AZH como una única fuente tras confirmar su solapamiento significativo.
• Conjuntos de Prueba Externos: Dos conjuntos de datos independientes sin solapamiento de imágenes con la fuente de entrenamiento:
  1. DFUC2022: 2,000 imágenes de un sitio clínico diferente (Prueba Externa #1).
  2. Medetec: 160 imágenes (Prueba Externa #2).
• Protocolo de Entrenamiento: Todos los modelos fueron entrenados durante 30 épocas con entradas de 256×256 utilizando una pérdida combinada de Dice y entropía cruzada binaria. No se realizó ajuste fino (fine-tuning) en los conjuntos de prueba externos.
• Evaluación: El rendimiento se midió mediante el coeficiente Dice y la Intersección sobre la Unión (IoU). La significancia estadística se evaluó mediante pruebas de rango firmado de Wilcoxon sobre las puntuaciones Dice por imagen. Un análisis de fallos por imagen definió los "fallos catastróficos" como imágenes con un Dice < 0.4.

Contribuciones Clave

1. Primer Benchmark de Validación Cruzada con Cribado de Fugas: Este estudio es el primero en aplicar un protocolo de cribado de fugas para comparar arquitecturas de CNN y Transformer para la segmentación de DFU a través de conjuntos de datos independientes.
2. Análisis de Familia de Arquitectura vs. Complejidad: El trabajo aisla el impacto de la familia de arquitectura (Transformer vs. CNN) de la complejidad del modelo, utilizando DeepLabV3+ (CNN compleja) y U-Net (CNN más simple) como baselines frente a SegFormer-B2.
3. Análisis de Fallos Exhaustivo: Más allá de las métricas agregadas, el estudio proporciona un análisis de fallos por imagen a través de 2,160 imágenes de prueba, categorizando los fallos y analizando la severidad de las caídas de rendimiento.

Resultados

• Rendimiento In-Domain: Todos los modelos alcanzaron un rendimiento sólido en el conjunto de validación de FUSeg (Dice 0.802–0.834), con SegFormer-B2 mostrando un desempeño ligeramente superior. La dispersión fue estrecha, lo que sugiere que la elección de la arquitectura tiene un impacto mínimo dentro de una misma distribución de datos.
• Generalización de Validación Cruzada (Cross-Dataset): Todos los modelos experimentaron una degradación sustancial del rendimiento al ser probados en conjuntos de datos externos.
  • DFUC2022: SegFormer-B2 logró el Dice más alto (0.557), superando a U-Net (0.501) y DeepLabV3+ (0.489). SegFormer-B2 también demostró una estabilidad superior, con una desviación estándar (±0.003) un orden de magnitud menor que la de U-Net (±0.029).
  • Medetec: SegFormer-B2 lideró nuevamente con un Dice de 0.786, comparado con 0.737 (U-Net) y 0.730 (DeepLabV3+).
• Tasas de Fallo: En DFUC2022, SegFormer-B2 produjo la menor cantidad de fallos catastróficos (31.1% de las imágenes con Dice < 0.4), en comparación con el 38.5% para U-Net y el 43.0% para DeepLabV3+.
• Significancia Estadística: Las pruebas de rango firmado de Wilcoxon confirmaron que SegFormer-B2 superó significativamente a ambos baselines de CNN en ambos conjuntos de datos externos (p < 0.001). La diferencia entre los dos modelos de CNN no fue estadísticamente significativa en Medetec.
• Severidad del Fallo: En Medetec, aunque Segformer-B2 tuvo un recuento de fallos ligeramente mayor que U-Net, sus fallos fueron menos severos (agrupándose justo por debajo del umbral de 0.4), mientras que los fallos de las CNN incluyeron una "cola catastrófica" más pesada (Dice ≈ 0).

Significancia y Reivindicaciones
El artículo concluye que la familia de la arquitectura es un factor más decisivo para la generalización entre hospitales que la complejidad del modelo. Específicamente, el SegFormer-B2 basado en Transformer se generaliza mejor que tanto la U-Net (más simple) como la DeepLabV3+ (más compleja). Los autores atribuyen esto al mecanismo de auto-atención global en los Transformers, que puede capturar claves contextuales más amplias (por ejemplo, textura de la piel, gradientes de iluminación) que permanecen estables entre hospitales, mientras que las CNN con campos receptivos locales pueden sobreajustarse a las estadísticas espaciales específicas de cada conjunto de datos.

Una implicación práctica crítica destacada es que los altos puntajes Dice in-domain no implican que el modelo esté listo para su despliegue. Los modelos que logran un Dice >0.80 in-domain perdieron aproximadamente entre 28 y 33 puntos porcentuales de rendimiento al ser desplegados en otros hospitales. Si bien SegFormer-B2 ofrece una generalización mensurablemente mejor, los autores señalan que incluso el mejor modelo pierde una precisión sustancial a través de los conjuntos de datos, subrayando que la robustez entre hospitales sigue siendo un problema abierto que requiere más trabajo en adaptación de dominio y adaptación en tiempo de prueba.