Do Diabetic Foot Ulcer Segmentation Models Generalize? A Cross-Dataset Benchmark of CNN and Transformer Architectures

Résumé Technique : Les modèles de segmentation des ulcères du pied diabétique généralisent-ils ?

Énoncé du problème
Les modèles d'apprentissage profond pour la segmentation des ulcères du pied diabétique (UPD) rapportent systématiquement des taux de précision élevés (scores Dice souvent > 0,80) lorsqu'ils sont entraînés et testés sur le même ensemble de données. Cependant, ces évaluations sont presque exclusivement « intra-domaine », échouant à mesurer le comportement des modèles sur des données provenant de différentes sources cliniques, caméras ou populations de patients. Les études antérieures de comparaison de jeux de données se sont limitées aux réseaux de neurones convolutifs (CNN) et aux modèles basés sur les prompts (ex. : SAM), laissant non mesurées les capacités de généralisation des architectures modernes de type Transformer dans le domaine de l'UPD. De plus, les benchmarks existants manquent souvent d'un examen rigoureux de la fuite de données (chevauchement d'images) entre les ensembles d'entraînement et de test, ce qui pourrait gonfler artificiellement les affirmations de généralisation.

Méthodologie
Les auteurs ont mené un benchmark de comparaison de jeux de données sous contrôle et avec filtrage de fuite, comparant trois architectures de segmentation représentatives :

• Baselines CNN : U-Net et DeepLabV3+ (utilisant tous deux des encodeurs ResNet-34).
• Architecture Transformer : SegFormer-B2 (utilisant un encodeur MiT-B2).

Protocole de données :

• Source d'entraînement : Un ensemble de données combiné d'images de plaies FUSeg et AZH. Les auteurs ont effectué un audit rigoureux utilisant le MD5 et le hachage perceptuel (dHash) pour détecter et supprimer les chevauchements au niveau de l'image, traitant FUSeg et AZH comme une source unique après avoir confirmé leur chevauchement significatif.
• Ensembles de test externes : Deux ensembles de données indépendants sans chevauchement d'images avec la source d'entraînement :
  1. DFUC2022 : 2 000 images provenant d'un site clinique différent (Test externe n°1).
  2. Medetec : 160 images (Test externe n°2).
• Protocole d'entraînement : Tous les modèles ont été entraînés pendant 20 époques sur des entrées de 256×256 en utilisant une perte combinée Dice et entropie croisée binaire. Aucun ajustement fin (fine-tuning) n'a été effectué sur les ensembles de test externes.
• Évaluation : La performance a été mesurée à l'aide du coefficient Dice et de l'Intersection-over-Union (IoU). La signification statistique a été évaluée via des tests de rang signé de Wilcoxon sur les scores Dice par image. Une analyse des échecs par image a défini les « échecs catastrophiques » comme étant les images avec un Dice < 0,4.

Principales contributions

1. Premier benchmark de comparaison de jeux de données avec filtrage de fuite : Cette étude est la première à appliquer un protocole de filtrage de fuite pour comparer les architectures CNN et Transformer pour la segmentation de l'UPD à travers des jeux de données indépendants.
2. Analyse de la famille d'architectures vs complexité : Le travail isole l'impact de la famille d'architecture (Transformer vs CNN) de la complexité du modèle, en utilisant DeepLabV3+ (CNN complexe) et U-Net (CNN plus simple) comme bases de comparaison contre SegFormer-B2.
3. Analyse complète des échecs : Au-delà des métriques agrégées, l'étude fournit une analyse des échecs par image sur 2 160 images de test, en catégorisant les échecs et en analysant la sévérité des chutes de performance.

Résultats

• Performance intra-domaine : Tous les modèles ont obtenu des performances solides sur l'ensemble de validation FUSeg (Dice 0,802–0,834), SegFormer-B2 étant légèrement supérieur. L'écart était étroit, suggérant que le choix de l'architecture a un impact minimal au sein d'une même distribution de données.
• Généralisation cross-dataset : Tous les modèles ont subi une dégradation substantielle des performances lors des tests sur les ensembles de données externes.
  • DFUC2022 : SegFormer-B2 a obtenu le Dice le plus élevé (0,557), surpassant U-Net (0,501) et DeepLabV3+ (0,489). SegFormer-B2 a également démontré une meilleure stabilité, avec un écart-type (±0,003) un ordre de grandeur inférieur à celui de U-Net (±0,029).
  • Medetec : SegFormer-B2 a de nouveau mené avec un Dice de 0,786, contre 0,737 pour U-Net et 0,730 pour DeepLabV3+.
• Taux d'échec : Sur DFUC2022, SegFormer-B2 a produit le moins d'échecs catastrophiques (31,1 % des images avec un Dice < 0,4), contre 38,5 % pour U-Net et 43,0 % pour DeepLabV3+.
• Signification statistique : Les tests de rang signé de Wilcoxon ont confirmé que SegFormer-B2 surpasse significativement les deux baselines CNN sur les deux ensembles de données externes (p < 0,001). La différence entre les deux modèles CNN n'était pas statistiquement significative sur Medetec.
• Sévérité des échecs : Sur Medetec, bien que SegFormer-B2 ait un nombre d'échecs légèrement supérieur à U-Net, ses échecs étaient moins sévères (se regroupant juste en dessous du seuil de 0,4), tandis que les échecs des CNN incluaient une « queue catastrophique » plus lourde (Dice ≈ 0).

Signification et affirmations
L'article conclut que la famille d'architecture est un facteur plus décisif pour la généralisation inter-hospitalière que la complexité du modèle. Plus précisément, le SegFormer-B2 basé sur les Transformers généralise mieux que l'U-Net (plus simple) et le DeepLabV3+ (plus complexe). Les auteurs attribuent cela au mécanisme d'auto-attention globale des Transformers, qui peut capturer des indices contextuels plus larges (ex. : texture de la peau, gradients de luminosité) qui restent stables entre les hôpitaux, alors que les CNN avec des champs récepteurs locaux peuvent faire du surapprentissage sur les statistiques spatiales spécifiques à un jeu de données.

Une implication pratique critique soulignée est que des scores Dice intra-domaine élevés n'impliquent pas une aptitude au déploiement. Les modèles atteignant un Dice > 0,80 en intra-domaine ont perdu environ 28 à 33 points de pourcentage de performance lors d'un déploiement dans d'autres hôpitaux. Bien que SegFormer-B2 offre une meilleure généralisation, les auteurs notent que même le meilleur modèle perd une précision substantielle entre les jeux de données, soulignant que la robustesse inter-hospitalière reste un problème ouvert nécessitant des travaux supplémentaires en adaptation de domaine et en adaptation au moment du test.