TransUNet-GradCAM: A Hybrid Transformer-U-Net with Self-Attention and Explainable Visualizations for Foot Ulcer Segmentation

Cette étude présente TransUNet-GradCAM, un modèle hybride combinant Transformers et U-Net qui, grâce à son mécanisme d'attention globale et à ses visualisations explicatives, réalise une segmentation précise et généralisable des ulcères diabétiques du pied sur plusieurs jeux de données cliniques.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si on en parlait autour d'un café.

🩹 Le Problème : Des blessures difficiles à mesurer

Imaginez que vous êtes un médecin. Vous devez surveiller une plaie diabétique au pied d'un patient. C'est une tâche délicate : la plaie a des formes bizarres, des couleurs qui changent, et elle se cache parfois derrière d'autres éléments (comme des bandages ou de la peau saine).

Pour savoir si la plaie guérit, il faut mesurer sa surface avec précision. Mais le faire à la main, c'est comme essayer de dessiner le contour d'une tache d'encre qui bouge : c'est long, subjectif (chaque médecin voit les choses différemment) et souvent imprécis.

🤖 La Solution : Un "Super-Détective" Numérique

Les chercheurs de l'Université du Ghana ont créé un programme d'intelligence artificielle (une sorte de robot détective) appelé TransUNet-GradCAM. Son but ? Regarder les photos de pieds, trouver la plaie, et la découper numériquement avec une précision chirurgicale.

Mais comment fonctionne ce robot ? C'est là que l'histoire devient intéressante.

1. Le Duo Gagnant : Le Loup et l'Aigle 🐺🦅

Pour bien comprendre l'architecture de ce modèle, imaginez deux experts qui travaillent ensemble :

• L'Expert Local (Le Loup - U-Net) : C'est un expert du détail. Il regarde la photo de très près. Il voit la texture de la peau, les petits bords de la plaie, les poils, les cicatrices. Il est excellent pour dire "ici, c'est la peau, là, c'est la plaie". Mais il a un problème : il a une vision en "tunnel". Il ne voit pas ce qui se passe à l'autre bout de la photo.
• L'Expert Global (L'Aigle - Vision Transformer) : C'est un expert de la vue d'ensemble. Il vole haut et voit tout le contexte. Il comprend que "cette zone rouge est probablement une plaie parce qu'elle est entourée de cette zone enflée". Il relie les points distants de l'image.

Le secret de la réussite ? Les chercheurs ont marié ces deux experts dans un seul cerveau (le modèle TransUNet).

• Le Loup s'occupe des détails fins pour que les bords de la plaie soient nets.
• L'Aigle s'occupe du contexte pour ne pas confondre une ombre avec une plaie.
  Ensemble, ils sont imbattables.

2. L'Entraînement : Apprendre à voir dans toutes les conditions 🎨

Pour entraîner ce robot, les chercheurs lui ont montré plus de 1 200 photos de pieds. Mais ce n'était pas facile ! Les photos venaient de différents hôpitaux, avec différentes lumières et des peaux de couleurs très variées.

C'est comme si vous appreniez à un enfant à reconnaître un chat, mais vous lui montriez des chats noirs, blancs, roux, sous la pluie, au soleil, et même des chats en train de dormir.

• Ils ont utilisé une technique appelée Augmentation de données : ils ont pris les photos et les ont "torturées" virtuellement (changé la luminosité, fait tourner l'image, ajouté du flou) pour que le robot apprenne à reconnaître la plaie, peu importe les conditions.
• Ils ont aussi utilisé une "pénalité intelligente" (une fonction de perte hybride) pour s'assurer que le robot ne se concentre pas uniquement sur le fond (la peau saine) et oublie la petite plaie au milieu.

3. La Transparence : Pourquoi le robot a-t-il pris cette décision ? 🔦

C'est la partie la plus cool : GradCAM.
Souvent, les intelligences artificielles sont des "boîtes noires". On leur donne une image, elles sortent un résultat, et on ne sait pas pourquoi. C'est effrayant pour un médecin.

Ici, les chercheurs ont ajouté une lampe torche virtuelle. Quand le robot dit "C'est une plaie", il allume une lumière rouge sur la photo pour montrer exactement quelles zones il a regardées pour prendre sa décision.

• Si la lumière rouge brille sur la plaie : Super, le robot a raison.
• Si la lumière rouge brille sur un outil chirurgical ou un doigt : Attention, le robot s'est trompé.

Grâce à cela, les médecins peuvent faire confiance au robot car ils voient comment il pense.

📊 Les Résultats : Est-ce que ça marche ?

• Sur les données d'entraînement : Le robot a été excellent. Il a réussi à découper la plaie avec une précision de 88,86 % (un score très élevé). C'est comme si vous essayiez de découper un puzzle et que vous aviez presque toutes les pièces au bon endroit.
• Sur de nouvelles données (Test "Zero-Shot") : C'est le vrai test. Ils ont donné au robot des photos qu'il n'avait jamais vues, venant d'autres hôpitaux avec d'autres caméras.
  • Résultat ? Il a encore très bien fonctionné (scores entre 62 % et 78 %). Cela prouve qu'il a vraiment compris ce qu'est une plaie, et qu'il ne fait pas juste du "par cœur" avec les photos d'entraînement.
• Mesure de la taille : Quand on a comparé la taille de la plaie calculée par le robot avec celle mesurée par un expert humain, les résultats étaient presque identiques (corrélation de 97 %). C'est comme si deux architectes mesuraient la même maison et trouvaient exactement la même surface.

🚀 Conclusion : Pourquoi c'est important ?

Imaginez un futur où, dans un hôpital ou même à domicile, un soignant prend une photo d'un pied avec son téléphone. En une seconde, l'application :

1. Détecte la plaie.
2. Mesure sa surface avec une précision chirurgicale.
3. Montre au médecin où elle a regardé pour être sûr.
4. Enregistre l'évolution de la guérison sur le dossier du patient.

Ce projet ne remplace pas le médecin, mais il lui donne des lunettes super-puissantes pour mieux soigner les patients, éviter les amputations et réduire la douleur. C'est une victoire de l'intelligence artificielle au service de l'humain, rendue transparente et fiable.

Résumé technique

Résumé Technique : TransUNet-GradCAM pour la Segmentation des Ulcères Diabétiques

1. Problématique

La segmentation automatique des ulcères du pied diabétique (DFU) est cruciale pour le diagnostic clinique, la planification thérapeutique et le suivi longitudinal des blessures. Cependant, cette tâche reste extrêmement difficile en raison de :

• Hétérogénéité visuelle : Variations importantes de l'apparence, de la morphologie irrégulière et des textures des ulcères.
• Contexte complexe : Présence de bruits de fond, d'outils chirurgicaux et de variations d'éclairage et de pigmentation de la peau.
• Limites des modèles traditionnels : Les réseaux de neurones convolutifs (CNN) classiques, comme l'U-Net, excellent dans la localisation locale mais peinent à modéliser les dépendances spatiales à longue portée et le contexte global nécessaire pour délimiter précisément des lésions complexes.
• Manque d'interprétabilité : Les modèles "boîte noire" limitent l'adoption clinique car les médecins ne peuvent pas vérifier sur quelles régions l'image le modèle se base pour prendre sa décision.

2. Méthodologie

Les auteurs proposent une architecture hybride TransUNet-GradCAM qui combine la puissance de localisation des CNN avec la capacité de modélisation contextuelle des Transformers.

• Architecture Hybride (TransUNet) :
  • Encodeur CNN : Utilise des blocs de convolution séquentiels pour extraire des caractéristiques spatiales de bas et moyen niveau.
  • Goulot d'étranglement Transformer (ViT) : Intègre un module Vision Transformer au niveau le plus profond de l'encodeur. Les cartes de caractéristiques sont transformées en séquences de patches (tokens) traités par un mécanisme d'auto-attention multi-têtes (6 couches, 8 têtes). Cela permet au modèle de capturer les relations globales et le contexte de l'image entière, au-delà du champ réceptif local des CNN.
  • Décodeur U-Net : Reconstruit le masque de segmentation à pleine résolution en utilisant des connexions de saut (skip connections) pour fusionner les caractéristiques globales du Transformer avec les détails spatiaux fins de l'encodeur.
• Stratégie d'Entraînement :
  • Données : Entraînement sur le jeu de données public FUSeg (Foot Ulcer Segmentation Challenge) contenant plus de 1200 images.
  • Augmentation de données robuste : Utilisation de transformations géométriques (rotation, retournement) et photométriques (ajustement de luminosité/contraste, Color Jitter pour simuler diverses pigments de peau) via la bibliothèque imgaug.
  • Fonction de perte hybride : Combinaison de la Binary Cross-Entropy (BCE) et de la Dice Loss pour pallier le déséquilibre de classes (petite zone d'ulcère vs grand fond d'image).
  • Optimisation : Adam avec un taux d'apprentissage initial de $1 \times 10^{-4}$, arrêt précoce (Early Stopping) et réduction du taux d'apprentissage sur plateau.
• Explicabilité (Grad-CAM) :
  • Intégration de Grad-CAM (Gradient-weighted Class Activation Mapping) pour générer des cartes de chaleur visuelles. Cela permet de vérifier que le modèle se concentre bien sur le lit de l'ulcère et non sur des artefacts de fond, renforçant la confiance clinique.

3. Contributions Clés

1. Architecture Synergique : Démonstration qu'une architecture hybride CNN-Transformer surpasse les modèles purement convolutionnels pour la segmentation d'ulcères complexes en capturant à la fois les détails locaux et le contexte global.
2. Validation Externe "Zero-Shot" : Évaluation rigoureuse sur deux jeux de données externes indépendants (AZH Wound Care Center et Medetec) sans aucun réentraînement ni ajustement fin, prouvant la capacité de généralisation du modèle à de nouveaux domaines cliniques.
3. Analyse d'Utilité Clinique : Corrélation forte entre les surfaces prédites et les annotations experts, validant l'outil pour le suivi longitudinal.
4. Transparence Clinique : Intégration native de visualisations explicables (Grad-CAM et cartes d'incertitude) pour répondre aux exigences de sécurité des applications médicales.

4. Résultats

• Performance Interne (Jeu de données FUSeg) :

  • Dice Similarity Coefficient (DSC) : 0,8886 (sur le jeu de validation).
  • Intersection over Union (IoU) : 0,7889.
  • Précision : 0,9973.
  • Le modèle a atteint ces performances avec un seuil de binarisation optimisé à 0,4843.

• Performance Externe (Généralisation) :

  • Jeu de données Medetec (n=152) : DSC de 0,7850.
  • Jeu de données AZH (n=278) : DSC de 0,6209.
  • Note : Bien que les scores soient inférieurs à l'interne (dû au décalage de domaine), ils démontrent une robustesse significative sans réentraînement.

• Analyse Clinique :

  • Corrélation des surfaces : Coefficient de corrélation de Pearson r = 0,9749 entre les surfaces prédites et les surfaces réelles (Ground Truth).
  • Analyse Bland-Altman : Biais moyen négligeable de -5,81 pixels, indiquant l'absence de tendance systématique à surestimer ou sous-estimer la taille de la plaie.

• Comparaison avec l'État de l'Art :

  • Le modèle TransUNet-GradCAM obtient des résultats comparables ou supérieurs à des méthodes avancées comme MiT-b3 (87,64%) et l'ensemble U-Net + LinkNet (88,80%), tout en offrant une interprétabilité que ces modèles n'ont pas.

5. Signification et Impact

• Fiabilité Clinique : La forte corrélation dans la mesure des surfaces et la visualisation par Grad-CAM rendent ce système fiable pour un déploiement potentiel dans les flux de travail cliniques, permettant un suivi objectif de la guérison.
• Robustesse : La capacité à fonctionner sur des données provenant de différents hôpitaux et appareils photo (validation externe) est un atout majeur pour les applications réelles où les conditions d'acquisition varient.
• Efficacité et Déploiement : Avec environ 19,57 millions de paramètres et un coût de calcul estimé à 18,6 GFLOPs par inférence, le modèle est suffisamment léger pour être envisagé sur des appareils mobiles (tablettes) pour l'évaluation des plaies au point de soin (Point-of-Care).
• Limites et Perspectives : Les auteurs notent que le downsampling à 256x256 peut perdre des détails de texture fins (granulation vs nécrose) et que les cartes Grad-CAM sont grossières. Les travaux futurs viseront l'optimisation pour l'edge computing et la validation sur des ensembles de données multi-centres plus vastes.

En conclusion, cette étude présente une solution robuste, précise et explicable pour la segmentation des ulcères diabétiques, comblant le fossé entre les performances algorithmiques de pointe et les exigences de transparence nécessaires en milieu clinique.