📄 health informatics

FootNet: A Multi-View Smartphone Dataset and Four-Model Benchmark for Clinical Foot Segmentation

Cet article introduit FootNet, un ensemble de données multi-vues pour smartphones avec des masques annotés par des experts pour la segmentation clinique du pied, et établit un benchmark démontrant qu'un U-Net avec un encodeur MobileNetV2 surpasse significativement d'autres modèles, notamment DeepLabV3, UNet++ et SAM ViT-B, en termes de précision de segmentation.

Auteurs originaux : Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Publié 2026-07-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vijay, A., Prabhune, A., Srihari, V. R., Rayampalli, A.

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à voir le monde, mais au lieu de lui donner une photo parfaite d'une chaussure prise en studio, vous lui tendez un cliché flou, pris à la main tremblante dans une clinique animée. C'est là tout le défi de la vision par ordinateur, une branche de la science où nous tentons de faire comprendre aux machines les images comme le font les humains. Plus précisément, ce document plonge dans la segmentation d'images médicales, qui ressemble à une partie de "jeu des points à relier" à enjeux élevés, où les points sont des pixels. L'objectif est de tracer une ligne parfaite autour d'un objet spécifique — dans ce cas, un pied humain — en le séparant du désordre environnant composé de sols, de vêtements et d'ombres. Pourquoi est-ce important ? Parce que si un ordinateur peut mesurer avec précision un pied à partir d'une simple photo de smartphone, les médecins pourraient facilement suivre l'évolution de plaies, adapter des chaussures pour les personnes diabétiques ou repérer des déformations sans avoir besoin de scanners 3D coûteux et encombrants. Il s'agit d'apporter des outils médicaux de haute technologie au creux de votre main, même lorsque l'éclairage est mauvais et l'arrière-plan chaotique.

Maintenant, faites la connaissance de FootNet, la nouvelle star de ce jeu. Les chercheurs ont créé un immense album photo multi-vues de 453 pieds, pris avec des smartphones ordinaires par le personnel de cliniques. Ce ne sont pas des clichés de studio parfaits ; ce sont des images du monde réel avec des éclairages et des arrière-plans variés, capturées sous six angles différents : le dessus (dorsal), le côté (médial) et le dessous (plantaire) des pieds gauche et droit. Chaque pied de cet album a été soigneusement détouré par des experts humains pour créer une carte de "vérité terrain" (ground truth), montrant exactement où le pied s'arrête et où le sol commence.

L'équipe a ensuite organisé une compétition amicale (mais féroce) entre quatre modèles d'IA différents pour voir lequel saurait dessiner le meilleur contour autour de ces pieds. Considérez ces modèles comme quatre artistes différents ayant des styles distincts :

U-Net (avec un encodeur MobileNetV2) : l'artiste classique et fiable, connu pour préserver les détails fins.
UNet++ : une version plus complexe du premier artiste, essayant d'être particulièrement minutieux grâce à des voies imbriquées.
DeepLabV3 (avec MobileNetV3-Large) : un spécialiste de la compréhension du contexte et de l'échelle.
SAM (Segment Anything Model) : un célèbre "super-artiste" pré-entraîné qui a généralement besoin d'un indice (comme une boîte englobante) pour savoir quoi dessiner.

Les résultats ont été sans appel. U-Net a remporté la couronne, atteignant la plus haute précision avec un IoU (Intersection over Union, un score mesurant à quel point la ligne tracée se superpose au pied réel) de 0,9268 et un score de Dice de 0,9608. En termes simples, son contour était presque parfaitement aligné avec le dessin de l'expert. Le document écarte explicitement l'idée que les modèles plus sophistiqués et complexes soient toujours meilleurs ; UNet++ n'a pas surpassé de manière significative le plus simple DeepLabV3, suggérant que l'ajout de complexité n'a pas aidé pour cette tâche spécifique.

Même le "super-artiste" SAM, lorsqu'on lui donne un indice parfait (une boîte englobante "oracle" dessinée autour du pied), a obtenu un Ioğu de 0,9219 sur le sous-ensemble d'images sur lequel il a été testé. Bien qu'impressionnant, les tests statistiques ont montré que U-Net surpassait encore significativement SAM (avec une p-valeur de 0,005), prouvant qu'un modèle entraîné spécifiquement sur ces photos de pieds est meilleur qu'un modèle à usage général, même lorsque ce dernier reçoit un indice parfait. Les chercheurs ont également testé une astuce de "nettoyage" appelée post-traitement par composantes connexes, espérant qu'elle corrigerait les parties désordonnées des dessins, mais ont constaté qu'elle ne faisait presque aucune différence (améliorant le score de seulement 0,0003 en moyenne), ils ont donc décidé qu'elle n'était pas utile.

Une découverte intéressante est que l'IA a le mieux performé sur les vues plantaires (dessous), avec des scores IoU autour de 0,95, probablement parce que la plante du pied crée une forme claire et à haut contraste sur le sol. Les vues dorsales (dessus) étaient plus délicates, surtout pour le pied droit, où l'arrière-plan était plus encombré, provoquant davantage de variations dans les résultats.

En conclusion, ce document suggère que pour la tâche spécifique de détourer des pieds à partir de photos de smartphones désordonnées, l'architecture classique U-Net est l'outil le plus fiable, battant à la fois son cousin complexe et l'IA célèbre à usage général. Le jeu de données lui-même, FootNet, est désormais disponible pour que d'autres chercheurs puissent l'utiliser, les 191 images originales étant publiques et l'ensemble complet de 453 disponible sur demande. Les auteurs précisent avec prudence que bien que les résultats soient solides, ils proviennent d'une seule clinique, et que les modèles n'ont pas encore été testés sur différents appareils ou dans différents pays, de sorte qu'il reste du travail à faire avant que cela ne devienne une norme médicale universelle.

Résumé Technique : FootNet

Énoncé du Problème
La segmentation automatisée du pied entier à partir de photographies prises avec des smartphones grand public est une étape de prétraitement critique pour les flux de travail cliniques, incluant la mesure des zones de plaies, la classification des déformations et l'ajustement des chaussures. Cependant, les ensembles de données publics existants ciblent principalement la segmentation au niveau de la plaie (par exemple, le Diabetic Foot Ulcer Challenge) plutôt que le pied entier. De plus, l'analyse du pied entier actuelle repose souvent sur des environnements contrôlés utilisant des scanners plantaires 3D, des caméras thermiques ou des capteurs de profondeur, qui sont indisponibles dans les contextes de soins de proximité. Les photographies cliniques en conditions réelles présentent des défis importants dus à la capture à main levée, à l'éclairage ambiant et à des arrière-plans variés, souvent de couleur chair, ce qui rend la segmentation nettement plus difficile que dans des environnements contrôlés. Avant ce travail, aucun ensemble de données public de pieds entiers multi-vues acquis dans des conditions réalistes de soins de proximité n'existait.

Méthodologie
Les auteurs introduisent FootNet, un ensemble de données et un benchmark conçus pour combler ces lacunes.

Construction de l'Ensemble de Données : FootNet comprend 453 paires image-masque collectées dans des cliniques externes à l'aide de divers smartphones grand public sans trépied ni éclairage contrôlé. L'ensemble de données couvre six vues anatomiques (dorsale, médiale et plantaire pour les pieds gauche et droit). Les images ont été annotées par du personnel formé utilisant LabelMe pour tracer les contours du pied, puis converties en masques PNG binaires et dé-identifiées. L'ensemble de données est divisé en un ensemble public original (191 images) et un ensemble étendu (262 images) en attente de révision de dé-identification.
Évaluation de Référence des Modèles (Benchmarking) : L'étude évalue quatre architectures de segmentation sous un protocole contrôlé :
1. U-Net avec un encodeur MobileNetV2.
2. UNet++ avec un encodeur MobileNetV2.
3. DeepLabV3 avec un encodeur MobileNetV3-Large.
4. Segment Anything Model (SAM) ViT-B, évalué dans un cadre zero-shot en utilisant un prompt de boîte englobante "oracle" (la boîte de vérité terrain serrée avec une marge de 20px) pour établir une limite supérieure de la qualité du prompt.
Entraînement et Évaluation : Les modèles supervisés ont été entraînés sur l'ensemble complet des 453 images en utilisant une perte combinée Dice + Entropie Croisée Binaire (Binary Cross-Entropy), un optimiseur AdamW et des stratégies d'augmentation spécifiques (retournements, rotations, perturbations affines). Les métriques d'évaluation comprenaient l'Intersection sur Union (IoU) et le coefficient de Dice. La signification statistique a été évaluée à l'aide de tests de rang signé de Wilcoxon corrigés par la méthode de Bonferroni à travers six comparaisons par paires, avec des tailles d'effet rapportées comme corrélations de rang-biserial.

Contributions Clés

Ensemble de Données FootNet : Un ensemble de données de pieds par smartphone multi-vues avec des masques binaires annotés par des experts, disponible en deux niveaux (191 images publiques et 262 images sur demande).
Benchmark Contrôlé : Une analyse comparative de quatre modèles de segmentation distincts (U-Net, UNet++, DeepLabV3 et SAM) sur ce domaine spécifique.
Analyse Statistique Rigoureuse : Application de tests de signification corrigés par Bonferroni et d'intervalles de confiance par bootstrap pour valider les différences de performance.
Étude d'Ablation : Une évaluation du post-traitement par composantes connexes pour déterminer son utilité dans l'affinement des sorties de segmentation.

Résultats

Performance des Modèles : U-Net avec un encodeur MobileNetV2 a obtenu la meilleure performance globale avec un IoU de 0,9268 et un score de Dice de 0,9608.
- U-Net a significativement surpassé DeepLabV3 (IoU 0,8984, $p < 0,001$ ) et UNet++ (IoU 0,8913, $p < 0,001$ ).
- UNet++ ne différait pas de manière significative de DeepLabV3 ( $p = 0,062$ ).
Comparaison avec SAM : Sur le sous-ensemble apparié de 191 images, U-Net (IoU 0,9274) a significativement surpassé SAM ViT-B avec des prompts oracle (IoU 0,9219, $p = 0,005$ ). Inversement, SAM a significativement surpassé DeepLabV3 sur ce sous-ensemble ( $p < 0,001$ ), tandis que la différence entre UNet++ et SAM n'était pas statistiquement significative après correction.
Performance par Vue : Les vues plantaires ont produit la précision la plus élevée (ex: IoU Plantar Gauche 0,9526), probablement en raison de silhouettes à haut contraste contre le sol. Les vues dorsales droites ont montré la plus grande variance (écart-type 0,102), attribuée à des arrière-plans complexes et des postures de patients variées.
Post-traitement : L'analyse des composantes connexes n'a apporté qu'un bénéfice négligeable, améliorant l'IoU moyen de seulement 0,0003 sur l'ensemble des données.

Signification et Revendications
L'article affirme que U-Net avec un encodeur MobileNetV2 est le modèle le plus robuste pour cette tâche spécifique, offrant à la fois une précision moyenne plus élevée et un risque de défaillance dans le pire des cas plus faible par rapport à DeepLabV3 et au modèle basé sur des prompts, SAM. Les auteurs attribuent le succès de U-Net à ses connexions de saut (skip connections) encodeur-décodeur, qui préservent les détails fins des contours que le pooling atrous (utilisé dans DeepLabV3) peut écarter à la résolution de 384×384 utilisée.

L'étude souligne que bien que SAM démontre de fortes capacités zero-shot lorsqu'il est fourni de prompts parfaits, il reste sensible à l'ambiguïté intra-boîte et nécessite beaucoup plus de ressources computationnelles (checkpoint de 375 Mo) par rapport à l'approche sans prompt de U-Net. Les auteurs concluent que pour les pipelines cliniques en aval, U-Net offre un meilleur équilibre entre précision, efficacité et fiabilité.

Limites
Les auteurs notent explicitement plusieurs contraintes : les données proviennent d'un seul site clinique avec une fiabilité inter-annotateurs inconnue ; la séparation train/validation a été effectuée au niveau de l'image plutôt qu'au niveau du patient (introduisant potentiellement une fuite de données ou "data leakage") ; et la taille de l'ensemble de données (453 images) est modeste selon les standards du deep learning, ce qui limite la généralisabilité des résultats aux architectures basées sur les transformers ou à diverses conditions d'acquisition. Aucun benchmark d'inférence sur appareil (on-device) n'a été réalisé.

Articles similaires