💻 computer science

MIFR: A Modality-Invariant and Fair Representation Framework for Skin Disease Classification

Cet article présente MIFR, un nouveau cadre qui exploite des images cliniques et dermoscopiques multimodales avec une fonction de perte multi-objectifs pour atteindre simultanément une classification de haute précision des maladies de la peau et une performance équitable à travers diverses carnations.

Auteurs originaux : Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

Publié 2026-08-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La peau est le plus grand organe du corps, un paysage complexe où des taches inoffensives et des cancers dangereux peuvent paraître étonnamment similaires. Pendant des décennies, les médecins se sont appuyés sur deux manières principales d'examiner ces lésions : une photographie standard prise avec un appareil photo classique, appelée image clinique, et une vue hautement magnifiée prise avec un dispositif spécial appelé dermoscope. Bien que l'intelligence artificielle soit devenue récemment compétente pour détecter les maladies de la peau, ces outils numériques sont confrontés à deux obstacles persistants. Premièrement, la plupart des systèmes sont entraînés pour n'examiner qu'un seul type d'image, ce qui signifie qu'un modèle qui fonctionne bien sur des photos dermoscopiques magnifiées peut échouer complètement sur une photo clinique standard. Deuxièmement, et c'est peut-être plus critique, ces systèmes éprouvent souvent des difficultés lorsqu'ils sont appliqués à des personnes ayant une peau plus foncée. Comme la grande majorité des données d'entraînement provient de personnes aux teints plus clairs, les algorithmes apprennent à reconnaître les maladies en se basant sur des caractéristiques qui ne se traduisent pas bien pour les tons de peau plus foncés, ce qui entraîne des erreurs de diagnostic et des inégalités en matière de soins de santé.

Une équipe de chercheurs a proposé une nouvelle approche pour résoudre ces deux problèmes simultanément, en créant un système qui traite les différents types d'images et les différentes carnations avec une équité égale. Leur travail, intitulé MIFR, introduit un cadre conçu pour apprendre une compréhension unifiée de la maladie cutanée qui ne dépend ni de la manière dont la photo a été prise, ni de la couleur de la peau. Au lieu de construire des outils séparés pour les photos cliniques et les images dermoscopiques, ou d'entraîner des modèles différents pour différents types de peau, ce système apprend à voir la maladie sous-jacente elle-même. Les chercheurs ont associé des photographies cliniques à leurs images dermoscopiques correspondantes provenant du même patient, apprenant à l'ordinateur que ces deux images très différentes montrent en réalité la même condition médicale. En forçant le système à aligner ces différentes vues, le modèle apprend à ignorer les différences superficielles causées par la caméra ou l'éclairage pour se concentrer entièrement sur les signes biologiques de la maladie.

Pour s'assurer que le système n'apprenne pas accidentellement à discriminer en fonction de la couleur de la peau, les chercheurs ont ajouté un mécanisme d'entraînement ingénieux. Ils ont appris à l'ordinateur à prédire la maladie tout en essayant simultanément de cacher le type de peau du patient au modèle. Imaginez un étudiant qui doit répondre correctement à une question difficile mais qui a l'interdiction d'utiliser des indices concernant le parcours de l'étudiant pour y parvenir. Dans cette version numérique, le système joue un jeu où une partie essaie de deviner le ton de la peau à partir des caractéristiques de l'image, tandis qu'une autre partie essaie de brouiller ces caractéristiques pour que la supposition échoue. Avec le temps, le système apprend à éliminer toute information liée à la couleur de la peau, ne conservant que les détails nécessaires pour diagnostiquer la maladie. Ce processus garantit que l'outil final fonctionnera aussi bien pour une personne ayant la peau la plus foncée que pour quelqu'un ayant la peau la plus claire.

Les chercheurs ont testé leur nouveau cadre sur une collection d'images cutanées provenant de plusieurs bases de données publiques, incluant un ensemble d'images appariées où une photo clinique et une image dermoscopique existent pour la même lésion. Ils se sont concentrés sur trois conditions courantes : le mélanome, une forme dangereuse de cancer de la peau ; les nævus, qui sont des grains de beauté bénins ; et le carcinome basocellulaire, le type de cancer de la peau le plus courant. Les résultats ont montré que le système pouvait classer ces maladies avec précision, qu'il regardait une photo standard ou une vue magnifiée, prouvant qu'il avait réussi à apprendre une représentation invariante de la modalité. Lorsqu'il a été testé sur des données qu'il n'avait jamais vues auparavant, y compris des ensembles de données provenant de différentes régions, le modèle a maintenu une grande précision, surpassant les méthodes précédentes qui étaient spécialisées pour un seul type d'image.

Plus important encore, le système a démontré une amélioration significative de l'équité. Lorsque les chercheurs ont mesuré la performance du modèle à travers différents tons de peau, la nouvelle approche a montré un écart d'exactitude beaucoup plus faible entre les groupes les plus clairs et les plus foncés par rapport aux outils existants. Les visualisations des données ont confirmé que l'ordinateur avait effectivement regroupé les images de la même maladie ensemble, qu'elles proviennent d'un appareil photo clinique ou d'un dermoscope, et quel que soit le ton de la peau du patient. Les grappes de points de données dans la carte interne de l'ordinateur étaient mélangées, montrant que le système ne séparait plus les patients par leur couleur de peau ou par le type d'image utilisé.

Bien que les résultats soient prometteurs, les chercheurs reconnaissent que leur méthode n'est pas une solution parfaite pour toutes les situations. Le système nécessite actuellement des images appariées pour l'entraînement, ce qui est rare dans le monde réel, et la configuration à double caméra augmente le coût computationnel. De plus, l'étude a noté que la performance du modèle a légèrement chuté lorsqu'il a été testé sur un ensemble de données contenant uniquement des images dermoscopiques, suggérant que l'effort pour rendre le système compatible avec les deux types d'images signifie parfois sacrifier un peu de détail spécifique de l'un d'eux. Malgré ces limites, ce travail marque une étape importante. Il démontre qu'il est possible de construire une intelligence artificielle qui est non seulement précise, mais aussi équitable, capable de servir les patients à travers tout le spectre des tons de peau humains et à travers différents contextes d'imagerie médicale sans nécessiter d'outils séparés et spécialisés pour chacun.

Résumé technique : MIFR – Un cadre de représentation invariant à la modalité et équitable pour la classification des maladies de la peau

1. Énoncé du problème

Le diagnostic des maladies de la peau via l'apprentissage profond se heurte à deux barrières critiques pour un déploiement clinique réel :

Hétérogénéité des modalités : Les lésions cutanées sont capturées via des modalités d'imagerie hétérogènes, principalement des photographies cliniques et des images dermoscopiques. Les modèles existants reposent souvent sur une seule modalité, ce qui peut s'avérer insuffisant pour un diagnostic précis.
Disparités démographiques : Les ensembles de données de dermatologie publique sont dominés par les tons de peau clairs (types de peau de Fitzpatrick I–III), ce qui entraîne des performances nettement inférieures des modèles sur les peaux plus foncées (FST IV–VI). Cela perpétue les disparités en matière de soins de santé.

Les approches actuelles traitent généralement ces problèmes de manière isolée. Les méthodes axées sur l'équité (par exemple, FairDisCo, PatchAlign) opèrent généralement sur des modalités uniques, tandis que les modèles de fondation multimodaux (par exemple, PanDerm) manquent souvent de contraintes d'équité explicites. De plus, de nombreuses méthodes d'équité nécessitent des étiquettes d'attributs sensibles (ton de la peau) lors de l'inférence, ce qui est peu pratique dans les contextes cliniques.

2. Méthodologie : Le cadre MIFR

Les auteurs proposent le MIFR (Modality-Invariant and Fair Representation), une architecture à double encodeur conçue pour traiter conjointement les images cliniques et dermoscopiques tout en imposant l'équité sans nécessiter d'attributs sensibles lors de l'inférence.

2.1 Architecture

Doubles encodeurs : Le modèle utilise deux encodeurs Vision Transformer (ViT-Small) indépendants : l'un pour les images cliniques ( $f^c_\theta$ ) et l'autre pour les images dermoscopiques ( $f^d_\phi$ ).
Têtes de projection : La sortie de chaque encodeur est transmise à une tête de projection spécifique à la modalité (un perceptron multicouche avec normalisation par lots et activations GELU) pour projeter les entrées dans un espace de plongement partagé de haute dimension ( $\mathbb{R}^{512}$ ).
Flexibilité d'inférence : Lors de l'inférence, les branches auxiliaires sont supprimées. Le modèle peut fonctionner sur des images cliniques, des images dermoscopiques, ou les deux, éliminant ainsi le besoin de modèles spécialisés distincts.

2.2 Fonction de perte multi-objectifs

Le processus d'entraînement optimise une fonction de perte unifiée ( $L_{Total}$ ) comprenant cinq composantes :

Classification cible ( $L_{cls}$ ) : Une perte d'entropie croisée pondérée traitant le déséquilibre des classes pour assurer une prédiction précise de la maladie ( $y_i$ ).
Branche d'attribut de ton de la peau (SA) : Un mécanisme adversarial pour supprimer le biais de ton de la peau ( $s_i$ $s_{i}$ ) des caractéristiques sans avoir besoin de $s_i$ $s_{i}$ lors de l'inférence.
- Perte de confusion ( $L_{conf}$ ) : Entraîne l'encodeur principal à rendre le classificateur de ton de la peau incertain (maximisant l'entropie), masquant ainsi efficacement les indices de ton de la peau.
- Perte de peau ( $L_{skin}$ ) : Entraîne le classificateur de ton de la peau auxiliaire à prédire l'étiquette réelle, empêissant l'encodeur de s'effondrer en une solution triviale.
Branche contrastive ( $L_{contr}$ ) : Une perte contrastive supervisée appliquée par modalité pour rapprocher les plongements de la même classe de maladie et éloigner ceux des classes différentes, établissant une compacité intra-classe.
Branche d'invariance de modalité ( $L_{MI}$ ) : Basée sur VICReg, elle impose l'alignement entre les plongements cliniques et dermoscopiques de la même lésion. Elle comprend :
- Invariance ( $L_{inv}$ ) : Minimise la distance cosinus entre les plongements appariés.
- Variance ( $L_{var}$ ) : Empêche l'effondrement dimensionnel en assurant une variance suffisante dans chaque dimension de plongement.
- Covariance ( $L_{cov}$ ) : Décorrèle les dimensions de plongement pour réduire la redondance.

3. Configuration expérimentale

Ensembles de données :
- Entraînement interne : Datasets appariés HIBA (1 195 images avec FST) et Derm7pt (1 738 images avec FST estimé), filtrés pour le Mélanome (MEL), le Naevus (NV) et le Carcinome Basocellulaire (BCC).
- Benchmarks externes : PAD-UFES-20 (images cliniques) et ISIC 2019 (images dermoscopiques).
Baselines : Comparaison avec FairDisCo et PatchAlign.
Métriques : Précision (Acc), score F1, AUC, Disparité de Qualité Prédictive (PQD) et Écart de Précision ( $\Delta$ Acc).

4. Résultats clés

4.1 Performance interne (HIBA + Derm7pt)

Équité : Le modèle complet MIFR a atteint un PQD de 87,23 %, surpassant nettement FairDisCo (66,67 %) et PatchAlign (82,98 %).
Précision : MIFR a atteint 93,33 % de précision et un score F1 de 92,17 %. Bien qu'un peu inférieur aux baselines (93,81 %), la performance reste hautement compétitive.
Ablation : La combinaison de l'apprentissage contrastif et de l'invariance de modalité (BASE+Contr+MI) a produit l'écart de précision le plus faible (0,0265), suggérant que l'invariance de modalité favorise implicitement l'équité.

4.2 Généralisation externe

PAD-UFES-20 (Clinique) : MIFR a nettement surpassé les baselines en Précision (85,10 % contre 78,35 % pour FairDisCo) et en AUC (91,89 % contre 83,44 %).
ISIC 2019 (Dermoscopique) : MIFR a atteint 76,64 % de précision, égalant FairDisCo et dépassant PatchAlign. Cependant, l'AUC (80,50 %) est inférieure à celle du modèle de base (86,62 %). Les auteurs attribuent cela à un compromis où l'imposition de l'invariance de modalité sacrifie une partie de la discrimination spécifique à la modalité au profit de la généralisabilité inter-modalités.

4.3 Visualisation

Les visualisations t-SNE ont confirmé que :

Les plongements cliniques et dermoscopiques de la même maladie sont géométriquement alignés (invariance de modalité).
Les tons de peau sont presque parfaitement mélangés au sein des clusters de maladies, indiquant la suppression du biais de ton de la peau (équité).

5. Signification et revendications

L'article affirme que MIFR représente une étape significative vers un diagnostic des maladies de la peau équitable et robuste en :

Unifiant les objectifs : Traitant avec succès l'invariance de modalité et l'équité comme un problème d'optimisation conjoint plutôt que comme des défis séparés.
Déploiement pratique : Éliminant le besoin d'étiquettes d'attributs sensibles lors de l'inférence, une exigence qui limite de nombreuses méthodes actuelles axées sur l'équité.
Robustesse inter-datasets : Démontrant une généralisation supérieure sur des benchmarks externes (PAD-UFES-20), validant son applicabilité dans des scénarios réels où les distributions de données varient.

6. Limites et directions futures

Les auteurs reconnaissent certaines contraintes :

Dépendance aux données : Le cadre repose sur des données d'entraînement appariées (images cliniques et dermoscopiques de la même lésion), qui sont souvent rares.
Coût computationnel : L'architecture à double encodeur augmente la charge de calcul par rapport aux modèles à encodeur unique.
Biais des jeux de données : L'étude a utilisé des répertoires internationaux manquant de données sur les lésions cutanées africaines. Les auteurs notent que les bases de données publiques restent biaisées en faveur des tons de peau clairs, et l'adaptation de MIFR à des jeux de données cliniques africains (ex: eSkinHealth) est une direction future nécessaire pour traiter la sous-performance spécifique des méthodes antérieures sur les FST IV–VI.
Réglage des hyperparamètres : L'interaction entre les cinq poids de perte a nécessité un réglage manuel sur l'ensemble de validation plutôt qu'une recherche exhaustive, ce qui ne garantit pas une performance optimale.