Effect of Demographic Bias on Skin Lesion Classification

Résumé technique : Effet du biais démographique sur la classification des lésions cutanées

Énoncé du problème
Les modèles d'apprentissage profond pour l'imagerie médicale, bien qu'atteignant des performances diagnostiques globales élevées, présentent souvent des biais contre des groupes démographiques spécifiques. Dans la classification des lésions cutanées, les disparités de performance peuvent découler d'un biais de représentation — des déséquilibres systématiques dans les données d'entraînement concernant des attributs protégés tels que le sexe et l'âge du patient. Des études antérieures ont souvent examiné ces facteurs de manière isolée ou au sein de modalités d'imagerie uniques sans contrôle systématique des distributions de données. De plus, l'efficacité relative de différentes stratégies d'atténuation des biais (apprentissage mono-tâche, multi-tâche et adversarial) à travers des déséquilibres de distribution extrêmes reste sous-explorée. Cette étude répond à la nécessité d'une évaluation complète de la manière dont les distorsions démographiques contrôlées dans les données d'entraînement influencent la performance des modèles et si des stratégies d'apprentissage spécifiques peuvent atténuer efficacement ces biais.

Méthodologie
Les auteurs ont employé un pipeline expérimental rigoureux utilisant trois ensembles de données : un sous-ensemble organisé de l'archive ISIC (images dermoscopiques) pour l'entraînement et la validation interne, et deux ensembles de données externes, PAD-UFES-20 (images de smartphone) et DERM7PT (images dermoscopiques), pour la validation croisée de jeux de données.

• Construction de l'ensemble de données via la programmation linéaire (PL) : Pour garantir un contrôle précis des distributions démographiques, les auteurs ont utilisé une méthode de programmation linéaire plutôt qu'un échantillonnage aléatoire. Cela leur a permis de générer des ensembles de données d'entraînement et de validation avec des ratios prédéfinis spécifiques de sexe (allant de 100 % d'hommes à 100 % de femmes) et d'âge (couvrant cinq tranches d'âge : 0–50, 51–60, 61–70, 71–80 et 81+). Ils ont créé sept scénarios de distribution de sexe distincts et trois schémas de distribution d'âge (biaisé vers les plus jeunes, équilibré, biaisé vers les plus âgés).
• Architectures de modèles : Trois architectures basées sur ResNet-50 ont été évaluées :
  1. Baseline mono-tâche : Un modèle de classification binaire standard pour les lésions malignes versus bénignes.
  2. Modèle multi-tâche de renforcement : Un modèle doté d'une tête auxiliaire qui prédit l'attribut démographique (sexe ou âge) parallèlement à la tâche de classification primaire. Les auteurs notent que « renforçant » fait référence au renforcement de l'influence du signal démographique pour régulariser l'encodeur partagé, et non à l'apprentissage par renforcement.
  3. Modèle multi-tâche adversarial : Un modèle employant un schéma d'entraînement adversarial où l'encodeur est pénalisé pour l'impossibilité de prédire l'attribut démographique à partir des caractéristiques apprises (minimisation de l'information mutuelle), utilisant une perte de corrélation de Pearson au carré négatif pour l'âge et une entropie croisée binaire pour le sexe.
• Évaluation : Les modèles ont été entraînés sur les ensembles de données biaisés et évalués sur un ensemble de test équilibré pour isoler l'effet du biais d'entraînement. La performance a été mesurée à l'aide de l'aire sous la courbe (AUC) pour la classification et de métriques telles que les scores de Brier, l'erreur absolue moyenne (MAE) et la corrélation de Pearson pour les têtes de prédiction démographique auxiliaires. La validation croisée de jeux de données a été effectuée sans ajustement fin (fine-tuning) pour évaluer la généralisabilité.

Contributions clés

1. Contrôle étendu par programmation linéaire : L'étude étend les travaux précédents en contrôlant simultanément les sous-groupes de sexe et d'âge, introduisant cinq groupes d'âge et trois distributions d'âge biaisées, là où les travaux antérieurs se concentraient principalement sur le sexe.
2. Évaluation systématique des stratégies : Les auteurs comparent systématiquement les stratégies mono-tâche, de renforcement et d'apprentissage adversarial à travers une gamme granulaire de distributions démographiques, incluant des déséquilibres extrêmes (ex. : 95 % d'hommes / 5 % de femmes).
3. Généralisation croisée de jeux de données : L'étude introduit un nouvel ensemble de données dermoscopiques externe (DERM7PT) aux côtés du dataset basé sur smartphone PAD-UFES-20, permettant une analyse de l'interaction entre le changement de domaine (dermoscopie vs smartphone) et le biais démographique.
4. Analyse des têtes auxiliaires : Le papier fournit une analyse détaillée des têtes de prédiction auxiliaires dans le modèle de renforcement, utilisant leurs performances (AUC, score de Brier, MAE, corrélation) comme outil de diagnostic pour expliquer le succès ou l'échec des mécanismes d'atténuation des biais.

Résultats

• Biais lié au sexe :
  • Le déséquilibre des données génère le biais : Les ensembles de données d'entraînement spécifiques au sexe ont généralement produit la meilleure performance pour ce sexe spécifique. Le modèle de base présentait un biais significatif, performant mieux sur le sexe majoritaire dans les jeux de données déséquilibrés.
  • Limites de l'atténuation : Les modèles de renforcement et adversarial ont réussi à réduire ou éliminer les écarts de biais dans les jeux de données équilibrés et à majorité féminine. Cependant, dans les contextes à majorité masculine, ces stratégies étaient moins efficaces ; les modèles continuaient de mieux performer pour les hommes que pour les femmes. La tête auxiliaire du modèle de renforcement n'a pas réussi à apprendre un discriminateur robuste dans les scénarios biaisés vers les hommes (scores de Brier élevés pour le groupe minoritaire féminin), entraînant un effondrement de l'effet de régularisation.
  • Asymétrie : Une asymétrie a été observée où l'entraînement dominé par les hommes améliorait considérablement la performance masculine, mais l'entraînement dominé par les femmes n'a pas produit de gain comparable pour la performance féminine dans le jeu de données ISIC, suggérant que les modèles peuvent faire du surapprentissage sur des indices spécifiques aux hommes.
• Biais lié à l'âge :
  • Déclin persistant : Contrairement au biais de sexe, qui était largement piloté par le déséquilibre des données, les déclins de performance liés à l'âge persistaient même avec un entraînement équilibré. Les groupes d'âge plus jeunes (A1 : 0–50) atteignaient systématiquement les performances les plus élevées, tandis que la performance déclinait progressivement dans les groupes d'âge plus âgés.
  • Raccourcis et corrélation : La tête de prédiction d'âge auxiliaire montrait une corrélation modérée dans les contextes équilibrés, mais une forte corrélation dans les contextes biaisés vers les plus âgés pour la cohorte la plus jeune, suggérant que le modèle s'appuyait sur des raccourcis spécifiques à l'âge lorsque les distributions étaient déséquilibrées.
  • Bénéfices de l'entraînement équilibré : Bien que l'entraînement équilibré ait amélioré la performance pour la catégorie d'âge A4 par rapport à l'entraînement biaisé vers les plus jeunes, il n'a pas éliminé la tendance globale au déclin de la performance avec l'âge.
• Validation croisée de jeux de données :
  • Impact du changement de domaine : La validation externe sur PAD-UFES-20 (smartphone) et DERM7PT (dermoscopie) a révélé des chutes de performance significatives par rapport à la validation interne, soulignant l'impact du changement de domaine (modalité d'imagerie et protocole d'acquisition).
  • Variation des motifs de biais : Les motifs de biais démographique observés dans le jeu de données ISIC ne se sont pas totalement reproduits dans les jeux de données externes. Par exemple, le modèle adversarial a montré une amélioration de la performance pour les patientes dans les cohortes dominées par les femmes sur le jeu de données PAD-UFES-20, contrastant avec les résultats d'ISIC.

Signification et affirmations
L'article affirme que les écarts de performance liés au sexe dans la classification des lésions cutanées sont principalement pilotés par les déséquilibres des ensembles d'entraînement, lesquels peuvent être partiellement atténués par des stratégies d'apprentissage multi-tâches et adversariales, particulièrement lorsque la classe minoritaire est suffisamment représentée pour entraîner les têtes auxiliaires. En revanche, les disparités de performance liées à l'âge semblent provenir de différences biologiques ou physiologiques intrinsèques (ex. : changements de texture de la peau, rides) qui persistent même avec un échantillonnage équilibré, suggérant que le rééquilibrage des données seul est insuffisant pour l'équité liée à l'âge.

Les auteurs soulignent que les mécanismes de biais sont complexes et dépendants des jeux de données. Ils concluent que bien que leurs méthodes fassent progresser l'IA équitable en identifiant des sources spécifiques de disparité, l'interaction entre les facteurs explicites (distribution des données, protocoles d'acquisition) et les facteurs implicites (variations biologiques, différences géographiques) nécessite un désenchevêtrement plus approfondi. Cette étude sert de pierre angulaire pour le développement de systèmes d'IA de santé plus sophistiqués en démontrant que différentes stratégies d'atténuation sont nécessaires pour différents types de biais démographiques.