Agreement Between Fitzpatrick-17k Skin-Type Labels Is Metric- and Stratum-Dependent: A Chance-Corrected Reanalysis
Cet article réanalyse l'ensemble de données Fitzpatrick-17k en utilisant des statistiques corrigées du hasard pour démontrer que l'accord entre les sources d'annotation dépend fortement de la métrique choisie et de la strate de type de peau, révélant des divergences significatives — particulièrement pour les tons de peau plus foncés — qui nécessitent une communication transparente de la méthodologie et des intervalles de confiance par strate dans la recherche en IA dermatologique.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot à reconnaître les différentes nuances de la peau humaine, comme un étudiant en art numérique apprenant à peindre des portraits. Pour ce faire, le robot a besoin d'un « enseignant » qui regarde des photos et dise : « Ceci est très pâle », ou « Ceci est brun foncé ». Dans le monde de la dermatologie et de l'intelligence artificielle, cet enseignant est souvent un annotateur humain qui attribue un type de peau basé sur l'échelle de Fitzpatrick, un système qui classe la peau en six catégories, du Type I (très clair, brûle toujours) au Type VI (très pigmenté, brûle rarement). Mais voici la partie délicate : les humains ne sont pas parfaits. Une personne peut penser qu'une photo est « brune moyenne », tandis qu'une autre dira « brune foncée ». Si le robot apprend de ces instructions confuses, il pourrait être dérouté, surtout lorsqu'il essaie d'aider les personnes aux tons de peau plus foncés qui sont déjà sous-représentées dans les soins médicaux. La grande question est la suivante : à quel point ces enseignants humains sont-ils réellement d'accord entre eux, et cela importe-t-il s'ils ne sont en désaccord que d'un seul cran sur l'échelle ?
Ce document est comme une enquête policière où une chercheuse, Niya Pennie, retourne examiner un ensemble de données célèbre appelé Fitzpatrick-17k pour vérifier les devoirs. Cet ensemble de données a été créé en demandant à deux groupes différents de travailleurs de plateforme (l'un de Scale AI et l'autre de Centaur Labs) de étiqueter des milliers de photos de peau. Les créateurs originaux de l'ensemble de données ont déclaré : « Hé, 85 % du temps, nos deux groupes étaient assez proches, généralement à moins d'un cran l'un de l'autre ! » Cela semblait très bien. Mais Pennie a décidé de mener un test mathématique plus strict pour voir ce qui se passait réellement. Elle ne s'est pas contentée de demander : « Étaient-ils proches ? » Elle a demandé : « Ont-ils choisi exactement le même label ? Et s'ils étaient décalés d'un seul cran, cela compte-t-il comme une victoire ou une perte ? »
Voici ce que l'enquête a révélé. Premièrement, l'histoire du « proche mais pas exact » est vraie : si vous comptez le fait d'être décalé de seulement un type de peau comme un « accord », alors oui, les deux groupes étaient d'accord 91 % du temps. Mais si vous exigez qu'ils choisissent exactement le même nombre, l'accord chute à moins de la moitié (47,9 %). C'est comme deux amis regardant un coucher de soleil et l'un disant « orange » et l'autre « rouge orangé ». Ils sont proches, mais ils ne disent pas la même chose.
Le document a également découvert que ce désaccord n'est pas réparti uniformément. C'est comme un jeu où les règles changent selon le score. Pour les types de peau les plus clairs (Type I), les deux groupes étaient d'accord presque 88 % du temps. Mais pour les types de peau plus foncés (Types II à VI), l'accord a chuté de manière spectaculaire, oscillant entre 34 % et 55 %. En d'autres termes, les enseignants humains étaient beaucoup plus confus concernant la peau foncée que la peau claire. De plus, les deux groupes ne divergeaient pas de manière aléatoire ; ils avaient un schéma. Le groupe Centaur Labs avait tendance à étiqueter les photos comme étant plus claires que le groupe Scale AI, surtout pour les tons de peau foncés.
Enfin, le document souligne un sérieux « problème de comptage ». Pour la catégorie de peau la plus foncée (Type VI), il y a très peu de photos présentant des conditions cutanées graves (images malignes) dans l'ensemble de données. Sous un système d'étiquetage, il y avait 61 images de ce type ; sous l'autre, seulement 45. Comme ces nombres sont très faibles, le document suggère que toute étude tentant de mesurer la performance d'une IA sur ce groupe spécifique serait comme essayer de deviner la taille moyenne d'une pièce en ne mesurant que trois personnes. Les résultats seraient trop instables et imprécis pour être dignes de confiance.
Ainsi, la conclusion principale n'est pas que l'ensemble de données est inutile, mais que nous devons être beaucoup plus prudents dans notre lecture. Le document soutient que les chercheurs ne peuvent pas simplement dire « l'IA est équitable » sans préciser exactement quel système d'étiquetage ils ont utilisé, comment ils ont défini l'« accord », et s'ils disposent d'assez de données pour faire une affirmation solide. Si vous changez les règles du jeu (la source d'étiquetage) ou la taille de l'équipe (le nombre d'images), le score change. Le document conclut que pour comprendre véritablement si l'IA est équitable pour tout le monde, nous devons cesser de traiter ces étiquettes comme des faits parfaits et commencer à rapporter précisément à quel point elles sont incertaines et variables.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.