Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild

Cet article présente un cadre complet pour l'équité de la classification des tons de peau, incluant un nouveau jeu de données à grande échelle (STW), des benchmarks comparatifs et un modèle d'apprentissage profond (SkinToneNet) qui atteint des performances de pointe pour l'audit de biais dans les ensembles de données publics.

L'essentiel

🎨 Le Problème : La "Boîte à Crayons" qui manque de couleurs

Imaginez que vous essayez de peindre un portrait de la diversité humaine, mais que votre boîte de crayons de couleur ne contient que 6 teintes de peau (du très clair au très foncé). C'est un peu ce qui se passe avec les intelligences artificielles (IA) actuelles.

Les chercheurs ont longtemps utilisé une échelle médicale appelée Fitzpatrick (6 teintes), conçue à l'origine pour voir comment la peau réagit au soleil (brûlure ou bronzage). Le problème ? C'est comme essayer de décrire un arc-en-ciel complet avec seulement 6 crayons. Ça ne rend pas justice à la réalité, surtout pour les peaux plus foncées qui sont souvent mal classées ou ignorées.

De plus, les IA qui essaient de reconnaître ces teintes sont souvent entraînées sur des données "triches" ou déséquilibrées, un peu comme un étudiant qui apprendrait l'histoire en lisant seulement un seul livre écrit par une seule personne. Résultat : l'IA est biaisée et fait des erreurs.

🚀 La Solution : Une nouvelle "Carte au Trésor" (Le Dataset STW)

Pour régler ce problème, l'équipe de chercheurs (de l'Université de São Paulo) a créé quelque chose de nouveau : le STW (Skin Tone in The Wild).

• C'est quoi ? C'est une immense bibliothèque de 42 000 photos de 3 500 personnes différentes, prises dans la vraie vie (dans la rue, avec des lumières variées, pas en studio).
• La règle du jeu : Au lieu des 6 vieux crayons, ils ont utilisé l'échelle Monk (MST) qui possède 10 teintes. C'est comme passer d'une palette de 6 couleurs à une palette de 100 nuances, permettant de voir les différences subtiles entre les peaux.
• La rigueur : Pour s'assurer que les étiquettes (les noms des couleurs) sont justes, ils ont fait appel à plusieurs experts humains qui ont annoté les photos. Ils ont même créé une interface spéciale pour éviter que les juges ne se fient à la race ou à la lumière, mais uniquement à la couleur de la peau. C'est comme un jury de dégustation de vin très strict !

🤖 Le Duel : L'Artisan vs Le Génie (CCV vs Deep Learning)

Les chercheurs ont testé deux types d'IA pour voir qui pouvait le mieux reconnaître ces 10 teintes de peau.

1. L'Artisan (Vision Classique - CCV) :
   Imaginez un artisan qui utilise des règles, des calculs de moyenne de couleur et des filtres mathématiques simples.

   • Résultat : Ça ne marche pas du tout dans la vraie vie. C'est comme essayer de deviner le temps qu'il fera demain en regardant juste une photo du ciel prise il y a 10 ans. L'IA "artisan" tombe souvent à plat, donnant des résultats presque au hasard quand elle voit une nouvelle personne.

2. Le Génie (Deep Learning - SkinToneNet) :
   Ici, on utilise un "cerveau" d'IA très puissant (basé sur une architecture appelée ViT, ou Vision Transformer) qui a appris à regarder les images comme un humain, en comprenant les textures, les ombres et le contexte global.

   • Résultat : C'est un succès total ! Ce modèle, nommé SkinToneNet, apprend vraiment à reconnaître les nuances. Il atteint une précision proche de celle des humains experts, même sur des photos qu'il n'a jamais vues auparavant.

🔍 L'Inspection : Pourquoi c'est important ?

Le but ultime n'est pas juste de classer des gens, mais de vérifier si nos autres IA sont justes.

Les chercheurs ont pris leurs nouveaux outils pour inspecter des bases de données célèbres utilisées partout dans le monde (comme CelebA ou VGGFace2).

• Le verdict : Ils ont découvert que ces bases de données sont très déséquilibrées. Il y a énormément de peaux claires et très peu de peaux foncées (les teintes 6 à 10 de l'échelle Monk).
• L'analogie : C'est comme si vous organisiez un concours de beauté international, mais que 90% des participants venaient d'un seul pays. Ce n'est pas représentatif du monde réel.

🛑 Conclusion et Avertissement

Ce travail est une boîte à outils pour la justice.

• Il fournit une méthode fiable pour vérifier si une IA est biaisée.
• Il montre que les vieilles méthodes mathématiques ne suffisent plus pour les tâches complexes comme la couleur de peau.

⚠️ Important : Les auteurs insistent sur l'éthique. Cet outil est fait pour auditer (vérifier) les systèmes et corriger les injustices. Ils interdisent catégoriquement son utilisation pour la surveillance, le profilage ou pour catégoriser les gens sans leur consentement. C'est un outil de réparation, pas de contrôle.

En résumé : Ils ont créé une carte plus précise du monde, construit un meilleur GPS pour le parcourir, et utilisé ce GPS pour dire aux autres : "Hé, votre carte est fausse, vous oubliez une grande partie du monde !"

Résumé technique

1. Problématique et Contexte

Les modèles d'apprentissage profond (Deep Learning) héritent souvent des biais présents dans leurs données d'entraînement. Bien que l'équité liée au genre et à l'origine ethnique soit bien étudiée, l'analyse fine des tons de peau reste un défi majeur en raison du manque de jeux de données granulaires et annotés.

Les limitations actuelles incluent :

• Échelles inadéquates : La plupart des méthodes reposent sur l'échelle médicale de Fitzpatrick (6 tons), conçue pour la réponse aux UV, qui manque de représentativité visuelle et de granularité pour les tons de peau réels.
• Données limitées : Les jeux de données existants sont souvent privés, de petite taille, ou basés sur des pipelines de vision par ordinateur classique (CCV) peu performants en environnement non contrôlé ("in-the-wild").
• Confusion méthodologique : Il existe une confusion fréquente entre l'ethnicité (catégorisation sociale) et le phénotype (couleur de peau observable), et des problèmes de fuite de données (data leakage) où les mêmes individus apparaissent dans les ensembles d'entraînement et de test.
• Manque de reproductibilité : De nombreuses études récentes utilisent des données privées sans publier le code ni les données, empêchant la validation externe.

2. Méthodologie

Les auteurs proposent une approche complète comprenant la création d'un nouveau jeu de données, une comparaison de pipelines classiques vs. deep learning, et une nouvelle architecture de modèle.

A. Le Jeu de Données : Skin Tone in The Wild (STW)

• Échelle : Utilisation de l'échelle Monk Skin Tone (MST) à 10 tons, offrant une représentation continue et plus inclusive que Fitzpatrick.
• Volume : 42 313 images provenant de 3 564 individus.
• Sources : Agrégation de 7 jeux de données publics (LFW, CelebA, FairFace, Casia Face Africa, etc.) pour assurer une diversité démographique.
• Annotation :
  • Protocole hiérarchique strict avec un annotateur principal expert.
  • Validation par deux annotateurs indépendants sur un sous-ensemble stratifié (1 000 individus).
  • Accord inter-annotateurs : 38,8 % de précision brute (cohérent avec la subjectivité du sujet) mais 88 % de précision "off-by-one" (erreur d'un ton seulement) et un coefficient de corrélation intraclasse (ICC) de 0,939.
• Stratégie de division (Split) : Distinction cruciale entre la division par images (IMG) et par individus (IND). La division IND est utilisée pour éviter la fuite de données (le même individu ne doit jamais apparaître dans les ensembles d'entraînement et de test simultanément).

B. Pipelines de Modélisation

1. Vision par Ordinateur Classique (SkinToneCCV) :
   • Pipeline basé sur la segmentation de la peau (Mediapipe), l'extraction de descripteurs de couleur (histogrammes, moments statistiques, vecteurs de cohérence de couleur).
   • Classification via des algorithmes traditionnels (Random Forest, SVM, KNN, etc.).
2. Deep Learning (SkinToneNet) :
   • Architecture basée sur un Vision Transformer (ViT-Small) pré-entraîné (DINOv3).
   • Stratégie d'entraînement : Fine-tuning complet du backbone sur le jeu de données STW.
   • Fonction de perte : Utilisation de pertes ordinales pour tenir compte de la nature séquentielle des tons de peau.
   • Augmentation de données : Flips, rotations, ajustements de luminosité/contraste et bruit gaussien pour simuler des conditions "in-the-wild".

C. Évaluation et Benchmark

• Métriques : Précision équilibrée (bAcc) et Précision "off-by-one" pondérée (wOOAcc) pour gérer le déséquilibre des classes.
• Généralisation : Tests sur des données hors domaine (out-of-domain) jamais vues lors de l'entraînement, notamment les jeux de données MSTE (Monk Skin Tone Example) et CCv2 (Casual Conversations V2).
• Audit : Utilisation du modèle entraîné pour analyser la distribution des tons de peau dans des jeux de données célèbres (CelebA, VGGFace2, FairFace, etc.).

3. Résultats Clés

• Échec des méthodes classiques : Les modèles de vision par ordinateur classique (SkinToneCCV) obtiennent des résultats proches du hasard (bAcc ~0,33) et ne parviennent pas à généraliser sur des données hors domaine. Ils souffrent d'un surajustement (overfitting) aux tons les plus fréquents (2 et 7).
• Supériorité du Deep Learning :
  • SkinToneNet (ViT-Small) atteint des performances proches de la précision des annotateurs humains.
  • Sur le jeu de données STW-test (split IND), il obtient une bAcc de 0,449 et une wOOAcc de 0,901.
  • Généralisation exceptionnelle : Sur les données hors domaine (MSTE, CCv2), SkinToneNet surpasse les autres modèles de 10 à 20 % en précision et de 30 à 60 % en précision "off-by-one".
• Impact de la division des données : Les modèles entraînés avec une division par images (IMG) affichent des performances artificiellement élevées (fuite de données), mais s'effondrent lors du test sur de nouveaux individus. La division par individus (IND) est essentielle pour une évaluation réaliste.
• Analyse Grad-CAM : Les modèles ViT apprennent à se concentrer sur les régions de la peau, mais utilisent également des indices contextuels (cheveux, texture du visage) pour améliorer la perception sous un éclairage difficile.

4. Contributions Principales

1. STW (Skin Tone in The Wild) : Le premier jeu de données ouvert à grande échelle (42k+ images, 3500+ individus) annoté avec l'échelle MST à 10 tons, conçu spécifiquement pour l'environnement "in-the-wild".
2. SkinToneNet : Un modèle de Deep Learning (ViT) state-of-the-art capable de reconnaître les tons de peau sur l'échelle MST avec une forte capacité de généralisation.
3. Benchmark Rigoureux : Une comparaison exhaustive entre les pipelines classiques et le Deep Learning, démontrant l'inefficacité des méthodes classiques pour cette tâche complexe.
4. Méthodologie de Validation : Introduction stricte de la division par individus (IND) pour prévenir les fuites de données et l'utilisation de métriques ordinales pour évaluer la justesse des prédictions.
5. Audit de l'Équité : Une analyse révélant un déséquilibre systémique dans les jeux de données faciaux populaires (manque criant de tons MST 6 à 10), remettant en cause l'équité supposée de certains benchmarks existants.

5. Signification et Impact

Ce travail établit un nouveau standard pour la recherche sur l'équité des tons de peau. Il démontre que :

• Les approches traditionnelles de vision par ordinateur sont insuffisantes pour les tâches complexes de classification de tons de peau en conditions réelles.
• Les modèles basés sur l'attention (Transformers) offrent une robustesse nécessaire pour généraliser à travers différentes démographies et conditions d'éclairage.
• La disponibilité d'un jeu de données ouvert et d'un modèle de référence permet désormais un audit fiable des biais dans les systèmes de reconnaissance faciale et les grands jeux de données publics.

Note Éthique : Les auteurs insistent sur le fait que cet outil est conçu exclusivement pour l'audit de biais et l'équité des modèles. Ils découragent fermement son utilisation pour le profilage biométrique, la surveillance ou toute catégorisation automatique d'individus sans consentement.