💻 computer science

Bias Mitigation in Face Recognition via Demographic-based Supervised Contrastive Learning

Cet article propose l'apprentissage contrastif supervisé basé sur la démographie (DeSCon), une nouvelle fonction de perte qui améliore l'équité dans la reconnaissance faciale en ciblant spécifiquement les taux d'erreur dans la queue de la distribution des scores de non-correspondance grâce à une composition de lots et une sélection de paires sensibles à la démographie, atténuant ainsi les biais au-delà de ce qu'un simple équilibrage des données d'entraînement peut accomplir.

Auteurs originaux : Yu Linghu, Salman Mohammad, Xinyi Zhang, Manuel Günther

Publié 2026-08-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Linghu, Salman Mohammad, Xinyi Zhang, Manuel Günther

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous marchez dans un immense couloir numérique bondé où un agent de sécurité vérifie l'identité de chacun. Cet agent est une IA, un programme informatique super intelligent entraîné à reconnaître les visages. Pendant longtemps, ces gardiens ont été incroyablement doués dans leur travail, mais ils avaient un défaut secret : ils étaient bien meilleurs pour reconnaître certaines personnes que d'autres. Si vous aviez une certaine carnation, un certain âge ou un certain genre, le garde pouvait plisser les yeux plus intensément, faire plus d'erreurs, ou même laisser passer la mauvaise personne. Ce n'est pas seulement un bug ; c'est un biais. Le problème a commencé parce que l'IA a été entraînée sur une « photo de classe » d'Internet qui contenait beaucoup plus de photos de certains groupes que d'autres. C'est comme enseigner à un élève à reconnaître des animaux en utilisant un manuel qui ne contient que des photos de Golden Retrievers et aucune photo de Pugs ; l'élève sera confus lorsqu'il verra un Pug.

Pour corriger cela, des scientifiques ont essayé plusieurs choses. Certains ont tenté de « re-régler » le cerveau du garde après coup, en ajustant les règles pour différents groupes. D'autres ont essayé de rendre la photo de classe d'entraînement parfaitement équilibrée, en donnant à chaque groupe un nombre égal de photos. Mais voici la partie délicate : même si vous équilibrez parfaitement l'album photo, l'IA peut toujours être confuse lorsqu'elle travaille réellement dans le monde réel, surtout lorsqu'elle doit prendre une décision de type « non » sur un visage très complexe. Le vrai test n'est pas seulement d'obtenir la moyenne exacte ; c'est de s'assurer que l'IA ne faillit pas de manière injuste lorsqu'elle se trouve à la limite de commettre une erreur. C'est là qu'une nouvelle étude intervient pour tenter une approche différente, une approche qui se concentre sur la façon dont l'IA apprend à distinguer des visages similaires sans être déroutée par ce qu'ils sont.

Les chercheurs derrière cette étude, Yu Linghu et son équipe de l'Université de Zurich, proposent une nouvelle façon d'entraîner ces systèmes de reconnaissance faciale appelée DeSCon (Demographic-based Supervised Contrastive Learning). Imaginez le processus d'apprentissage de l'IA comme un jeu de chaises musicales, mais au lieu de chaises, les joueurs sont des visages.

Habituellement, lors de l'entraînement d'une IA, l'objectif est de s'assurer que tous les visages de la « Personne A » se regroupent ensemble dans un coin spécifique de la pièce, tandis que la « Personne B » se trouve dans un autre coin. C'est comme utiliser un aimant pour attirer tous les visages de la « Personne A » ensemble. Cependant, l'ancienne méthode ignorait parfois le fait que la « Personne A » pourrait ressembler un peu à la « Personne C » si elles partagent une peau ou un âge similaire, même si elles sont différentes. L'IA pourrait s'embrouiller et penser que la « Personne A » est la « Personne C » simplement parce qu'elles se ressemblent de ces manières spécifiques.

La nouvelle méthode de l'équipe, DeSCon, ajoute une règle spéciale à ce jeu. Elle dit : « D'accord, regroupez tous les visages de la "Personne A" ensemble, mais assurez-vous aussi de repousser les visages de la "Personne A" loin des visages de la "Personne C" qui leur ressemblent le plus, spécifiquement au sein du même groupe démographique. » C'est comme un professeur strict qui ne se contente pas de dire aux élèves de s'asseoir avec leurs propres amis, mais qui dit aussi spécifiquement aux élèves qui se ressemblent beaucoup de s'asseoir loin les uns des autres pour ne pas se confondre.

Les chercheurs ont testé trois façons différentes de choisir les paires de « sosies » à repousser :

L'approche « Tout le monde » : Repousser toute personne qui n'est pas la même personne, peu importe qui elle est.
L'approche « Groupe » : Ne repousser que les personnes qui sont dans le même groupe démographique (par exemple, ne s'inquiéter de repousser deux visages asiatiques différents, ou deux visages âgés différents).
L'approche « Mode Difficile » (DeSCon-Hard) : C'est la star du spectacle. Elle trouve spécifiquement les paires les plus « difficiles » — celles qui sont de façon confondante similaires au sein d'un même groupe — et force l'IA à apprendre la différence entre elles.

Les résultats suggèrent que cette approche « Mode Difficile » fonctionne le mieux. Lorsqu'ils ont testé leur système sur divers ensembles de données, y compris ceux qui étaient parfaitement équilibrés et ceux qui étaient désordonnés et déséquilibrés, DeSCon-Hard a réussi à rendre l'IA plus juste sans nuire à sa tâche principale. En fait, elle a souvent amélioré la reconnaissance faciale globale tout en réduissant le nombre de fois où elle commettait des erreurs injustes.

L'article soutient l'idée que le simple fait d'équilibrer les données d'entraînement ne suffit pas. Ils montrent que même avec un ensemble de données équilibré, l'IA peut rester biaisée si elle n'apprend pas à gérer les cas « difficiles » où des personnes différentes se ressemblent beaucoup. Ils ont également découvert que tenter de supprimer totalement les informations démographiques du cerveau de l'IA (pour qu'elle ne puisse pas « voir » la race ou le genre) rend souvent l'IA moins performante pour la reconnaissance faciale en général. Au lieu de cela, leur méthode enseigne à l'IA à utiliser ces détails pour être plus précise, garantissant qu'une erreur n'est pas commise simplement à cause de qui est la personne.

Dans leurs expériences, l'équipe a utilisé des références standards pour mesurer le succès. Ils ont constaté que leur nouvelle méthode, particulièrement la version « Mode Difficile », réduisait systématiquement l'écart des taux d'erreur entre les différents groupes. Par exemple, lors d'un test, la version « Mode Difficile » a réduit l'injustice des fausses correspondances (dire que deux personnes différentes sont la même personne) de manière bien plus significative que les méthodes standards, tout en maintenant une précision globale élevée. Ils ont également noté que, bien que leur méthode fonctionne bien sur les ensembles de données utilisés, les données d'entraînement étaient plus petites que les ensembles de données massifs utilisés par les grandes entreprises technologiques, il reste donc du travail à faire pour voir comment elle passe à l'échelle supérieure.

En fin de compte, cet article suggère que pour construire un système de reconnaissance faciale véritablement équitable, nous devons arrêter de simplement essayer d'équilibrer les comptes et commencer à enseigner à l'IA à prêter une attention particulière aux cas complexes et déroutants où le biais se cache généralement. En se concentant sur les sosies les plus « difficiles » au sein de chaque groupe, l'IA apprend à être plus juste et plus aiguisée en même temps.

Résumé technique : Atténuation des biais dans la reconnaissance faciale via l'apprentissage contrastif supervisé basé sur la démographie

1. Énoncé du problème

Les systèmes de reconnaissance faciale (FR), particulièrement ceux basés sur l'apprentissage profond, présentent un biais significatif entre les groupes démographiques (ex. : genre, âge, ethnicité). Ce biais se manifeste par des taux d'erreur disparates, où certains groupes souffrent de taux de fausse acceptation (FMR) ou de taux de faux non-match (FNMR) plus élevés. Bien que le déséquilibre des données d'entraînement soit un contributeur connu, le simple équilibrage du jeu de données d'entraînement ne permet pas de pallier entièrement le problème.

Le défi central réside dans le déploiement opérationnel des systèmes de FR, qui fonctionnent généralement à des taux de fausse acceptation très faibles (la « queue » de la distribution des scores de non-correspondance). Les techniques classiques d'équilibrage de classes améliorent souvent la moyenne des distributions de scores, mais échouent à traiter le comportement dans la queue, là où l'équité est la plus critique. De plus, les stratégies d'atténuation existantes font souvent face à un compromis : les méthodes qui suppriment les informations démographiques sensibles des plongements (embeddings) pour prévenir le biais dégradent souvent les performances globales de vérification, tandis que la normalisation post-hoc des scores nécessite des informations démographiques lors du déploiement, ce qui n'est pas toujours possible ou souhaitable.

2. Méthodologie : DeSCon

Les auteurs proposent le DeSCon (Demographic-based Supervised Contrastive loss), un cadre qui intègre l'apprentissage contrastif supervisé dans les cadres standards de softmax à marge (ex. : ArcFace). L'approche vise à améliorer l'équité en ciblant explicitement la queue de la distribution des scores de non-correspondance sans sacrifier le pouvoir discriminatif.

Mécanisme central

DeSCon combine deux objectifs complémentaires :

Perte basée sur les centroïdes (ex. : ArcFace) : Attire les plongements vers leur centre de classe et les repousse loin des centres d'autres classes pour assurer la séparabilité inter-classes.
Perte contrastive supervisée (SupCon) : Opère directement sur les plongements, rapprochant les paires « jumelles » (même identité) et éloignant les paires « non-jumelles » (identités différentes).

L'innovation clé est la sélection de paires sensible à la démographie au sein de la composante SupCon. Contrairement à l'apprentissage contrastif standard qui traite tous les couples non-jumelés de la même manière, DeSCon guide la sélection des paires négatives en fonction des étiquettes démographiques pour cibler spécifiquement la séparation intra-groupe.

Stratégies d'échantillonnage

L'article explore trois stratégies spécifiques pour sélectionner les paires non-jumelées ( $N(a)$ ) pour le dénominateur de la perte contrastive :

DeSCon-All : Applique la perte contrastive à toutes les paires non-jumelées dans le batch, quel que soit le groupe démographique.
DeSCon-WG (Within-Group / Intra-groupe) : Restreint l'échantillonnage des paires non-jumelées aux échantillons appartenant au même groupe démographique que l'ancre. Cela renforce l'équilibre local et la séparation intra-groupe.
DeSCon-Hard : Se concentre sur les paires non-jumelées les plus difficiles (hardest) au sein du même groupe démographique (les $K$ échantillons non-jumelés les plus similaires). Cette stratégie cible spécifiquement la queue de la distribution de non-correspondance, visant à maximiser la régularisation de l'équité là où elle est le plus nécessaire.

Objectif d'entraînement

La fonction de perte totale combine ArcFace et la perte SupCon pondérée par la démographie :
$L_{total} = \frac{1}{B} \sum_{b=1}^{B} w_d [L_{arc}(x_b) + \lambda \cdot L_{sup}(x_b)]$
Où $w_d$ est un poids sensible au groupe pour compenser le déséquilibre démographique dans les données d'entraînement, et $\lambda$ équilibre les deux objectifs. Le cadre est conçu pour être compatible avec divers backbones et pertes à marge (ex. : ArcFace, AdaFace).

3. Principales contributions

Introduction de DeSCon : Une fonction de perte sensible à l'équité qui augmente les pertes basées sur les centroïdes par l'apprentissage contrastif supervisé pour améliorer conjointement la précision et l'équité.
Échantillonnage stratégique des paires : L'exploration de trois stratégies d'échantillonnage (All, WG, Hard) pour équilibrer la séparation globale, la cohérence intra-groupe et la régularisation des négatifs difficiles.
Évaluation exhaustive : Expérimentations approfondies sur plusieurs backbones (IResNet50, IResNet100) et benchmarks (RFW, BFW, VGGFace2, IJB-C) utilisant des régimes d'entraînement équilibrés et déséquilibrés.
Métriques standardisées : Une évaluation rigoureuse respectant les normes ISO/IEC 19795-10, utilisant le coefficient de Gini pour mesurer l'inégalité de FMR (FPD) et de FNMR (FND) entre les groupes, plutôt que de s'appuyer uniquement sur la précision par groupe avec des seuils distincts.

4. Résultats expérimentaux

Les auteurs ont évalué DeSCon par rapport aux méthodes d'atténuation de biais de pointe (ex. : RamFace, MixFairFace, DeFT, ScoreNorm) et aux lignes de base (baselines).

Équité vs Performance : Les variantes de DeSCon ont systématiquement amélioré les métriques d'équité (réduction de FPD et FND) tout en maintenant des performances de vérification compétitives (TMR).
Supériorité de DeSCon-Hard : Dans les scénarios d'entraînement équilibrés et déséquilibrés, DeSCon-Hard est apparu comme la variante la plus robuste. Elle a obtenu le meilleur équilibre entre performance de vérification et équité, offrant des réductions constantes tant pour le FPD que pour le FND.
- Sur le jeu de données RFW (test équilibré), DeSCon-Hard a réduit significativement le FPD par rapport à la ligne de base ArcFace.
- Sur VGGFace2 (test déséquilibré), DeSCon-Hard a maintenu des améliorations d'équité robustes là où d'autres méthodes montraient des résultats mitigés.
Résultats d'ablation :
- Le remplacement de SupCon par d'autres pertes par paires (ex. : Triplet, Multi-Similarity) a dégradé les performances, confirmant la nécessité de l'agrégation basée sur SoftMax sur l'ensemble des paires non-jumelées pour façonner la queue de la distribution.
- Le minage de négatifs difficiles (DeSCon-Hard) a été identifié comme la stratégie d'échantillonnage la plus efficace.
- La méthode se généralise bien à des pertes à marge plus fortes comme AdaFace.
Performance sur les benchmarks : Sur les benchmarks de vérification standards (LFW, CPLFW, AgeDB, IJB-C), les variantes de DeSCon maintiennent une précision comparable à la ligne de base ArcFace, avec certaines améliorations observées sur le dataset exigeant IJB-C.

5. Signification et affirmations

L'article affirme que DeSCon offre une solution pratique au compromis entre équité et performance dans la reconnaissance faciale. Sa signification réside dans :

Équité sur mesure : En se concentrant sur les paires non-jumelées « difficiles » au sein des groupes démographiques, la méthode s'attaque directement à la queue opérationnelle de la distribution des scores, ce qui est crucial pour le déploiement réel.
Aucun surcoût d'inférence : Contra\times aux méthodes de normalisation post-hoc, DeSCon ne nécessite pas d'informations démographiques ni de calculs supplémentaires lors de la phase d'inférence (vérification).
Robustesse : L'approche reste efficace même lorsque les données d'entraînement sont démographiquement déséquilibrées, un scénario courant dans le monde réel.
Rigueur méthodologique : Les auteurs soulignent l'importance de respecter les normes internationales (ISO/IEC 19795-10) pour l'évaluation de l'équité, arguant que de nombreuses métriques existantes (comme la précision par groupe avec des seuils séparés) fournissent des évaluations de l'équité trop optimistes et irréalistes.

Les auteurs concluent que si DeSCon-Hard offre les améliorations d'équité les plus robustes, le choix de la stratégie d'échantillonnage et de la perte de base est une décision de conception critique pour l'entraînement sensible à l'équité. Ils notent que les travaux futurs devraient se concentrer sur l'extension de cette approche à des jeux de données à grande échelle (ex. : WebFace-260M) où les annotations démographiques sont actuellement indisponibles ou peu fiables.