Résumé Technique : Étalonnage Adaptatif pour une Reconnaissance Faciale Équitable et Performante

Énoncé du Problème

Les systèmes modernes de reconnaissance faciale projettent les images de visages dans des plongements (embeddings) de haute dimension et utilisent la similitude cosinus comme score de correspondance. Bien que ces systèmes aient atteint une grande précision, ils présentent des disparités démographiques significatives, avec des taux d'erreur souvent un ordre de grandeur plus élevés pour les individus aux tons de peau foncés par rapport à ceux aux tons de peau plus clairs.

Le problème central identifié est un décalage fondamental entre l'objectif d'entraînement et l'opérationnalisation du système. L'entraînement utilise généralement des objectifs basés sur la distance (par exemple, des pertes de contraste ou de marge angulaire) qui garantissent que les correspondances correctes sont plus proches que les incorrectes, mais ne font aucune hypothèse sur les distances absolues. Par conséquent, une même distance cosinus peut correspondre à des probabilités de correspondance correcte différentes selon la région de l'espace de plongement. Les groupes démographiques sous-représentés occupent souvent des régions de faible densité de cet espace, où le comportement des plongements est moins contraint. Lorsqu'un seuil global est appliqué aux distances cosinus brutes, il ne parvient pas à prendre en compte ces variations locales, entraînant des erreurs disproportionnées (faux rejets ou faux acceptations) pour les groupes minoritaires. Les méthodes de post-traitement existantes reposent souvent sur des mappages monotones globaux (comme l'échelle de Platt) ou des heuristiques de regroupement discrets qui ne parviennent pas à capturer les besoins d'étalonnage continus et spécifiques à chaque région, ou qui nécessitent des métadonnées démographiques lors de l'inférence, ce qui est souvent indisponible dans les déploiements réels.

Méthodologie : Étalonnage Adaptatif (AC)

Les auteurs proposent l'Étalonnage Adaptatif (AC), une stratégie d'étalonnage post-hoc qui mappe les scores de similitude cosinus et le contexte local du plongement vers des probabilités bien étalonnées sans nécessendre d'annotations de groupes démographiques lors de l'entraînement ou de l'inférence.

Concept Central

L'AC traite le décalage en apprenant une fonction d'étalonnage continue et localement variable. Il postule que la probabilité d'une correspondance dépend non seulement de la similitude cosinus ($s$), mais aussi de l'emplacement de la paire au sein de l'espace de plongement.

Représentation de la Paire

Pour capturer le contexte local, l'AC utilise la moyenne normalisée du plongement ($\bar{z}$) d'une paire de visages :
$$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$$
où $z_1$ et $z_2$ sont les plongements normalisés des deux visages. Cette représentation est choisie car :

1. Elle est symétrique (l'ordre de la sonde/galerie n'importe pas).
2. Elle réside sur la même hypersphère unité que les plongements de base, préservant les propriétés géométriques.
3. Elle varie de manière continue, évitant les sauts discrets associés aux méthodes de regroupement par clusters.

Variantes de Modèles

L'AC entraîne un classificateur secondaire pour prédire la probabilité de correspondance $p$ étant donné la représentation de la paire et le score de similitude. Trois variantes sont proposées :

1. AC-MLP : Un Perceptron Multicouche léger qui mappe le vecteur concaténé $[\bar{z}, s]$ vers une probabilité via une sortie sigmoïde.
2. AC-Linear : Un modèle de régression logistique sur $[\bar{z}, s]$. Cela préserve le classement local du score de similitude tout en permettant des décalages spécifiques à la région.
3. AC-Density : Une approche hybride qui incorpore une mesure de densité locale. Elle calcule la distance euclidienne moyenne aux $k$-plus proches voisins dans l'ensemble d'entraînement ($\rho(\bar{z})$) pour identifier les régions creuses. Elle applique ensuite une régression de Ridge pour prédire l'erreur résiduelle d'un score de base étalonné par Platt, combinant le score de base, la densité locale et les caractéristiques linéaires.

Entraînement et Inférence

La méthode est entraînée sur un ensemble de calibration en utilisant l'entropie croisée binaire pour minimiser la différence entre les probabilités prédites et les étiquettes de correspondance réelles. Crucialement, elle ne nécessite aucune étiquette démographique pendant l'entraînement ou l'inférence. Théoriquement, si les groupes sont récupérables à partir de l'espace de plongement, un modèle suffisamment expressif entraîné pour minimiser l'entropie croisée sera étalonné pour chaque groupe pour tout groupe de ce type.

Contributions Clés

1. Nouvelle Stratégie d'Étalonnage : Introduction de l'Étalonnage Adaptatif, qui mappe le contexte local du plongement et les scores de similitude vers des probabilités de correspondance étalonnées, répondant aux lacunes tant en précision qu'en équité.
2. Performance Supérieure : Démonstration que l'AC domine les techniques d'étalonnage post-hoc existantes (telles que FairCal, FALCON et FRAPP´E) sur un large éventail de jeux de données (RFW, BFW, LFW) et de backbones (ArcFace, AdaFace, MagFace, FaceNet).
3. Équité Sans Étiquettes : La méthode atteint une équité d'étalonnage sans nécessiter d'annotations de groupes démographiques lors de l'inférence, ce qui la rend pratique pour les déploiements où ces métadonnées sont absentes.
4. Évitement du "Leveling Down" (Déclassement) : Contrairement à certaines interventions d'équité qui dégradent les performances des groupes majoritaires pour égaliser les résultats, l'AC améliore l'étalonnage et la précision globale, particulièrement pour les groupes où le système est le moins performant.
5. Généralisabilité : L'approche fournit un étalonnage de groupe pour tout groupe récupérable à partir de l'espace de plongement (par exemple, l'ethnie, le genre ou d'autres attributs comme les couvre-chefs), et pas seulement pour des axes démographiques prédéfinis.

Résultats

Le papier évalue l'AC par rapport aux meilleures méthodes de référence sur trois benchmarks standards :

• Jeux de données : Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW) et Labeled Faces in the Wild (LFW).
• Backbones : ArcFace (R50, R100), AdaFace, MagFace et FaceNet.
• Métriques :
  • Précision : Taux de Vrais Positifs (TPR) global à un Taux de Faux Positifs (FPR) de $10^{-3}$.
  • Équité : Aire sous la courbe ROC (AUROC) du pire groupe et Score de Brier du pire groupe.
  • Leveling-Down : Une métrique (LU-AUROC) mesurant combien de groupes les moins performants s'améliorent sans dégrader les autres.

Principales Conclusions :

• Précision et Équité : AC-Linear et AC-Density atteignent systématiquement les meilleurs ou les meilleurs résultats sans étiquettes sur une large gamme de datasets et de backbones. Par exemple, sur RFW avec MagFace, AC-Density a amélioré l'AUROC du pire groupe de 94,19 à 96,02 (une réduction d'environ 30 % de l'erreur résiduelle) sans dégrader les autres groupes.
• Qualité de l'Étalonnage : L'AC réduit considérablement le score de Brier pour les groupes les moins bien étalonnés par rapport aux bases comme FairCal et FSN.
• Leveling-Down : Les variantes d'AC atteignent fréquemment le score maximal de "Leveling-Up" (où tous les groupes s'améliorent), alors que des méthodes comme FRAPP´E et FSN échouent souvent à améliorer les groupes les plus faibles sans nuire aux autres.
• Comparaison avec les Méthodes Sensibles à la Démographie : Bien que les méthodes nécessitant de vraies étiquettes démographiques (Oracle, GST, DemoNorm) servent de limites supérieures, l'AC approche leurs performances dans de nombreux contextes sans avoir besoin de ces étiquettes lors de l'inférence.

Signification et Revendications

Le papier affirme que l'Étalonnage Adaptatif fournit une solution pratique pour une reconnaissance faciale équitable. En convertissant les distances en probabilités étalonnées via une fonction variant localement, l'AC corrige le décalage fondamental entre les objectifs d'entraînement et les seuils opérationnels.

Les auteurs soulignent que leur approche :

• Améliore la Performance Globale : Elle ne se contente pas de redistribuer les erreurs, mais améliore souvent l'exactitude globale.
• Évite le "Leveling Down" : Elle améliore les performances des groupes les moins bien servis sans sacrifier les performances des groupes mieux servis, répondant ainsi à un mode de défaillance courant des interventions d'équité.
• Est Déployable : Elle ne nécessite aucune métadonnée démographique lors de l'inférence, ce qui la rend adaptée aux applications du monde réel où ces données ne sont pas disponibles.
• Est Flexible : Elle peut être intégrée dans les pipelines de vérification existants avec un code personnalisé minimal, particulièrement les variantes linéaires.

Ce travail suggère qu'en se concentrant sur le contexte local du plongement, les systèmes peuvent atteindre simultanément une équité et une précision robustes, offrant une voie vers un déploiement plus équitable de la technologie de reconnaissance faciale.