Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

Titre

Équité Démographique dans les LLM Multimodaux : Une Évaluation des Biais de Genre et d'Ethnicité dans la Vérification Faciale

1. Problématique

Les modèles de langage multimodaux (MLLM) émergent comme une alternative aux systèmes de reconnaissance faciale traditionnels basés sur des embeddings. Contrairement aux systèmes classiques qui apprennent des représentations numériques spécifiques à l'identité, les MLLM abordent la vérification faciale via le questionnement visuel (visual prompting), en s'appuyant sur leurs capacités générales de raisonnement visuel acquises lors du pré-entraînement.

Bien que l'équité démographique (genre, ethnicité) soit un sujet bien étudié pour les systèmes de reconnaissance faciale traditionnels, elle reste largement inexplorée pour les MLLM. Il est crucial de déterminer si ces modèles généralistes présentent des biais similaires ou différents, et si leur approche "zero-shot" (sans fine-tuning spécifique) est viable pour des applications à haut risque où les erreurs peuvent avoir des conséquences graves.

2. Méthodologie

L'étude propose un benchmark systématique évaluant neuf MLLM open-source (de 2 à 8 milliards de paramètres) issus de six familles de modèles.

• Modèles évalués : Huit modèles à usage général (ex: Qwen2-VL, LLaVA-NeXT, Idefics3) et un modèle spécialisé dans le visage (FaceLLM-8B). Tous sont évalués en mode zero-shot.
• Protocoles et Données :
  • IJB-C : Un benchmark contenant des images et des vidéos. Les auteurs ont sous-échantillonné 10 000 paires de templates (environ 7 200 à 9 990 paires par modèle) couvrant quatre groupes ethniques (Africain, Asiatique de l'Est, Asiatique du Sud, Caucasien) et deux genres.
  • RFW (Racial Faces in-the-Wild) : Un benchmark équilibré conçu spécifiquement pour étudier les biais ethniques (4 groupes ethniques, 24 000 paires). Il ne contient pas d'annotations de genre.
• Processus de Vérification :
  • Le modèle reçoit deux images faciales et un prompt textuel demandant un score de similarité de 0 à 100.
  • Pour les templates contenant plusieurs images/frames, les scores de toutes les paires possibles sont moyennés pour obtenir un score final.
• Métriques d'Évaluation :
  • Précision : Taux d'erreur égal (EER) et Taux de correspondance vraie (TMR) à différents seuils de FMR (False Match Rate).
  • Équité (Fairness) : Quatre métriques basées sur le FMR par groupe démographique :
    1. Différentiel maximum de FMR ($\Delta$).
    2. Ratio maximum de FMR ($R$).
    3. Ratio par rapport à la moyenne géométrique ($M$).
    4. Coefficient de Gini ($G$) pour mesurer l'inégalité globale.
  • Indice de Décidabilité ($d'$) : Mesure la séparation entre les distributions de scores "vrais" et "imposteurs".

3. Résultats Clés

A. Performance de Vérification

• Supériorité du modèle spécialisé : FaceLLM-8B surpasse nettement tous les modèles généralistes. Sur IJB-C, il atteint un EER global de 5,13 % (contre 8,54 % pour le deuxième meilleur, Qwen2-VL-7B). Sur RFW, il obtient 29,46 % contre ~35 % pour les autres.
• Limites des modèles généralistes : Les modèles généralistes montrent des performances médiocres, certains approchant le niveau du hasard (EER ~50 %), notamment sur le dataset RFW qui contient moins d'images par template (3,6 en moyenne contre 20,3 pour IJB-C), ce qui réduit l'efficacité de l'agrégation des scores.
• LLaVA-NeXT-Mistral-7B a été exclu car il ne produisait que deux scores uniques, rendant la vérification impossible.

B. Analyse des Biais et de l'Équité

• Inversion des tendances ethniques (IJB-C) : Contrairement aux systèmes traditionnels où les groupes à peau plus foncée sont souvent les plus pénalisés, sur IJB-C, le groupe Caucasien présente les taux d'erreur les plus élevés pour cinq des huit modèles non dégénérés.
• Disparités sur RFW : Sur le dataset RFW, le groupe Africain est systématiquement le plus désavantagé, avec des écarts d'EER allant jusqu'à 14 points de pourcentage par rapport au groupe Asiatique pour FaceLLM-8B.
• Genre vs Ethnicité : Les disparités liées au genre sont systématiquement plus faibles que celles liées à l'ethnicité sur tous les modèles. FaceLLM-8B montre une très faible inégalité de genre (Gini = 0,004).
• Comportement des métriques : À des seuils de sécurité stricts (FMR < 1 %), les métriques de ratio deviennent instables ou infinies car les taux d'erreur de certains groupes tendent vers zéro plus rapidement que d'autres.

C. Compromis Précision-Équité

• Précision $\neq$ Équité : Les modèles les plus précis ne sont pas nécessairement les plus équitables.
• Le piège de la "fausse équité" : Les modèles les moins performants (comme Ovis1.5 sur RFW) peuvent apparaître comme "équitables" (faible coefficient de Gini) simplement parce qu'ils produisent des taux d'erreur élevés et uniformes pour tous les groupes. À l'inverse, un modèle performant comme FaceLLM-8B peut présenter des disparités plus marquées car il sépare mieux les scores, révélant ainsi des biais structurels.
• Cas idéal : FaceLLM-8B parvient à combiner la meilleure précision avec une très faible inégalité de genre sur IJB-C, démontrant que précision et équité peuvent coexister lorsque les distributions de scores sont bien séparées.

4. Contributions et Signification

• Première évaluation systématique : C'est la première étude à évaluer l'équité démographique des MLLM pour la vérification faciale, comblant un vide important dans la littérature.
• Nouveaux paradigmes de biais : L'article démontre que les schémas de biais des MLLM diffèrent fondamentalement de ceux des systèmes de reconnaissance faciale basés sur les embeddings (ex: inversion du groupe le plus pénalisé sur IJB-C).
• Mise en garde contre l'utilisation directe : Les résultats indiquent que les MLLM actuels ne sont pas encore prêts pour des applications de vérification faciale pratiques en raison de leur précision inférieure et de leur coût de calcul élevé (inférence quadratique pour les templates multiples).
• Importance des métriques : L'étude souligne la nécessité d'utiliser un éventail de métriques d'équité (différentiel, ratio, Gini) et de les interpréter avec prudence, car une faible inégalité peut masquer une performance globale inacceptable.

Conclusion

Bien que les MLLM offrent une approche flexible pour la vérification faciale sans entraînement spécialisé, ils souffrent actuellement d'une précision insuffisante et de biais démographiques complexes qui diffèrent des systèmes traditionnels. Le modèle spécialisé FaceLLM-8B se distingue comme la seule option viable parmi ceux testés, mais l'équité reste un défi majeur, surtout sur des données difficiles comme RFW. Les auteurs recommandent des recherches futures sur des modèles plus grands (>13B paramètres) et sur l'impact des formulations de prompts.