IndicFairFace: Balanced Indian Face Dataset for Auditing and Mitigating Geographical Bias in Vision-Language Models

1. Problématique : Le Biais Géographique dans les VLMs

Les modèles Vision-Langage (VLM), tels que CLIP et ses dérivés, héritent et amplifient les biais sociétaux présents dans leurs données d'entraînement à l'échelle du web. Bien que des travaux antérieurs aient amélioré l'équilibre démographique (race, genre) dans des datasets comme FairFace ou CelebA, ils traitent souvent la catégorie "Indien" comme un bloc monolithique.

Le problème central identifié par les auteurs est le suivant :

• Oversimplification : La diversité intra-nationale de l'Inde (28 États et 8 Territoires de l'Union) est ignorée. Les modèles tendent à associer l'identité "Indienne" à un sous-ensemble restreint de régions (principalement le Nord-Ouest et le Sud, comme le Rajasthan, l'Uttar Pradesh et le Tamil Nadu).
• Conséquences : Cela crée un biais de représentation géographique où les régions du Nord-Est (ex: Nagaland, Mizoram), les régions montagneuses (Himalaya) et les îles (Andaman, Lakshadweep) sont systématiquement sous-représentées ou absentes des générations d'images et des tâches de récupération (retrieval).
• Risque : Ce biais pose des risques éthiques et techniques pour des applications critiques comme la vérification d'identité, le recrutement ou les systèmes de recommandation, où une représentation équitable est essentielle.

2. Méthodologie

L'approche proposée repose sur trois piliers : la création d'un dataset équilibré, l'audit des biais, et une stratégie de débiaisage post-hoc.

A. Création du Dataset : IndicFairFace

Les auteurs ont construit le premier dataset de visages équilibré géographiquement pour le contexte indien.

• Sources : Images issues de Wikimedia Commons (via requêtes SPARQL sur Wikidata) et d'API de recherche web contrôlées (SerpAPI) pour combler les lacunes.
• Structure : Le dataset contient 14 400 images (7 200 originales + 7 200 augmentées) représentant les 28 États et 8 Territoires de l'Union de l'Inde.
• Équilibre : Distribution uniforme de 100 visages par genre (Homme/Femme) par région.
• Prétraitement : Un pipeline rigoureux basé sur OpenCV et YOLOv8 a été utilisé pour :
  • Détecter les visages.
  • Filtrer les images en niveaux de gris, les dessins animés et les synthétiques.
  • Valider la présence de pixels de peau (masque HSV).
  • Redimensionner les images à 512x512 pixels avec un remplissage (padding) de 20%.

B. Audit des Biais

Pour quantifier le biais, les auteurs ont testé plusieurs VLMs (CLIP, OpenCLIP, SigLIP, MetaCLIP, MobileCLIP, OpenVision) avec des prompts textuels neutres et genrés (ex: "Une personne indienne", "Un homme indien").

• Métriques utilisées :
  • Similarité Top-k : Analyse de la distribution des 500 premières images récupérées.
  • Écart-type de similarité moyenne ($\sigma$) : Mesure la dispersion de la confiance du modèle entre les différents États.
  • Divergence de Jensen-Shannon (JSD) : Compare la distribution des résultats récupérés à une distribution uniforme idéale.

C. Stratégie de Débiaisage

Pour corriger ces biais sans réentraîner les modèles massifs, une approche post-hoc a été adoptée :

1. Projection dans le Noyau Null (Iterative Nullspace Projection - INLP) : Identification des directions vectorielles dans l'espace d'embedding qui séparent les États sur-représentés des sous-représentés. Les embeddings sont ensuite projetés sur le sous-espace orthogonal à ces directions pour éliminer l'information géographique biaisée.
2. Interpolation Sphérique (SLERP) : Utilisation de SLERP pour contrôler la force de la projection, évitant ainsi une correction excessive qui pourrait dégrader la sémantique.
3. Compensation de Similarité : Un ajustement est appliqué pour aligner les embeddings débiaisés avec les vecteurs de concept originaux (ex: "personne indienne"), préservant ainsi la pertinence sémantique.

3. Résultats Clés

Les expériences ont été menées sur une large gamme de modèles VLM et de benchmarks externes.

• Réduction du Biais Géographique :

  • Avant débiaisage, des États comme le Rajasthan, l'Uttar Pradesh et le Tamil Nadu dominaient les résultats (45-50% des 500 premières images).
  • Après application de la méthode INLP+SLERP, la distribution est devenue beaucoup plus uniforme. Les régions du Nord-Est et des îles, auparavant quasi-invisibles (<0,5%), sont apparues de manière cohérente (2-3%).
  • Réduction de la variance : La dispersion des scores de similarité moyenne entre les États a diminué d'environ 37%.
  • Amélioration de la JSD : Réduction significative de la divergence par rapport à une distribution uniforme (jusqu'à 90% de réduction dans certains cas).

• Préservation de l'Utilité (Généralisation) :

  • Une critique majeure des méthodes de débiaisage est la dégradation des performances sur d'autres tâches.
  • Les auteurs ont évalué les modèles débiaisés sur 35 benchmarks de classification (ImageNet, CIFAR, Cars, etc.).
  • Résultat : La perte de précision moyenne est inférieure à 1,5% (souvent négligeable, <0,13% pour certains modèles). Dans certains cas, une légère amélioration a même été observée. Cela prouve que le sous-espace du biais géographique est largement orthogonal aux axes sémantiques principaux.

• Simulation de Tâche Réelle :

  • Dans une simulation de recrutement (détection de candidats indiens vs étrangers), les modèles débiaisés ont montré une capacité nettement supérieure à reconnaître les candidats des États "à risque" (sous-représentés), passant d'un taux de réussite de 0% à près de 100% pour plusieurs modèles.

4. Contributions Principales

1. IndicFairFace : Le premier dataset public de visages indiens équilibré au niveau des États et du genre, servant de référence pour l'audit des biais géographiques.
2. Méthodologie de Débiaisage Efficace : Démonstration qu'une approche géométrique (INLP + SLERP) peut corriger les biais intra-nationaux dans les VLMs sans sacrifier leurs capacités générales.
3. Analyse Empirique : Une quantification rigoureuse montrant que les VLMs actuels possèdent une notion "monolithique" et déformée de l'Inde, négligeant une grande partie de sa diversité culturelle et géographique.
4. Ressources Ouvertes : Le dataset et le code sont disponibles publiquement pour encourager la recherche future sur l'équité dans les systèmes multimodaux pour les pays en développement.

5. Signification et Impact

Ce travail est significatif car il dépasse la simple dichotomie race/genre pour aborder la diversité intra-nationale, un angle souvent négligé dans la recherche sur l'équité de l'IA.

• Pour la recherche : Il établit un nouveau standard pour l'évaluation des biais géographiques et fournit un outil pour développer des modèles plus inclusifs.
• Pour l'industrie : Il offre une méthode pratique (débiaisage post-hoc) pour améliorer l'équité des systèmes de reconnaissance faciale et de génération d'images déployés dans des contextes multiculturels complexes comme l'Inde, réduisant ainsi les risques de discrimination algorithmique dans des secteurs sensibles comme la sécurité et les RH.
• Limites notées : Le dataset repose sur des images publiques (biais vers les personnalités publiques) et utilise une catégorisation binaire du genre. Il ne capture pas la diversité intra-étatique plus fine (caste, religion).

En conclusion, IndicFairFace démontre qu'il est possible de corriger les biais géographiques profonds des modèles VLMs tout en maintenant leur utilité technique, ouvrant la voie à des systèmes d'IA plus justes et représentatifs de la diversité humaine réelle.