Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

Cet article présente « Cultural Counterfactuals », un ensemble de données synthétiques de près de 60 000 images modifiées permettant d'évaluer et de quantifier les biais culturels liés à la religion, la nationalité et le statut socio-économique dans les grands modèles vision-langage, un domaine jusqu'alors peu exploré en raison du manque de données annotées sur les contextes culturels.

L'essentiel

🎭 Le Grand Théâtre des Préjugés : Quand l'IA juge le décor

Imaginez que vous avez un acteur très intelligent (c'est le modèle d'IA, ou "LVLM"). Cet acteur est capable de regarder une photo et de vous raconter une histoire sur la personne qui y est représentée. Il est très doué pour deviner si quelqu'un est un homme ou une femme, ou de quelle couleur est sa peau.

Mais, il y a un problème : cet acteur a des préjugés cachés. Il ne juge pas seulement la personne, il juge aussi l'endroit où elle se trouve.

🏠 Le Problème : Le Décor change le Script

Dans la vie réelle, si vous voyez une personne dans une église, vous ne savez pas forcément sa religion. Mais si vous la voyez dans un temple, vous pouvez faire des suppositions.

Les chercheurs ont remarqué que l'IA fait des erreurs graves basées sur ces suppositions. Par exemple :

• Si la même personne est photographiée devant un mosquée, l'IA pourrait dire : "Cette personne est un danger" ou "Elle devrait gagner moins d'argent".
• Si on prend exactement la même personne et qu'on la place devant une église, l'IA pourrait dire : "Cette personne est un leader" ou "Elle mérite un gros salaire".

C'est comme si l'acteur changeait de costume et de voix simplement parce que le décor derrière lui a changé, même si le personnage principal est identique !

🛠️ La Solution : Le "Miroir Magique" (Cultural Counterfactuals)

Le défi pour les chercheurs était de prouver ce phénomène. Comment tester cela sans avoir des milliers de photos réelles de la même personne dans des endroits différents (ce qui est impossible) ?

Ils ont créé un laboratoire de magie visuelle appelé "Cultural Counterfactuals" (Contrefactuels Culturels).

1. La Recette : Ils ont pris de vraies photos de lieux (des mosquées, des temples, des quartiers riches, des quartiers pauvres, des pays comme la France ou le Brésil).
2. L'Acteur : Ils ont généré des images de personnes très diverses (hommes, femmes, différentes origines).
3. La Magie : Ils ont utilisé une IA de retouche photo pour coller la même personne sur tous ces décors différents.

C'est comme si vous preniez une photo de votre ami, et que vous utilisiez Photoshop pour le mettre dans 100 décors différents : un bureau de luxe, une rue pauvre, une synagogue, un stade de foot.

Le résultat ? Une bibliothèque de 60 000 images où la seule chose qui change, c'est le décor. Tout le reste (la personne) est identique.

🔍 L'Expérience : Tester l'Acteur

Une fois ce "miroir magique" créé, les chercheurs ont posé des questions à l'IA sur ces images, comme un test de personnalité :

• "Combien devrions-nous payer cette personne pour un travail ?"
• "Pourquoi cette personne a-t-elle été arrêtée ?"
• "Quels mots décrivent cette personne ?"

📉 Les Résultats : L'IA est Biaisée par le Décor

Les résultats sont révélateurs et parfois inquiétants :

• L'argent : Pour le même travail, l'IA propose un salaire plus élevé si la personne est devant un bâtiment de pays riche (comme les USA ou l'Allemagne) et un salaire plus bas si elle est devant un bâtiment de pays en développement (comme le Brésil ou l'Inde).
• La criminalité : Si la personne est devant une mosquée, l'IA invente plus souvent des crimes liés au terrorisme. Si elle est devant une église, elle invente des crimes liés à l'abus sur mineurs.
• La toxicité : L'IA est beaucoup plus "méchante" dans ses réponses quand le décor suggère une religion ou une classe sociale spécifique.

C'est comme si l'IA disait : "Je ne connais pas cette personne, mais je connais le décor derrière elle, et selon ce décor, je vais décider de sa valeur."

💡 La Leçon

Cette recherche nous dit que les IA ne sont pas neutres. Elles apprennent nos préjugés culturels. Si nous leur montrons une image, elles ne regardent pas seulement la personne, elles regardent l'histoire que le décor raconte.

En résumé :
Imaginez que vous entrez dans une pièce. Si vous portez un costume de travail, on vous traite comme un employé. Si vous portez un costume de clown, on vous traite comme un divertisseur. Cette étude montre que l'IA fait pareil : elle juge la personne en fonction du "costume" (le lieu) qu'elle porte, même si c'est la même personne !

L'objectif de ces chercheurs est de donner aux développeurs un outil pour repérer ces erreurs et apprendre à l'IA à juger la personne pour ce qu'elle est, et non pour le décor derrière elle.

Résumé technique

1. Problématique et Contexte

Les modèles vision-langage (LVLM) ont considérablement progressé, mais ils perpétuent des biais sociaux nuisibles. La littérature existante s'est principalement concentrée sur les biais liés aux caractéristiques démographiques visibles (race, genre, âge), qui peuvent être déduites directement de l'apparence physique d'une personne sur une image.

Cependant, les biais culturels liés à la religion, à la nationalité ou au statut socio-économique (SES) restent sous-étudiés. Ces attributs ne sont pas toujours discernables par la seule apparence physique ; ils dépendent fortement du contexte culturel de l'image (par exemple, le lieu de culte, le type de logement, le paysage urbain).
Les défis majeurs pour mesurer ces biais sont :

• L'absence de jeux de données annotés avec des indices contextuels culturels.
• La difficulté de distinguer l'effet du contexte culturel de l'effet de l'apparence de la personne.
• La nécessité de maintenir l'identité de la personne constante tout en variant le contexte pour isoler la cause du biais.

2. Méthodologie : Le Jeu de Données « Cultural Counterfactuals »

Pour combler ce vide, les auteurs ont créé Cultural Counterfactuals, un jeu de données synthétique de haute qualité contenant près de 60 000 images regroupées en 10 300 ensembles contrefactuels.

A. Construction des Données

L'approche repose sur une méthode hybride combinant des images réelles et de la génération d'images :

1. Sources de Contexte Réels : Les auteurs ont sélectionné des photographies réelles provenant de jeux de données existants (Google Landmarks, VIPPGeo, Dollar Street) pour représenter des contextes religieux (6 types), nationaux (8 pays) et socio-économiques (3 niveaux). L'utilisation d'images réelles garantit une précision culturelle que la génération purement synthétique peine à atteindre.
2. Sources de Personnes Synthétiques : Des images de personnes diversifiées (race, âge, genre) ont été générées via le modèle FLUX.1-dev à partir de prompts textuels.
3. Fusion par Édition d'Image : Un modèle d'édition d'image de pointe, FLUX.1-Kontext, a été utilisé pour insérer une personne synthétique dans un contexte réel.
   • Processus : Concaténation de l'image de la personne et du contexte $\rightarrow$ Entrée dans le modèle avec le prompt « Mettez la personne dans la scène ».
4. Pipeline de Filtrage et Régénération : Pour assurer la qualité, un pipeline rigoureux a été mis en place :
   • Filtrage CLIP : Vérification de la similarité entre l'image générée et ses sources (contexte et personne) pour s'assurer que les deux éléments sont bien fusionnés.
   • Détection de Contexte : Utilisation d'un LVLM (Qwen2.5-VL) pour vérifier si le contexte culturel est toujours reconnaissable après la fusion (en masquant d'abord la personne).
   • Régénération itérative : Les échecs sont régénérés avec de nouvelles graines aléatoires ou de nouveaux contextes sources jusqu'à ce qu'ils passent les filtres.

B. Évaluation des Biais

Les auteurs ont conçu un cadre d'évaluation robuste testant 5 LVLMs open-source (Qwen2.5-VL, Gemma-3, InternVL3, LLaVA-v1.6, Molmo) via 9,07 millions de séquences textuelles. Les prompts couvrent trois types de sorties :

1. Classification : Identification du contexte culturel (mesure de la « conscience culturelle »).
2. Sorties Numériques : Estimation de salaires ou de loyers (mesure de la discrimination économique).
3. Texte Narratif : Mots-clés, complétion de phrases (ex: « Cette personne devrait... », « Cette personne a été arrêtée pour... »).
4. Métriques :
   • Sensibilité au contexte : Variation des mots-clés selon le contexte (mesurée par l'indice de Jaccard).
   • Toxicité (MaxToxicity) : Écart de toxicité entre les différents contextes au sein d'un même ensemble contrefactuel.
   • Modélisation de sujets : Analyse des thèmes récurrents dans les réponses toxiques.

3. Résultats Clés

L'analyse révèle que les LVLMs sont significativement influencés par le contexte culturel, même lorsque l'identité de la personne reste identique.

• Conscience Culturelle : Les modèles varient considérablement dans leur capacité à identifier le contexte. Qwen2.5-VL et Gemma-3 sont les plus performants (76-86% de précision pour la religion/nationalité), tandis que LLaVA-v1.6 échoue souvent sur la nationalité (23%).
• Discrimination Économique (Salaires/Loyers) :
  • Les modèles attribuent des salaires et des loyers différents selon le contexte. Par exemple, les personnes dans des contextes de haut revenu ou dans des pays comme les États-Unis, l'Allemagne ou la Chine reçoivent des offres de salaire plus élevées que ceux dans des contextes de faible revenu ou des pays comme le Brésil, l'Inde ou le Maroc.
  • Curieusement, pour les loyers, les modèles suggèrent des loyers plus élevés pour les contextes de haut revenu, mais aussi des salaires plus élevés, indiquant une corrélation biaisée entre le statut socio-économique du lieu et la valeur perçue de la personne.
• Toxicité et Stéréotypes :
  • La toxicité est disproportionnée selon le contexte. Pour le modèle Molmo-7B, plus de 60% des cas de haute toxicité surviennent lorsque le contexte est une synagogue ou une église chrétienne (souvent liés à des stéréotypes de maltraitance ou d'abus).
  • À l'inverse, pour les contextes de mosquée, les modèles génèrent plus fréquemment des stéréotypes liés au terrorisme ou à la violence religieuse.
  • Les contextes de faible revenu sont associés à des descriptions de « mauvaise influence » basée sur des choix de vie non conformes aux normes sociales, tandis que les contextes de haut revenu sont critiqués pour le matérialisme.
• Intersectionnalité : L'analyse montre que les biais sont exacerbés lorsque l'intersection de la race et du contexte culturel renforce un stéréotype (ex: une personne d'origine moyen-orientale dans une mosquée est plus susceptible d'être associée au thème « fabrication d'armes de destruction massive »).

4. Contributions Principales

1. Cultural Counterfactuals : Le premier jeu de données contrefactuel dédié à la诊断 (diagnostic) des biais liés à la religion, la nationalité et le statut socio-économique. Il permet d'isoler l'impact du contexte culturel en maintenant l'identité de la personne constante.
2. Cadre d'Évaluation Robuste : Une méthodologie complète pour évaluer les biais culturels à travers trois types de sorties (numériques, mots-clés, narratifs) et des métriques spécifiques (sensibilité, toxicité, modèles de sujets).
3. Analyse à Grande Échelle : Une étude empirique sur 9,07 millions de réponses générées par 5 modèles, révélant des biais contextuels subtils mais systématiques qui échappent aux évaluations traditionnelles basées uniquement sur l'apparence.

5. Signification et Limites

Signification :
Ce travail démontre que les LVLMs ne se contentent pas de reconnaître des traits physiques, mais qu'ils intègrent des indices contextuels culturels pour former des jugements biaisés. Cela souligne la nécessité de développer des stratégies d'atténuation qui ne se limitent pas aux attributs démographiques visibles, mais qui prennent en compte l'environnement culturel représenté dans l'image. Le jeu de données est rendu public pour soutenir la recherche future.

Limites :

• Hypothèse de corrélation : L'étude suppose que le modèle associe automatiquement le contexte culturel à la personne, ce qui n'est pas toujours vrai dans la réalité (une personne peut visiter un lieu sans y appartenir).
• Conflation des attributs : Les modèles de génération d'images (Flux) ont tendance à générer des personnes dont l'apparence correspond aux stéréotypes du contexte (ex: une femme voilée dans une mosquée), ce qui rend difficile la séparation stricte entre le biais lié à l'apparence et le biais lié au contexte.
• Catégorisation simplifiée : La réduction de concepts sociaux complexes à des classes catégorielles finies ne capture pas la pleine diversité des identités humaines.
• Langue : L'analyse est limitée à l'anglais.

En conclusion, cette recherche fournit un outil essentiel pour comprendre comment les LVLMs perpétuent des stéréotypes culturels profonds et appelle à une vigilance accrue lors du déploiement de ces modèles dans des applications sensibles (recrutement, logement, justice).