StylisticBias: A Few Human Visual Cues Drive Most Social Biases in MLLMs

Résumé technique : StylisticBias

Énoncé du problème
Les modèles de langage de grande taille multimodaux (MLLM) sont de plus en plus déployés dans des domaines à enjeux élevés tels que le recrutement, la modération de contenu et le soutien judiciaire. Bien que des recherches antérieures aient établi que ces modèles héritent et amplifient les biais sociétaux issus des données d'entraînement, les indices visuels spécifiques qui motivent ces jugements restent mal compris. Les études existantes comparent souvent différents individus ou groupes démographiques, ce qui rend difficile la distinction entre les effets d'attributs d'apparence spécifiques et les différences d'identité intrinsèques. De plus, les travaux précédents se sont largement concentrés sur des constructions agrégées latentes comme l'« attractivité » ou de larges catégories démographiques (race, genre), laissant une lacune dans la compréhension de la manière dont des attributs visuels spécifiques et contrôlés — tels que le style vestimentaire, le toilettage ou les accessoires — modifient les perceptions sociales lorsque l'identité est maintenue constante.

Méthodologie : Le benchmark StylisticBias
Pour répondre à cela, les auteurs introduisent StylisticBias, un benchmark contrôlé conçu pour évaluer le biais social au niveau de l'attribut. La méthodologie repose sur un pipeline de génération en deux étapes pour isoler les variables visuelles :

1. Génération de visages de base : Les auteurs ont généré 500 visages de base photoréalistes à l'aide d'Imagen 4. Ces visages couvrent un produit cartésien de quatre dimensions démographiques : l'âge (jeune, d'âge moyen, âgé), le genre (masculin, féminin), l'ethnicité (asiatique, africaine, européenne, moyen-orientale, latino) et la morphologie (mince, normale, obèse). Ces images de base servent d'ancres d'identité, présentant un éclairage de studio standardisé, des expressions neutres et aucun accessoire ou maquillage.
2. Génération de variations contrôlées : En utilisant Nano Banana (Gemini 2.5 Flash Image), les auteurs ont créé environ 50 variations à attribut unique pour chaque visage de base, résultant en environ 25 000 images. Chaque variation modifie exactement un attribut visuel (par exemple, changer de coiffure, ajouter des tatouages, modifier le style vestimentaire) tout en préservant l'identité, la pose et l'éclairage de base. Cette conception garantit que tout changement de jugement du modèle peut être attribué à l'attribut modifié spécifique plutôt qu'à un changement d'identité.
3. Protocole d'évaluation : Six MLLM open-source (allant de 4B à 14B de paramètres, incluant LLaVA-v1.6, Qwen3-VL et des variantes de Gemma) ont été évalués dans un cadre de zero-shot. Les modèles ont effectué des jugements binaires par choix forcé à travers 25 scénarios sociaux ancrés dans le cadre chaleur-compétence (ex: « Élégant vs Peu élégant », « Riche vs Pauvre », « Digne de confiance vs Peu digne de confiance »). Pour atténuer la sensibilité aux prompts, chaque paire image-scénario a été évaluée sous 12 variations (4 ordonnancements de prompts × 3 graines aléatoires), totalisant environ 28,3 millions d'appels de jugement.

Principales contributions

1. Benchmark StylisticBias : Un ensemble de données de 500 identités de base et d'environ 25 000 images synthétiques avec des éditions à attribut unique, permettant une évaluation fine du biais où l'identité est fixe.
2. Évaluation à grande échelle : Une évaluation complète de six MLLM à travers 25 scénarios de jugement social binaire, offrant une vue granulaire de la manière dont différentes architectures répondent aux indices visuels.
3. Constatations empiriques sur la concentration du biais : L'étude identifie que le biais n'est pas uniformément distribué mais concentré dans un petit ensemble d'indices visuels, particulièrement ceux liés à la présentation de soi.

Résultats
Les expériences ont produit plusieurs schémas cohérents à travers les modèles évalués :

• Facteurs démographiques : L'âge et la morphologie sont apparus comme les plus puissants moteurs démographiques du jugement social (Force de variation, VS = 0,075 et 0,069, respectivement). Les identités obèses et âgées étaient systématiquement associées à des attributions de traits moins favorables. En revanche, l'ethnicité et le genre présentaient des effets nettement plus faibles (VS = 0,038 et 0,030).
• Changements au niveau de l'attribut : Environ 15 attributs visuels expliquaient près de 80 % de la variation totale du biais. Le style de mode a produit les changements les plus importants, suivi de la pilosité faciale et du maquillage. Inversement, des attributs comme les irrégularités de la peau et la couleur des cheveux montraient un impact proche de zéro.
• Asymétrie des indices : Les indices négatifs (ex: vêtements usés/détressés, cheveux ébouriffés) ont produit des changements de jugement nettement plus importants que leurs homologues positifs, reflétant le biais de négativité humain.
• Alignement sémantique du biais : La sensibilité des modèles était la plus élevée lorsque le trait jugé était sémantiquement aligné avec l'apparence visible. Les jugements socio-économiques (ex: « Riche vs Pauvre ») et les jugements de style (ex: « Élégant vs Peu élégant ») étaient disproportionnellement sensibles aux changements visuels par rapport aux traits internes comme « Honnête » ou « Loyal ».
• Cohérence des modèles : Bien que les modèles diffèrent dans l'ampleur de leurs réponses (ex: Pixtral était le plus réactif, Qwen3 le plus conservateur), ils s'accordaient largement sur quels indices importaient. Les modèles plus larges avaient tendance à atténuer l'ampleur des effets mais préservaient la structure globale de sensibilité.
• Interactions contextuelles : L'impact des indices était modulé par le contexte démographique. Par exemple, l'effet positif des vêtements formels était amplifié pour les visages âgés et les corps obèses, tandis que l'effet négatif du « streetwear » passait d'un effet négatif pour les visages jeunes à un effet neutre/positif pour les visages âgés.

Signification et affirmations
L'article affirme que StylisticBias fournit une base nécessaire pour passer de comparaisons démographiques grossières vers une attribution visuelle contrôlée. Les auteurs soutiennent que les MLLM sont systématiquement sensibles à comment une personne paraît (indices spécifiques comme la mode et le toilettage) plutôt qu'à seulement qui elle est représentée être.

L'étude souligne que le biais dans les systèmes multimodaux est concentré dans un petit ensemble d'indices de présentation de soi, particulièrement ceux liés au statut socio-économique et au style. Cela suggère que les évaluations standards se concentrant uniquement sur de larges groupes démographiques peuvent manquer les principaux moteurs du biais basé sur l'apparence. En publiant le benchmark et le jeu de données, les auteurs visent à soutenir l'audit de l'équité et le développement de stratégies de mitigation pour le biais basé sur l'apparence dans les applications d'IA à conséquences importantes.

Limites
Les auteurs reconnaissent que l'étude utilise des images synthétiques contrôlées plutôt que des photographies réelles, ce qui limite la généralisabilité à tous les déploiements du monde réel, mais constitue un choix délibéré pour garantir l'isolation de l'identité et la sécurité éthique. De plus, l'étude se concentre sur un sous-ensemble curaté de groupes démographiques et d'attributs visuels pour maintenir l'interprétabilité, ce qui signifie qu'elle identifie quels indices entraînent des changements, mais ne couvre pas de manière exhaustive toutes les identités socialement significatives ou n'explique pas les mécanismes sous-jacents de ces effets.