💬 NLP

Vision-Language Models Suppress Female Representations Under Ambiguous Input

Cet article révèle que, bien que les modèles vision-langage encodent souvent des associations féminines de manière interne pour les images ambiguës, leurs sorties reviennent systématiquement par défaut à des représentations masculines en raison d'un mécanisme de filtrage asymétrique qui amplifie les signaux masculins et supprime les signaux féminins lors de la génération.

Auteurs originaux : Arnau Marin-Llobet, Simon Henniger, Mahzarin R. Banaji

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arnau Marin-Llobet, Simon Henniger, Mahzarin R. Banaji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le robot « poli » vs le cerveau « biaisé »

Imaginez que vous avez un assistant robotique très poli qui a été entraîné à être équitable et à ne pas faire de suppositions sur les gens. Si vous lui montrez la photo d'une personne portant clairement une robe, il dit : « C'est une femme ». Si la personne est clairement en costume, il dit : « C'est un homme ». Il réussit parfaitement le « test de politesse ».

Mais cet article pose une question délicate : Que se passe-t-il quand le robot ne peut pas voir clairement le visage ou le genre de la personne ? (Par exemple, un ouvrier du bâtiment vu de dos avec un casque, ou une infirmière vue de dos).

Les chercheurs ont découvert que si la bouche du robot (sa réponse finale) reste polie et neutre, son cerveau (son processus de pensée interne) fait en réalité une supposition très spécifique et biaisée : il suppose que la personne est un homme.

Même pour des métiers qui sont statistiquement majoritairement exercés par des femmes (comme les baby-sitters ou les fleuristes), si le robot doit deviner, il devine « homme ». La partie effrayante ? Le robot sait que le métier est généralement féminin, mais il ignore cette connaissance et force quand même une réponse « masculine ».

L'outil : « LALS » (La radiographie des pensées)

Comment savoir ce que le robot pense s'il ne le dit pas ? Les auteurs ont inventé un outil appelé LALS (Latent Association Leaning Score).

Voyez le LALS comme une radiographie du cerveau du robot.

Normalement, nous ne voyons que la phrase finale du robot (la sortie).
Le LALS nous permet de jeter un coup d'œil à l'intérieur des « neurones » du robot à chaque étape de son processus de réflexion.
Il traduit les signaux électriques internes du robot en mots, nous permettant de voir si, à un moment précis, le robot pense « femme », « homme » ou « neutre ».

Les trois types de métiers

Lorsque les chercheurs ont testé 15 métiers différents avec des images « sans visage », ils ont découvert trois schémas distincts :

Les « Hommes d'accord » (ex. : Pompiers) :
- À l'intérieur du cerveau : Le robot pense « Homme ».
- La réponse : Il dit « Homme ».
- Verdict : Pas de surprise ici. Le biais est cohérent.
Les « Femmes d'accord » (ex. : Maquilleuses) :
- À l'intérieur du cerveau : Le robot pense « Femme ».
- La réponse : Il dit « Femme ».
- Verdict : Également cohérent.
La « Zone de divergence » (ex. : Fleuristes, Infirmières, Baby-sitters) :
- À l'intérieur du cerveau : Le robot pense réellement « Femme ». (Il associe correctement le métier aux femmes).
- La réponse : Il dit « Homme ».
- Verdict : C'est le biais caché. La pensée interne du robot dit « féminin », mais quelque chose dans son étape finale force le basculement pour dire « homme ».

Le « Filtre Asymétrique » : Une rue à sens unique

Les chercheurs ont découvert pourquoi ce basculement se produit. Ils ont suivi les pensées du robot couche par couche (comme en vérifiant les étages d'un gratte-ciel).

Le signal masculin : Imaginez une voix forte et puissante criant « HOMME ! ». Cette voix part du rez-de-chaussée et devient de plus en plus forte à mesure qu'elle monte. Lorsqu'elle atteint le dernier étage (là où la réponse est prononcée), elle est très puissante.
Le signal féminin : Imaginez une autre voix criant « FEMME ! ». Cette voix commence forte, devient encore plus forte au milieu du bâtiment, puis frappe un mur insonorisé sur les derniers étages. Lorsqu'elle atteint le sommet, la voix a été silencée ou transformée en un murmure.

Le robot possède un filtre asymétrique. Il laisse passer l'idée « Masculine » tout au long du processus, mais il supprime activement l'idée « Féminine » juste avant de parler.

L'indice « Rose vs Bleu »

Pour prouver que le robot regardait réellement l'image et ne devinait pas au hasard, les chercheurs ont joué un tour avec les couleurs.

Ils ont montré la photo d'une infirmière portant une blouse bleue. Le signal « Masculin » interne du robot était fort.
Ils ont montré exactement la même photo mais ont changé la couleur de la blouse en rose.
Résultat : Le signal « Masculin » interne du robot a chuté considérablement, et le signal « Féminin » est devenu plus fort.

Cela prouve que le robot ne devine pas aveuglément « Homme » pour tout. Il réagit à des indices culturels. Il a appris que dans notre monde, le rose signifie souvent « féminin » et le bleu signifie souvent « masculin ». Lorsque l'indice visuel (le rose) est fort, le biais interne du robot change. Mais sans cet indice fort, il revient par défaut à « Homme ».

La cause profonde : Ce n'est pas seulement l'entraînement

Les chercheurs ont vérifié si ce biais avait été enseigné au robot pour qu'il soit « sûr » (un processus appelé alignement). Ils ont comparé le robot avant qu'il ne soit enseigné à être poli et après.

La découverte : Le biais était présent avant que le robot ne soit enseigné à être poli.
La conclusion : L'entraînement à la politesse n'a pas corrigé le biais ; il a simplement appris au robot à le cacher. Le robot a appris à dire « Je ne sais pas » ou « Homme » pour être prudent, mais son cerveau interne porte toujours les vieilles associations biaisées.

Résumé

L'article révèle que les modèles de langage-vision ont une double vie cachée.

Publiquement : Ils sont neutres et prudents.
Privément : Quand ils ne voient pas clairement, ils reviennent par défaut à l'hypothèse que les personnes sont des hommes, même quand leur propre logique interne suggère que la personne est une femme.

Le « défaut masculin » n'est pas un bug ; c'est une habitude profondément ancrée dans le cerveau du robot qui survit même lorsque celui-ci est chargé d'être équitable. Le robot connaît la vérité (que la personne pourrait être une femme), mais il filtre cette vérité avant de parler.

Résumé technique : Les modèles de vision-langage suppriment les représentations féminines sous des entrées ambiguës

Énoncé du problème
Bien que les modèles de vision-langage (VLM) modernes aient été alignés pour éviter d'exprimer des biais démographiques dans leurs sorties lorsque le genre est visuellement explicite, des lacunes importantes subsistent concernant leur comportement face à des entrées ambiguës (par exemple, des silhouettes vues de dos, des visages masqués ou un équipement de protection complet). L'audit standard au niveau de la sortie suggère que ces modèles sont neutres, refusant souvent d'assigner un genre ou adoptant par défaut le terme « une personne ». Cependant, cet article postule que la neutralité de la sortie peut masquer des biais internes persistants. Plus précisément, les auteurs étudient si les VLM encodent des associations de genre en interne qui diffèrent de leurs sorties textuelles finales, particulièrement lorsque les indices visuels sont insuffisants pour déterminer le genre.

Méthodologie
Pour sonder les représentations internes sans dépendre de la génération de texte, les auteurs introduisent le LALS (Latent Association Leaning Score), une métrique zero-shot conçue pour mesurer les associations de concepts à la granularité des jetons visuels individuels et des couches du réseau.

Mécanisme LALS : La méthode projette les états cachés des jetons visuels de n'importe quelle couche $\ell$ dans l'espace d'enchâssement textuel du modèle en utilisant la procédure LatentLens. En comparant ces vecteurs projetés à un corpus de référence équilibré de termes associés au genre (par exemple, « homme », « père » contre « femme », « mère »), le LALS calcule un score continu dans l'intervalle $[-1, +1]$ pour chaque jeton.
Agrégation : Les scores au niveau de l'image sont dérivés en agrégeant les 5 % de jetons présentant la plus forte magnitude de signal.
Configuration expérimentale : L'étude évalue quatre VLM en open-weights (Qwen2-VL, Qwen2.5-VL, LLaVA-v1.6, InternVL2.5) sur un ensemble de plus de 800 images ambiguës du genre à travers 15 professions (stéréotypées masculines, féminines et neutres).
Analyse comparative : Les auteurs comparent les scores internes LALS aux sorties du modèle générées sous deux conditions de prompting : une description ouverte et un choix forcé (FC - forced-choice) de devinette de genre. Ils mènent également des études d'ablation impliquant la manipulation de couleurs (par exemple, changer les vêtements du bleu au rose) et des comparaisons entre les modèles de base et les modèles ajustés par instructions (instruction-tuned).

Contributions clés et résultats

Découplage des représentations internes et des sorties :
L'étude identifie une divergence systématique où les modèles encodent en interne des associations féminines pour certaines professions, mais produisent des réponses par défaut masculines lors d'un prompting à choix forcé. Ce « régime de divergence » inclut des professions comme les fleuristes, les professeurs de maternelle et les baby-sitters. Si les prompts ouverts produisent des réponses neutres, les prompts à choix forcé déclenchent un « effondrement vers le mode masculin » (male-mode collapse), où les modèles reviennent par défaut au masculin même pour des rôles fortement stéréotypés féminins (ex: infirmières, coiffeuses), malgré des signaux internes suggérant le contraire.
Mécanisme de filtrage asymétrique :
L'analyse couche par couche des scores LALS révèle un filtre asymétrique au sein de l'architecture du réseau :
- Signaux masculins : S'amplifient ou restent stables des premières aux dernières couches, traversant le réseau de bout en bout.
- Signaux féminins : Atteignent un pic dans les couches médianes et tardives, mais sont systématiquement supprimés ou s'effondrent vers zéro (ou vers des valeurs négatives/masculines) avant la couche de génération finale.
  Cette suppression explique pourquoi les représentations internes associées au féminin ne parviennent pas à se manifester dans la sortie textuelle finale pour les entrées ambiguës.
Influence des indices visuels culturellement chargés :
Les expériences d'ablation de couleur démontrent que les associations internes sont modulées par des indices visuels spécifiques. Changer le chapeau d'un ouvrier du bâtiment ou la blouse d'une infirmière du bleu au rose réduit significativement le signal masculin ou augmente le signal féminin, respectivement. Cela suggère que les modèles ont intériorisé les associations culturelles genre-couleur présentes dans les données d'entraînement.
Origine du biais :
Le filtrage asymétrique n'est pas un artefact de l'ajustement par instructions (RLHF). Les comparaisons entre les modèles de base et les modèles ajustés par instructions montrent que la suppression des signaux féminins existe déjà dans le modèle de base et est simplement amplifiée par l'alignement, et non créée par lui. De plus, le biais provient de la voie visuelle ; des prompts textuels seuls pour les mêmes professions montrent une amplification du signal féminin dans les couches tardives, soit l'opposé de l'effondrement observé dans la voie visuelle.

Signification et affirmations
L'article soutient que l'audit au niveau de la sortie est insuffisant pour évaluer l'équité des VLM, particulièrement dans des scénarios à enjeux élevés impliquant des entrées ambiguës (ex: surveillance, outils d'assistance). Les auteurs affirment que :

L'alignement masque plutôt qu'élimine le biais : Les modèles apprennent à supprimer l'expression de leurs représentations internes biaisées sans pour autant supprimer ces représentations elles-mêmes.
Les représentations internes pilotent les risques en aval : Étant donné que les plongements (embeddings) des VLM sont de plus en plus utilisés comme caractéristiques pour la recherche d'images, le classement de contenu et les outils de recrutement, les signaux internes biaisés se propagent à travers ces systèmes indépendamment de la sortie textuelle finale du modèle.
LALS comme outil d'audit : Le LALS offre une méthode zero-shot et sans étiquette pour détecter ces biais cachés, offrant une vue plus granulaire de la manière dont les associations démographiques évoluent à travers le réseau.

Les auteurs concluent que le « défaut masculin » observé dans les scénarios ambigus est une propriété structurelle du traitement visuel du modèle, ancrée dans les données de pré-entraînement et renforcée par le filtrage asymétrique des signaux de genre par le réseau, plutôt qu'un simple échec de l'alignement.