🤖 AI

A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

Ce papier présente l'Amplification du Biais Directionnel dans le Sous-titrage (DBAC), une nouvelle métrique consciente du langage qui surmonte les limites des méthodes existantes en mesurant et en identifiant avec précision les sources d'amplification des biais dans les modèles de sous-titrage d'images, en particulier concernant les attributs de genre et de race.

Auteurs originaux : Rahul Nair, Bhanu Tokas, Hannah Kerner

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rahul Nair, Bhanu Tokas, Hannah Kerner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot dont le travail consiste à examiner des photos et à décrire ce qui s'y passe. Vous enseignez à ce robot en lui montrant des millions de photos accompagnées de descriptions rédigées par des humains. Le problème est que les humains ne sont pas parfaits ; parfois, nos descriptions contiennent des stéréotypes cachés (des biais). Par exemple, nous pourrions souvent décrire une femme tenant un couteau comme « une femme avec un couteau » (impliquant un danger), mais un homme tenant un couteau comme « un homme qui cuisine » (impliquant la sécurité).

Lorsque le robot apprend à partir de ces descriptions humaines, il ne se contente pas de copier le biais ; il l'amplifie souvent. Il pourrait commencer à prédire « couteau » chaque fois qu'il voit une femme, même si elle ne tient qu'une fleur, car il a appris que « femme » et « couteau » forment une paire dangereuse dans ses données d'entraînement.

Ce papier traite de la construction d'un meilleur détecteur de biais pour déterminer exactement comment et pourquoi le robot se trompe avec ces stéréotypes.

Le problème des anciens détecteurs

Les auteurs expliquent que les outils précédents pour mesurer les biais étaient comme de mauvais traducteurs ou des balances cassées :

Les balances « aveugles » : Certains anciens outils ne comptaient que la fréquence d'apparition conjointe des mots (comme « homme » + « ballon »). Ils ne comprenaient pas le sens de la phrase. Ils ne pouvaient pas distinguer « Il a un ballon » de « Il n'a pas de ballon », même si le biais est totalement différent.
Les miroirs « à sens unique » : D'autres outils pouvaient vous dire qu'un biais existait, mais ils ne pouvaient pas vous dire dans quelle direction il pointait.
- L'analogie : Imaginez une pièce où des gens crient. Un miroir « à sens unique » vous dit : « Il y a beaucoup de cris. » Mais il ne vous dit pas si les gens crient vers la porte ou depuis la porte.
- Dans les termes du papier : Le robot a-t-il vu un couteau et décidé : « Ah, cela doit être une femme » ? (Tâche $\to$ Attribut) OU a-t-il vu une femme et décidé : « Ah, elle doit tenir un couteau » ? (Attribut $\to$ Tâche).
- Sans connaître la direction, vous ne pouvez pas résoudre le problème. Si vous essayez de corriger la mauvaise direction, vous risquez d'aggraver le biais.

La nouvelle solution : DBAC

Les auteurs présentent un nouvel outil appelé DBAC (Directional Bias Amplification in Captioning). Considérez DBAC comme un détective surdoué capable de :

Lire l'histoire : Il comprend le sens complet de la phrase (conscient du langage).
Retracer les flèches : Il peut identifier exactement dans quelle direction le biais circule (directionnel).
Ignorer le bruit : Il fournit des réponses cohérentes, quelle que soit la « dictionnaire » (encodeur de phrases) qu'il utilise pour lire le texte.

Comment DBAC fonctionne (la boîte à outils du détective)

Pour attraper le biais, DBAC utilise une astuce ingénieuse impliquant le masquage et la substitution :

Le jeu du masquage : Imaginez que le robot rédige une légende : « Une femme tient un couteau. »
- DBAC cache le mot « femme » et demande : « Pouvez-vous encore deviner le genre en regardant seulement le reste de la phrase ? » Si la réponse est « Oui, c'est définitivement une femme », cela signifie que les autres mots (comme « couteau ») portent un biais lourd.
- Il fait l'inverse aussi : cachez « couteau » et demandez : « Pouvez-vous deviner l'objet juste en sachant que c'est une femme ? »
Le remplacement « contextuel » : C'est une mise à niveau majeure.
- Ancienne méthode (substitution constante) : Si le robot utilisait un mot rare comme « selle », et que le dictionnaire ne l'avait pas, l'ancien outil le remplaçait simplement par « INCONNU ». Cela détruit le sens.
- Méthode DBAC (substitution contextuelle) : DBAC est plus intelligent. S'il voit « selle », il cherche l'équivalent le plus proche dans le dictionnaire, comme « siège » ou « équipement équestre », et le remplace par celui-ci. Cela maintient l'histoire intacte afin que la mesure du biais soit précise.

Ce qu'ils ont découvert

Les auteurs ont testé ce nouveau détective sur 13 robots de légendage d'images différents en utilisant un vaste ensemble de données photographiques appelé COCO. Voici les points clés à retenir :

Le seul détective fiable : DBAC était le seul outil capable de mesurer de manière cohérente et précise l'amplification des biais. Les autres outils soit manquaient complètement le biais, soit donnaient des résultats confus et incohérents selon le « dictionnaire » qu'ils utilisaient.
La direction compte : Ils ont découvert que, bien que de nombreux robots soient devenus meilleurs pour prédire les tâches lorsqu'ils connaissaient le genre (par exemple : « Si c'est un homme, il joue probablement à un sport »), ils sont devenus moins bons pour prédire le genre lorsqu'ils voyaient une tâche (par exemple : « S'il tient un couteau, c'est définitivement un homme »).
La « correction » peut tout casser : Ils ont constaté qu'une technique appelée « Equalizer », censée corriger les biais, aggravait en fait un type de biais tout en en corrigeant un autre. Cela prouve que vous avez besoin d'un outil directionnel comme DBAC pour voir l'image complète avant d'essayer de réparer le robot.

La conclusion

Si vous voulez construire une IA qui décrit des images de manière équitable, vous ne pouvez pas simplement deviner où se trouve le biais. Vous avez besoin d'un outil qui comprend l'histoire et peut pointer exactement vers la source du préjugé. DBAC est cet outil. Il vous dit non seulement que le robot est biaisé, mais comment il est biaisé, afin que vous puissiez corriger le problème spécifique sans casser le reste du système.

1. Énoncé du problème

Amplification des biais dans la légendage d'images :
Lorsque les modèles de légendage d'images sont entraînés sur des jeux de données biaisés (par exemple, des légendes rédigées par des humains contenant des stéréotypes sociétaux), ils reproduisent souvent et amplifient même ces biais dans leurs sorties générées. Par exemple, un modèle pourrait prédire « une femme tenant un couteau » plus fréquemment qu'« un homme tenant un couteau » lorsque les preuves visuelles sont ambiguës, ou inversement.

Limites des métriques existantes :
Les méthodes actuelles pour mesurer l'amplification des biais se divisent en deux catégories, qui échouent toutes deux pour le légendage d'images :

Métriques basées sur la classification (par exemple, BA→, DPA) : Elles mesurent le biais dans les tâches de classification mais ignorent le sens sémantique des phrases en langage naturel. Elles ne peuvent pas distinguer entre « Il a une balle » et « Il n'a pas de balle » si les mots-clés sont identiques.
Métriques conscientes du langage (par exemple, LIC, ImgCap2) :
- LIC (Fuite dans le légendage) : Bien qu'elle comprenne la sémantique, elle est non directionnelle. Elle ne peut pas distinguer quel attribut a causé le biais. Elle ne peut pas dire si le modèle a amplifié le biais de prédire une « femme » en voyant un « couteau », ou de prédire un « couteau » en voyant une « femme ».
- ImgCap2 : Confond les biais inhérents à l'image avec les biais dans la légende, ce qui la rend inadaptée à l'isolement du comportement du modèle de légendage.
- Problèmes de cohérence : Les scores LIC varient considérablement selon le choix de l'encodeur de phrases (un hyperparamètre), rendant les résultats peu fiables.

Le vide : Il n'existe aucune métrique qui soit simultanément consciente du langage (comprend la sémantique), directionnelle (identifie la source du biais : Attribut $\to$ Tâche vs Tâche $\to$ Attribut) et cohérente à travers différentes configurations de modèles.

2. Méthodologie : Amplification biaisée directionnelle dans le légendage (DBAC)

Les auteurs proposent DBAC, une nouvelle métrique conçue pour mesurer l'amplification des biais dans deux directions spécifiques :

$A \to T$ (Attribut vers Tâche) : La présence d'un attribut (par exemple, le Genre) amplifie-t-elle la prédiction d'une tâche/objet (par exemple, un Couteau) ?
$T \to A$ (Tâche vers Attribut) : La présence d'une tâche/objet amplifie-t-elle la prédiction d'un attribut (par exemple, le Genre) ?

Mécanisme central

DBAC utilise un cadre d'attaque adversaire combiné à un alignement de vocabulaire :

Masquage :
- Pour mesurer $A \to T$ : Les jetons de genre sont masqués dans la légende (par exemple, « Une avec une guitare »).
- Pour mesurer $T \to A$ : Les jetons de tâche sont masqués (par exemple, « Un homme avec un »).
Fonction d'attaquant ( $f$ ) :
- Un modèle (encodeur de phrases + tête de classification) est entraîné pour prédire l'attribut masqué (par exemple, le genre) en utilisant uniquement le contexte restant.
- Une haute précision de prédiction implique que le contexte restant (la tâche) contient des signaux de biais forts concernant l'attribut.
Formulation probabiliste :
- Le biais est quantifié par la probabilité de l'attribut étant donné la phrase masquée.
- Pour garantir une probabilité a priori fixe (une exigence pour une mesure valide d'amplification des biais), les auteurs utilisent le théorème de Bayes pour approximer le biais comme $P(\text{Tâche} | \text{Attribut})$ .
- Score d'amplification des biais : Calculé comme la différence entre le biais dans les légendes générées par le modèle (MGC) et les légendes générées par des humains (HGC), normalisé dans une plage de $(-1, 1)$ .
- Formule : $DBAC = \frac{\omega_M - \omega_H}{\omega_M + \omega_H + \epsilon}$ , où $\omega$ représente l'intensité du biais.

Améliorations techniques clés par rapport à LIC

Directionnalité : Sépare explicitement l'amplification $A \to T$ et $T \to A$ , permettant des stratégies d'atténuation ciblées.
Substitution contextuelle (Alignement de vocabulaire) :
- Problème : Les légendes humaines (HGC) ont des vocabulaires plus vastes que les légendes de modèles (MGC). Une simple « substitution constante » (remplacement des mots inconnus par <unk>) perd la nuance sémantique.
- Solution : DBAC utilise une substitution contextuelle. Si un mot dans HGC manque dans MGC, il est remplacé par le mot sémantiquement le plus proche du vocabulaire MGC (en utilisant des plongements comme GloVe ou FastText). Si aucune correspondance proche n'existe, il devient <unk>.
- Avantage : Cela préserve mieux le signal de biais sémantique que la substitution constante.
Cohérence de l'encodeur : La métrique est conçue pour être robuste à travers différents encodeurs de phrases (LSTM, RNN, Transformers, modèles pré-entraînés).

3. Contributions clés

Métrique DBAC : La première métrique qui est simultanément consciente du langage, directionnelle et cohérente.
Identification de la source : DBAC peut identifier si un modèle amplifie le biais des attributs vers les tâches ou inversement, permettant des stratégies de réentraînement spécifiques (par exemple, réentraîner uniquement sur « des femmes avec des objets non-couteaux » si le biais $A \to T$ est élevé).
Substitution contextuelle : Démontre que le remplacement des mots par des alternatives sémantiquement similaires (plutôt que des <unk> génériques) produit des estimations de biais plus précises.
Robustesse : Prouve que les scores DBAC sont stables à travers divers encodeurs de phrases, éliminant le besoin de réglage d'hyperparamètres pour trouver un encodeur « approprié ».

4. Résultats expérimentaux

Des expériences ont été menées sur le jeu de données COCO Captions en utilisant 13 modèles de légendage différents (y compris BLIP, OSCAR, LLaVA et des modèles basés sur Transformer) et des attributs pour le Genre et la Race.

Capture du biais linguistique : Dans des jeux de données contrôlés où le genre et la tâche étaient équilibrés mais où l'usage des verbes était déséquilibré, les métriques non conscientes du langage (BA→, DPA) ont signalé un biais nul. DBAC et LIC ont correctement détecté le biais linguistique.
Validation de la directionnalité :
- Les auteurs ont progressivement masqué les personnes dans les images. À mesure que la personne devenait moins visible, le modèle s'appuyait davantage sur les objets d'arrière-plan (tâches) pour deviner le genre/la race.
- Résultat : Seul DBAC a capturé la tendance croissante du biais $T \to A$ à mesure que le masquage augmentait. LIC n'a pas détecté cette tendance car il manquait de directionnalité.
Cohérence (Analyse de sensibilité) :
- DBAC a montré un coefficient de variation (CV) significativement plus faible à travers différents encodeurs de phrases par rapport à LIC.
- Genre : DBAC présentait 84,5 % de variation en moins (encodeurs scratch) et 69,9 % de variation en moins (encodeurs pré-entraînés) que LIC.
- Race : DBAC présentait 59,5 % de variation en moins (scratch) et 83,6 % de variation en moins (pré-entraînés) que LIC.
Impact de la substitution : La substitution contextuelle a amélioré les scores de similarité METEOR (préservant le sens original) d'environ 2,7 % à 3,4 % par rapport à la substitution constante. Elle a également conduit à des scores de détection de biais plus élevés et plus précis.
Analyse des modèles :
- La plupart des modèles ont réduit le biais $A \to T$ (la prédiction de tâches étant donné le genre est devenue plus équitable).
- Cependant, 8 modèles sur 13 ont augmenté le biais $T \to A$ (la prédiction du genre étant donné une tâche est devenue plus biaisée).
- La technique d'atténuation « Equalizer » a réduit le biais $T \to A$ mais a involontairement aggravé le biais $A \to T$ , soulignant la nécessité de métriques directionnelles pour éviter des conséquences imprévues.

5. Importance

Fiabilité : DBAC est établie comme la seule métrique fiable pour mesurer l'amplification des biais dans le légendage d'images, répondant aux défauts critiques des méthodes précédentes.
Informations exploitables : En identifiant la direction du biais, DBAC permet aux chercheurs d'appliquer une atténuation ciblée. Au lieu de réentraîner un modèle sur un jeu de données massif, les chercheurs peuvent spécifiquement sélectionner des données pour briser des associations biaisées spécifiques (par exemple, « couteau $\to$ femme »).
Normalisation : La robustesse de DBAC face aux choix d'encodeurs de phrases élimine une source majeure de bruit expérimental, rendant la mesure des biais plus reproductible et comparable entre les études.
Sécurité : Dans des applications à haut risque comme les technologies d'assistance pour les malvoyants, comprendre et corriger le biais directionnel est crucial pour éviter des descriptions trompeuses ou nuisibles.