What Triggers my Model? Contrastive Explanations Inform Gender Choices by Translation Models

Cette étude explore les origines des biais de genre dans les modèles de traduction automatique en identifiant, via des explications contrastives, quels mots source déclenchent des inflexions de genre spécifiques et en démontrant une corrélation entre ces attributions du modèle et les perceptions humaines.

L'essentiel

🕵️‍♀️ Le Détective des Mots : Qui décide du genre dans la traduction ?

Imaginez que vous avez un traducteur automatique (comme un robot très intelligent) qui parle couramment l'anglais, mais qui doit aussi parler le français, l'allemand ou l'espagnol. Le problème ? Dans ces langues, les mots ont un "genre" : ils sont soit masculins, soit féminins (comme le médecin vs la médecin).

En anglais, le mot "doctor" (médecin) est neutre. Mais quand le robot le traduit en allemand, il doit choisir : va-t-il dire der Arzt (médecin homme) ou die Ärztin (médecin femme) ?

Souvent, le robot se trompe ou choisit par défaut le masculin, même si le contexte suggère une femme. C'est ce qu'on appelle un biais de genre.

🎭 Le Problème : Le Robot a-t-il un "stéréotype" caché ?

Les chercheurs se sont demandé : Qu'est-ce qui déclenche ce choix chez le robot ?
Est-ce qu'il regarde le mot "médecin" ? Ou est-ce qu'il regarde les mots autour, comme "il a accouché" (ce qui indique une femme) ?

Jusqu'à présent, on savait que le robot avait des biais, mais on ne savait pas exactement quels mots dans la phrase originale (en anglais) poussaient le robot à faire ce choix. C'est comme essayer de comprendre pourquoi un ami choisit une couleur de voiture sans lui demander.

🔍 La Méthode : La "Traduction Contraste" (Le jeu du "Et si... ?")

Pour découvrir la vérité, les chercheurs ont utilisé une technique appelée l'explication contrastive. Voici comment ça marche avec une analogie :

Imaginez que vous avez un chef cuisinier robot (le modèle de traduction).

1. Vous lui donnez une recette ambiguë : "Le cuisinier a goûté la soupe." (On ne sait pas si c'est un homme ou une femme).
2. Le robot prépare le plat et dit : "Le chef a goûté la soupe" (en choisissant le masculin).
3. L'expérience : Les chercheurs changent un tout petit peu la recette finale. Ils disent au robot : "Attends, imagine que le plat final doit être féminin : 'La cheffe a goûté la soupe'."
4. Ensuite, ils regardent en arrière : Quels ingrédients (mots) de la recette originale ont fait basculer le robot vers le masculin ou le féminin ?

C'est comme si on regardait les traces de pas du robot pour voir quel mot a été le plus influent.

🧠 Ce qu'ils ont découvert (Les résultats)

1. Le robot et les humains pensent souvent pareil :
   Les chercheurs ont comparé les mots que le robot a jugés importants avec les mots que des humains ont jugés importants.

   • Résultat : Il y a un grand accord ! Quand les humains disent "Ah, le mot 'secrétaire' dans cette phrase me fait penser à une femme", le robot, lui aussi, regarde ce mot. C'est une bonne nouvelle : le robot n'est pas totalement aveugle, il capte les mêmes indices que nous.

2. Mais le robot a un "style" différent :
   Même s'ils regardent les mêmes mots, ils ne les utilisent pas de la même manière.

   • Les humains regardent un peu partout : les noms, les adjectifs, les verbes, et même les mots un peu loin dans la phrase. C'est comme lire une histoire en entier pour comprendre le personnage.
   • Le robot, lui, est très focalisé. Il se concentre principalement sur les noms et les verbes qui sont très proches du mot à traduire. Il est un peu comme un lecteur pressé qui ne lit que les titres et les phrases clés, en oubliant parfois le contexte plus large.

3. Le problème de la "boîte noire" :
   Sans cette technique, le robot serait une "boîte noire" : on voit ce qu'il produit, mais on ne sait pas pourquoi. Grâce à cette étude, on peut ouvrir la boîte et voir : "Ah, c'est parce que le mot 'scotch maker' (fabricant de whisky) était là, que le robot a pensé à un homme."

💡 Pourquoi est-ce important ?

Cette recherche est comme un manuel de réparation pour les robots traducteurs.

• Au lieu de juste dire "Le robot est sexiste, c'est mal", on comprend pourquoi il l'est.
• On sait maintenant qu'il faut peut-être lui apprendre à regarder plus loin que les mots immédiats, comme le font les humains.
• Cela permet de créer des outils plus justes, qui ne choisissent pas le genre par défaut (souvent masculin) mais qui comprennent vraiment le contexte de la phrase.

En résumé : Les chercheurs ont utilisé une méthode de "jeu de l'inverse" pour voir quels mots poussent un robot à choisir un genre plutôt qu'un autre. Ils ont découvert que le robot et les humains partagent beaucoup de points communs, mais que le robot est un peu plus "simpliste" dans sa façon de lire les phrases. Maintenant, on sait comment l'aider à être plus juste et plus humain !

Résumé technique

1. Problématique et Contexte

Le biais de genre dans les modèles de traduction automatique neuronale (NMT) et les grands modèles de langage (LLM) est un problème persistant. La recherche précédente s'est principalement concentrée sur :

• La mesure du biais dans des scénarios non ambigus (où le genre est résolu par des pronoms ou des références claires).
• L'utilisation de données artificielles ou de jeux de données construits à la main.

Cependant, il existe un manque de compréhension concernant l'origine de ces biais dans des contextes naturels et ambigus, où le genre d'un référent cible (ex: "l'auteur", "le lecteur") n'est pas explicitement défini par la grammaire source. Les modèles doivent alors désambiguïser le genre en se basant sur des stéréotypes ou des données d'entraînement, sans indice contextuel clair.

L'objectif de cette étude est de passer de la simple mesure du biais à l'exploration de ses causes racines en utilisant l'interprétabilité (XAI). La question centrale est : quels mots sources (tokens) déclenchent le choix d'une inflexion de genre spécifique (masculin/féminin) par le modèle lors de la traduction de l'anglais (neutre) vers l'allemand ou l'espagnol (genres grammaticaux) ?

2. Méthodologie

L'étude adopte une approche exploratoire basée sur l'explication contrastive et l'attribution de saillance.

Données :

• Source : 60 phrases naturelles en anglais, ambiguës sur le plan du genre, contenant un référent cible singulier (ex: "writer", "consumer").
• Annotations Humaines : 20 annotateurs ont identifié quels mots sources influençaient leur perception du genre du référent.
• Traduction : Utilisation du modèle OPUS-MT pour traduire l'anglais vers l'allemand (DE) et l'espagnol (ES).

Procédure Expérimentale :

1. Création de Paires Contrastives : Pour chaque traduction originale (ex: Berater - masculin), une traduction contrastive manuelle est créée en inversant le genre (ex: Beraterin - féminin).
2. Attribution de Saillance (Saliency Attribution) : En utilisant le toolkit inseq, les auteurs calculent les scores de saillance (basés sur la norme du gradient) pour chaque token source. Cela mesure dans quelle mesure un mot source influence la probabilité du modèle de choisir le genre masculin par rapport au féminin (ou vice-versa).
3. Prétraitement : Les tokens cibles (le mot traduit), la ponctuation et les mots vides sont exclus. Les sous-mots sont fusionnés.
4. Analyse des Niveaux d'Attribution : Pour répondre à l'absence de seuil de score défini, quatre approches sont testées pour identifier les mots "saillants" :
   • Top X% des mots (5% à 25%).
   • Le seul mot le plus saillant.
   • Mots dépassant un score absolu (0.01 à 0.10).
   • Sous-ensemble cumulatif atteignant X% du score total par phrase.
5. Comparaison : Les mots identifiés comme saillants par le modèle sont comparés aux annotations humaines via la précision micro (recouvrement).
6. Analyse Linguistique : Étude des catégories grammaticales (POS) et des distances de dépendance syntaxique entre les mots saillants et le référent cible.

3. Résultats Clés

A. Recouvrement Modèle-Humain (RQ1 & RQ3) :

• Il existe un recouvrement élevé entre les mots que le modèle considère comme influents et ceux que les humains perçoivent comme déclencheurs de genre.
• Le meilleur résultat est obtenu avec l'Approche 4 (top 15% des scores d'attribution relatifs à la phrase), atteignant une précision micro moyenne de 0,851 (0,817 pour DE, 0,879 pour ES).
• Cela suggère que, globalement, le modèle et les humains réagissent aux mêmes indices contextuels, même dans des scénarios ambigus.

B. Analyse Linguistique des Mots Saillants (RQ2) :

• Catégories Grammaticales (POS) :
  • Le modèle est fortement influencé par les Noms (Nouns) et les Verbes, qui constituent la majorité des mots saillants.
  • Les humains, en revanche, montrent une distribution plus équilibrée, accordant une importance significative aux Noms propres, aux Adjectifs et aux Pronoms.
• Distance de Dépendance :
  • Le modèle est principalement influencé par des mots très proches du référent cible (distance de dépendance de 1 ou 2).
  • Les humains utilisent un contexte plus large, incluant des mots à des distances syntaxiques plus éloignées (3, 4, etc.).
• Cas des "Outliers" : Le modèle identifie parfois comme saillants des mots que les humains ignorent (ex: des nombres, des tokens mal reconnus comme <unk>, ou des noms propres spécifiques), suggérant une sensibilité différente aux tokens uniques.

4. Contributions Principales

1. Méthodologique : Introduction d'une approche systématique pour évaluer les niveaux d'attribution de saillance sans seuil arbitraire, en comparant plusieurs stratégies de sélection de tokens.
2. Empirique : Démonstration que les modèles NMT et les humains partagent une forte similarité dans les indices contextuels utilisés pour désambiguïser le genre, validant l'usage de l'interprétabilité pour comprendre les biais.
3. Analytique : Identification de différences structurelles : le modèle se fie davantage à la proximité syntaxique immédiate (noms/verbes), tandis que les humains intègrent un contexte plus large et des catégories grammaticales plus variées.
4. Étude de Cas : Fourniture d'une analyse linguistique détaillée sur la façon dont les modèles traitent les données ambiguës naturelles, comblant le vide laissé par les études sur des données artificielles.

5. Signification et Limites

Signification :
Cette étude démontre que l'interprétabilité est un outil puissant pour diagnostiquer les biais de genre. Le fait que le modèle réagisse aux mêmes mots que les humains suggère que le biais provient souvent de la même source (les stéréotypes présents dans les données d'entraînement qui affectent la perception humaine et l'apprentissage du modèle). Cependant, les différences dans la structure syntaxique (distance de dépendance) indiquent que le modèle ne "comprend" pas le contexte de la même manière qu'un humain, ce qui pourrait expliquer certaines erreurs de traduction.

Limites :

• Taille de l'échantillon : Le jeu de données est petit (60 phrases) en raison de la rareté des données naturelles ambiguës annotées.
• Modèle unique : L'étude se concentre sur OPUS-MT, qui n'est pas un modèle SOTA (State-of-the-Art), bien que cela permette une analyse contrôlée.
• Binarité du genre : L'analyse se limite à une opposition binaire (masculin/féminin), ne couvrant pas les genres non-binaires ou inclusifs, bien que cela soit une contrainte du modèle testé.
• Accord inter-annotateurs : L'accord entre les annotateurs humains est faible (κ = 0,364), reflétant la subjectivité inhérente à la perception du genre, ce qui complique la définition d'une "vérité terrain" absolue.

En conclusion, ce travail propose une nouvelle voie pour passer de la détection du biais à la compréhension de ses mécanismes déclencheurs, ouvrant la voie à des stratégies de mitigation plus ciblées basées sur l'interprétabilité.