Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures

1. Problématique

L'article aborde le problème persistant du biais de genre dans la traduction automatique (TA), en particulier avec l'avènement des modèles de langage de grande taille (LLM) basés sur une architecture décodeur-seulement (decoder-only), qui remplacent progressivement les architectures encodeur-décodeur traditionnelles.

Le défi spécifique réside dans la désambiguïsation du genre. Alors que l'anglais marque le genre principalement via des pronoms (il/elle), des langues morphologiquement riches comme l'italien ou l'allemand exigent un accord de genre explicite sur les noms, adjectifs et verbes. Lors de la traduction de l'anglais vers ces langues, le modèle doit inférer le genre à partir de contextes implicites.
Les travaux antérieurs montrent que les modèles ont tendance à ignorer les indices contextuels (pronoms) pour privilégier des stéréotypes de genre (par exemple, traduire "le cuisinier" par "la cuisinière" si le contexte suggère une femme, ou inversement, ou encore adopter systématiquement le masculin comme norme). Les métriques d'évaluation standard échouent souvent à distinguer si une traduction correcte est due à une compréhension contextuelle réelle ou simplement à une prédiction stéréotypée.

2. Méthodologie

Les auteurs étendent un cadre d'évaluation existant (basé sur le jeu de données WinoMT) pour l'adapter aux modèles décodeur-seulement et y intégrer de nouvelles mesures diagnostiques.

A. Modèles Évalués

L'étude compare trois modèles décodeur-seulement de taille identique (7 milliards de paramètres, architecture Llama-2) :

1. Llama2 : Modèle pré-entraîné généraliste (sans adaptation spécifique à la TA).
2. TowerBase : Variante de Llama2 avec un pré-entraînement continu sur des corpus monolingues et parallèles (spécialisation TA).
3. TowerInstruct : Variante de TowerBase affinée par instruction tuning (ajustement sur des tâches de traduction spécifiques).
   Ces résultats sont comparés à des systèmes encodeur-décodeur de référence (OPUS-MT, NLLB-200, mBART) issus d'études précédentes.

B. Données et Prompting

• Jeu de données : Utilisation du jeu de données WinoMT (3 888 phrases) et d'une extension nouvelle appelée Neutral Set.
  • WinoMT : Contient des paires minimales où le pronom (il/elle) détermine le genre de la profession cible.
  • Neutral Set : Version neutralisée où les pronoms de genre sont remplacés par "they/them" (neutre) et les accords grammaticaux ajustés. Cela permet de mesurer le biais intrinsèque du modèle en l'absence d'indices explicites.
• Prompting : Utilisation de prompts zero-shot adaptés à chaque modèle (format chat pour TowerInstruct, format simple pour les autres) pour isoler le comportement du modèle sans optimisation excessive du prompt.

C. Métriques d'Évaluation

Trois dimensions sont analysées :

1. Précision de Genre Standard : Pourcentage de traductions où le genre du nom traduit correspond au pronom source.
2. Précision des Paires Minimales (MPA - Minimal Pair Accuracy) : Métrique diagnostique clé. Une paire est considérée comme "correcte" uniquement si le modèle produit la bonne forme de genre dans les deux cas (quand le pronom est "il" ET quand il est "elle"). Cela force le modèle à prouver qu'il utilise l'indice contextuel et non un stéréotype.
3. Biais Antérieur (Prior Bias) : Nouvelle métrique introduite dans cet article. Elle mesure la distribution de genre (masculin vs féminin) générée par le modèle sur le Neutral Set, où aucun indice de genre n'est présent. Un biais élevé vers le masculin indique une hypothèse par défaut.

D. Analyse par Attention

Les auteurs analysent les poids d'attention self-attention des modèles pour comprendre comment les indices de genre sont intégrés dans les représentations internes, en se concentrant sur les couches intermédiaires et les têtes d'attention pertinentes.

3. Contributions Clés

1. Introduction du "Prior Bias" (Biais Antérieur) : Une mesure quantitative permettant de révéler les hypothèses de genre par défaut d'un modèle en l'absence de contexte explicite.
2. Extension du cadre d'évaluation aux modèles Décodeur-seulement : Application rigoureuse des diagnostics MPA et Prior Bias aux LLMs modernes (TowerLLM) pour la traduction.
3. Analyse comparative des étapes de post-entraînement : Distinction fine entre les effets du pré-entraînement continu (TowerBase) et de l'instruction tuning (TowerInstruct) sur la désambiguïsation de genre.
4. Corrélation entre Attention et Performance : Lien établi entre l'augmentation de l'attention portée aux indices de genre féminins et la réduction du biais masculin après instruction tuning.

4. Résultats Principaux

Performance Globale

• Les modèles décodeur-seulement ne surpassent pas systématiquement les architectures encodeur-décodeur sur les métriques spécifiques au genre, malgré leur échelle et leur statut d'état de l'art.
• Llama2 et TowerBase montrent des performances similaires, voire une légère dégradation pour TowerBase sur les cas anti-stéréotypiques.
• TowerInstruct (avec instruction tuning) montre une amélioration significative : la précision globale passe de ~48% à ~58%, et la précision féminine grimpe de 23% à 52%.

Analyse Diagnostique (MPA et Prior Bias)

• Écart MPA / Précision Standard : La MPA est nettement inférieure à la précision standard (ex: 13% pour Llama2 vs 48% de précision standard). Cela confirme que les modèles produisent souvent la forme de genre "attendue" par stéréotype, sans vraiment utiliser l'indice contextuel.
• Réduction du Biais Antérieur :
  • Llama2 et TowerBase affichent un Prior Bias masculin écrasant (~85% de formes masculines sur le Neutral Set).
  • TowerInstruct réduit ce biais significativement, générant ~25% de formes féminines sur le Neutral Set, indiquant une moindre dépendance au masculin par défaut.
• Équilibre Stéréotypique : TowerInstruct atteint une répartition quasi-parfaite (50/50) entre les professions stéréotypiquement féminines et masculines dans les paires minimales correctes, contrairement aux autres modèles biaisés vers le masculin.

Analyse par Attention

• L'attention vers les pronoms féminins est généralement plus forte que vers les pronoms masculins (probablement pour compenser leur fréquence moindre dans les données d'entraînement).
• Le passage de Llama2 à TowerBase améliore la capacité du modèle à détecter les indices (augmentation des poids d'attention), mais cela ne se traduit pas immédiatement par une meilleure sortie.
• C'est l'instruction tuning (TowerInstruct) qui permet au modèle d'exploiter efficacement ces signaux d'attention appris pour corriger son biais masculin intrinsèque.

5. Signification et Conclusion

Cette étude démontre que la simple augmentation de la taille des modèles ou le pré-entraînement continu sur des données de traduction ne suffit pas à résoudre les biais de genre. C'est l'instruction tuning qui joue un rôle crucial en :

1. Améliorant l'intégration des indices contextuels (mesurée par la MPA).
2. Réduisant le biais antérieur masculin (Prior Bias).
3. Permettant au modèle de dépasser ses associations statistiques stéréotypées.

L'article souligne que les LLMs décodeur-seulement, bien qu'état de l'art, ne sont pas intrinsèquement meilleurs pour la désambiguïsation contextuelle que les modèles encodeur-décodeurs plus anciens. Le cadre d'évaluation proposé, combinant MPA et Prior Bias, offre un outil diagnostique essentiel pour identifier les sources d'erreurs (ignorance du contexte vs biais par défaut) et guider le développement de systèmes de traduction plus équitables.

Limites mentionnées : L'étude se concentre sur un binaire de genre (masculin/féminin), excluant les identités non-binaires, et repose sur des pipelines d'évaluation automatisés qui peuvent introduire du bruit. Cependant, les conclusions qualitatives restent robustes.