Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

Résumé Technique : Apprentissage de la détection du sexisme par l'optimisation des préférences perspectivistes multi-agents

Problématique

La détection du sexisme dans le traitement du langage naturel (NLP) est intrinsèquement subjective. Les annotateurs divergent souvent sur le fait qu'un texte spécifique contient ou non du sexisme, non pas en raison d'une erreur, mais parce qu'ils perçoivent réellement le contenu différemment. Les approches standard du NLP écartent généralement ce désaccord en réduisant les multiples annotations à une seule « vérité terrain » via un vote majoritaire, traitant les opinions minoritaires comme du bruit. La recherche perspectiviste soutient cependant que ce désaccord est un signal qui doit être modélisé plutôt qu'éliminé par la moyenne. Le défi consiste à créer des systèmes capables de représenter ces diverses perspectives d'annotateurs sans imposer un consensus unique, tout en garantissant que le système reste calibré par rapport à la distribution réelle des jugements humains.

Méthodologie : MAP-PO

Les auteurs proposent le Multi-Agent Perspectivist Preference Optimization (MAP-PO), un cadre conçu pour préserver la diversité des perspectives des annotateurs grâce à un système multi-agents. La méthodologie se déroule en trois étapes principales :

1. Clustering Comportemental :
   Au lieu de regrouper les annotateurs par attributs démographiques (âge, genre, etc.), les auteurs les regroupent par comportement d'étiquetage. En utilisant le jeu de données EXIST 2024 (tweets en anglais et en espagnol), les annotateurs sont caractérisés par trois variables :

   • Taux de "YES" : La fréquence avec laquelle un annotateur étiquette un texte comme sexiste.
   • Taux d'accord : La fréquence d'accord avec la majorité des annotateurs.
   • Entropie des étiquettes : L'équilibre entre les décisions YES/NO.
     Un clustering K-means (k=3) est appliqué séparément pour chaque langue, ce qui donne trois clusters comportementaux distincts par langue.

2. Entraînement des Agents (Fine-Tuning) :
   Un agent LLM est entraîné par cluster. L'entraînement comprend deux phases :

   • Phase 1 (SFT) : Les agents subissent un ajustement fin supervisé (SFT) sur les étiquettes majoritaires de leur cluster spécifique. Pour éviter que les agents ne s'éloignent trop les uns des autres, les données d'entraînement sont mélangées avec des « exemples positifs partagés » (textes où tous les clusters sont d'accord) et des « exemples d'alignement d'équipe » (textes étiquetés selon la majorité globale des annotateurs).
   • Phase 2 (Optimisation des Préférences) : Les auteurs explorent trois objectifs d'optimisation pour affiner le comportement des agents :
     • DPO (Direct Preference Optimization) : Entraîne les agents à préférer l'étiquette de leur cluster par rapport à l'étiquette opposée sur les textes où les clusters sont en désaccord.
     • Mars-PO : Adapte le DPO pour les systèmes multi-agents en incluant des paires de préférences partagées (textes unanimes) aux côtés des paires individuelles.
     • GRPO (Group Relative Policy Optimization) : Utilise une fonction de récompense convexe combinant une récompense individuelle (correspondant à l'étiquette du cluster) et une récompense d'équipe (correspondant à la majorité globale des annotateurs). Le poids de l'équipe ($\alpha$) équilibre ces objectifs.

3. Inférence :
   Lors de l'inférence, les trois agents prédisent indépendamment. La prédiction finale de l'équipe est déterminée par un vote majoritaire entre les agents. Le système utilise également le désaccord entre agents comme un signal de confiance ; un désaccord élevé indique des textes où les annotateurs humains sont également en désaccord.

Contributions Clés

• Clustering Comportemental vs Démographique : L'article démontre que les caractéristiques comportementales (taux de YES, taux d'accord, entropie) regroupent les annotateurs plus efficacement que les attributs démographiques pour la détection du sexisme. Des tests statistiques ne montrent aucune association significative entre l'appartenance à un cluster et les données démographiques telles que le genre ou l'âge.
• Optimisation des Préférences Multi-Agents : Les auteurs adaptent le cadre Mars-PO pour affiner des agents LLM spécialisés pour une tâche où la « vérité terrain » dépend de la perspective.
• Analyse de la Conception de la Récompense : À travers une expérimentation étendue sur quatre configurations (deux langues $\times$ deux modèles de base : GPT-4.1-mini et Qwen3-8B), l'article identifie que l'entraînement des agents uniquement sur les étiquettes de leur propre cluster mène à une polarisation extrême (les agents dépassant largement les comportements qu'ils représentent). Inversement, l'introduction d'un signal d'équipe partagé (soit implicite via le mélange de données en SFT, soit explicite via les récompenses Mars-PO/GRPO) est nécessaire pour maintenir les agents calibrés sur leurs clusters respectifs tout en préservant la précision de l'équipe.

Résultats

L'évaluation couvre quatre configurations : GPT-EN, GPT-ES, Qwen-EN et Qwen-ES. Les principales conclusions incluent :

• Nécessité du Fine-Tuning : Sans ajustement fin, les agents en zero-shot se comportent de manière presque identique (proche de 100 % d'accord), échouant à capturer les diverses perspectives.
• Polarisation de l'Entraînement Individuel Pur : L'optimisation des préférences purement individuelle (par exemple, DPO sans signaux d'équipe) provoque un dépassement, les agents du Cluster 1 étiquetant presque 0 % des textes comme sexistes et les agents du Cluster 3 étiquetant presque 1% comme sexistes, indépendamment de la distribution réelle des clusters. Cela conduit à un désaccord élevé et une mauvaise calibration.
• Efficacité des Signaux d'Équipe : L'ajout d'un signal d'équipe restaure systématiquement la calibration.
  • Dans la configuration GPT-EN, le meilleur système (GRPO avec $\alpha=0.17$) atteint une Précision d'Équipe de 90,3 % et un F1 d'Équipe de 89,9, surpassant tous les modèles de référence.
  • L'approche SFT-mixé (signal d'équipe implicite) est également robuste, atteignant une haute calibration avec un minimum d'erreur.
  • Sur le modèle de base plus petit Qwen, le SFT surpasse légèrement le GRPO, suggérant un effet de capacité où l'échantillonnage par rejet dans le GRPO introduit du bruit par rapport aux étiquettes supervisées.
• Généralisation : La conclusion centrale — que l'optimisation individuelle seule polarise les agents et que les signaux d'équipe les réparent — est vérifiée à travers les deux langues et les deux modèles de base.

Signification et Revendications

L'article affirme que MAP-PO parvient à modéliser le désaccord des annotateurs comme un signal plutôt que comme un bruit. Sa principale importance réside dans la démonstration que :

1. Les perspectives sont comportementales, non démographiques : Les identités d'agents efficaces pour les tâches subjectives sont dérivées du comportement d'étiquetage, et non de personas démographiques.
2. La calibration nécessite un ancrage d'équipe : Pour empêcher les agents de dériver vers des extrêmes irréalistes, un signal d'entraînement partagé au niveau de l'équipe est essentiel. Ce signal garantit que, bien que les agents représentent des points de vue spécifiques, ils restent ancrés dans la distribution plus large du jugement humain.
3. Le désaccord est informatif : La capacité du système à produire des sorties divergentes sert d'utile signal de confiance, signalant les textes qui sont véritablement contestés et qui peuvent nécessiter une revue humaine, plutôt que de forcer un consensus potentiellement faux.

Les auteurs positionnent MAP-PO comme un outil d'assistance pour la modération de contenu, destiné à mettre en évidence les cas contestés plutôt qu'à prendre des décisions de modération autonomes, tout en reconnaissant les limites concernant l'étendue du jeu de données (EXIST 2024) et la conception spécifique en blocs des données.