Résumé technique : Offense vicariante et audit du bruit des classificateurs de discours offensants

Énoncé du problème

La détection des discours offensants est une composante critique de la modération de contenu, pourtant la définition de ce qui est « offensant » reste hautement subjective, entraînant des désaccords fréquents entre les modérateurs humains et les machines. La littérature existante a étudié la généralisabilité des systèmes de détection à travers différents jeux de données, les vulnérabilités adverses et les biais géographiques, mais manque d'évaluations exhaustives en conditions réelles sur les résultats de filtrage au sein du discours politique à grande échelle. De plus, les approches actuelles ne parviennent souvent pas à rendre compte du phénomène de l'offense vicariante — la capacité d'un individu à prédire comment une personne ayant des affiliations politiques différentes percevra un contenu spécifique. Cette étude aborde la lacune dans la compréhension de l'étendue du désaccord entre les modérateurs machines et les limites des modérateurs humains pour prédire les perceptions d'offense transpartisanes.

Méthodologie

1. Audit du bruit des modérateurs machines

Les auteurs ont mené un audit du bruit à grande échelle pour mesurer la variabilité des résultats entre différents systèmes de décision, inspirés par le concept de « bruit » dans le jugement humain de Kahneman et al.

• Jeu de données : Un jeu de données massif comprenant plus de 92 millions de commentaires issus de 241 112 vidéos d'actualités sur les chaînes YouTube officielles de CNN, Fox News et MSNBC (2014–2022). Un échantillon aléatoire de 3 millions de commentaires a été utilisé pour l'audit.
• Modérateurs Machines (MM) : Neuf modèles distincts d'identification du langage offensant ont été évalués :
  • Huit modèles entraînés sur des jeux de données bien connus (AHSD, HASOC, HatEval, HateXplain, OLID, TRAC, OHS, TCC) utilisant des architectures BERT-LARGE-CASED.
  • Un modèle public, Detoxify (ROBERTA-BASE), entraîné sur le jeu de données Jigsaw's Unintended Bias.
• Métrique : L'étude a quantifié l'accord par paire à l'aide du $\kappa$ de Cohen et l'accord global à l'aide du $\kappa$ de Fleiss pour déterminer la cohérence des classifications « offensant » vs « non offensant ».

2. Annotation humaine et étude sur l'offense vicariante

Pour compléter l'audit machine, les auteurs ont introduit un nouveau cadre d'annotation impliquant l'offense vicariante.

• Construction du jeu de données : Un sous-ensemble représentatif de 2 310 publications sur le web social a été créé, stratifié par désaccord des modérateurs machines (sous-ensembles facile, débattu et offensant) et par sujet (général, contrôle des armes à feu, droits reproductifs).
• Annotateurs : 753 annotateurs humains uniques recrutés via Amazon Mechanical Turk, équilibrés pour assurer la représentation de trois identités politiques : Démocrates (35 %), Républicains (35 %) et Indépendants (30 %).
• Tâches d'annotation : Pour chaque publication, les annotateurs ont répondu à deux types de questions :
  1. Offense personnelle (première personne) : « Trouvez-vous ceci offensant ? »
  2. Offense vicariante (deuxième personne) : « Pensez-vous qu'une personne ayant une identité politique différente (ex: un Républicain) trouverait ceci offensant ? »
• Base de référence LLM : L'étude a également utilisé l'API ChatGPT (GPT-3.5-turbo) pour prédire l'offense vicariante, en demandant au modèle d'agir comme un membre d'un parti politique spécifique évaluant le contenu pour un autre parti.

Contributions clés

1. Audit du bruit sans précédent : Le document présente un audit du bruit complet révélant une variabilité significative des résultats de modération entre neuf modérateurs machines différents sur des données politiques réelles.
2. Jeu de données VOICED : La publication du jeu de données VOICED (Vicarious Offense Identification Corpus for Estimating Disagreements). Il s'agit du premier jeu de données de ce type où les annotateurs étiquettent à la fois l'offense en première et en seconde personne, couvrant les Démocrates, les Républicains et les Indépendants.
3. Cadre de l'offense vicariante : L'introduction d'une nouvelle perspective sur l'offense qui dépasse la subjectivité individuelle pour analyser la capacité des groupes politiques à comprendre la sensibilité des groupes opposés.
4. Analyse de l'alignement Humain-Machine : Une analyse détaillée de l'alignement (et du désalignement) entre les modérateurs humains de diverses tendances politiques et les classificateurs machines, incluant l'utilisation des LLM comme prédicteurs vicariants.

Résultats

Désaccord des modérateurs machines

• Faible consensus : Il existe un désaccord étendu entre les modérateurs machines. Aucune paire de modèles n'a montré un accord substantiel ($\kappa \ge 0,81$). Seule une poignée présentait un accord modéré ($0,41 \le \kappa \le 0,60$).
• Bruit global : Le $\kappa$ de Fleiss global à travers les trois réseaux d'information était faible (0,27, 0,25 et 0,22), indiquant que les résultats de modération varient énormément selon le classificateur spécifique déployé.
• Contenu volatil : Près de la moitié du contenu n'a été signalé par aucun modérateur machine, tandis qu'une fraction minuscule (0,03 %) l'a été par tous. Une partie importante (10,1 %) tombait dans une « zone de dispute » où exactement la moitié des modèles signalait le contenu, rendant les résultats de modération hautement volatiles.

Désaccord des modérateurs humains et offense vicariante

• Accord en première personne : L'accord humain-humain était généralement plus élevé que l'accord humain-machine, bien qu'il ne soit que modéré (ex: $\kappa = 0,43$ entre les Indépendants et les Démocrates). Les Démocrates et les Indépendants étaient les plus alignés.
• Échec de la prédiction vicariante : Les modérateurs humains avaient du mal à prédire avec précision comment les groupes politiques opposés percevraient l'offense.
  • Les Républicains étaient les moins bons prédicteurs de l'offense vicariante pour les Démocrates et les Indépendants.
  • Les Démocrates et les Indépendants pouvaient prédire l'offense l'un de l'autre raisonnablement bien, mais peinaient à prédire ce que les Républicains trouveraient offensant.
  • Le « piège de la cohérence » : Un groupe de modérateurs composé uniquement de Démocrates et d'Indépendants pourrait présenter une haute cohérence dans la prédiction de ce que les Républicains trouvent offensant, pourtant cette prédiction peut être fondamentalement erronée concernant ce que les Républicains trouvent réellement offensant.

Alignement Humain vs Machine

• Alignement politique : Tous les groupes politiques présentaient un accord comparable avec les machines sur ce qui est offensant, mais les Républicains s'alignaient légèrement plus avec les machines sur ce qui n'est pas offensant.
• Nuance contextuelle : Les humains ont démontré une capacité à détecter l'offense basée sur le contexte et les cibles (ex: commentaires désobligeants sur Caitlyn Jenner) que les modérateurs machines ont manquée. Inversement, les humains ont parfois signalé du contenu comme offensant en se basant sur un désaccord politique plutôt que sur la toxicité, là où les machines s'appuyaient souvent sur la vulgarité.
• Sujets sensibles : Le désaccord s'est aggravé de manière significative sur des sujets sensibles comme le contrôle des armes à feu et les droits reproductifs. Sur ces sujets, l'accord machine-humain a chuté substantiellement, et certaines paires de modérateurs ont obtenu des valeurs de $\kappa$ de Cohen négatives, indiquant un désaccord systématique.

Performance des LLM

• L'API ChatGPT (GPT-3.5) utilisée comme prédicteur vicariant a montré des modèles d'accord similaires à ceux des modérateurs machines plutôt qu'à ceux de la majorité humaine. Elle était moins en accord avec les modérateurs humains et davantage avec la majorité des machines, soulignant la difficulté des LLM à modéliser la nuance de la subjectivité politique humaine.

Signification et affirmations

Le document affirme briser de nouveaux terrains en quantifiant le « bruit » de la modération de contenu à une échelle sans précédent et en introduisant le concept d'offense vicariante. Les auteurs soutiennent que :

1. La subjectivité est fondamentale : Dans un discours politique hautement polarisé, il peut pratiquement n'y avoir aucun accord entre les groupes d'annotateurs, menant à des « faits alternatifs » concernant ce qui constitue un contenu offensant.
2. Limites des systèmes actuels : Les modérateurs machines actuels et même les grands modèles de langage échouent à prédire comment différents groupes politiques perçoivent l'offense, suggérant qu'un étiquetage unique de « référence » est souvent insuffisant ou trompeur.
3. Démocratie et confiance : L'étude souligne l'érosion de la confiance en la démocratie, notant que différents groupes politiques ont des vues divergentes sur l'équité des élections et la tolérance envers le discours offensant, ce qui complique le rôle des plateformes de médias sociaux dans la modération du discours.

Les auteurs positionnent leur travail comme étant principalement descriptif, visant à « boucler la boucle » sur la compréhension des défis de la modération de contenu offensant, tant du point de vue des machines que des humains, et à fournir une ressource (VOICED) pour développer des systèmes de modélisation plus robustes et multi-perspectives. Ils déclarent explicitement que leurs conclusions suggèrent que la modération de contenu est un sujet nuancé où les niveaux de tolérance varient selon l'enjeu et l'identité politique, et que les systèmes actuels sont mal équipés pour gérer cette complexité sans supervision humaine ou modélisation plus sophistiquée de la subjectivité politique.