💬 NLP

Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

Cet article soutient que la pratique standard consistant à réduire le désaccord entre annotateurs en étiquettes de vote majoritaire crée une faille structurelle dans la détection des discours de haine en certifiant faussement des cas limites contestés comme étant la vérité de terrain, ce qui amène les modèles à manifester une grande confiance dans des erreurs que les interventions en aval ne peuvent pas corriger.

Auteurs originaux : Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Publié 2026-06-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Quand « la majorité » fait taire la minorité

Imaginez que vous essayiez de décider si une blague est drôle ou méchante. Vous demandez à un groupe de 100 personnes de voter.

51 personnes disent : « C'est juste une blague, c'est drôle. »
49 personnes disent : « C'est en fait méchant et blessant. »

Dans le monde de l'informatique et de l'IA, la règle standard est : « La majorité l'emporte. » On dit à l'ordinateur : « D'accord, 51 personnes ont dit que c'est drôle, donc c' est drôle. » L'ordinateur apprend alors que c'est la vérité absolue.

Ce papier soutient que cette règle simple est dangereuse. Elle traite un désaccord humain complexe et désordonné comme s'il s'agissait d'un fait clair. Les auteurs montrent que lorsque vous forcez un ordinateur à apprendre de ce « vote de la majorité », il échoue lamentablement sur les publications qui sont précisément celles où les gens sont le plus confus.

Le cadre : Le jeu de données « HateXplain »

Les chercheurs ont examiné un jeu de données appelé HateXplain, qui contient des publications de réseaux sociaux étiquetées par des travailleurs humains. Les travailleurs devaient choisir entre trois catégories :

Normal (inoffensif)
Offensant (impoli ou blessant, mais pas un discours de haine)
Discours de haine (dangereux, ciblant un groupe)

Les chercheurs ont constaté que les humains ont souvent du mal à faire la distinction entre Offensant et Discours de haine. C'est une ligne floue, comme décider si un coucher de soleil est « orange » ou « rouge ».

Les conclusions clés

1. Le désaccord n'est pas aléatoire ; c'est une « guerre de frontière »

Les auteurs ont découvert que près de 43 % de tous les arguments entre les travailleurs humains se déroulaient précisément sur la frontière entre « Offensant » et « Discours de haine ».

Analogie : Imaginez la frontière entre deux pays. La plupart des gens sont d'accord sur ce qui se trouve à l'intérieur du Pays A et de ce qui se trouve à l'intérieur du Pays B. Mais juste sur la ligne de frontière, les gens se disputent constamment.
La thèse du papier : Les données montrent que lorsque les humains sont en désaccord, ils ne sont pas simplement confus de manière aléatoire. Ils se battent spécifiquement pour savoir où tracer la ligne entre « impoli » et « haineux ».

2. L'effet de « silence »

Lorsque les créateurs du jeu de données ont pris les votes et choisi le vainqueur (la majorité), ils ont effectivement fait taire la minorité.

Si 2 personnes ont dit « Haine » et 1 personne a dit « Offensant », l'ordinateur apprend « Haine ».
Si 2 personnes ont dit « Offensant » et 1 personne a dit « Haine », l'ordinateur apprend « Offensant ».
Le résultat : L'ordinateur n'apprend jamais qu'il y a un débat légitime en cours. Il pense que la réponse est tranchée, même quand elle ne l'est pas.

3. L'IA est faussement confiante

Les chercheurs ont entraîné trois types différents de modèles d'IA pour voir s'ils pouvaient corriger cela :

Modèle A (Le standard) : Apprend à partir des étiquettes du « Vote de la majorité ».
Modèle B (L'apprenant doux) : Apprend à partir des pourcentages (ex : « 60 % ont dit Haine, 40 % ont dit Offensant »).
Modèle C (L'individualiste) : Essaie d'apprendre ce que chaque travailleur spécifique pense, plutôt que la moyenne du groupe.

Le résultat choquant :

Les trois modèles étaient excellents pour étiqueter les publications où les humains étaient d'accord (environ 80 % de précision).
Mais sur les publications où les humains étaient en désaccord (les cas de frontière), les trois modèles se sont effondrés, tombant à environ 55 % de précision.
Le piège de la « surconfiance » : Le modèle standard (Modèle A) n'a pas seulement fait des erreurs sur ces cas ; il les a faites avec une grande confiance. Il disait : « Je suis sûr à 71 % que ceci est un discours de haine », alors qu'il s'agissait d'un cas complexe et discutable.
Le modèle « honnête » : Le Modèle C (l'individualiste) était moins confiant (49 %) sur ces erreurs. Il était plus honnête quant à son incertitude, mais il était tout aussi inexact.

Analogie : Imaginez un présentateur météo.

Le Modèle A regarde un ciel nuageux et dit : « Il va certainement pleuvoir ! » (Haute confiance, mais se trompe).
Le Modèle C regarde le même ciel et dit : « Je ne suis pas sûr, peut-être qu'il va pleuvoir, peut-être pas. » (Faible confiance, mais ne connaît toujours pas la réponse).
Le point : Être « honnête » sur le fait de ne pas savoir n'aide pas si le système prend toujours la mauvaise décision.

Pourquoi ne pouvons-nous pas simplement réparer l'IA ?

Les chercheurs ont testé trois corrections différentes en aval (en changeant la façon dont l'IA apprend ou vote). Aucune n'a fonctionné.

L'analogie : Imaginez que vous essayez d'apprendre à un élève à dessiner un cercle parfait. Mais l'enseignant continue de lui montrer l'image d'un carré en disant : « Ceci est un cercle. »
- Vous pouvez essayer d'enseigner à l'élève avec une voix plus douce (Soft Labels).
- Vous pouvez essayer de lui montrer la perspective de chaque enseignant (Per-Annotator Heads).
- Mais cela n'a aucune importance. Si la « Vérité de terrain » (le corrigé) est fausse, l'élève n'apprendra jamais à dessiner un cercle.

Le papier conclut que le problème ne vient pas du modèle d'IA, mais de la conception de l'annotation. On ne peut pas réparer une fondation défectueuse en repeignant les murs.

La solution proposée : Changer les règles avant de commencer

Puisque réparer l'IA n'a pas fonctionné, les auteurs affirment que nous devons corriger le processus humain avant même que l'IA ne voie les données. Ils suggèrent trois changements :

Arrêter d'utiliser des étiquettes « Oui/Non » : Au lieu de forcer les travailleurs à choisir entre « Offensant » ou « Haine », donnez-leur une échelle (comme de 1 à 5). Cela reconnaît que certaines choses sont « un peu offensantes » et « un peu haineuses », plutôt que de forcer un choix binaire qui crée des disputes.
Signaler les « Cas de frontière » : Lorsque l'IA voit une publication pour laquelle elle est incertaine (faible confiance), elle ne devrait pas prendre de décision finale. Elle devrait la signaler pour une révision humaine.
Inclure les personnes concernées : Le papier soutient que les personnes dont le contenu est jugé (par exemple, des groupes culturels ou minoritaires spécifiques) devraient être celles qui effectuent l'étiquetage. Leur définition de la « haine » peut être différente de celle de la majorité. Si vous ne demandez que l'avis de la majorité, vous passerez toujours à côté de la perspective de la minorité.

Un avertissement sur la solution

Les auteurs soulignent un problème éthique majeur concernant le point n°3. Demander aux membres de communautés marginalisées d'examiner les discours de haine qui leur sont adressés peut être psychologologiquement éprouvant. Ils soutiennent que si nous faisons cela, nous devons bien les rémunérer, leur offrir un soutien psychologique et les laisser choisir de participer volontairement. Nous ne devons pas simplement rejeter le fardeau de la modération sur les personnes qui subissent ces attaques.

Résumé

Le papier soutifie que le vote de la majorité dans l'entraînement de l'IA est un piège. Il transforme des désaccords humains complexes en de faux « faits ». Cela rend les modèles d'IA faussement confiants sur les sujets les plus sensibles. La seule façon de résoudre cela n'est pas de construire une IA plus intelligente, mais de changer la façon dont les humains étiquettent les données dès le départ.

Résumé Technique : Le vote majoritaire réduit au silence les valeurs minoritaires

Énoncé du problème
Les pipelines actuels de détection des discours de haine traitent la distinction entre « discours de haine » (hate speech) et « discours offensant » (offensive speech) comme un fait objectif, agrégeant les étiquettes des travailleurs de l'annotation via un vote majoritaire pour créer une vérité de terrain unique. Cet article soutient que cette agrégation n'est pas neutre ; elle réduit systématiquement au silence les valeurs minoritaires en faisant s'effondrer les désaccords authentiques des annotateurs en une étiquette unique. Les auteurs postulent que cette « fausse certitude » est héritée par les modèles d'apprentissage automatique, menant à des modes de défaillance dangereux où les systèmes sont à la fois incorrects et hautement confiants sur des entrées culturellement contestées. Le problème central est structurel : les métriques d'évaluation standard et les interventions en aval ne parviennent pas à détecter ou à récupérer l'exactitude perdue lorsque le vote majoritaire écarte les perspectives minoritaires à la frontière entre haine et offense.

Méthodologie
L'étude utilise le jeu de données HateXplain, comprenant 20 148 publications annotées par trois travailleurs de l'annotation chacun, avec des étiquettes de type hatespeech (discours de haine), offensive (offensant) ou normal. Les auteurs définissent le « désaccord » comme toute publication où les annotateurs ne sont pas tombés d'accord à l'unanimité et les « cas limites » comme les désaccords se produisant exclusivement entre hatespeech et offensive (en excluant normal).

Pour tester l'impact de l'agrégation, les auteurs ont entraîné trois classifieurs BERT-base-uncased de sophistication croissante sur l'ensemble de test ( $n=1\,892$ ) :

Modèle A (Hard) : Entraîné sur les étiquettes de vote majoritaire standard en utilisant la perte d'entropie croisée (cross-entropy loss).
Modèle B (Soft) : Entraîné sur des étiquettes douces dérivées de la distribution brute des annotateurs (par exemple, une répartition 2-1 produit des probabilités de [0,67, 0,0, 0,33]) en utilisant la perte de divergence KL.
Modèle C (Per-Annotator) : Un encodeur partagé avec des têtes de classification distinctes pour chacun des 106 annotateurs qualifiés. Lors de l'inférence, les têtes sont combinées par l'ensemble des probabilités softmax.

Les auteurs ont utilisé des analyses statistiques (tests du Chi-deux, tests de Mann-Whitney U) pour mesurer la concentration des désaccords, les écarts d'exactitude entre les publications en accord et en désaccord, ainsi que les niveaux de confiance des modèles. Ils ont également analysé les annotations de rationalité au niveau des jetons (tokens) pour distinguer le désaccord de seuil véritable du bruit d'annotation (erreur de lecture).

Contributions clés

Concentration du désaccord : L'étude quantifie que 42,6 % de tous les désaccords des annotateurs se concentrent spécifiquement à la frontière haine/offense ( $\chi^2 = 135,199, p < 0,0001$ ). Il ne s'agit pas d'un bruit aléatoire, mais d'un schéma structurel où les annotateurs appliquent différents seuils de nocivité. Les publications offensantes présentent un taux de désaccord nettement plus élevé (67,9 %) que les publications normales (35,5 %).
L'écart d'exactitude : Un écart d'exactitude persistant existe entre les publications en accord (~~80 % d'exactitude) et les publications en désaccord (~~55–58 % d'exactitude) à travers tous les modèles ( $p < 0,0001$ ). Cet écart est occulté par les métriques d'exactitude globale standard.
Échec des interventions en aval : Trois interventions en aval de plus en plus sophistiquées (étiquettes dures, étiquettes douces et têtes par annotateur) échouent toutes à récupérer l'exactitude à la frontière. En fait, la base la plus forte (Modèle C) élargit l'écart d'exactitude de 22,2 points (Modèle A) à 28,1 points, l'exactitude des désaccords offensants s'effondrant à 0,245.
Surconfiance des étiquettes dures : Les modèles à étiquettes dures standard (Modèle A) expriment une confiance significativement plus élevée sur les erreurs de cas limites (0,710) par rapport aux modèles par annotateur (Modèle C, 0,495). Cela indique que les métriques standard ne détecteront pas la défaillance, car le modèle est « faux et certain ».

Résultats

Exactitude : Bien que le Modèle C ait atteint l'exactitude la plus élevée sur les publications en accord (0,826), il a été le moins performant sur les publications en désaccord (0,545). Aucun modèle n'a récupéré l'exactitude perdue à la frontière.
Calibration : La seule amélioration constante entre les modèles est la calibration. Le Modèle C est devenu appropriément incertain sur les entrées limites (la confiance est tombée à 0,495), tandis que le Modèle A est resté surconfiant (0,710). Cependant, cette incertitude accrue ne s'est pas traduite par des prédictions correctes.
Erreur d'annotation vs Désaccord de seuil : L'analyse des rationalités au niveau des jetons a montré que 73,1 % des paires d'étiquettes différentes mettaient en évidence des jetons substantiellement superposés (Jaccard $\ge 0,3$ ), et qu'un mode distinct existait à Jaccard = 1,0 (jetons identiques, étiquettes différentes). Cette preuve suggère que le désaccord provient de seuils différents sur des preuves partagées plutôt que d'une inattention ou d'une erreur de l'annotateur.
Alignement majoritaire : Tous les modèles sont restés fortement alignés sur la majorité (~70 % des prédictions sur les publications en désaccord correspondaient à l'étiquette majoritaire), confirmant que les interventions en aval ne récupèrent pas les perspectives minoritaires.

Signification et Revendications
L'article affirme que l'incapacité à gérer les frontières haine/offense est structurelle, et non architecturale. Le problème réside dans la conception de l'annotation où le vote majoritaire présente un jugement contesté comme une vérité de terrain. Par conséquent, les modèles héritent de cette « fausse certitude ».

Les auteurs soutiennent que les interventions en aval sont insuffisantes. Parce que l'étiquette elle-même est peu fiable sur les entrées contestées, aucune sophistication du modèle ou étiquetage doux ne peut récupérer l'exactitude perdue. L'intervention nécessaire doit être en amont, dans le processus d'annotation. L'article suggère trois changements en amont :

Remplacer les distinctions discrètes haine/offense par des échelles de nocivité graduées.
Signaler les publications à haut niveau de désaccord lors de l'inférence pour une révision humaine.
Garantir que les pools d'annotation représentent les communautés cibles dont le contenu est modéré, bien que les auteurs notent les complexités éthiques et les risques d'exposition des annotateurs marginalisés à des contenus nocifs.

L'étude conclut que l'alignement pluraliste nécessite une représentation au stade de l'annotation, et non seulement au stade du modèle, afin de prévenir la classification erronée systématique des normes linguistiques spécifiques aux communautés minoritaires.