💬 NLP

Quantifying and Predicting Disagreement in Graded Human Ratings

Cet article examine les schémas de désaccord dans les notations humaines graduées du langage inapproprié en proposant l'Indice d'Opposition pour quantifier la divergence de perspective et en démontrant que les caractéristiques textuelles peuvent modérément prédire à la fois la variance d'annotation et la difficulté des instances présentant des opinions humaines opposées.

Auteurs originaux : Leixin Zhang, Çağrı Çöltekin

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leixin Zhang, Çağrı Çöltekin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous organisez un concours où les participants doivent évaluer à quel point une phrase spécifique est « impolie ». Vous demandez à cinq juges différents d'examiner la même phrase et de lui attribuer une note de 0 (pas du tout impolie) à 4 (extrêmement impolie).

Parfois, les cinq juges sont parfaitement d'accord. Ils lui attribuent tous un « 0 ». D'autres fois, les juges sont divisés à parts égales : deux pensent qu'il s'agit d'un « 0 », et trois pensent qu'il s'agit d'un « 4 ». C'est ce que l'article appelle le désaccord.

Les chercheurs voulaient savoir deux choses :

Peut-on examiner la phrase elle-même et deviner à quel point les juges seront en désaccord ? (Seront-ils tous d'accord, ou vont-ils se disputer ?)
Peut-on deviner si les juges auront des opinions complètement opposées ? (La moitié de la salle pensera-t-elle que c'est inoffensif, tandis que l'autre moitié pensera que c'est terrible ?)

Voici comment ils ont abordé ce problème, en utilisant des analogies simples :

1. Le Problème : Tous les désaccords ne se valent pas

Par le passé, les chercheurs traitaient tous les désaccords de la même manière. Mais cet article affirme que c'est comme traiter un léger désaccord sur le choix du dîner de la même manière qu'une vive dispute politique. Certaines phrases sont si claires que tout le monde est d'accord (faible désaccord). D'autres sont délicates, ambiguës ou dépendent de valeurs personnelles, ce qui amène les juges à diviser leurs votes (fort désaccord).

Les chercheurs se sont concentrés sur le « langage inapproprié » (comme les discours de haine ou les commentaires toxiques) car ce sont les domaines où les opinions des gens entrent le plus en conflit.

2. Le Nouvel Outil : L'« Indice d'Opposition »

Pour mesurer à quel point les juges se disputent, les chercheurs ont inventé une nouvelle règle appelée l'Indice d'Opposition.

L'Analogie : Imaginez une balançoire.
- Si tout le monde s'assoit au milieu, la balançoire est à plat. C'est le consensus (indice faible).
- Si tout le monde s'assoit d'un seul côté, elle est penchée mais stable. C'est un fort accord d'un côté (indice faible).
- Si la moitié des personnes s'assoient tout à gauche et l'autre moitié tout à droite, la balançoire est parfaitement équilibrée mais chaotique. C'est la polarisation (indice élevé).

L'« Indice d'Opposition » calcule exactement à quel point ce chaos est « équilibré ». Un score de 1 signifie que le groupe est parfaitement divisé entre deux opinions extrêmes. Un score de 0 signifie que tout le monde est sur la même longueur d'onde.

3. L'Expérience : Deviner le Chaos

Les chercheurs ont construit des modèles informatiques (IA) pour examiner une phrase avant que des humains ne l'évaluent et pour essayer de prédire :

La Variance : À quel point les notes seront-elles dispersées ? (Seront-elles toutes proches les unes des autres, ou éparpillées ?)
L'Opposition : Les notes seront-elles divisées en deux camps opposés ?

Ils ont essayé deux méthodes principales pour enseigner à l'IA :

Méthode A (Directe) : Dire à l'IA : « Devine simplement le nombre qui représente le désaccord. »
Méthode B (Distribution) : Dire à l'IA : « Devine la répartition complète du nombre de personnes qui choisiront 0, combien choisiront 1, etc., puis calcule le désaccord à partir de cela. »

4. Ce qu'ils ont découvert

L'IA est correcte pour deviner la « dispersion », mais pas parfaite. Les modèles informatiques pouvaient prédire le niveau de désaccord avec un taux de réussite « modéré ». C'est comme une prévision météorologique qui dit « il y a une chance de pluie » plutôt que « il va pleuvoir certainement ».
La Méthode B était légèrement meilleure. Il était plus utile d'enseigner à l'IA de prédire l'ensemble du tableau (la distribution des votes) plutôt que simplement le chiffre final du désaccord. En comprenant la forme des votes, l'IA a mieux appris la structure du désaccord.
L'IA peine avec les disputes extrêmes. Les modèles étaient bons pour repérer quand les gens étaient d'accord ou en désaccord modéré. Cependant, lorsque les juges étaient extrêmement polarisés (la balançoire était parfaitement équilibrée avec des personnes aux extrémités opposées), l'IA avait tendance à la sous-estimer. Elle prédisait une dispute « moyenne » alors qu'il s'agissait en réalité d'une dispute « énorme ».

5. Pourquoi cela arrive-t-il ?

L'article suggère plusieurs raisons pour lesquelles l'IA ne peut pas prédire parfaitement ces disputes extrêmes :

Événements rares : Il n'y avait tout simplement pas assez d'exemples de polarisation extrême dans les données d'entraînement pour que l'IA apprenne le motif.
Facteurs cachés : Parfois, le désaccord ne concerne pas les mots à l'écran. Il concerne la vie personnelle du juge, ses opinions politiques ou sa culture. L'IA ne peut lire que le texte, pas le cœur du juge.
Bruit : Si un juge passe une mauvaise journée et évalue quelque chose de manière étrange, cela peut fausser les calculs, rendant l'IA confuse.

La Conclusion

L'article conclut que, même si nous ne pouvons pas prédire parfaitement les disputes humaines simplement en lisant le texte, nous pouvons obtenir une estimation décente. La conclusion la plus importante est que certaines phrases sont intrinsèquement plus difficiles à juger que d'autres.

Les chercheurs suggèrent que, à l'avenir, lorsque nous aurons besoin d'étiqueter des données (comme entraîner une IA à détecter les discours de haine), nous ne devrions pas traiter chaque phrase de la même manière. Nous devrions consacrer plus de temps et plus de juges humains aux phrases que l'IA prédit comme générant le plus de désaccord, et économiser notre temps sur les cas faciles où tout le monde est d'accord.

Résumé technique : Quantification et prédiction du désaccord dans les évaluations humaines graduées

Énoncé du problème
Les annotateurs humains présentent fréquemment des désaccords dans les tâches de traitement du langage naturel (TLN), en particulier dans des domaines socialement sensibles tels que la détection des discours de haine, du langage offensant et du contenu toxique. Bien qu'il soit admis que la variation d'annotation est inhérente, le degré de cette divergence n'est pas uniforme pour toutes les instances. Certains éléments suscitent un fort consensus, tandis que d'autres déclenchent une divergence d'opinion significative ou des positions opposées. La littérature actuelle traite souvent le désaccord comme un problème de prédiction catégorielle (par exemple, une classification binaire déterminant si un désaccord existe) ou se concentre sur des étiquettes de tâches spécifiques (par exemple, l'implication en NLI). Il manque de recherches examinant si le degré d'incertitude d'annotation et la structure complète des distributions d'annotation fines (spécifiquement les notes sur une échelle de Likert) peuvent être déduits uniquement à partir des caractéristiques textuelles au niveau de l'élément. De plus, les métriques standard pour la forme de la distribution (comme les coefficients de bimodalité) échouent souvent lorsqu'elles sont appliquées à des données d'annotation éparses (par exemple, 3 à 5 annotateurs par élément).

Méthodologie
Les auteurs examinent la prévisibilité de la variation d'annotation en utilisant trois jeux de données annotés avec des notes sur une échelle de Likert : Langage Offensant (échelle de 3 points), Discours de Haine (échelle de 3 points) et Toxicité (échelle de 5 points). L'étude se concentre sur deux objectifs principaux :

Inférence de la variance des notes : Estimer la variance non biaisée des réponses des annotateurs pour un élément donné à partir de ses caractéristiques textuelles.
Identification des opinions opposées : Détecter les cas où les annotateurs adoptent des positions véritablement conflictuelles (polarisation).

Pour répondre à ces objectifs, les auteurs proposent deux approches de prédiction :

Prédiction directe de la variance : Entraîner un modèle de régression pour prédire directement la valeur de la variance ( $\sigma^2$ ) à partir des caractéristiques de l'élément.
Prédiction basée sur la distribution : Entraîner des modèles pour prédire la distribution complète des notes sur l'échelle de Likert ( $p_i$ ) pour un élément, à partir de laquelle la variance et d'autres statistiques sont dérivées.

L'étude utilise plusieurs fonctions de perte adaptées à la nature ordinale des données de Likert, allant au-delà de l'entropie croisée catégorielle standard :

Distance de transport de masse (EMD) : Prend en compte la distance ordinale entre les catégories de notation.
EMD avec régularisation de la moyenne : Combine l'EMD avec un terme d'erreur quadratique moyenne sur la note attendue pour contraindre la tendance centrale.
Entropie croisée cumulative ordinale : Transforme le problème multi-classes en $K-1$ décisions binaires.
Divergence de Kullback–Leibler (KL) : Utilisée comme référence pour la représentation d'étiquettes douces sans considération explicite de la distance ordinale.

Pour quantifier les positions opposées, les auteurs introduisent l'Indice d'Opposition. Cette métrique divise la distribution des notes en segments bas, moyen et élevé ( $P_{low}, P_{mid}, P_{high}$ ). L'indice est défini comme $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$ . Il varie de 0 (consensus/unimodal) à 1 (polarisation maximale, où la moitié des annotateurs choisit la note la plus basse et l'autre moitié la plus haute).

Contributions clés

Indice d'Opposition : Une nouvelle métrique conçue pour quantifier l'opposition de perspectives dans des contextes d'annotation épars où les tests de bimodalité traditionnels sont instables.
Modélisation distributionnelle : Une démonstration que la prédiction de la distribution complète de Likert (en utilisant des fonctions de perte conscientes de l'ordre) est une alternative viable à la régression directe de la variance, récupérant souvent la structure de la variation d'annotation de manière plus robuste.
Analyse empirique de la polarisation : Une investigation détaillée de la prévisibilité des éléments à forte opposition, révélant des défis spécifiques dans la modélisation de la polarisation extrême.

Résultats

Prédiction de la variance : Il existe une corrélation positive modérée ( $r$ $r$ de Spearman $\approx 0,3$ $\approx 0, 3$ à $0,45$) entre la variance d'annotation estimée et observée sur tous les jeux de données.
- Performance : La régression directe de la variance et la prédiction basée sur la distribution (spécifiquement utilisant EMD+MSE) atteignent des performances comparables. EMD+MSE surpasse constamment l'EMD standard et les modèles KL-doux.
- Limites : Les modèles ont tendance à sous-estimer les éléments à forte variance et prévoient rarement des valeurs de variance exactement égales à 0, concentrant souvent les prédictions dans une plage intermédiaire.
Prédiction des positions opposées : Les modèles distinguent avec succès les éléments sans opposition de ceux avec une opposition modérée. Cependant, ils éprouvent des difficultés avec la polarisation extrême.
- Sous-estimation : Les éléments avec de fortes valeurs réelles d'Indice d'Opposition (approchant 1) sont fréquemment sous-estimés par les modèles, les scores prédits plafonnant souvent dans une plage intermédiaire (environ 0,4).
- Causes : Cette sous-estimation est attribuée à la rareté des exemples hautement polarisés dans les données d'entraînement, à la sensibilité de l'indice au bruit d'annotation, et au fait que l'opposition extrême peut provenir de facteurs (idéologie, expérience personnelle) non déductibles du seul texte.
Détection du désaccord : Les modèles obtiennent de solides performances (F1 > 0,6) pour détecter la présence de toute variation d'annotation, bien que les performances varient légèrement selon le jeu de données et la fonction de perte.

Signification et affirmations
L'article affirme que les schémas d'annotation au niveau de l'élément, spécifiquement la variance et l'opposition de position, peuvent être partiellement déduits des caractéristiques textuelles, bien qu'avec une corrélation modérée. Les auteurs positionnent leur travail comme une étape vers la caractérisation des structures de la variation d'annotation humaine.

La signification principale réside dans l'optimisation pratique du flux de travail d'annotation. En identifiant les éléments susceptibles de susciter une divergence d'opinion substantielle, les chercheurs peuvent allouer les ressources plus efficacement : attribuer plus d'annotateurs aux cas controversés ou à divergence de perspectives pour capturer des points de vue latents, tout en réduisant l'effort sur les éléments présentant un fort consensus. L'étude met également en lumière les limites des modèles actuels à capturer la polarisation extrême, suggérant que les caractéristiques purement textuelles peuvent être insuffisantes pour modéliser pleinement le jugement humain dans des domaines socialement complexes. Les auteurs restent modestes, notant que les modèles d'incorporation (embeddings) peuvent ne pas capturer tous les indices linguistiques et que la nature discrète des données de Likert éparse limite la granularité des estimations distributionnelles.