Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation

Résumé technique : Qui et quoi ? Utilisation des caractéristiques linguistiques et des traits des annotateurs pour analyser la variation des annotations

Énoncé du problème
La variation des annotations humaines est un phénomène central en Traitement Automatique du Langage Naturel (TALN), en particulier dans les tâches subjectives comme la détection du langage nuisible. Les récents changements dans les pratiques de collecte de données ont évolué vers une augmentation du nombre d'annotateurs et la publication de jeux de données désagrégés afin de capturer les décisions d'étiquetage individuelles plutôt que de les agréger en une seule étiquette « or ». Bien que cela fournisse des données riches concernant qui a annoté (sociodémographie, attitudes), le quoi (propriétés linguistiques des éléments) et l'interaction entre les deux ont reçu une attention limitée. Les recherches existantes omettent souvent de prendre en compte la structure croisée des données d'annotation (où les éléments et les annotateurs sont des facteurs non imbriqués) et ignorent fréquemment les interactions entre les caractéristiques des annotateurs et les caractéristiques des éléments. Cet article comble le manque de compréhension de « qui diffère dans sa perception de quoi » en menant une analyse à grande échelle et rigoureuse de la variation des annotations sur quatre jeux de données de référence.

Méthodologie
Les auteurs analysent quatre jeux de données anglais sur le langage nuisible (CTDP, MHS, POPQUORN, D3CODE), comprenant plus de 25 000 éléments, 8 000 annotateurs et 205 000 annotations. L'étude utilise un cadre de régression multiniveau bayésien avec les composants clés suivants :

1. Structure des données : Les modèles prennent en compte la structure de données partiellement croisée en incluant des intercepts aléatoires pour les annotateurs et les éléments. Cela permet de traiter la variation systématique présente à ces deux niveaux.
2. Ingénierie des caractéristiques :
   • Caractéristiques des annotateurs : Jusqu'à 19 caractéristiques par jeu de données, incluant la sociodémographie (âge, genre, race, niveau d'éducation, etc.) et les attitudes (fondements moraux, idéologie politique, attitudes spécifiques à l'élément).
   • Caractéristiques linguistiques : Plus de 300 caractéristiques extraites à l'aide du package elfen, couvrant les aspects de surface, la lisibilité, la psycholinguistique, les parties du discours, la richesse lexicale, la morphologie, la théorie de l'information, les dépendances, la sémantique, les entités nommées et les émotions/sentiments. De plus, des signaux lexicaux spécifiques au domaine (par exemple, insultes, vulgarités) ont été extraits de plusieurs lexiques de discours haineux.
   • Interactions : Les modèles testent explicitement les interactions entre les caractéristiques des annotateurs, entre les caractéristiques linguistiques et, crucialement, entre les caractéristiques des annotateurs et celles des éléments.
3. Approche de modélisation : Une régression multiniveau bayésienne avec des priors en fer à cheval est utilisée pour gérer la haute dimensionnalité des prédicteurs (jusqu'à 5 264 effets fixes) et la multicolinéarité. Cette approche de régularisation réduit agressivement les effets faibles et incertains vers zéro, permettant d'identifier les effets « survivants » (ceux dont les intervalles de crédibilité postérieurs à 90 % ne chevauchent pas zéro).
4. Scénarios expérimentaux : L'analyse est menée dans trois scénarios réalistes :
   • Comparaison des effets entre différents jeux de données ayant des tâches liées mais des conceptualisations différentes.
   • Simulation de nouveaux annotateurs en divisant le jeu de données D3CODE pour évaluer la variation intra-groupe.
   • Simulation de nouveaux lots en divisant le jeu de données CTDP pour évaluer la stabilité inter-lots.

Résultats clés
L'analyse révèle que la variation des annotations est pilotée par des interactions complexes plutôt que par de simples effets principaux des démographies des annotateurs ou des caractéristiques des éléments seuls :

• Primauté des interactions : Les interactions entre les caractéristiques des annotateurs et les caractéristiques linguistiques sont cruciales. Par exemple, dans le jeu de données POPQUORN, l'effet des mots haineux sur les notes d'offensivité varie considérablement selon l'âge, les annotateurs plus âgés montrant une corrélation plus forte. Dans MHS, la position idéologique interagit avec l'âge pour produire des différences marquées dans les notes, en particulier aux extrémités du spectre politique.
• Indices linguistiques : Les indices lexicaux restent de puissants prédicteurs. Des caractéristiques telles que le sentiment négatif, la présence de tokens haineux/vulgaires et certaines entités nommées (par exemple, nationalités, groupes religieux) influencent systématiquement les annotations. Cependant, les indices spécifiques varient selon le jeu de données et la tâche.
• Attitudes contre démographies : Dans la simulation D3CODE, les proxies sociodémographiques (comme l'âge ou le genre) ont souvent échoué à survivre en tant qu'effets principaux, tandis que les fondements moraux (spécifiquement « soin ») et les attitudes spécifiques à l'élément (par exemple, si un annotateur pense qu'un message devrait être supprimé) étaient significatifs.
• Intersectionnalité : L'étude identifie des effets intersectionnels souvent ignorés dans les travaux antérieurs. Par exemple, l'interaction entre l'idéologie et l'âge dans MHS a révélé que les annotateurs conservateurs plus âgés notaient le contenu différemment des annotateurs libéraux plus âgés, un motif invisible lorsque l'on examine l'âge ou l'idéologie isolément.
• Spécificité des jeux de données : Les schémas d'effets varient considérablement d'un jeu de données à l'autre. Bien que le sentiment négatif ait été un survivant commun, d'autres effets étaient hautement spécifiques aux directives d'annotation du jeu de données, à la composition des éléments et au pool d'annotateurs. Cela suggère une généralisabilité limitée des résultats d'une configuration spécifique à une autre.
• Signaux fallacieux : L'analyse a mis en évidence des artefacts de données potentiels, tels qu'une interaction où des annotateurs hindous notaient les éléments avec des tokens non standard (balises X) comme moins haineux, probablement en raison de coïncidences d'échantillonnage plutôt que d'un véritable effet linguistique.

Signification et contributions
L'article apporte deux contributions principales :

1. Méthodologique : Il établit une approche rigoureuse pour l'analyse de jeux de données désagrégés à grande échelle, démontrant la nécessité d'utiliser des modèles multiniveaux avec des intercepts aléatoires et une régularisation pour gérer la structure croisée et les espaces de caractéristiques de haute dimension. Il souligne l'importance de modéliser les interactions pour démêler la variation.
2. Substantive : Il fournit la première évaluation à grande échelle du comportement d'annotation dans la détection du langage nuisible sous un angle linguistique, d'interaction annotateur-élément et intersectionnel.

Les auteurs soutiennent que répondre à la question « qui annotate quoi » est vital pour plusieurs communautés du TALN. Pour la communauté de la détection du langage nuisible, cela offre des insights sur les schémas d'effets pouvant éclairer de meilleures stratégies de collecte de données (par exemple, assurer une représentation diversifiée des annotateurs pour des types d'éléments spécifiques). Pour la communauté de la variation des annotations humaines, cela souligne la nécessité de considérer à la fois le « qui » et le « quoi » pour comprendre la variation et guider la réannotation ciblée. Enfin, pour les communautés de modélisation et de modération de contenu, les résultats mettent en garde contre le traitement de la variation des étiquettes comme un simple bruit ; au contraire, les différences systématiques dans la façon dont des groupes spécifiques perçoivent des éléments textuels spécifiques doivent être préservées pour éviter d'aplatir des perceptions nuancées et pour identifier d'éventuels facteurs de confusion fallacieux dans l'entraînement des modèles.

L'article se termine par un appel à la prudence concernant la généralisation des résultats entre différents jeux de données et tâches, en soulignant que l'annotation est un processus interactif entre des identités humaines complexes et des compositions linguistiques spécifiques.