Temporal Simultaneity Predicts Annotation Quality in Sentiment Corpora

Résumé technique : La simultanéité temporelle prédit la qualité de l'annotation dans les corpus de sentiments

Énoncé du problème
L'expansion rapide du traitement automatique des langues (TAL) pour les langues africaines a généré de nombreuses ressources étiquetées, pourtant ces jeux de données sont fréquemment construits par de petits pools d'annotateurs bénévoles ou étudiants travaillant sur de longues périodes. Si les environnements à ressources abondantes ont documenté que de telles conditions dégradent la qualité de l'annotation, ce phénomène reste sous-étudié dans les langues africaines à ressources limitées. Un défi central dans ce domaine réside dans le compromis entre l'échelle du jeu de données et sa qualité ; les grands corpus bruyants sont souvent moins efficaces pour l'entraînement de modèles en aval que des ensembles plus petits et soigneusement sélectionnés. Les auteurs identifient un vide critique dans la compréhension des causes spécifiques de l'érosion de la qualité au cours des campagnes d'annotation longitudinales, notamment concernant la façon dont l'accord inter-annotateurs (IAA) fluctue dans le temps et si des métriques standard comme l'IAA agrégée masquent une détérioration locale significative.

Méthodologie
Les auteurs présentent une analyse systématique d'un nouveau jeu de données de sentiments en setswana comprenant 3 565 tweets annotés par trois étudiants de premier cycle natifs. L'étude se distingue par la collecte de métadonnées granulaires, spécifiquement des horodatages UTC précis pour chaque soumission d'étiquette, permettant une analyse temporelle du processus d'annotation.

La méthodologie implique six questions de recherche (QR) ciblées investiguées à travers les journaux complets d'annotation :

1. Tendances par lots : L'IAA diminue-t-elle de manière monotone à travers les lots d'annotation ?
2. Confusion d'étiquettes : Quelles paires d'étiquettes sont le plus fréquemment confondues, et ce motif évolue-t-il au fil du temps ?
3. Comportement en pilote automatique : Les annotateurs présentent-ils une « dérive de la longueur de série » (séquences de plus en plus longues d'étiquettes identiques) indicative de fatigue ?
4. Vitesse d'annotation : Une annotation plus rapide (intervalles inter-annotation plus courts) est-elle associée à une IAA plus faible ?
5. Simultanéité temporelle : Le temps écoulé entre l'horodatage du premier et du dernier annotateur pour le même tweet prédit-il l'IAA ?
6. Complexité linguistique : Les caractéristiques au niveau du tweet (par exemple, nombre de tokens, confiance de l'identification de la langue) expliquent-elles la variation de l'IAA ?

L'étude utilise le Kappa de Randolph à marges libres ($\kappa$) comme métrique principale d'accord, adaptée aux corpus naturellement déséquilibrés. De plus, les auteurs évaluent trois encodeurs multilingues open source (mBERT, AfriBERTa, AfroXLMR-base) et des modèles propriétaires (GPT-5, Gemini) sur une tâche de classification de sentiments en trois classes pour évaluer l'utilité du jeu de données.

Principaux résultats et découvertes

• Déclin de la qualité : Bien que le $\kappa$ de Randolph agrégé soit de 0,76 (« excellent »), le $\kappa$ par lot diminue fortement, passant de 0,92 dans le lot 1 à 0,60 dans le lot 7, soit une baisse de plus de 32 points. Le déclin unique le plus significatif se produit entre le lot 4 et le lot 5.
• Confusion d'étiquettes : La source dominante de désaccord est la frontière entre les étiquettes Négatif et Neutre (1 448 cas par paires), un motif qui s'intensifie dans les lots ultérieurs. Cela reflète une ambiguïté linguistique réelle dans le discours politique en setswana plutôt qu'une simple erreur.
• Dérive en pilote automatique : Deux des trois annotateurs présentent une augmentation statistiquement significative de la longueur moyenne de série d'étiquettes identiques à mesure que la campagne progresse, particulièrement dans les lots 5 à 7. Cela suggère un passage d'un jugement délibéré à un appariement de motifs automatique.
• Simultanéité temporelle (Prédicteur principal) : L'étude identifie la simultanéité temporelle comme le prédicteur structurel dominant de l'accord. Les tweets annotés par les trois annotateurs dans un délai d'une minute atteignent $\kappa = 0,98$. En revanche, les tweets annotés à plus d'un jour d'intervalle chutent à $\kappa = 0,65$. Cet écart de 33 points est l'effet le plus important observé.
• Résultats nuls :
  • Vitesse : La vitesse d'annotation (intervalle inter-annotation) ne montre aucune association significative avec l'IAA au niveau du tweet ; les tweets d'accord et de désaccord ont des distributions d'intervalles presque identiques.
  • Caractéristiques linguistiques : Ni le rang d'identification de la langue (confiance de la détection du setswana) ni le nombre de tokens ne sont significativement corrélés à la variation de l'IAA.
• Évaluations de classification : Les modèles pré-entraînés sans affinage (fine-tuning) performent près du hasard (8,7–20,6 macro-F1). L'affinage procure des gains substantiels (29–43 points macro-F1), AfroXLMR-base atteignant 53,6. GPT-5 dans un contexte few-shot atteint les meilleures performances (62,2 macro-F1), surpassant tous les encodeurs affinés.

Signification et contributions
L'article affirme que le moteur principal de la dégradation de la qualité de l'annotation dans les campagnes à petits pools et longue durée n'est ni la difficulté des données ni la vitesse d'annotation, mais plutôt l'asynchronie temporelle et la fatigue des annotateurs.

1. Publication du jeu de données : Les auteurs publient un jeu de données de sentiments Twitter annoté manuellement en setswana (3 565 tweets) avec des horodatages complets par annotation, permettant une auditabilité reproductible de la qualité future.
2. Insight méthodologique : En caractérisant le déclin du $\kappa$ au cours d'une campagne multi-lots, l'étude identifie la simultanéité temporelle comme une variable critique, souvent négligée. Elle démontre que les métriques d'IAA agrégées peuvent masquer une détérioration sévère de la qualité dans les étapes ultérieures d'un projet.
3. Recommandations actionnables : Les résultats suggèrent que pour les tâches de TAL à ressources limitées, la qualité peut être améliorée par des interventions à faible coût : imposer des fenêtres d'annotation limitées aux lots pour minimiser les intervalles de temps entre les annotateurs et surveiller les longueurs de série pour détecter les comportements en pilote automatique. Ces stratégies ne nécessitent aucun budget supplémentaire.
4. Recadrage du désaccord : Les auteurs distinguent le « désaccord significatif » (ambiguïté réelle dans les données, telle que la frontière Négatif/Neutre) des « artefacts de processus » (fatigue et problèmes de planification). Ils soutiennent que si le premier doit être préservé comme un signal de nuance, le second doit être atténué pour éviter un bruit artificiel.

L'ouvrage conclut que les futures ressources de TAL pour les langues africaines devraient privilégier les mécanismes de planification et de surveillance qui maintiennent la simultanéité temporelle et l'engagement des annotateurs, plutôt que de supposer que des jeux de données plus grands ou des vitesses d'annotation plus rapides produisent intrinsèquement une meilleure qualité.