Challenges in annotations by humans and LLMs: A case study of evaluative language

Résumé technique : Défis de l'annotation par les humains et les LLM : Une étude de cas sur le langage évaluatif

Énoncé du problème
L'article traite de la complexité croissante des tâches d'annotation dans les humanités numériques et les sciences sociales computationnelles, en se concentrant spécifiquement sur l'identification et la classification du langage évaluatif. Bien que les grands modèles de langage (LLM) aient montré des promesses dans les tâches de NLP non supervisées, leur capacité à égaler ou dépasser la performance humaine dans des cadres théoriques hautement subjectifs et complexes reste non vérifiée. L'étude se concentre sur la théorie de l'Appraisal (Martin & White, 2005), un modèle fonctionnel du langage évaluatif, plus précisément sur son sous-système d'Attitude (Affect, Jugement, Appréciation). Les auteurs soulignent que l'annotation manuelle de ces catégories est chronophage, sujette à un faible accord inter-annotateurs (IAA) et compliquée par la dépendance au contexte, les significations implicites et la difficulté de distinguer des catégories subtiles. Le problème de recherche central est de déterminer si les LLM rencontrent les mêmes défis que les annotateurs humains dans ces tâches complexes et s'ils peuvent servir d'outils efficaces pour résoudre de telles difficultés d'annotation.

Méthodologie
L'étude emploie une étude de cas aux méthodes mixtes utilisant un corpus de 190 transcriptions de conférences TED en anglais (le corpus EmotionalizTED) répartis sur onze domaines (ex. : Science, Politique, Médecine). La méthodologie est divisée en trois phases :

1. Annotation humaine :

   • Annotateurs : 24 étudiants en linguistique en formation (non-natifs anglophones, principalement allemands) et un chercheur senior (servant de référence/gold standard).
   • Tâche : Classification au niveau de la phrase du contenu évaluatif. Les annotateurs ont d'abord déterminé si une phrase était évaluative (binaire), puis l'ont classée dans les catégories d'Attitude : Affect, Jugement, Appréciation, Ambigu ou Incertain. Le multi-étiquetage était autorisé.
   • Évaluation : L'accord inter-annotateurs (IAA) a été mesuré via le Kappa de Cohen (pour l'évaluativité binaire) et l'alpha de Krippendorff (pour la sous-classification multi-classes). Une analyse qualitative des erreurs a été menée pour identifier les sources de désaccord.

2. Annotation automatique (LLM) :

   • Ingénierie de prompt (Prompt Engineering) : Trois variations de prompts distinctes ont été conçues et comparées en utilisant le modèle qwen3-30b-a3b-instruct-25075. Celles-ci incluaient des approches few-shot et zero-shot, avec des variations de contexte, de persona, de contraintes et l'inclusion du raisonnement par chaîne de pensée (Chain-of-Thought - CoT).
   • Sélection et ajustement du modèle : Le prompt le plus performant a été appliqué à trois LLM différents. Le modèle le plus efficace a ensuite été affiné via QLoRA pour optimiser les performances.
   • Processus : Les LLM ont suivi un processus en deux étapes : (1) classification binaire de l'évaluativité, et (2) classification multi-classes des catégories d'Attitude pour les phrases évaluatives.

3. Analyse comparative :

   • La performance du LLM affiné a été comparée à la référence (chercheur senior) et aux étudiants annotateurs.
   • L'étude a spécifiquement examiné si les LLM éprouvaient les mêmes difficultés avec des phénomènes linguistiques spécifiques (ex. : sens implicite, identification de la cible) qui causaient un faible accord parmi les humains.

Résultats clés

• Performance humaine : L'accord inter-annotateurs parmi les étudiants en linguistique était variable et souvent faible. L'accord sur la décision binaire « évaluatif vs non-évaluatif » variait de faible à modéré (Kappa $\ge$ 0,51 dans certains domaines comme le Divertissement et la Politique, mais chutant significativement en Histoire et Psychologie). L'accord sur les sous-classes d'Attitude spécifiques (Affect, Jugement, Appréciation) était encore plus bas, l'alpha de Krippendorff tombant fréquemment en dessous de 0,50 et parfois dans des valeurs négatives.
• Sources d'erreur humaine : L'analyse qualitative a révélé que les désaccords humains provenaient de :
  • La difficulté à distinguer les significations explicites et implicites.
  • La confusion concernant la « cible de l'évaluation » (ex. : si une émotion appartient au locuteur ou à un tiers mentionné).
  • Les défis posés par les phrases longues et complexes contenant des significations évaluatives imbriquées.
  • Les variations de maîtrise de l'anglais et de connaissances spécifiques au domaine.
• Performance des LLM : Le LLM affiné a atteint un score F1 de 0,77 par rapport à la référence.
  • Comparaison : Le LLM a surpassé les étudiants annotateurs et, notamment, a obtenu un meilleur accord avec le chercheur senior (référence) que ne l'ont fait les étudiants.
  • Alignement des défis : L'étude a constaté que les LLM ne luttaient pas nécessairement avec les mêmes problèmes spécifiques que les humains de la même manière ; ils ont plutôt démontré une capacité à résoudre des tâches de classification complexes de façon plus cohérente que la cohorte humaine formée mais inexpérimentée.

Contributions clés

1. Schéma d'annotation : Le papier présente un schéma d'annotation spécifique pour les catégories d'Attitude de la théorie de l'Appraisal, adapté pour l'analyse au niveau de la phrase dans le discours de vulgarisation scientifique orale.
2. Comparaison empirique : Il fournit une comparaison empirique directe entre les annotateurs humains (stagiaires et experts) et les LLM dans une tâche linguistique complexe et subjective.
3. Optimisation de prompt : L'étude démontre l'impact de la conception de prompts (incluant les stratégies CoT et few-shot) sur la performance des LLM dans l'annotation pragmatique.

Signification et affirmations
Les auteurs affirment que les LLM peuvent efficacement aider à la résolution de tâches d'annotation complexes, surpassant potentiellement la performance des linguistes en formation en termes de cohérence et d'accord avec les standards experts. Le papier suggère que si les LLM peuvent annoter avec succès des théories linguistiques complexes comme l'Appraisal grâce au prompting et au fine-tuning, cela ouvre de nouvelles voies pour la recherche en humanités numériques. Plus précisément, cela implique que des corpus largement annotés manuellement ne sont pas toujours strictement nécessaires pour classifier de larges portions de données de parole, à condition que les LLM soient correctement guidés. L'étude conclut que les LLM offrent une stratégie viable pour l'échelle des processus d'annotation dans les domaines interdisciplinaires, tout en reconnaissant la nécessité d'une validation de la performance du modèle tâche par tâche.