💬 NLP

The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

Cet article introduit le cadre « Ghost Annotator », qui combine la prédiction conforme et le filtrage collaboratif pour analyser la variation des étiquettes humaines et révèle que les modèles de langage de plus grande taille affichent une confiance accrue dans les prédictions divergeant du consensus humain, exposant ainsi des biais démographiques structurels ancrés dans les données de pré-entraînement.

Auteurs originaux : Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment décider si quelque chose est « impoli » ou « nuisible » dans une conversation. Vous demandez à un groupe de 100 humains différents de lire un commentaire spécifique et de l'évaluer. Parce que les gens ont des parcours, des âges et des cultures différents, ils ne sont pas tous d'accord. Certains pensent que le commentaire est drôle ; d'autres pensent que c'est un discours de haine. Ce désaccord est appelé Variation de l'Étiquetage Humain (Human Label Variation).

Le papier présente un nouvel outil appelé « Ghost Annotator » (l'Annotateur Fantôme) pour comprendre à quel point les modèles d'IA (comme ceux qui alimentent les chatbots) comprennent ces désaccords humains et où ils se trompent.

Voici comment fonctionne le papier, expliqué à travers des analogies simples :

1. Le Problème : Le Robot contre la Foule

Habituellement, quand nous testons une IA, nous demandons : « Le robot a-t-il la "bonne" réponse ? » Mais en matière de modération de contenu, il n'y a souvent pas de réponse unique correcte. Si 50 personnes disent qu'un commentaire est « légèrement offensant » et 50 disent qu'il est « nuisible », l'IA est bloquée.

Les chercheurs voulaient savoir :

L'IA est-elle confuse lorsque les humains ne sont pas d'accord ?
L'IA possède-t-elle sa propre « personnalité » qui la fait être en accord avec certains types de personnes et ignorer les autres ?

2. L'Outil : Le « Fantôme » dans la Machine

Pour résoudre cela, l'équipe a créé un cadre utilisant une méthode statistique appelée Prédiction Conforme (Conformal Prediction). Voyez cela comme un « compteur de confiance ».

La Prédiction Fantôme (Ghost Prediction) : Imaginez que l'IA passe un examen. Habituellement, elle choisit une réponse qui correspond à ce que les humains ont choisi. Mais parfois, l'IA choisit une réponse qu'aucun humain n'a choisie. Les chercheurs appellent cela une « Prédiction Fantôme ». C'est comme si l'IA voyait un fantôme — un étiquetage qui n'existe pas dans le monde humain.
L'Annotateur Fantôme (Ghost Annotator) : C'est l'invention principale du papier. Au lieu de simplement regarder les réponses de l'IA, ils transforment le comportement de l'IA en une « empreinte digitale » (un vecteur mathématique). Ils appellent cette empreinte le Ghost Annotator. Elle représente l'« opinion » unique de l'IA comme s'il s'agissait d'un travailleur humain, même s'il s'agit d'une machine.

3. L'Expérience : Comparer les Empreintes Digitales

Les chercheurs ont pris quatre modèles d'IA différents (deux petits, deux grands, provenant de deux entreprises différentes) et les ont testés sur quatre ensembles de données de publications sur les réseaux sociaux (concernant les discours de haine, la violence et l'offensivité).

Ils ont comparé la « Empreinte Fantôme » de l'IA aux empreintes digitales de véritables annotateurs humains, en regroupant les humains par caractéristiques démographiques comme l'âge, le genre et leur origine géographique (par exemple, l'Afrique subsaharienne, l'Inde, les États-Unis).

4. Les Résultats : Ce que les Fantômes ont Révélé

Résultat A : L'« Extérieur Confiant »

L'Analogie : Imaginez un petit étudiant nerveux qui admet : « Je ne suis pas sûr de cette réponse », quand la classe est en plein débat. Maintenant, imaginez un étudiant âgé et très sûr de lui qui dit : « Je sais que la réponse est X », même quand toute la classe n'est pas d'accord.
Le Résultat : Les chercheurs ont découvert que les modèles d'IA plus grands (les étudiants confiants) étaient en fait plus confiants lorsqu'ils donnaient des réponses qu'aucun humain n'avait validées (Prédictions Fantômes). Ils étaient certains de leurs réponses « fantômes », même lorsqu'ils étaient totalement en décalage avec l'opinion humaine. Les modèles plus petits étaient moins confiants dans ces situations étranges.

Résultat B : L'Angle Mort Démographique

L'Analogie : Imaginez un groupe de juges. Si vous demandez à un juge du Groupe A d'évaluer un film, il pourrait être d'accord avec l'IA. Mais si vous demandez à un juge du Groupe B, il pourrait être en total désaccord. Le papier a trouvé que l'IA agit comme un juge qui est systématiquement « déconnecté » d'un groupe spécifique de personnes, peu importe le nombre de personnes de ce groupe présentes dans la salle.
Le Résultat : Les modèles d'IA ont montré un schéma constant de désalignement démographique. Plus précisément, la « Empreinte Fantôme » de l'IA était systématiquement la moins similaire aux annotateurs humains issus de l'Afrique subsaharienne (ASS).
Le Twist : Cela s'est produit même si le groupe ASS était en réalité le groupe de l'étude le plus important en termes de nombre d'annotateurs humains. L'IA ne les a pas ignorés parce qu'ils étaient peu nombreux ; elle les a ignorés à cause d'un biais profond.
La Cause : Les chercheurs pensent que ce biais provient des données de pré-entraînement (la quantité massive de textes que l'IA a lus avant d'apprendre la tâche spécifique). C'est comme si l'IA avait appris sa « vision du monde » à partir d'une bibliothèque qui ne contenait pas assez de livres écrits par des personnes d'Afrique subsaharienne. Ce biais est « structurel », ce qui signifie qu'il est ancré dans les fondations du modèle, et n'est pas une simple erreur lors du test spécifique.

5. Pourquoi cela compte (selon le papier)

Le papier soutient que nous ne pouvons pas simplement corriger cela en ajoutant des étiquettes humaines plus diverses aux données d'entraînement. Si la « fondation » (le pré-entraînement) de l'IA est déjà biaisée, ajouter quelques voix diverses à la fin ne corrigera pas la perspective de l'« Annotateur Fantôme ».

Le cadre de l'Annotateur Fantôme est un moyen de passer une « radiographie » à un modèle d'IA pour voir exactement quels groupes de personnes il ne parvient pas à comprendre, avant de le laisser en liberté sur Internet pour modérer le contenu.

En bref : Le papier a construit un outil pour voir la « personnalité » des modèles d'IA. Ils ont découvert que les grands modèles d'IA confiants ont souvent un « angle mort » pour certaines cultures, et que cet angle mort est si profond qu'il provient des données mêmes que l'IA a apprises pour lire.

Résumé Technique : Le Framework « Ghost Annotator »

Problématique
La recherche actuelle en traitement du langage naturel (NLP) et en modération de contenu se concentre principalement sur les mesures de performance des modèles, négligeant souvent l'estimation de l'incertitude et les nuances de la Variation Humaine des Étiquettes (HLV - Human Label Variation). La HLV fait référence à la divergence entre les annotations de différents annotateurs humains, particulièrement concernant les phénomènes subjectifs tels que les discours de haine, l'offensivité et la toxicité. Bien que des paradigmes récents préconisent de capturer ces diverses perspectives pour améliorer l'équité, des défis importants subsistent : les conclusions sur la HLV sont souvent entravées par des décalages entre les jeux de données et les schémas d'annotation, et la dépendance croissante aux grands modèles de langage (LLM) pour générer des données annotées a détourné l'attention de l'incertitude. De plus, les méthodes existantes pour évaluer les LLM en tant qu'annotateurs ne parviennent pas à distinguer la véritable HLV des erreurs d'annotation, et il a été démontré que les LLM peinent à reproduire la diversité des opinions humaines, présentant souvent des biais envers certains groupes démographiques ou un sur-signalement de contenus offensants.

Méthodologie
Les auteurs introduisent le Ghost Annotator, un framework conçu pour modéliser le comportement des LLM par rapport aux annotateurs humains en utilisant la Prédiction Conforme (Conformal Prediction). La méthodologie suit les étapes techniques suivantes :

Prédiction Conforme et Scores de Non-Conformité (NCS) : Le framework utilise la Prédiction Conforme pour générer des estimations d'incertitude calibrées. Au lieu d'un score agrégé unique, le système calcule des NCS pour les interactions individuelles modèle–annotateur–instance. Le NCS quantifie à quel point la prédiction d'un modèle est « inhabituelle » par rapport à une distribution de calibration dérivée des annotations humaines.
Métrique de Ghost Prediction : Pour dépasser les métriques traditionnelles basées sur la précision (qui reposent sur une vérité terrain agrégée), les auteurs définissent la Ghost Prediction comme la proportion d'instances où un modèle prédit une étiquette qui n'est présente dans aucune des annotations humaines pour cet élément spécifique. Cette métrique quantifie la divergence entre le modèle et l'ensemble des perspectives humaines disponibles.
Représentation des Annotateurs (Analogie de Filtrage Collaboratif) : Inspiré du filtrage collaboratif (CF) utilisé dans les systèmes de recommandation, le framework représente à la fois les annotateurs humains et les modèles sous forme de vecteurs à 3 dimensions. Ces vecteurs sont dérivés des quartiles des distributions de NCS :
- Annotateurs Humains : Représentés par la distribution des valeurs de NCS obtenues à partir de tous les éléments qu'ils ont annotés.
- Ghost Annotator (Modèle) : Représenté par la distribution des valeurs de NCS calculées spécifiquement sur les instances où la prédiction du modèle diffère de toutes les annotations humaines (Ghost Predictions).
Analyse d'Alignement : Les auteurs calculent la similitude cosinus entre le vecteur du Ghost Annotator et les vecteurs de groupes socio-démographiques spécifiques d'annotateurs. Cela permet de profiler les groupes humains avec lesquels un modèle s'aligne ou diverge.

Configuration Expérimentale
Le framework a été évalué sur quatre jeux de données de modération de contenu : Attitudes (Discours de haine), CADE (Acceptabilité), Disentangling (Offensivité) et MHS (Violence). Quatre LLM ont été testés, couvrant deux familles (Qwen et Llama) et deux échelles de taille (1,5B/1B et 7B/8B paramètres). Le jeu de données Disentangling a été spécifiquement utilisé pour l'analyse d'alignement démographique (RQ2) en raison de sa représentation équilibrée des traits socio-démographiques (genre, âge et région macro-géographique d'origine).

Résultats Clés

Incertitude et HLV (RQ1) : Il existe une cohérence entre l'incertitude du modèle et la HLV. À mesure que le désaccord entre les annotateurs humains augmente, l'incertitude du modèle (mesurée par le NCS) augmente de manière correspondante. Cependant, une découverte contre-intuitive a émergé concernant les Ghost Predictions : les modèles plus grands présentaient une confiance plus élevée (incertitude plus faible) lors de la prédiction d'étiquettes qu'aucun humain n'avait sélectionnées, comparativement aux modèles plus petits. Cela suggère que les modèles plus grands peuvent encoder des normes culturelles majoritaires plus fortes, menant à des prédictions divergentes mais très confiantes dans les zones où les perspectives minoritaires diffèrent.
Désalignement Démographique (RQ2) : Le framework Ghost Annotator a révélé un schéma de désalignement démographique robuste et constant. Indépendamment de l'architecture du modèle (Meta vs Alibaba), de l'échelle des paramètres (1B à 8B) ou du jeu de données utilisé pour profiler le modèle, les modèles divergent systématiquement des annotateurs du groupe 18-30 ans, Homme, Afrique Subsaharienne (SSA). À l'inverse, ils montrent l'alignement le plus élevé avec le groupe 30-50 ans, Femme, Océanie.
Taille du Pool d'Annotateurs : Le désalignement avec le groupe SSA a persisté malgré le fait que ce groupe soit le plus important du jeu de données Disentangling ( $n=169$ ). Cela indique que l'augmentation du nombre d'annotateurs diversifiés ne résout pas le désalignement, suggérant que le biais n'est pas le résultat d'une pénurie de données lors de la phase d'annotation.

Signification et Revendications
L'article affirme que le framework Ghost Annotator fournit une méthode statistiquement garantie (via la Prédiction Conforme) pour évaluer et positionner les LLM dans l'espace de la diversité des annotateurs humains. Sa principale importance réside dans l'identification du fait que le désalignement démographique observé est probablement un biais structurel ancré dans les corpus de pré-entraînement plutôt qu'un artefact spécifique du fine-tuning ou de l'architecture du modèle.

Les auteurs soutiennent que, puisque différentes familles et tailles de modèles convergent vers les mêmes schémas de désalignement, le biais existe en amont de l'adaptation à la tâche. Par conséquent, l'article suggère que les interventions au niveau du jeu de données (telles que l'augmentation de la diversité des annotateurs) sont insuffisantes pour résoudre ces biais sans changements correspondants dans la manière dont les modèles sont pré-entraînés ou adaptés. Le framework sert d'outil pour découvrir ces divergences structurelles avant le déploiement des modèles, offrant une voie vers une utilisation plus consciente des LLM pour la création et l'augmentation des jeux de données de modération de contenu.