From Fallback to Frontline: When Can LLMs be Superior Annotators of Human Perspectives?

1. Problématique et Contexte

L'annotation des jugements subjectifs humains (toxicité, offense, harm) est un défi fondamental en NLP, car il n'existe pas de vérité terrain objective. Les pipelines d'annotation reposent traditionnellement sur l'agrégation de jugements humains, traités comme des proxies des perspectives de groupe. Cependant, recruter des annotateurs « en groupe » (in-group) pour chaque sous-groupe démographique cible est coûteux, lent et souvent impossible pour les populations minoritaires ou intersectionnelles.

Face à ces contraintes, les modèles de langage (LLM) sont souvent utilisés comme une solution de repli pragmatique (fallback) pour simuler des perspectives humaines. L'hypothèse dominante est que les LLM sont intrinsèquement inférieurs aux « vraies » perspectives humaines car ils manquent d'expérience vécue.

L'objectif de cet article est de remettre en cause cette présomption. Les auteurs proposent de reformuler la prise de perspective (Perspective-Taking ou PT) non pas comme une mesure d'opinion individuelle, mais comme un problème d'estimation statistique d'un jugement latent au niveau du groupe. Ils cherchent à identifier les conditions structurelles sous lesquelles les LLM peuvent surpasser les annotateurs humains, y compris les membres du groupe cible.

2. Méthodologie et Cadre Théorique

Les auteurs formalisent la prise de perspective comme l'estimation d'une moyenne de groupe latente $f^*(x, g)$, définie comme l'espérance du jugement d'un membre aléatoire d'un groupe $g$ sur un item $x$.

A. Le Modèle à Deux Lentilles (Two-Lens Model)

Pour analyser l'erreur d'estimation, ils décomposent le biais en deux composantes :

1. Lentille Large (Wide Lens - Biais de Représentation) : Mesure la qualité de la représentation interne du groupe par l'annotateur. Pour les humains, cela dépend de leur cercle social et de l'homophilie. Pour les LLM, cela dépend de la couverture des données d'entraînement.
2. Lentille Claire (Clear Lens - Biais de Traitement) : Mesure la fidélité avec laquelle la représentation interne est convertie en un jugement numérique. Pour les humains, cela implique des distorsions cognitives et des biais psychologiques. Pour les LLM, cela dépend de l'alignement, du fine-tuning et du prompting.

B. Couplage et Super-additivité

Un point clé de la théorie est le couplage entre les erreurs de représentation et de traitement.

• Chez les humains : L'identité sociale et l'homophilie créent souvent un couplage positif. Si un annotateur sous-représente un sous-groupe (Lentille Large), il a tendance à projeter ses propres normes sur ce groupe (Lentille Claire) dans la même direction, amplifiant l'erreur totale de manière super-additive ($\mu^2 = \mu_{repr}^2 + \mu_{proc}^2 + 2\mu_{repr}\mu_{proc}$).
• Chez les LLM : Les erreurs de représentation (pré-entraînement) et de traitement (post-entraînement/prompting) proviennent de mécanismes distincts, ce qui peut affaiblir ce couplage, voire le rendre négatif (annulation des erreurs).

C. Décomposition Biais-Variance-Corrélation

L'erreur quadratique moyenne (MSE) d'un estimateur agrégé est décomposée en :
$$MSE = \text{Biais}^2 + \text{Corrélation Floor} + \text{Variance Réductible}$$
Les auteurs postulent que les LLM, étant déterministes sous un même prompt, ont une variance intrinsèque très faible ($V_L \ll V_H$) et un couplage plus faible, ce qui les rend supérieurs dans les régimes à faible budget d'annotation.

D. Expérimentation

• Données : Utilisation du jeu de données de Duan et al. (2025) pour la détection de toxicité (avec des annotations directes et de prise de perspective pour des groupes binaires et non-binaires) et du jeu de données DICES pour la sécurité conversationnelle.
• Protocole : Comparaison de LLM (GPT, Qwen, Gemma, DeepSeek) et d'humains (in-group et out-group) sur la prédiction de la fraction de personnes d'un groupe qui jugeraient un contenu comme toxique.
• Évaluation : Analyse de l'erreur (MSE, biais, variance) via des techniques de bootstrapping pour simuler différents budgets d'annotation ($k=1$ à $10$).

3. Résultats Clés

A. Supériorité des LLM dans les Régimes à Faible Budget

Dans les scénarios où le budget d'annotation est faible (ex: $k=1$, un seul annotateur par item), un seul LLM surpasse systématiquement un seul annotateur humain, y compris un membre du groupe cible.

• Raison : Les annotateurs humains individuels sont très bruyants (forte variance due aux différences individuelles, à l'humeur, etc.). Les LLM sont stables et déterministes.
• Résultat : Une estimation LLM unique est souvent équivalente à l'agrégation de 3 à 5 annotations humaines directes.

B. Stabilité et Couplage

• Les humains souffrent d'une augmentation drastique de l'erreur lorsqu'ils effectuent une prise de perspective « hors-groupe » (out-group), en raison du couplage super-additif des biais.
• Les LLM, n'ayant pas d'identité sociale, maintiennent une erreur stable et faible, même lorsqu'ils estiment les perspectives de groupes qu'ils ne « vivent » pas.

C. Limites de Représentation (Hypothèse H3)

La supériorité des LLM s'effondre lorsque les groupes cibles deviennent très spécifiques, intersectionnels ou peu prévalents (ex: femmes noires non-binaires, groupes ethniques minoritaires). Dans ces cas, le biais de représentation (Lentille Large) des LLM augmente car les données d'entraînement sont rares ou stéréotypées, rendant l'expertise humaine in-group indispensable.

D. Le Paradoxe du Raisonnement (Reasoning Paradox)

Une découverte empirique surprenante : l'activation explicite du raisonnement (Chain-of-Thought ou modes de raisonnement natifs) détériore souvent la performance des LLM en prise de perspective.

• Mécanisme : Le raisonnement induit un « dérive de critère » (criterion drift). Le modèle passe d'une estimation de la distribution empirique (« Quelle fraction de ce groupe trouverait cela toxique ? ») à une classification basée sur une règle normative (« Est-ce que ce contenu est objectivement toxique selon mes règles de sécurité ? »). Cela réintroduit un biais systématique et augmente l'erreur.

4. Contributions Principales

1. Reformulation Théorique : La prise de perspective est formalisée comme un problème d'estimation statistique d'une moyenne latente, permettant une comparaison équitable entre humains et LLM basée sur la qualité de l'estimateur plutôt que sur l'authenticité de l'expérience vécue.
2. Cadre Biais-Variance-Corrélation : Introduction d'une décomposition en « Lentille Large » et « Lentille Claire » avec une hypothèse de couplage qui explique pourquoi les humains échouent systématiquement dans les tâches de prise de perspective hors-groupe.
3. Preuve Empirique de la Supériorité : Démonstration que, sous des budgets réalistes, les LLM surpassent les humains (y compris in-group) pour l'estimation agrégée, grâce à une faible variance et un couplage réduit.
4. Paradoxe du Raisonnement : Identification et explication théorique du fait que le raisonnement explicite peut nuire à l'estimation de perspectives collectives en déplaçant le modèle vers une classification normative.
5. Diagnostic de Sensibilité Différentielle : Introduction d'une métrique (DPT) pour isoler la sensibilité spécifique aux groupes, révélant que les humains restent supérieurs pour capturer les nuances subtiles entre des groupes très spécifiques et minoritaires.

5. Signification et Implications

Ce travail opère un changement de paradigme majeur dans l'utilisation des LLM pour les tâches subjectives :

• De la solution de repli à l'outil de première ligne : Les LLM ne doivent plus être vus comme un compromis bon marché en l'absence d'humains, mais comme des estimateurs statistiques supérieurs dans de nombreux régimes (groupes larges, budgets limités, tâches out-group).
• Ingénierie des pipelines d'annotation : Les auteurs proposent une approche « consciente de l'estimation ». Au lieu de collecter plus de données humaines coûteuses, les praticiens devraient optimiser les LLM en ciblant spécifiquement les termes d'erreur (choix du modèle pour le biais de représentation, prompting pour le biais de traitement, mélange de modèles pour réduire la corrélation).
• Limites éthiques et pratiques : L'article ne prône pas le remplacement total des humains. Il identifie clairement les frontières : les humains restent essentiels pour les groupes très spécifiques, les contextes nécessitant une légitimité procédurale, ou lorsque la participation des parties prenantes est l'objectif même.
• Gestion des risques : L'utilisation des LLM comme estimateurs de première ligne nécessite une validation rigoureuse par sous-groupe pour éviter de renforcer les monocultures représentatives, surtout pour les populations marginalisées.

En conclusion, l'article fournit une base théorique et empirique solide pour intégrer les LLM de manière responsable et efficace dans les pipelines d'annotation subjective, en exploitant leurs avantages structurels tout en respectant leurs limites fondamentales.