Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

Résumé Technique : Deux torts ne font pas un droit : Audit du biais de désirabilité sociale des annotateurs LLM pour les sciences sociales computationnelles

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus déployés comme annotateurs à faible coût dans les sciences sociales computationnelles (CSS) pour mesurer les textes politiques, les discours de haine, le sentiment et l'opinion publique. Cependant, une lacune critique subsiste dans la compréhension de savoir si les erreurs « façonnées par l'alignement » de ces modèles préservent les quantités empiriques que les chercheurs entendent rapporter. Bien que l'exactitude par instance soit souvent la métrique standard, la CSS repose sur des mesures agrégées (ex. : estimations de prévalence, comparaisons de groupes, changements temporels). L'article soutient qu'un modèle peut posséder une exactitude moyenne superficiellement acceptable tout en déformant systématiquement la distribution sous-jacente des étiquettes en raison d'un biais de réponse de désirabilité sociale (SDR). Ce biais se manifeste par une tendance à produire des réponses normativement préférables plutôt que celles fidèles à l'instance d'entrée, ce qui peut conduire à des conclusions scientifiques erronées concernant le sentiment public ou la prévalence de contenus préjudiciables.

Méthodologie
Les auteurs mènent un audit comparatif sur trois modèles open-source de 7 milliards de paramètres ajustés pour l'instruction : Zephyr-7B, Mistral-7B-Instruct-v0.3 et Qwen2.5-7B-Instruct. Ces modèles diffèrent par leurs familles de base et leurs recettes de post-entraînement (ex. : optimisation de préférence, ajustement supervisé de l'instruction).

L'évaluation couvre six tâches du benchmark TweetEval :

1. Discours de haine (Hate Speech)
2. Langage offensif (Offensive Language)
3. Détection de position (Stance Detection - Avortement)
4. Sentiment
5. Émotion
6. Ironie

L'étude teste quatre conditions de prompting pour simuler des interventions que les praticiens pourraient utiliser sans réentraînement :

1. Neutre : Instruction de tâche uniquement.
2. Cadrage de sécurité (Safety Framing) : Instructions explicites concernant la sécurité, l'équité et l'évitement des préjudices.
3. Dépersonnalisé : Présentation du modèle comme une fonction d'étiquetage déterministe plutôt que comme un assistant utile.
4. Chaîne de pensée (Chain-of-Thought - CoT) : Autorisation d'un raisonnement intermédiaire avant l'étiquette finale.

Ce design produit 72 cellules expérimentales (3 modèles × 6 tâches × 4 prompts). Les auteurs analysent la performance à l'aide de quatre métriques complémentaires :

• Macro-F1 : Performance globale de la tâche.
• Taux de faux bénins (False Benign Rate - FBR) : Le taux auquel des exemples véritablement préjudiciables sont assignés une étiquette bénigne.
• Taux de fausses alarmes (False Alarm Rate - FAR) : Le taux auquel des exemples bénins sont incorrectement étiquetés comme préjudiciables.
• Distorsion en aval (Downstream Distortion) : L'erreur absolue entre la prévalence de la classe prédite et la classe réelle (se concentrant sur « AGAINST » pour la position sur l'avortement et « HATE SPEECH » pour le discours de haine).

Contributions clés

1. Audit multi-tâches : Une évaluation systématique du comportement d'annotation sensible à l'alignement à travers le discours de haine, le langage offensif, la position, le sentiment, l'émotion et l'ironie.
2. Insuffisance de l'agrégation : Démonstration que les métriques agrégées (comme le Macro-F1 ou la prévalence totale exacte) sont insuffisantes pour le déploiement en CSS. L'article expose des cas où l'exactitude de la prévalence semble correcte uniquement parce que des erreurs conditionnelles de classes opposées (ex. : manquer de contenu préjudiciable tout en sur-signalant du contenu bénin) s'annulent accidentellement au niveau du corpus.
3. Taxonomie des échecs : Identification de trois modèles de défaillance récurrents avec des signatures diagnostiques spécifiques :
   • Biais de clémence (Leniency Bias) : FBR élevé et FAR faible (sous-comptage de contenus préjudiciables).
   • Surcorrection (Overcorrection) : FBR faible et FAR élevé (sur-comptage de contenus préjudiciables).
   • Biais de neutralité (Neutrality Bias) : Suppression de la prévalence des classes de position forte au profit de labels neutres gonflés.

Résultats clés

• Directions de défaillance divergentes : Les modèles ne faillent pas uniformément. Zephyr présente un fort biais de clémence, particulièrement sur le langage offensif (FBR = 0,729, FAR = 0,031), sous-appliquant systématiquement les étiquettes préjudiciables. À l'inverse, Mistral et Qwen présentent une surcorrection sur le discours de haine, Mistral étiquetant 60,4 % des tweets non haineux comme étant de la haine (FAR = 0,604).
• Biais de neutralité sur la position politique : Sur la tâche de position sur l'avortement, les trois modèles sous-estiment systématiquement la prévalence de la position « AGAINST » (taux réel : 67,5 %) et gonflent le label « NONE/Neutral ». Sous un prompting neutre, Zephyr estime l'opposition à seulement 27,9 %, tandis que Mistral et Qwen l'estiment à 43,9 %. Ce biais persiste à travers toutes les conditions de prompting.
• Inefficacité des interventions de prompting : Aucune intervention de prompting (Sécurité, Dépersonnalisation, CoT) ne corrige de manière cohérente ces échecs pour tous les modèles et tâches. Dans certains cas, les interventions aggravent la distorsion (ex. : le cadrage de sécurité réduit davantage le taux estimé de « AGAINST » pour Mistral).
• Annulation accidentelle : Un résultat critique concerne les résultats de Zephyr sur le discours de haine. Sous un prompting neutre, la prévalence estimée par Zeffyr (43,0 %) correspond exactement au taux réel. Cependant, il s'agit d'une « annulation accidentelle » d'un FBR élevé (0,316) et d'un FAR élevé (0,239). Un chercheur s'appuyant uniquement sur l'exactitude de la prévalence conclurait à tort que le modèle est fiable, malgré l'étiquetage erroné d'une part significative des instances individuelles.
• Impact substantiel : Les distorsions observées (allant de 14 à 40 points de pourcentage) sont suffisamment importantes pour inverser des conclusions empiriques substantielles, comme changer la caractérisation d'un jeu de données de « fortement oppositionnel » à « équilibré », ou faire apparaître un corpus comme étant presque deux fois plus toxique qu'il ne l'est réellement.

Signification et revendications
L'article soutient que pour une IA de confiance dans les sciences sociales computationnelles, la métrique de « titre » de l'exactitude moyenne est trompeuse. Le risque principal n'est pas simplement une exactitude moindre, mais une distorsion de mesure systématique qui altère l'histoire empirique rapportée par le chercheur.

Les auteurs affirment que :

1. L'alignement façonne les profils d'erreur : Les choix de post-entraînement mènent à des biais directionnels spécifiques (clémence vs surcorrection) qui diffèrent selon les modèles, signifiant qu'un chercheur changeant de modèle en cours de projet pourrait involontairement inverser sa conclusion empirique sans changer son analyse.
2. Le prompting fait partie de l'instrument : Le choix du prompt agit comme un degré de liberté caché qui peut modifier considérablement les estimations de prévalence (ex. : un écart de 16,8 points pour Mistral sur la position abortion selon le prompt).
3. Protocole de validation : Les chercheurs doivent aller au-delà du Macro-F1. Avant de passer à l'échelle un pipeline d'annotation, les praticiens doivent valider les erreurs conditionnelles de classe (FBR/FAR) et la distorsion de prévalence en aval par rapport à un échantillon de référence (gold sample).
4. Standards de rapport : Rapporter le modèle et le prompt comme faisant partie de l'instrument de mesure est une exigence de base, et non une divulgation optionnelle, car les biais directionnels de l'annotateur sont hérités par toute affirmation concernant le discours civique ou l'opinion publique dérivée des données.

L'article conclut qu'un modèle paraissant calibré sur des métriques agrégées peut néanmoins échouer fondamentalement à la validité de mesure requise pour les sciences sociales, nécessitant un passage de l'évaluation des annotateurs contre des classements génériques de classification vers une évaluation contre des cibles inférentielles en aval.