Résumé technique : La positionnalité de l'annotateur comme signal : pondération psychométrique pour la détection de l'ableisme anti-autistique

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des pipelines de prise de décision, tels que la modération de contenu, où ils risquent d'amplifier ou de supprimer les perspectives communautaires. Bien que des recherches antérieures aient identifié des biais généraux liés au handicap dans les LLM, les mécanismes spécifiques par lesquels ces modèles conceptualisent et détectent l'ableisme anti-autistique restent sous-explorés. Un défi critique dans ce domaine est la distinction insider/outsider : les termes réappropriés par la communauté autiste (par exemple, « aspie », « autie ») pour signaler la solidarité peuvent être mal classés comme ableistes par des systèmes automatisés ou des annotateurs humains dépourvus de connaissances ancrées dans la communauté. De plus, les méthodes d'évaluation standard reposant sur l'agrégation par vote majoritaire sous-pondèrent systématiquement les perspectives autistes et d'acceptation de l'autisme, traitant l'identité de l'annotateur comme du bruit plutôt que comme un signal significatif. Cela conduit à des vérités de terrain qui ne parviennent pas à capturer les nuances contextuelles de l'identité du locuteur, du langage réapproprié et de l'impact communautaire.

Méthodologie

Les auteurs proposent un cadre d'évaluation conscient des biais qui intègre une pondération psychométrique avec des évaluations contrôlées de LLM.

1. Vérité de terrain pondérée psychométriquement

Au lieu d'un simple vote majoritaire, l'étude construit une vérité de terrain en pondérant les étiquettes des annotateurs humains en fonction de leurs niveaux de biais mesurés et de leurs traits autistiques.

• Source de données : 2 120 phrases issues du jeu de données AUTALIC, étiquetées comme ableistes (1) ou non (0).
• Caractérisation des annotateurs : Les annotateurs ont complété trois instruments psychométriques :
  • SATA (Attitudes sociétales envers l'autisme) : Mesure l'acceptation explicite.
  • AQ (Quotient du spectre autistique) : Quantifie les traits autistiques.
  • IAT (Test d'association implicite) : Mesure les biais implicites envers l'autisme.
• Schéma de pondération : Un score de fiabilité composite ($R_i$) est calculé en normalisant par min-max et en moyennant les scores des trois instruments (avec l'IAT inversé afin que des valeurs plus élevées indiquent un biais plus faible). Ces scores sont normalisés par rapport à la moyenne de l'équipe pour produire un poids final ($W_i$). L'étiquette de vérité de terrain ($\hat{y}$) est la moyenne pondérée des étiquettes des annotateurs.
• Validation : Cette pondération composite a démontré produire une vérité de terrain significativement plus stricte que le vote majoritaire ($p < .001$), tandis que la pondération basée uniquement sur l'AQ ne l'a pas fait ($p = .651$).

2. Configuration d'évaluation des LLM

• Modèles : Douze LLM publiquement disponibles ont été évalués, allant de 135 M à 20 milliards de paramètres, incluant des variantes ajustées aux instructions, capables de raisonnement, orientées sécurité et non censurées.
• Conditions de prompt : Huit modèles ont été testés dans sept conditions distinctes :
  1. Zero-Shot (ZS) : Cadrage basé sur la définition.
  2. Chaîne de pensée (CoT) : Raisonnement en trois étapes (identité du locuteur, mot-clé vs méta-contexte, évaluation du préjudice).
  3. Apprentissage en contexte (ICL) : Deux sous-conditions utilisant des exemples d'annotateurs à haut AQ (proches de l'autisme) et à faible AQ (non autistes).
  4. Prompts de persona : Trois sous-conditions variant le langage identitaire (Identité-d'abord, Personne-d'abord ou neutre).
• Métriques : L'accord principal a été mesuré à l'aide du $\kappa$ de Cohen par rapport à la vérité de terrain pondérée. Les métriques secondaires comprenaient le F1, la précision, le rappel et l'exactitude.

3. Évaluation psychométrique des LLM

Pour évaluer les biais latents, les LLM ont été soumis aux instruments SATA et AQ. Pour atténuer la « réponse basée sur la reconnaissance » (où les modèles imitent des réponses socialement désirables en raison de la familiarité avec les données d'entraînement), l'étude a employé une réécriture masquée des instruments. Cela impliquait une randomisation des éléments, une variation de la formulation et l'inclusion d'éléments de remplissage et de validité (fictifs) pour obscurcir le but du questionnaire.

4. Analyse des erreurs

Une analyse d'erreurs triangulée a été menée sur 92 sorties d'LLM échantillonnées. Trois analystes ont utilisé des lentilles distinctes : (1) le contenu thématique, (2) les caractéristiques linguistiques des études sur le handicap, et (3) la structure du raisonnement.

Résultats clés

1. La construction de la vérité de terrain n'est pas neutre

• Référence plus stricte : Le $\kappa$ pondéré psychométriquement était systématiquement plus faible que le $\kappa$ non pondéré (vote majoritaire) sur 56 combinaisons modèle-condition (moyenne $\delta\kappa = -0.012$). Cela confirme que le vote majoritaire sous-représente systématiquement les perspectives autistes.
• Écarts d'alignement : Les LLM ont montré un accord significativement plus élevé avec les annotateurs « fiables » (scores de confiance élevés) qu'avec les annotateurs « proches de l'autisme », validant la nécessité du schéma de pondération composite.
• Variation des modèles : Les classificateurs orientés sécurité (LLaMA Guard 3, GPT-OSS) ont surpassé les modèles à usage général, suggérant que l'entraînement spécifique à la sécurité encode une sensibilité au préjudice lié au handicap que le prompting général ne peut pas récupérer.

2. Performance de classification

• Faible performance globale : Le $\kappa$ pondéré moyen était de 0,118 et le F1 moyen de 0,237, indiquant une performance proche du hasard sur une tâche à haut risque.
• Déséquilibre Précision-Rappel : Les modèles ont présenté une sur-classification systématique (rappel élevé, précision faible), signalant les termes réappropriés par la communauté comme étant ableistes.
• Limites du prompting :
  • CoT : Bien que la chaîne de pensée ait éliminé la « déviation de sujet » (justifier des étiquettes non ableistes en affirmant que le texte ne concerne pas l'autisme), elle n'a pas réussi à améliorer significativement le « raisonnement sur la positionnalité » (comprendre l'identité du locuteur).
  • ICL et Personas : L'apprentissage en contexte et les prompts de persona n'ont pas amélioré de manière constante la performance ; dans certains cas, ils ont déstabilisé des modèles performants.

3. Échecs du raisonnement

L'analyse des erreurs a identifié quatre modes d'échec principaux :

1. Raisonnement basé sur la forme de surface : Les modèles s'appuyaient fortement sur la correspondance de mots-clés (41 % des extraits) plutôt que sur le contexte. Ils étiquettaient fréquemment à tort des termes réappropriés (par exemple, « aspie ») comme ableistes et manquaient des cadrages basés sur le déficit dépourvus de mots-clés négatifs.
2. Aveuglement à la positionnalité : Le raisonnement explicite sur l'identité du locuteur était rare (10 % au total, 13 % sous CoT) et absent dans les conditions zero-shot.
3. Déviation de sujet : Les modèles justifiaient souvent des étiquettes non ableistes en affirmant que le texte ne concernait pas l'autisme, un comportement éliminé par le CoT mais remplacé par d'autres erreurs.
4. Hallucinations et stéréotypes : Les modèles invoquaient des stéréotypes et, dans certains cas, hallucinaient des sujets (par exemple, identifier à tort une phrase sur Autism Speaks comme de l'antisémitisme).

4. Biais latents dans les LLM

• Le masquage révèle les biais : Lorsque les indices de reconnaissance des instruments étaient masqués, les LLM ont montré une divergence significative dans leurs réponses : les scores SATA ont diminué (indiquant une acceptation plus faible) et les scores AQ ont augmenté (indiquant des traits autistiques plus élevés dans la plage clinique) par rapport aux instruments originaux.
• Interprétation : Cela suggère que les auto-évaluations standard des LLM suscitent des réponses socialement désirables qui dissimulent des attitudes latentes anti-autistiques.

Importance et affirmations

L'article prétend fournir un modèle reproductible pour une évaluation ancrée dans la communauté et consciente des biais dans la détection du langage nuisible. Ses contributions principales sont :

1. Méthodologique : Démontrer que la pondération psychométrique crée une vérité de terrain plus stricte et plus précise que le vote majoritaire pour détecter l'ableisme anti-autistique, spécifiquement en sur-pondérant les annotateurs ayant des traits autistiques élevés et un faible biais implicite.
2. Empirique : Révéler que les LLM actuels, même avec des stratégies de prompting avancées comme le CoT et les personas, échouent à raisonner au-delà des mots-clés de surface concernant l'identité du locuteur et le langage réapproprié.
3. Diagnostique : Montrer que les évaluations psychométriques masquées exposent des biais anti-autistiques latents dans les LLM qui sont cachés par les mécanismes standard d'auto-déclaration.

Les auteurs concluent que le fine-tuning spécifique à la tâche sur des données étiquetées par la communauté est une condition préalable à une performance de niveau déploiement dans ce domaine, plutôt qu'une amélioration optionnelle. Ils soulignent que les modèles actuels fonctionnent avec une précision proche du hasard sur des tâches affectant les communautés autistes, mettant en évidence le besoin urgent de cadres d'évaluation qui placent les perspectives communautaires et la positionnalité au centre.