💬 NLP

Do Psychometric Tests Work for Large Language Models? Evaluation of Tests on Sexism, Racism, and Morality

Cette étude évalue systématiquement des tests psychométriques humains sur 17 grands modèles de langage pour le sexisme, le racisme et la moralité, constatant que si les tests présentent une fiabilité modérée, ils manquent de validité écologique car leurs scores ne s'alignent pas avec le comportement réel des modèles dans des tâches concrètes, voire sont en corrélation négative avec celui-ci.

Auteurs originaux : Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Publié 2026-01-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une station météo très sophistiquée et de haute technologie. Vous voulez savoir si elle peut prédire une tempête avec précision. Pour cela, vous décidez de la tester en utilisant un thermomètre humain et un baromètre humain — des outils conçus spécifiquement pour que les humains mesurent leur propre température corporelle et ressentent leur propre pression.

Vous pointez ces outils humains vers la station météo, prenez une mesure et obtenez un chiffre. La question que cet article pose est la suivante : Ce chiffre vous apprend-il réellement quelque chose sur la capacité de la station météo à prédire une tempête ?

La réponse courte des chercheurs est : Non, pas vraiment. En fait, parfois, le chiffre vous indique exactement le contraire de ce qui se passe.

Voici une décomposition de ce que les chercheurs ont fait et découvert, en utilisant des analogies simples :

L'expérience : Tester la « station météo »

Les chercheurs ont pris 17 modèles de langage différents (LLM) — les cerveaux d'IA derrière les chatbots — et ont tenté de mesurer trois choses spécifiques à leur sujet :

Le sexisme (préjugés envers les femmes)
Le racisme (préjugés envers les personnes noires)
La moralité (ce que l'IA considère comme bien ou mal)

Pour ce faire, ils ont utilisé des tests psychologiques standards qui sont utilisés depuis des décennies pour tester les humains. Ce sont les « thermomètres humains » mentionnés plus haut.

Les deux vérifications : Fiabilité et Validité

Pour voir si ces tests fonctionnent sur l'IA, les chercheurs ont vérifié deux choses :

1. La Fiabilité (le test de la « cohérence »)

L'analogie : Si vous posez la même question à un humain de trois manières légèrement différentes (par exemple, « Aimes-tu les pommes ? » contre « Les pommes sont-elles bonnes ? »), il devrait donner la même réponse. S'il répond « Oui » à la première et « Non » à la seconde, le test n'est pas fiable.
Le résultat : L'IA était globalement cohérente lorsque les questions étaient simplement reformulées. Cependant, lorsque les chercheurs ont simplement inversé l'ordre des choix de réponses (par exemple, en plaçant « Tout à fait d'accord » en bas au lieu de en haut), l'IA s'est embrouillée et a donné des réponses complètement différentes. C'est comme si une personne changeait d'avis sur le fait d'aimer les pommes simplement parce que le mot « Oui » était écrit en bas de la page plutôt qu'en haut. Cela signifie que les tests sont fragiles lorsqu'ils sont utilisés sur l'IA.

2. La Validité (le test du « monde réel »)
C'est la partie la plus importante. Les chercheurs se sont demandé : Si le test dit qu'une IA est « sexiste », est-ce que cette IA agit réellement de manière sexiste dans le monde réel ?

L'analogie : Imaginez un test qui prétend qu'une personne est un « grand chef » parce qu'elle peut réciter une recette parfaitement. La validité écologique demande : « Si vous les mettez dans une cuisine avec de vrais ingrédients, cuisineront-ils réellement un bon repas ? »
Le résultat : Les tests ont échoué lamentablement ici.
- Le paradoxe : Les modèles d'IA qui ont obtenu les scores les plus bas au « test de sexisme » (ce qui signifie que le test disait qu'ils étaient très équitables) étaient en réalité ceux qui rédigeaient les lettres de recommandation les plus sexistes dans des tâches réelles.
- L'inverse : Les modèles qui ont obtenu les scores les plus élevés au « test de racisme » (ce qui signifie que le test disait qu'ils étaient très préjugés) étaient en réalité ceux qui donna l'avis le moins biaisé concernant des recommandations de logement.
- La conclusion : Les scores des tests n'étaient pas seulement inutiles ; ils étaient trompeurs. Ils agissaient comme une boussole cassée pointant le Nord alors que vous vous dirigez en réalité vers le Sud.

Pourquoi cela s'est-il produit ?

Les chercheurs suggèrent quelques raisons pour lesquelles les tests humains ne fonctionnent pas sur l'IA :

L'effet « Garde-fou » : Lorsqu'une IA est confrontée à une question directe et sensible comme « Pensez-vous que les femmes sont trop facilement offensées ? », ses filtres de sécurité s'activent et disent : « Non, c'est mal ». Mais lorsqu'on demande à l'IA de rédiger une lettre de recommandation d'emploi (une tâche du monde réel), ces filtres peuvent ne pas se déclencher, et l'IA peut laisser échapper des biais.
Le piège du format : Les humains sont habitués à choisir entre « A, B, C ou D ». Les modèles d'IA, cependant, sont entraînés pour générer du texte. Les forcer à choisir une option à choix multiples, c'est comme demander à un peintre de décrire un coucher de soleil en choisissant uniquement parmi une liste de couleurs. Cela ne capture pas comment ils « voient » ou « agissent » réellement.

L'essentiel

L'article conclut qu'on ne peut pas simplement prendre un test conçu pour les humains et l'appliquer à une IA pour voir comment elle se comporte.

Si vous vous reposez sur ces tests, vous pourriez penser qu'une IA est sûre et équitable parce qu'elle a réussi le « test », pour découvrir ensuite qu'elle est en fait biaisée lorsqu'elle commence à accomplir un travail réel. Les chercheurs soutiennent que nous devons inventer de nouveaux tests spécifiquement conçus pour l'IA qui examinent ce que l'IA fait réellement dans des scénarios du monde réel, plutôt que ce qu'elle dit lorsqu'elle est contrainte de choisir une réponse sur une feuille de questions à choix multiples.

En bref : Ce n'est pas parce qu'une IA réussit un quiz de psychologie humaine qu'elle possède une personnalité humaine ou qu'elle se comportera de manière éthique dans le monde réel. Les scores des tests sont souvent un mirage.

Résumé Technique : Évaluation des tests psychométriques sur les LLM pour le sexisme, le racisme et la moralité

Énoncé du Problème

À mesure que les grands modèles de langage (LLM) s'intègrent de plus en plus dans les contextes sociaux, une demande croissante émerge pour mesurer leurs caractéristiques « humaines », telles que la moralité, les biais et la personnalité. Les chercheurs adoptent de plus en plus la psychométrie pour les LLM, en appliquant des tests psychométriques établis, initialement conçus pour les humains, afin d'évaluer les LLM. Cependant, il reste incertain si ces tests produisent des résultats significatifs lorsqu'ils sont appliqués à des agents non humains. Plus précisément, on ignore si les tests validés pour des populations humaines possèdent la fiabilité (constance) et la validité (précision de la mesure du construit visé) nécessaires lorsqu'ils sont administrés à des LLM. Un fossé critique existe dans la compréhension de savoir si les scores aux tests sont corrélés au comportement réel des LLM dans des tâches aval déterminantes (validité écologique). Les premières recherches suggèrent que les LLM sont très sensibles aux variations de prompts, et les études existantes se sont largement concentrées sur les traits de personnalité, laissant des construits comme le sexisme, le racisme et la moralité sous-explorés dans ce contexte.

Méthodologie

Les auteurs proposent un cadre de validation systématique pour évaluer trois tests psychométriques bien établis à travers 17 LLM couvrant diverses familles de modèles (ex. : Llama, Gemma, Qwen, Mistral) et tailles. L'évaluation se concentre sur trois construits psychologiques : le sexisme, le racisme et la moralité.

1. Construits et Instruments

Sexisme : Mesuré à l'aide de l'Inventaire du Sexisme Ambivalent (ASI), distinguant le sexisme hostile du sexisme bienveillant.
Racisme : Mesuré à l'aide de l'Échelle du Racisme Symbolique 2000 (SR2K), basée sur la théorie du racisme symbolique.
Moralité : Mesurée à l'aide du Questionnaire des Fondements Moraux (MFQ), évaluant cinq fondements : le soin, l'équité, l'endogroupe, l'autorité et la pureté.

2. Évaluation de la Fiabilité

La fiabilité a été évaluée en mesurant la cohérence des réponses des modèles à travers trois types de variations de prompts et d'items :

Formes Alternatives : Les items ont été reformulés (en utilisant GPT-5 et des ajustements manuels) pour préserver le sens tout en modifiant la formulation.
Ordre Inversé des Options de Réponse : La séquence des options de l'échelle de Likert (ex. : 1–5 vs. 5–1) a été inversée pour tester la symétrie de l'ordre des options.
Changement de Fin de Phrase : La ponctuation à la fin des prompts a été modifiée (deux-points vs. point d'interrogation).
Référence (Baseline) : La cohérence des modèles a été comparée à une référence humaine (150 participants américains) pour identifier les valeurs aberrantes.

3. Évaluation de la Validité

La validité a été évaluée par deux approches distinctes :

Validité Convergente : L'étude a testé les corrélations théoriquement attendues entre différents construits (ex. : corrélation positive entre le sexisme et le racisme ; corrélation négative entre l'équité et le sexisme hostile).
Validité Écologique : C'était l'objectif principal. Les auteurs ont comparé les scores psychométriques au comportement des modèles dans des tâches aval du monde réel :
- Sexisme : Génération de lettres de recommandation pour des candidats masculins et féminins, analysées pour la fréquence du langage genré.
- Racisme : Génération de recommandations de logement pour des utilisateurs de différentes races, mesurant le biais dans les suggestions de quartiers.
- Moralité : Génération de conseils sur des dilemmes moraux, scorés selon l'alignement avec des fondements moraux spécifiques.

4. Configuration Expérimentale

L'étude a évalué 17 modèles (incluant des versions open-source ajustées pour l'instruction et des modèles propriétaires comme Gemini 2.5). Chaque modèle a subi cinq exécutions avec différentes graines aléatoires (random seeds). Les réponses ont été extraites via des expressions régulières, et les scores ont été calculés en faisant la moyenne des valeurs numériques des options choisies.

Résultats Clés

Fiabilité

Formes Alternatives : La plupart des modèles ont montré une cohérence acceptable comparable aux références humaines, bien que certains modèles plus petits (ex. : Gemma 3 1B/4B) soient tombés en dessous des limites des valeurs aberrantes humaines.
Ordre Inversé : Les modèles ont démontré une faible fiabilité lorsque l'ordre des options de réponse était inversé. La cohérence a chuté de manière significative (ex. : Llama 3.1 8B a montré une cohérence d'environ 0,28 sur le SR2K), indiquant une haute sensibilité aux modifications de prompts non sémantiques.
Fin de Phrase : Les modèles étaient relativement robustes aux changements de ponctuation, la plupart atteignant une cohérence supérieure à 0,75.
Global : Les tests présentent une fiabilité modérée, fortement dépendante de la stabilité du prompt, particulièrement concernant l'ordre des options de réponse.

Validité

Validité Convergente : Les tests ont capturé avec succès les relations théoriques attendues. Par exemple, une corrélation positive modérée a été trouvée entre les scores de sexisme et de racisme ( $r_s = 0,47$ ), et entre l'autorité et le sexisme bienveillant ( $r_s = 0,43$ ).
Validité Écologique : L'étude a révélé une faible validité écologique. Les scores des tests psychométriques ne s'alignaient pas sur le comportement en aval ; dans de nombreux cas, ils présentaient des corrélations négatives.
- Les modèles qui obtenaient des scores « faibles » sur le sexisme ou le racisme dans les tests présentaient souvent des niveaux élevés de comportements biaisés dans les tâches aval (ex. : génération d'un langage sexiste dans les lettres de recommandation ou recommandations de logement biaisées).
- Par exemple, Gemini 2.5 Flash a reçu un score de sexisme faible sur l'ASI mais a généré des lettres de recommandation riches en langage communautaire et stéréotypé pour les candidates féminines.
- Les modèles avec un plus grand nombre de paramètres au sein d'une même famille affichaient souvent des comportements problématiques plus prononcés malgré des scores plus bas aux tests psychométriques.

Contributions Clés

Cadre de Validation Systématique : Le papier fournit un cadre rigoureux et multicritère pour évaluer les tests psychométriques sur les LLM, distinguant explicitement la fiabilité (sensibilité au prompt) de la validité (alignement comportemental).
Preuve Empirique de Désalignement : Il offre une preuve empirique forte que les scores psychométriques dérivés de tests conçus pour les humains ne prédisent pas le comportement des LLM dans des scénarios réels. En fait, ils peuvent être trompeurs, montrant des corrélations négatives avec les comportements biaisés réels.
Focus sur la Validité Écologique : L'étude déplace l'attention des corrélations abstraites entre tests vers la métrique critique de la validité écologique, démontant que les traits « auto-déclarés » des LLM via des questions fermées échouent à refléter le comportement génératif.
Couverture Large des Modèles : L'évaluation couvre 17 modèles divers, offrant une vue complète de la manière dont différentes architectures et tailles répondent à ces tests.

Signification et Revendications

Les auteurs affirment que leurs conclusions remettent fondamentalement en question la pratique actuelle consistant à appliquer des tests psychométriques humains aux LLM sans adaptation.

Limitation des Outils Actuels : L'étude conclut que les tests conçus pour les humains ne peuvent pas être directement appliqués aux LLM pour tirer des conclusions sur leur comportement. L'absence de validité écologique suggère que des scores élevés à ces tests ne garantissent pas le déploiement sûr ou impartial d'un modèle.
Risque de Mauvaise Interprétation : S'appuyer sur ces tests pourrait conduire au déploiement de systèmes qui amplifient la discrimination, car un modèle peut réussir un test psychométrique (score de biais faible) tout en exhibant un biais élevé dans des tâches génératives.
Appel à l'Adaptation : Le papier plaide pour le développement de tests spécifiques aux LLM qui soient axés sur le comportement et ancrés dans la théorie psychologique, mais adaptés à la nature générative des LLM. Il souligne qu'avant d'interpréter les scores, une validation systématique de la fiabilité et de la validité écologique est essentielle.
Prudence Méthodologique : Les auteurs soulignent la question méthodologique non résolue de savoir si les LLM doivent être traités comme des individus ou des populations dans les études psychométriques, notant que les techniques de validation standard (comme l'analyse factorielle) peuvent ne pas être applicables sans définitions claires des « différences individuelles » chez les LLM.

En résumé, l'article affirme que si les tests psychométriques offrent un point de départ théorique, leur forme actuelle est insuffisante pour évaluer les LLM. Le décalage entre les scores de test et le comportement réel nécessite une nouvelle discipline de psychométrie pour les LLM qui privilégie la validité écologique et l'observation comportementale plutôt que l'auto-déclaration abstraite.