Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

Résumé technique : Les profils psychologiques apparents des grands modèles de langage sont largement un artefact de mesure

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus évalués à l'aide d'instruments psychologiques conçus pour les humains (par exemple, des inventaires de personnalité, des tâches de préférence au risque) afin de leur attribuer des profils comportementaux stables. Ces profils influencent les décisions concernant l'utilisabilité des modèles, les évaluations de sécurité et l'utilisation des LLM comme substituts de participants humains dans la recherche. Cependant, des résultats récents suggèrent que les réponses des LLM sont instables sous de légères perturbations de l'invite (prompt) et que les structures factorielles qui en découlent divergent des normes humaines. Le problème central abordé est de savoir si les profils psychologiques apparents des LLM reflètent de véritables dispositions comportementales stables (traits) ou s'ils sont des artefacts du processus de mesure lui-même, spécifiquement pilotés par des biais de réponse systématiques plutôt que par les construits que les instruments visent à mesurer.

Méthodologie
Les auteurs emploient un cadre psychométrique formel pour distinguer deux composantes de la réponse systématique : un trait latent ($\theta$) et un biais de réponse directionnel ($b$). L'étude utilise un modèle de mesure où la réponse d'un sujet à un item est une fonction du point médian de l'échelle, du trait latent, d'un biais directionnel et du bruit.

• Données : L'étude analyse 56 LLM ajustés par instruction (46 en open-source, 10 propriétaires) ainsi qu'un large échantillon de référence humain ($N=20\,993$).
• Instruments : Deux batteries complètes ont été administrées :
  1. IPIP-NEO-300 : Un inventaire de la personnalité des "Big Five" comprenant 300 items (Ouverture, Caractère consciencieux, Extraversion, Agréabilité, Névrosisme).
  2. Batterie de préférence au risque : 24 instruments couvrant des échelles d'auto-évaluation et des tâches comportementales (ex: décisions à partir de descriptions, loteries) basées sur Frey et al.
• Métrique clé : L'étude introduit et utilise l'orthogonalité de la réponse, définie comme la proportion d'items où le trait et le biais de réponse agissent dans des directions opposées (par exemple, items à codage direct vs items à codage inversé).
• Analyse :
  • Test de diagnostic : Les auteurs analysent la corrélation entre les moyennes des réponses aux items à codage direct et aux items à codage inversé. Sous le modèle de mesure, une corrélation négative indique la dominance du trait, tandis qu'une corrélation positive indique la dominance du biais de réponse.
  • Décomposition : Pour chaque modèle, les réponses sont décomposées en composantes de trait estimé ($\hat{\theta}$) et de biais ($\hat{b}$).
  • Décomposition de la variance : La proportion de la variance inter-modèles attribuée au biais par rapport au trait est calculée.
  • Analyse de l'orthogonalité : La relation entre la proportion d'items à codage inversé dans un instrument et la cohérence interne apparente (alpha de Cronbach, $\alpha$) est examinée.

Principaux résultats

1. Le biais domine la variation inter-modèles :

   • Dans les échantillons humains, la corrélation entre les moyennes des items directs et inversés est fortement négative (ex: $\rho \approx -0,82$ pour le Névrosisme), indiquant que la variation est pilotée par le trait sous-jacent.
   • Dans les LLM, cette corrélation est fortement positive (ex: $\rho \approx +0,68$ pour le Névrosisme), indiquant que la variation est pilotée par un biais de réponse directionnel (une tendance à choisir un extrême de l'échelle ou une étiquette spécifique indépendamment du contenu).
   • La décomposition de la variance révèle que 81 à 90 % de la variation inter-modèles dans les LLM est attribuable au biais de réponse, contre seulement 9 à 16 % chez les humains.

2. La capacité réduit mais n'élimine pas le biais :

   • Le biais de réponse diminue légèrement à mesure que la capacité du modèle (nombre de paramètres) augmente et est plus faible dans les modèles propriétaires par rapport aux modèles en poids ouverts (open-weight).
   • Cependant, même les modèles les plus capables présentent des niveaux de biais nettement supérieurs à la moyenne humaine. Le biais n'est pas éliminé par le passage à l'échelle ; les modèles les plus performants restent en dehors de la plage de biais humaine.

3. La fiabilité apparente est un artefact de l'orthogonalité :

   • Dans les LLM, la cohérence interne apparente (fiabilité) est presque entièrement prédite par l'orthogonalité de la réponse de l'instrument.
   • Il existe une corrélation négative quasi déterministe ($r = -0,95$) entre la proportion d'items à codage inversé et la corrélation moyenne inter-items.
   • Les instruments avec peu ou pas d'items à codage inversé présentent une fiabilité élevée (alpha de Cronbach jusqu'à 0,96), tandis que les instruments totalement orthogonaux présentent une fiabilité proche de zéro ou négative. Cela suggère qu'une haute fiabilité dans les instruments non orthogonaux reflète un biais constant, et non une expression constante du trait.

4. Instabilité du profil et "fabricabilité" :

   • Parce que le biais pilote la réponse, le profil psychologique d'un modèle change radicalement selon que les items utilisés sont à codage direct ou inversé.
   • Les profils peuvent être "fabriqués" via la sélection d'items. La différence entre les profils dérivés des items uniquement directs versus uniquement inversés est substantielle pour les LLM (la valeur absolue moyenne du biais $|\mu_b|$ varie de 0,15 à 0,99) mais minimale pour les humains ($|\mu_b| \approx 0,09$).
   • Cette instabilité est plus prononcée dans les instruments de préférence au risque que dans les inventaires de personnalité.

Signification et revendications
L'article soutient que les profils psychologiques apparents des LLM sont des artefacts des instruments utilisés pour les mesurer, et non des propriétés intrinsèques des modèles. Les auteurs affirment que :

• Les évaluations actuelles sont défectueuses : Les profils dérivés des instruments psychologiques humains standards sont largement confondus par le biais de réponse car ces instruments ne possèdent que rarement une pleine orthogonalité de réponse. Par conséquent, les coefficients de fiabilité rapportés et les scores de personnalité pour les LLM ne reflètent pas de dispositions stables.
• Une correction méthodologique est requise : Une évaluation valide des dispositions des LLM nécessite soit l'utilisation d'instruments pleinement orthogonaux (équilibre entre codage direct et inversé), soit l'application de cadres psychométriques formels qui modélisent et séparent explicitement le biais de réponse du trait.
• Implications pour la recherche : Ces conclusions remettent en question la validité de l'utilisation des LLM comme substituts de participants humains dans la recherche sans corriger ces artefacts de mesure. Elles suggèrent également que les tâches comportementales ne sont pas immunisées contre ces problèmes ; en fait, elles pourraient être plus sensibles au biais que les auto-évaluations.
• Nature du comportement des LLM : L'étude pose que le biais observé est un phénomène distinct, qui ne s'explique pas facilement par des effets de post-entraînement comme la sycophantie (qui serait unidirectionnelle) ou la désirabilité sociale (qui se manifesterait comme une variance de trait). Cela suggère que les LLM peuvent manquer de dispositions stables de type humain ou que les instruments actuels sont invalides pour eux en raison d'un manque d'incarnation ou de volition.

Les auteurs concluent que le simple emprunt de paradigmes de la psychologie humaine est insuffisant pour caractériser les LLM et appellent à des évaluations dédiées centrées sur l'orthogonalité de la réponse afin de distinguer les véritables dispositions comportementales des artefacts de mesure.