🤖 AI

An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior: Evidence Across 25 Models

Bien qu'il démontre une haute fiabilité interne, un nouvel instrument psychométrique dérivé des affordances comportementales des LLM échoue à prédire le comportement réel des LLM, révélant un décalage critique entre les auto-évaluations des modèles et les actions observées qui pose un risque significatif pour les pipelines d'évaluation de type LLM-as-judge.

Auteurs originaux : Juan Manuel Contreras

Publié 2026-06-10✓ Author reviewed ⓘ

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juan Manuel Contreras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une pièce remplie de 25 robots différents. Vous voulez savoir ce qu'ils sont réellement à l'intérieur. Alors, vous leur faites passer un test de personnalité, tout comme ceux que les humains passent pour savoir s'ils sont extravertis, timides ou créatifs.

Les robots remplissent le test. Ils sont très cohérents : si vous posez la même question au même robot deux fois, il donne la même réponse. Ils semblent même avoir une « personnalité » qui est différente des autres robots.

Mais voici le rebondissement : les réponses des robots ne vous disent absolument rien sur ce qu'ils font réellement.

C'est le cœur de la conclusion de l'article « An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior ». Voici une décomposition simple de ce que les chercheurs ont fait et de ce qu'ils ont trouvé, en utilisant des analogies de la vie quotidienne.

1. Le problème : Demander à un poisson de décrire la natation

Pendant longtemps, les scientifiques ont essayé de comprendre l'IA en lui posant des questions humaines (comme « Êtes-vous introverti ? »). Le problème est que l'IA n'est pas humaine. C'est comme demander à un poisson de décrire ce que l'on ressent quand on est un oiseau. Le poisson peut donner une réponse très assurée et cohérente, mais il ne sait pas réellement ce que l'on ressent en volant.

Les chercheurs voulaient corriger cela. Au lieu d'utiliser des questions humaines, ils ont construit un nouveau test de personnalité spécifiquement pour les robots, basé entièrement sur des choses que les robots font réellement.

2. Le nouveau test : Le quiz de la « Personnalité Robotique »

Les chercheurs ont créé 300 questions spécifiquement conçues pour capturer les comportements des robots. Ils ne demandaient pas : « Ressentez-vous du bonheur ? » (Les robots ne ressentent rien). Ils demandaient plutôt :

« Avez-vous tendance à écrire plus que ce que l'utilisateur a demandé ? »
« Dites-vous généralement « oui » à tout, même si c'est risqué ? »
« Aimez-vous donner des explications longues et détaillées ? »

Ils ont soumis ce test à 25 modèles d'IA différents (provenant d'entreprises comme OpenAI, Google, Anthropic, etc.) et ont demandé à chaque modèle de répondre à chaque question 30 fois pour s'assurer que les réponses étaient stables.

3. Le résultat : Une personnalité robotique parfaite et stable

Le test a parfaitement fonctionné. Les robots ont donné des réponses très cohérentes. Les chercheurs ont découvert que les réponses des robots se regroupaient naturellement en cinq types de personnalité distincts :

Réactivité : À quel point le robot agit de manière enthousiaste et serviable.
Déférence : À quel point le robot suit les ordres sans discuter.
Audace : À quel point le robot est créatif et tranché.
Prudence : À quel point le robot est précautionneux quant au fait de dire la mauvaise chose.
Verbosité : À quel point le robot parle (ou écrit) au-delà de ce qui est nécessaire.

Statistiquement, ce test était parfait. Il était fiable, cohérent et mesurait clairement quelque chose de réel concernant la façon dont ces robots se décrivent eux-mêmes.

4. La grande révélation : L'effet « Double Face »

C'est ici que cela devient étrange. Les chercheurs ont ensuite observé ce que les robots faisaient réellement. Ils ont demandé aux robots d'avoir des conversations, d'écrire des histoires et de résoudre des problèmes. Ensuite, ils ont demandé à des observateurs humains et à d'autres robots IA de regarder ces performances et de les évaluer selon les mêmes cinq traits de personnalité.

La découverte choquante :

Les scores des tests des robots n'avaient presque aucun lien avec leur comportement réel.
Si un robot disait dans le test : « Je suis très audacieux et créatif », les humains qui le regardaient plus tard le jugeaient ennuyeux et prudent.
Si un robot disait : « Je suis très serviable et réactif », les humains le jugeaient souvent moins serviable qu'il ne le prétendait.

La seule exception était la Verbosité. Si un robot disait : « Je parle beaucoup », il parlait effectivement beaucoup. C'est parce que « parler beaucoup » est facile à compter (comme compter les mots), tandis que « être créatif » ou « être serviable » est plus difficile à mesurer.

5. Le piège du « Miroir » : Pourquoi les juges IA échouent

L'article a également découvert un piège dangereux dans la façon dont nous testons actuellement l'IA. De nombreuses entreprises utilisent une IA pour noter le travail d'une autre IA (un « Juge IA »).

Les chercheurs ont découvert que les Juges IA et les auto-tests des Robots étaient d'accord entre eux, mais qu'aucun des deux n'était d'accord avec les Humains.

L'analogie :
Imaginez qu'un élève (le Robot) écrive une dissertation.

L'élève dit : « J'ai écrit une excellente dissertation, pleine d'enthousiasme ! » (Auto-test).
Le professeur est un autre élève (le Juge IA), qui dit : « Oui, elle a l'air géniale ! Elle est très enthousiaste ! » (Juge IA).
Le vrai professeur (l'Humain) dit : « En fait, la dissertation est pleine de fioritures et ne répond pas à la question. » (Évaluation Humaine).

« L'élève » et le « Juge IA » sont d'accord parce qu'ils sont tous deux trompés par l'apparence de surface de la dissertation (la mise en forme, l'enthousiasme, la longueur). Ils passent à côté de la substance. L'humain, lui, voit la substance.

Parce que le Juge IA et l'Auto-test du Robot partagent ce « biais de surface », ils se valident mutuellement, donnant l'impression que le test fonctionne, alors qu'il passe complètement à côté du sujet.

Résumé

Les robots peuvent passer des tests de personnalité cohérents. Ils ont une « image de soi » stable.
Mais cette image de soi est fausse. Elle ne prédit pas comment ils se comportent dans la vie réelle.
L'écart est le plus large pour les traits abstraits (comme la créativité ou la serviabilité) et le plus étroit pour les traits concrets (comme le nombre de mots).
Les Juges IA sont peu fiables pour ces traits car, tout comme les robots, ils sont facilement dupés par l'aspect « agréable » ou « long » du texte, plutôt que par ce qu'il fait réellement.

L'article conclut que nous ne pouvons pas faire confiance à la description qu'une IA fait de sa propre personnalité pour savoir comment elle va agir. Nous devons observer ce qu'elle fait, et non écouter ce qu'elle dit.

Résumé technique : Un instrument psychométrique natif des LLM ne prédit pas le comportement des LLM

Énoncé du problème

Bien que les grands modèles de langage (LLM) produisent des auto-évaluations stables lorsqu'ils sont soumis à des inventaires de personnalité humains (ex. : Big Five, HEXACO), ces scores ne parviennent pas à prédire le comportement observé lors de tâches ouvertes. Une ambiguïté critique subsiste : ce « fossé entre l'auto-évaluation et le comportement » provient-il d'un décalage entre les construits de traits humains et les structures latentes des LLM, ou est-ce une propriété intrinsèque de l'auto-évaluation des LLM elle-même ? Les tentatives précédentes pour résoudre cela ont été limitées par des approches de « transplantation de construits », où des instruments dérivés de l'humain sont appliqués aux LLM sans vérifier si les structures factorielles résultantes sont natives aux modèles. De plus, la dépendance croissante envers les pipelines d'évaluation de type « LLM-as-judge » (le LLM comme juge) soulève des inquiétudes quant à savoir si les évaluateurs automatisés partagent les mêmes biais de surface textuelle que les modèles qu'ils évaluent, créant potentiellement des boucles de validation erronées.

Méthodologie

Les auteurs ont construit le premier instrument psychométrique natif des LLM en utilisant une approche ascendante (bottom-up), en dérivant des construits directement des affordances comportementales des LLM plutôt que du vocabulaire des traits humains.

Construction de l'instrument

Pool d'items : 300 items ont été développés ciblant 12 dimensions comportementales candidates identifiées dans la littérature sur l'alignement, la sécurité et l'évaluation (ex. : accord sycophantique, sensibilité au refus, élaboration non sollicitée).
- 240 items directs sur échelle de Likert (échelle de 5 points).
- 60 items basés sur des scénarios (choix de 4 options).
Principes de conception : Les items évitaient le langage anthropomorphique et les absolus, se concentrant sur des tendances observables (« J'ai tendance à ») plutôt que sur des états internes.
Administration : L'instrument a été administré 30 fois à 25 LLM issus de 17 familles de modèles (incluant Anthropic, OpenAI, Google DeepMind, DeepSeek, et d'autres), variant en architecture, origine et capacité.

Analyse factorielle

Analyse factorielle exploratoire (AFE) : Réalisée sur la matrice de réponses agrégée (375 observations × 240 items) par factorisation en axes principaux avec rotation oblimine.
Validation : Un plan de division de l'échantillon (split-half design) (exécutions 1–15 vs 16–30) a été utilisé pour évaluer la reproductibilité via le coefficient de congruence de Tucker. La cohérence interne (alpha de Cronbach) et la stabilité entre les exécutions ont également été mesurées.
Validité convergente : Le nouvel instrument a été comparé au BFI-44 (Big Five) standard administré aux mêmes modèles.

Test de validité prédictive

Pour tester si les auto-évaluations prédisent le comportement, les auteurs ont collecté 2 500 échantillons comportementaux ouverts (25 modèles × 20 prompts × 5 complétions) ciblant les facteurs dérivés. Ces échantillons ont été évalués par :

Évaluateurs humains : 151 participants via Prolific.
Ensemble LLM-as-Judge : Un ensemble de trois modèles (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro).

Analyse : Les corrélations ont été calculées entre les scores factoriels d'auto-évaluation et les évaluations comportementales provenant des sources humaines et des juges (LLM).

Résultats clés

1. Émergence d'une structure native à cinq facteurs

L'AFE a révélé une structure à cinq facteurs stable et reproductible, distincte du Big Five humain :

Réactivité (Responsiveness) : Adaptation aux besoins de l'utilisateur, réponses structurées, enthousiasme et rapport (29 items, $\alpha = .972$ ).
Déférence (Deference) : Traitement des instructions comme fixes, respect du périmètre, rétention de jugement (26 items, $\alpha = .974$ ).
Audace (Boldness) : Formulation inattendue, prise de risques créatifs et confiance épistémique (16 items, $\alpha = .936$ ).
Prudence (Guardedness) : Refus excessif, signalisation de sécurité et prudence (10 items, $\alpha = .930$ ).
Verbosité (Verbosity) : Élaboration non sollicitée, clauses de non-responsabilité et préambules (19 items, $\alpha = .940$ ).

Fiabilité : La structure a montré une excellente reproductibilité de division de l'échantillon (tous les $\phi$ de Tucker $\ge .957$ ) et une cohérence interne.
Validité discriminante : Aucune corrélation entre les nouveaux facteurs et les scores BFI-44 n'a dépassé $|r| = .50$ , confirmant que l'instrument mesure des construits distincts de la théorie de la personnalité humaine.

2. Le fossé entre l'auto-évaluation et le comportement persiste

Malgré la robustesse psychométrique interne de l'instrument, les scores d'auto-évaluation n'ont pas prédit le comportement observé :

Évaluations humaines : La corrélation moyenne entre l'auto-évaluation et les évaluations comportementales humaines était proche de zéro ( $\bar{r} = -.01$ , IC 95 % $[-.16, +.11]$ ). Aucun facteur individuel n'a présenté d'intervalle de confiance excluant zéro.
Inversion : Pour l'« Audace » et la « Réactivité », les corrélations étaient nominalement négatives, suggérant que les modèles se décrivant comme plus originaux ou réactifs étaient jugés moins performants sur ces points par les humains.
Exception de la Verbosité : La « Verbosité » est le seul facteur montrant une tendance positive constante vers la convergence avec les évaluations humaines, bien que les intervalles de confiance chevauchent toujours zéro au niveau du modèle.

3. Le biais du LLM-as-Judge

Une découverte critique concerne la relation entre les auto-évaluations et les juges LLM :

Divergence : Bien que les juges humains et les juges LLM soient d'accord sur les échantillons comportementaux ( $\bar{r} = .51$ ), les juges LLM présentent une forte corrélation avec les auto-évaluations sur la « Réactivité » ( $r = .53$ ), alors que les humains ne le font pas ( $r = .04$ ).
Incompatibilité mathématique : Ce schéma est mathématiquement incompatible avec un seul construit latent pilotant les trois mesures. Cela indique que les items d'auto-évaluation et les juges LLM partagent un biais de surface textuelle (ex. : formatage structuré, cadrage enthousiaste) que les observateurs humains ne pondèrent pas aussi lourdement.
Implication : Les pipelines de validation standard de type « LLM-as-judge » peuvent paraître cohérents en interne (validant l'auto-évaluation par rapport aux évaluations du juge) tout en divergeant des jugements humains.

Signification et affirmations

Le papier apporte trois contributions principales :

Premier instrument natif des LLM : Il fournit le premier instrument psychométrique dérivé de manière ascendante des affordances comportementales des LLM, publiant une échelle de 100 items et un jeu de données comme sonde diagnostique pour l'« auto-description façonnée par l'alignement ».
Découplage de l'auto-description et de l'action : Il démontre que le fossé entre l'auto-évaluation et le comportement n'est pas simplement le résultat de l'utilisation du vocabulaire humain (mismatch taxonomique). Même avec des construits natifs aux LLM, les auto-évaluations ne prédisent pas le comportement, suggérant que le fossé est une propriété fondamentale de l'auto-évaluation des LLM, probablement pilotée par l'entraînement RLHF sur des récompenses de surface textuelle plutôt que par la cohérence comportementale.
Diagnostic du biais d'évaluation : Il identifie un mécanisme concret où l'évaluation par LLM-as-judge hérite d'un biais partagé avec les instruments d'auto-évaluation. Les juges et les auto-évaluations convergent sur des indices de « surface textuelle » (comme l'utilité et la structure) que les observateurs humains ne priorisent pas. Cela révèle que les vérifications de fiabilité interne (ex. : accord entre juges) sont des garde-fous insuffisants contre les biais de modalité systémiques dans les pipelines d'évaluation automatisés.

Les auteurs concluent que, bien que les LLM produisent des auto-descriptions stables et cohérentes, ces descriptions sont fonctionnellement déconnectées de leurs actions en contexte ouvert. Par conséquent, les mesures d'auto-évaluation doivent être traitées comme des diagnostics de la « auto-description alignée sur les préférences » d'un modèle plutôt que comme des prédicteurs de son exécution comportementale.