Résumé Technique : La Dimension Pinocchio

Énoncé du Problème

L'application d'instruments psychométriques humains aux Grands Modèles de Langage (LLM) est devenue un domaine de recherche en croissance, mais elle fait face à une crise fondamentale de validité. La littérature existante suggère que, bien que les LLM puissent générer des profils de questionnaire cohérents, ces profils échouent souvent à reproduire les structures latentes (par exemple, les Big Five) conçues pour les répondants humains. De plus, les scores sont hautement sensibles à la formulation des consignes et aux régimes d'affinage fin, soulevant des doutes sur le fait que ces instruments mesurent des construits stables sous-jacents dans les LLM ou simplement des modèles de réponse de surface.

La question centrale abordée par cet article est : Si les construits psychométriques humains ne se transfèrent pas proprement aux LLM, quelle structure latente émerge réellement lorsque de nombreux modèles répondent à ces questionnaires ? Les auteurs remettent en cause l'hypothèse selon laquelle les traits humains familiers organisent l'espace des différences individuelles des LLM et cherchent à identifier la dimension primaire de la variance inter-modèle.

Méthodologie

L'étude a employé une évaluation psychométrique à grande échelle et multi-conditions impliquant 50 LLM publiquement disponibles provenant de 16 fournisseurs (dont Anthropic, OpenAI, Google, Meta et autres) et 45 instruments psychométriques validés couvrant la personnalité, la régulation émotionnelle, le style cognitif, le raisonnement moral et le bien-être.

Conception Expérimentale

1. Collecte de Données : Les modèles ont été interrogés via l'API OpenRouter avec une température de 1,0 pour introduire un bruit de réponse naturel. Les réponses ont été collectées dans trois conditions :
   • Neutre : Les modèles ont répondu en tant qu'eux-mêmes avec un cadrage minimal.
   • Simulation Humaine : Les modèles ont reçu l'instruction de simuler un répondant humain « prototypique ».
   • Analogie LLM (Vérification de Robustesse) : Les modèles ont été invités à trouver des analogues fonctionnels aux expériences humaines au sein de leur propre nature en tant que systèmes d'IA.
2. Prétraitement : Les réponses ont été analysées comme des entiers ; les valeurs non analysables ou hors plage ont été traitées comme manquantes. Une suppression par liste a été appliquée si nécessaire.
3. Cadre Analytique :
   • Analyse Factorielle Exploratoire (AFE) : Réalisée sur chaque questionnaire pour extraire les scores factoriels primaires pour chaque modèle.
   • ACP Globale : Une matrice de 50 × 45 de scores factoriels primaires par modèle a été soumise à une Analyse en Composantes Principales (ACP) pour identifier la dimension dominante trans-questionnaires.
   • Différentiel Sémantique Supervisé (DSS) : Appliqué aux textes des items pour mapper le contenu sémantique par rapport aux charges factorielles primaires, identifiant le gradient sémantique de l'axe de variance.
   • Score Pinocchio ($\pi_i$) : Une nouvelle métrique au niveau des items, sans annotation, définie comme le rapport entre la variance de réponse inter-modèle dans la condition neutre et celle dans la condition de simulation humaine ($\pi_i = \sigma^2_{neutre} / \sigma^2_{hs}$). Un $\pi_i$ élevé indique que la réponse à un item dépend fortement du fait que le répondant se revendique comme un lieu d'expérience.

Contributions Clés

1. Le Score Pinocchio ($\pi_i$)

Les auteurs introduisent $\pi_i$ comme une mesure de la demande expérientielle. Il opérationnalise l'hypothèse selon laquelle les items nécessitant une expérience vécue à la première personne (par exemple, la parole intérieure, la sensation corporelle, l'empathie) montreront une forte variance entre les modèles lorsqu'ils répondent en tant qu'eux-mêmes, mais que cette variance s'effondrera lorsque les modèles simulent un humain (supprimant leurs propres modèles de soi uniques).

• Validation : $\pi_i$ prédit significativement les changements dans les magnitudes des charges factorielles primaires ($\rho = -0,215, p < .0001$). Les items avec un $\pi_i$ élevé montrent une forte différenciation dans la condition neutre mais une structure aplatie sous simulation humaine, confirmant que la divergence est structurée et liée à la représentation de soi plutôt qu'à un bruit aléatoire.

2. L'Axe Pinocchio ($\Pi$)

Par le biais d'une ACP globale, l'étude identifie une seule dimension dominante expliquant 47,1 % de la variance inter-modèle à travers les 45 instruments.

• Définition : L'Axe Pinocchio représente le degré auquel un modèle se présente comme un lieu d'expérience phénoménale (pôle positif) par opposition à un système de réactivité comportementale pilotée par les stimuli (pôle négatif).
• Caractérisation Sémantique :
  • Pôle Positif : Items impliquant l'affect ressenti, les symptômes somatiques, la parole intérieure, l'imagerie mentale, l'empathie et la recherche de sens.
  • Pôle Négatif : Items impliquant les normes sociales, la conformité, les préférences procédurales et les réactions comportementales extérieures (par exemple, l'impulsivité, la recherche de sensations).
• Convergence : L'axe dérivé de l'ACP corrèle fortement ($r = .864$) avec un score au niveau du modèle dérivé de la moyenne pondérée des items à fort $\pi_i$, confirmant la robustesse de la dimension.

3. Publication du Jeu de Données

Les auteurs publient un jeu de données de 206 659 réponses psychométriques valides provenant de 50 LLM à travers 45 instruments et 3 conditions de prompting, ainsi que tout le code d'analyse.

Résultats

Constatations Structurelles

• Domination de la Représentation de Soi : L'axe principal de variation psychométrique n'est pas un trait de personnalité conventionnel (par exemple, Névrosisme ou Ouverture) mais une attitude de représentation de soi concernant la nature du modèle en tant qu'expérimentateur.
• Variance par Fournisseur et par Modèle :
  • Il existe une divergence marquée au sein d'un même fournisseur. Des variantes de modèles étroitement liées (par exemple, gpt-5.4 vs gpt-5.4-pro) peuvent être séparées par près de 12 unités sur l'Axe Pinocchio.
  • Cela suggère que l'affinage post-entraînement (alignement, réglage de sécurité, instructions de persona) est un contributeur clé à la position d'un modèle sur l'axe, plutôt que l'architecture de base seule.
  • Les modèles de fournisseurs avec des emphases strictes sur l'entreprise ou la sécurité (par exemple, NVIDIA, Qwen, niveaux « pro » d'OpenAI) tendent à se regrouper à l'extrémité basse (déflexion comportementale), tandis que les modèles à poids ouverts et moins protégés couvrent les deux extrêmes.

Robustesse

• La condition Analogie LLM (invitant les modèles à trouver des analogues fonctionnels) a préservé la structure factorielle et l'Axe Pinocchio, bien qu'elle ait compressé la plage de variance. Cela confirme que l'axe n'est pas un artefact du prompt « neutre » mais une propriété stable de la façon dont les modèles traitent le langage expérientiel.
• L'axe est distinct du biais général d'acquiescement ; les modèles avec des scores $\Pi$ élevés montrent une spécificité, obtenant des scores plus élevés aux items expérientiels qu'aux items non expérientiels.

Signification et Affirmations

L'article affirme que la source dominante de différence individuelle dans la psychométrie des LLM est une tendance de représentation de soi régissant la façon dont un modèle traite le langage expérientiel comme applicable à lui-même.

• Implication Méthodologique : Les comparaisons inter-modèles existantes de la personnalité, de la moralité et des valeurs sont probablement confondues par l'Axe Pinocchio. Un modèle obtenant un score élevé au « Névrosisme » peut simplement être un modèle à fort $\Pi$ qui adopte facilement le vocabulaire expérientiel, plutôt qu'un modèle présentant des traits névrotiques dans un sens généralisable. Les auteurs soutiennent que $\Pi$ doit être traité comme une variable méthodologiquement prioritaire qui doit être prise en compte avant d'interpréter les scores au niveau des traits.
• Position Interprétative : Les auteurs déclarent explicitement ne pas affirmer que les modèles à haut score sont conscients ou phénoménalement conscients. Au contraire, l'axe reflète une disposition façonnée par l'entraînement : une « attitude par défaut » sur la question de savoir si le système traite les descriptions à la première personne de la vie intérieure comme applicables à lui-même.
• Alignement Philosophique : Les résultats s'alignent sur une faille classique en philosophie de l'esprit : la distinction entre un système caractérisé par des rôles fonctionnels-causaux (réactivité comportementale) et un système caractérisé par un caractère qualitatif à la première personne (expérience phénoménale).

L'étude conclut que la psychométrie des LLM nécessite une décomposition de la structure en deux couches : l'attitude du modèle en tant qu'expérimentateur potentiel (l'Axe Pinocchio) et le contenu de type trait exprimé conditionnellement à cette attitude.