🤖 AI

Evaluating Developmental Cognition Capabilities of LLMs

Cet article présente le Test de Complétion de Phrases Développemental (DSCT) pour évaluer la capacité des LLM à détecter les stades cognitifs développementaux selon la théorie de Robert Kegan, révélant que si les modèles peuvent identifier avec précision les stades visés dans des personas simulés et manifester des schémas développementaux cohérents dans leurs propres productions, leur accord avec les réponses humaines réelles demeure modéré, soulignant ainsi que le défi principal pour une IA consciente des stades réside dans la disponibilité du signal développemental au sein du texte sollicité plutôt que dans la seule précision du classifieur.

Auteurs originaux : Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

Publié 2026-05-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Comment « pensons-nous » à la pensée ?

Imaginez que vous parlez à un robot très intelligent. Habituellement, nous essayons de faire comprendre au robot ce que vous voulez (vos objectifs) ou ce que vous savez (vos faits). Mais ce document pose une question différente : Comment donnez-vous réellement du sens au monde ?

Les auteurs utilisent une théorie psychologique de Robert Kegan pour examiner cela. Imaginez la théorie de Kegan comme une échelle de « construction du sens ».

Les échelons inférieurs : Vous voyez le monde comme une série de règles ou de ce que les autres attendent de vous. (Par exemple : « Je fais cela parce que mon patron l'a dit. »)
Les échelons supérieurs : Vous construisez votre propre boussole interne et pouvez prendre du recul pour examiner vos propres croyances. (Par exemple : « Je fais cela parce que j'ai analysé la situation et décidé que cela correspond à mes propres valeurs, même si mon patron n'est pas d'accord. »)

Le document tente de déterminer si l'IA peut détecter sur quel « échelon » de l'échelle se trouve une personne simplement en lisant son texte.

Le Problème : Les Anciens Tests Étaient Trop Lourds

Traditionnellement, pour déterminer où se trouve quelqu'un sur cette échelle, les psychologues doivent s'asseoir pour une longue et profonde interview (comme une séance de thérapie de 90 minutes). C'est comme essayer de peser une baleine en la soulevant ; c'est trop lourd et trop lent à faire pour des milliers de personnes ou pour tester l'IA.

Il existe aussi des tests plus courts (complétion de phrases), mais ils sont souvent anciens, privés (il faut les acheter) ou posent des questions très personnelles sur le sexe et la famille qui semblent intrusives.

La Solution : Le « DSCT » (Un Nouveau Test Plus Léger)

Les auteurs ont créé un nouveau test de 20 questions appelé le Developmental Sentence Completion Test (DSCT) (Test de Complétion de Phrases Développemental).

L'Analogie : Imaginez un jeu de « compléter les blancs ». Au lieu de demander « Quelle est votre couleur préférée ? », il demande des choses comme : « Quand une promesse est rompue, je me sens... » ou « Quand une personne doit choisir entre deux bonnes options, elle... »
L'Objectif : Les réponses ne sont pas notées comme étant « justes » ou « fausses ». Elles sont notées sur la structure de la pensée. La réponse ressemble-t-elle à quelqu'un qui suit le troupeau, ou à quelqu'un qui possède son propre système interne ?

Les Trois Expériences : Le « Test de Goût »

Les chercheurs ont mené trois « tests de goût » différents pour voir si l'IA pouvait lire correctement ces réponses.

1. Le Test « Robot Agissant comme un Humain » (Personas Simulés)

Le Déroulement : Ils ont demandé à une IA ultra-intelligente de jouer le rôle de différents types de personnes (du « suiveur de règles » au « penseur indépendant ») et de remplir le test.
Le Résultat : Les classificateurs d'IA (les « correcteurs ») étaient incroyablement bons dans cette tâche. Lorsque l'IA savait exactement quel persona elle était censée incarner, les autres IA pouvaient deviner le « style de pensée » avec une précision quasi parfaite.
La Métaphore : C'est comme un acteur qui lit un script parfaitement. Les autres acteurs (les correcteurs) pouvaient facilement dire exactement quel personnage était joué.

2. Le Test « Humain Réel »

Le Déroulement : Ils ont donné le test à 83 vrais humains. Ensuite, ils ont demandé à la fois à des experts humains et à l'IA de noter les réponses.
Le Résultat : C'était plus désordonné. L'IA et les experts humains étaient d'accord environ une fois sur deux sur l'« échelon » exact, mais ils étaient beaucoup plus souvent d'accord sur le quartier général (par exemple, tous deux disaient « quelque part entre l'échelon 3 et 4 »).
La Métaphore : Les vrais humains sont désordonnés. Parfois, ils écrivent des réponses courtes, parfois longues, et parfois ils se contredisent. C'est comme essayer de deviner l'humeur de quelqu'un en lisant un message texte qu'il a envoyé en étant en retard ; c'est plus difficile que de lire un script. L'IA était un peu plus conservatrice (plus avare) que les experts humains, donnant rarement un « échelon élevé » sauf si elle était sûre.

3. Le Test « IA Parlant à Elle-même » (Réponses par Défaut)

Le Déroulement : Ils ont demandé aux modèles d'IA de passer le test sans faire semblant d'être qui que ce soit. Ils ont simplement répondu en tant qu'eux-mêmes.
Le Résultat : Les modèles d'IA plus récents et plus grands ont donné des réponses qui semblaient provenir d'un échelon supérieur de l'échelle que les modèles plus petits et plus anciens.
La Métaphore : Imaginez demander à un tout-petit et à un étudiant universitaire de remplir le même test de « compléter les blancs ». Les réponses de l'étudiant universitaire semblent naturellement plus complexes et réflexives. Le document a constaté que, à mesure que les modèles d'IA deviennent plus grands et plus récents, leur « voix par défaut » ressemble davantage à celle d'un adulte réflexif.

Les Principales Conclusions

L'IA est bonne pour repérer les motifs, mais le signal compte : Si le texte est propre et structuré (comme le test simulé), l'IA est excellente pour déterminer le « style de pensée ». Si le texte est désordonné (comme les réponses humaines réelles), c'est plus difficile, mais il est toujours possible d'obtenir une idée générale.
L'IA ne « pense » pas comme un humain : Le document précise soigneusement que l'IA n'a pas réellement de stade de développement. C'est simplement que les mots que l'IA génère semblent provenir d'un stade spécifique.
La « Voix » de l'IA compte : Les modèles d'IA plus grands et plus récents ont tendance à s'exprimer d'une manière qui semble plus « auto-éditée » (plus haut sur l'échelle). Cela pourrait signifier qu'ils interprètent les utilisateurs humains différemment des modèles plus petits.

Ce Que Cela Signifie pour l'Avenir (Selon le Document)

Le document suggère que pour que l'IA soit véritablement personnalisée, elle ne devrait pas seulement apprendre ce que vous aimez (par exemple : « J'aime les films de science-fiction »). Elle devrait essayer de comprendre comment vous pensez (par exemple : « Avez-vous besoin que je vous donne les règles, ou voulez-vous que je remette en question vos idées ? »).

Cependant, les auteurs avertissent que nous ne pouvons pas simplement deviner cela à partir d'une conversation aléatoire. Nous avons besoin de moyens structurés pour demander (comme ce test) afin d'obtenir une lecture fiable. On ne peut pas déterminer l'« échelle de pensée » de quelqu'un en jetant un coup d'œil à un message texte rapide ; il faut une conversation appropriée pour voir la structure.

En résumé : Le document a créé un nouveau test plus court pour mesurer comment les personnes donnent du sens au monde. Ils ont constaté que l'IA peut lire ce test efficacement, surtout lorsque les réponses sont claires, mais que les réponses humaines réelles sont désordonnées. De plus, les modèles d'IA eux-mêmes « grandissent » dans leur style d'écriture, sonnant plus complexes à mesure qu'ils deviennent plus grands.

Résumé technique : Évaluation des capacités de cognition développementale des LLM

Énoncé du problème
Les systèmes d'IA conversationnelle sont de plus en plus personnalisés en fonction des préférences, des historiques et des objectifs des utilisateurs. Cependant, les approches actuelles ignorent largement la manière dont les utilisateurs interprètent et construisent du sens à partir des sorties du modèle. S'appuyant sur la théorie constructive-développementale de Robert Kegan, les auteurs postulent que les individus diffèrent dans leur transformation « sujet–objet » — spécifiquement, ce à quoi ils sont sujets par rapport à ce qu'ils peuvent réfléchir en tant qu'objet. Ignorer ces différences dans les structures de construction du sens peut conduire à des modes de défaillance tels que des sorties homogénéisées ou un renforcement servile des croyances des utilisateurs. Le défi central réside dans le fait que les méthodes standard d'évaluation des stades développementaux (par exemple, l'Entretien Sujet–Objet) sont menées par des experts, prennent beaucoup de temps et ne sont pas évolutives pour l'évaluation comparative des Grands Modèles de Langage (LLM). De plus, les instruments existants de complétion de phrases sont souvent propriétaires, longs ou contiennent des invites invasives inadaptées à une évaluation automatisée.

Méthodologie
Pour remédier à ces limites, les auteurs introduisent le Test de complétion de phrases développemental (DSCT), un instrument auto-administré de 20 items conçu pour générer un texte suffisamment riche pour permettre à des évaluateurs humains entraînés ou à des LLM d'attribuer une étiquette développementale kéganienne provisoire. Le DSCT élimine les items genrés et culturellement invasifs présents dans les anciens instruments (comme le Loevinger SCT) et utilise une conception à deux voix : 10 items à la première personne (auto-évaluation) et 10 à la troisième personne (évaluation abstraite d'un autre générique).

L'étude évalue la récupération du signal développemental à travers trois régimes distincts :

Personas simulés : Les auteurs ont généré 138 réponses DSCT synthétiques en utilisant 23 profils développementaux décrits par des experts (stades 2 à 5, y compris les transitions) ancrés dans la littérature antérieure. Ces réponses ont été générées par un simulateur (Gemini 3.1 Pro) conditionné par des personas spécifiques. Douze LLM de pointe et compacts ont ensuite été chargés de classer ces réponses en stades kéganiens.
Répondants humains réels : Le DSCT a été administré à 83 participants humains. Trois évaluateurs humains formés à Kegan ont fourni des étiquettes de consensus pour chaque ensemble de réponses. Deux LVM les plus performants (Claude Opus 4.6 et Gemini 3.1 Pro) ont ensuite été invités à classer les mêmes réponses humaines pour mesurer l'accord avec les évaluateurs humains.
Réponses générées par défaut des modèles : Un ensemble plus large de 29 LLM (allant de GPT-3.5 aux modèles de pointe actuels) a été invité à répondre au DSCT sans aucune condition de persona ni instruction de stade cible. Les sorties résultantes ont été notées pour analyser la structure développementale inhérente à la génération de texte par défaut des modèles.

Contributions clés

Développement d'un instrument : L'introduction du DSCT, un outil auto-administré, non invasif et composé de 20 items, spécifiquement conçu pour l'évaluation appariée humaine et LLM de structures de type stade dans le texte elicité.
Évaluation comparative des LLM : Une évaluation comparative complète de douze LLM sur l'étiquetage kéganien. L'étude démontre que les modèles de pointe les plus performants peuvent récupérer les étiquettes de stade visées par le simulateur avec une grande précision dans des conditions synthétiques contrôlées, tandis que les performances sur les données humaines réelles sont correctes mais limitées par le bruit inhérent aux réponses humaines.
Analyse de la structure des sorties des modèles : Une analyse révélant que les LLM diffèrent non seulement dans leur capacité à classifier la structure développementale, mais aussi dans la structure du texte qu'ils génèrent par défaut. Les modèles plus grands et plus récents tendent à produire un texte noté à des stades développementaux plus élevés que les modèles plus petits ou plus anciens.

Résultats

Validation synthétique : Dans des conditions synthétiques contrôlées, les modèles de pointe les plus performants (par exemple, Claude Opus 4.6, Gemini 3.1 Pro, Grok 4.2) ont atteint 100 % de précision dans la récupération des étiquettes de stade visées par le simulateur. Les modèles plus petits/compacts ont montré une dégradation significative, en particulier sur les stades de transition (par exemple, 3/4, 4/5), et ont présenté un biais systématique à la hausse dans leurs classifications.
Accord Humain-LLM : Sur les réponses DSCT humaines réelles, l'accord entre les évaluateurs humains et les classificateurs LLM était « correct » (kappa pondéré quadratique $\kappa = 0,49$ ). L'accord exact était de 46,3 %, mais l'accord dans une marge de $\pm0,5$ de stade était de 82,9 %. Contrairement aux environnements synthétiques, les LLM étaient légèrement plus conservateurs (attribuant des stades inférieurs) que les évaluateurs humains sur le texte structuré. L'étude note que les évaluateurs humains eux-mêmes n'ont montré qu'un accord correct ( $\kappa = 0,31$ ), suggérant que la « vérité terrain » pour les tests auto-administrés de 20 items est intrinsèquement probabiliste.
Tendances des sorties des modèles : Les réponses par défaut des modèles plus récents et plus grands ont été notées à des stades développementaux plus élevés (stade moyen 3,97 pour les modèles de pointe) par rapport aux modèles plus anciens ou compacts (stade moyen 3,55). Une corrélation positive significative a été trouvée entre la date de publication du modèle et le score développemental ( $R^2 = 0,698$ ).
Format d'élicitation : L'étude a constaté que le signal développemental est « plus net » dans le texte structuré et elicité (comme le DSCT) que dans les traces conversationnelles non contraintes. L'inférence de stade à partir de l'historique de chat non structuré a entraîné un biais à la hausse important et un accord très faible avec les jugements de questionnaire structuré.

Signification et affirmations
L'article affirme que le signal développemental est récupérable à partir de textes de type DSCT, mais que cette récupérabilité dépend fortement de la source du texte. La contrainte centrale pour une IA conversationnelle consciente des stades n'est pas identifiée comme étant simplement la précision du classificateur, mais plutôt la disponibilité du signal développemental dans le texte elicité.

Les auteurs soutiennent que l'élicitation structurée (comme le DSCT) fournit une base plus fiable pour l'adaptation développementale que l'inférence passive à partir de langage arbitraire. Ils soulignent que leur travail ne mesure pas le stade développemental d'un utilisateur comme un trait stable ou un fait diagnostique, mais caractérise plutôt la « structure de type stade » présente dans un ensemble spécifique de réponses. Les résultats suggèrent que pour qu'une IA conversationnelle s'adapte efficacement aux structures de construction du sens des utilisateurs, elle doit s'appuyer sur une élicitation structurée pour accéder à des signaux développementaux récupérables, plutôt que d'essayer d'inférer des stades développementaux complexes à partir de traces d'interaction bruyantes et non structurées.