🤖 AI

Evaluating Developmental Cognition Capabilities of LLMs

本論文はロバート・ケガンの理論に基づいてLLMが発達的認知段階を検出する能力を評価するための発達的文脈完成テスト（DSCT）を導入し、モデルはシミュレートされたペルソナにおいて意図された段階を正確に特定でき、かつ自らの出力において一貫した発達パターンを示す一方で、実在する人間の回答との一致度は中程度にとどまることを明らかにし、段階を認識するAIの主要な課題は分類器の精度そのものではなく、誘発されたテキスト内に存在する発達的シグナルの入手可能性にあることを浮き彫りにした。

原著者： Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を簡単な言葉と創造的な比喩を用いて説明したものです。

大きなアイデア：私たちはどのように「考えること」について「考える」のか？

非常に賢いロボットと話していると想像してください。通常、私たちはロボットに「何を」望んでいるか（あなたの目標）や「何を」知っているか（あなたの事実）を理解させようとします。しかし、この論文は異なる問いを投げかけます：あなたは実際に世界をどのように理解しているのか？

著者たちは、ロバート・ケガンの心理学的理論を用いてこれを探求します。ケガンの理論を「意味づけ」の階段のように考えてみてください。

低い段： 世界を一連の規則や他者からの期待として捉えます。（例：「上司がそう言ったから、これをやる。」）
高い段： 自分自身の内なるコンパスを構築し、自分の信念を振り返って眺めることができます。（例：「上司が反対しても、状況を分析し、自分の価値観と一致すると判断したから、これをやる。」）

この論文は、AI が人のテキストを読むだけで、その人が階段のどの段に立っているかを検出できるかどうかを明らかにしようとしています。

問題：従来のテストは重すぎる

伝統的に、この階段のどこにいるかを把握するために、心理学者は長い深いインタビュー（90 分間のセラピーセッションのようなもの）を行う必要がありました。それは鯨を持ち上げて体重を測ろうとするようなもので、何千人もの人々や AI のテストには重すぎて、時間がかかりすぎます。

また、短いテスト（文完成テスト）もありますが、それらは往々にして古く、非公開（購入が必要）であり、性や家族に関する非常に個人的な質問を含まれており、侵入的だと感じられます。

解決策：「DSCT」（新しい、軽いテスト）

著者たちは、「発達的文完成テスト（DSCT）」と呼ばれる新しい 20 問のテストを作成しました。

比喩： 「空欄補充」ゲームを想像してください。「あなたの好きな色は何ですか？」と聞くのではなく、「約束が破られたとき、私は～と感じる」や「人が二つの良い選択肢の間で選ばなければならないとき、彼らは～」といった質問をします。
目的： 答えは「正解」か「不正解」で評価されるわけではありません。「思考の構造」に基づいて評価されます。その答えは、群衆に従っている人のように聞こえるのか、それとも自分自身の内なるシステムを持つ人のように聞こえるのか。

三つの実験：「味見テスト」

研究者たちは、AI がこれらの答えを正しく読み取れるかどうかを確認するために、三つの異なる「味見テスト」を行いました。

1. 「人間役をするロボット」テスト（シミュレートされたペルソナ）

設定： 超賢い AI に、異なるタイプの人間（「規則遵守者」から「独立した思考者」まで）になりきってもらい、テストに回答させました。
結果： AI 分類器（「採点者」）は、この点において驚くほど優秀でした。AI が自分が演じるべきペルソナを正確に知っていた場合、他の AI は「思考スタイル」をほぼ完璧な精度で推測できました。
比喩： 俳優が台本を完璧に読み上げているようなものです。他の俳優（採点者）は、どのキャラクターが演じられているかを簡単に正確に判別できました。

2. 「実在の人間」テスト

設定： 83 人の実在の人間にテストを受けさせました。その後、人間の専門家と AI の両方に答えを採点させました。
結果： これはやや複雑でした。AI と人間の専門家は、正確な「段」については半分程度の合意しか見られませんでした。しかし、「段 3 と 4 の間 somewhere」など、大まかな範囲については、はるかに頻繁に合意していました。
比喩： 実在の人間は複雑です。時には短い答えを書き、時には長い答えを書き、時には矛盾することもあります。遅刻しながら送られてきたテキストメッセージを読んで相手の気分を推測しようとするようなもので、台本を読むよりも難しいのです。AI は人間の専門家よりも少し慎重（厳格）で、確信が持てない限り「高い段」を与えることは稀でした。

3. 「AI が自分自身と話す」テスト（デフォルト応答）

設定： AI モデルに、誰になりきることなく、テストを受けさせました。彼らは自分自身として回答しました。
結果： 新しく、大きな AI モデルは、小さく古いモデルよりも高い段に位置しているように聞こえる答えを出しました。
比喩： 幼児と大学生に同じ「空欄補充」テストをさせてみると想像してください。大学生の答えは、自然とより複雑で内省的に聞こえます。この論文は、AI モデルが大きくなり新しくなるにつれて、その「デフォルトの声」がより内省的な大人のようになると発見しました。

主な結論

AI はパターン認識に優れているが、信号の質が重要である： テキストが清潔で構造化されている場合（シミュレートされたテストなど）、AI は「思考スタイル」を特定するのが得意です。テキストが複雑な場合（実在の人間の答えなど）、それはより困難ですが、大まかな傾向を把握することは依然として可能です。
AI は人間のように「考えて」いない： この論文は慎重に述べています。AI は実際に発達段階を「持っている」わけではありません。AI が生成する「言葉」が、特定の段階から来ているように聞こえるだけなのです。
AI の「声」が重要である： 大きく新しい AI モデルは、より「自己主導的」に聞こえる（階段のより高い位置にある）方法で話す傾向があります。これは、より小さなモデルとは異なり、人間の利用者を異なる方法で解釈している可能性を示唆しています。

論文によると、これが未来に意味すること

この論文は、AI が真にパーソナライズされるためには、単に「何を」好きか（例：「SF 映画が好きだ」）を学ぶだけでなく、「どのように」考えているか（例：「ルールを提示してほしいのか、それともアイデアに挑戦してほしいのか」）を理解しようとするべきだと示唆しています。

ただし、著者たちは警告しています。ランダムなチャットからこれを推測することはできません。信頼できる結果を得るためには、このテストのような構造化された方法で問いかける必要があります。短いテキストメッセージをちらりと見るだけで、誰かの「思考の階段」を判断することはできません。構造を見るためには、適切な会話が必要です。

要約すると： この論文は、人々が世界をどのように理解するかを測定するための新しい、より短いテストを構築しました。その結果、AI は特に答えが明確な場合、このテストをうまく読み取れることがわかりましたが、実在の人間の答えは複雑であることが判明しました。また、AI モデル自体も、その書き方のスタイルにおいて「成長」しており、モデルが大きくなるにつれてより複雑に聞こえるようになっています。

技術的概要：LLM の発達的認知能力の評価

問題提起
会話型 AI システムは、ユーザーの好み、履歴、目標に基づいてますますパーソナライズされるようになっている。しかし、現在のアプローチは、モデルの出力をユーザーがいかに解釈し、意味を構築するかをほとんど無視している。ロバート・ケガンの構成発達理論に照らせば、個人は「主語－客体」の変換、すなわち自分が何に支配されているか（主語）と、何を客体として反省できるかにおいて差異がある。意味構築の構造におけるこれらの差異を無視することは、均質化された出力や、ユーザーの信念に対する迎合的強化といった失敗モードをもたらす可能性がある。核心的な課題は、発達段階を評価する標準的な手法（例えば、主語－客体面接）が専門家主導であり、時間的コストが高く、大規模言語モデル（LLM）のベンチマーク評価には拡張できない点にある。さらに、既存の文完成検査は、多くの場合、独占的であり、冗長であるか、自動化評価には不適切な侵入的なプロンプトを含んでいる。

手法
これらの限界に対処するため、著者らは、訓練された人間の評価者または LLM が暫定的なケガン発達ラベルを割り当てられるほどに豊かなテキストを引き出すように設計された、20 項目の自己実施型検査である「発達文完成検査（DSCT）」を導入した。DSCT は、旧来の検査（Loevinger SCT など）に見られる性別を特定するものや文化的に侵入的な項目を排除し、二重の設計を採用している：10 項目は一人称（自己評価）、10 項目は三人称（一般的な他者に対する抽象化された評価）である。

本研究は、3 つの異なるレジームにわたる発達シグナルの回復を評価する：

シミュレートされたペルソナ：著者らは、先行文献に基づき、23 の専門家によって記述された発達プロファイル（段階 2 から 5、およびその遷移を含む）を用いて、138 の合成 DSCT 応答を生成した。これらは特定のペルソナに基づいて条件付けられたシミュレーター（Gemini 3.1 Pro）によって生成された。その後、12 の最先端およびコンパクトな LLM に、これらの応答をケガン段階に分類するよう課した。
実在の人間回答者：DSCT を 83 名の人間参加者に実施した。3 名のケガン訓練を受けた人間評価者が、各応答セットに対して合意ラベルを提供した。その後、2 つの高性能 LLM（Claude Opus 4.6 および Gemini 3.1 Pro）に、同じ人間応答を分類するよう求め、人間評価者との合意度を測定した。
デフォルトのモデル生成回答：GPT-3.5 から現在の最先端モデルまで幅広い 29 の LLM に、ペルソナの条件付けや目標段階の指示なしで DSCT に回答するようプロンプトした。得られた出力を評価し、モデルのデフォルトのテキスト生成に内在する発達構造を分析した。

主要な貢献

検査ツールの開発：誘発されたテキストにおける段階的構造の、人間と LLM の両方による評価に特化した、20 項目の非侵入的・自己実施型ツールである DSCT の導入。
LLM のベンチマーク評価：ケガンラベル付けに関する 12 の LLM に対する包括的なベンチマーク。本研究は、制御された合成条件下では、最先端モデルがシミュレーターが意図したラベルを高い精度で回復できることを示したが、実在の人間データにおける性能は、人間応答に内在するノイズによって制限され、妥当なレベルにとどまることを示した。
モデル出力構造の分析：LLM は発達構造を「分類」する能力だけでなく、デフォルトで生成するテキストの「構造」においても差異があることを明らかにする分析。より大規模で新しいモデルは、より小規模または古いモデルよりも高い発達段階と評価されるテキストを生成する傾向がある。

結果

合成検証：制御された合成条件下では、最先端モデル（例：Claude Opus 4.6、Gemini 3.1 Pro、Grok 4.2）は、シミュレーターが意図した段階ラベルの回復において 100% の精度を達成した。小規模・コンパクトなモデルは、特に遷移段階（例：3/4、4/5）において著しい劣化を示し、分類において体系的な上方バイアスを示した。
人間－LLM 合意度：実在の人間による DSCT 応答において、人間評価者と LLM 分類者の間の合意度は「妥当（fair）」であった（二乗加重コホー係数 $\kappa = 0.49$ ）。完全一致は 46.3% であったが、 $\pm0.5$ 段階以内の一致は 82.9% であった。合成設定とは異なり、構造化されたテキストにおいて LLM は人間評価者よりもやや保守的（低い段階を割り当てる）であった。本研究は、人間評価者自身も「妥当（fair）」な合意度しか示していないこと（ $\kappa = 0.31$ ）に言及しており、20 項目の自己実施型検査における「真実」は本質的に確率的であることを示唆している。
モデル出力の傾向：より新しく大規模なモデルからのデフォルト応答は、より古いまたはコンパクトなモデルと比較して、より高い発達段階で評価された（最先端モデルの平均段階 3.97 対、コンパクトモデルの平均段階 3.55）。モデルのリリース日と発達スコアの間には、有意な正の相関が認められた（ $R^2 = 0.698$ ）。
誘発形式：本研究は、発達シグナルは、制約のない会話の痕跡よりも、構造化された誘発テキスト（DSCT のようなもの）において「よりクリーン」であることを発見した。構造化されていないチャット履歴からの段階推論は、強い上方バイアスをもたらし、構造化された質問紙による判断との合意度は非常に弱かった。

意義と主張
本論文は、DSCT 様式のテキストから発達シグナルが回復可能であると主張するが、その回復可能性はテキストの源泉に大きく依存する。段階を意識した会話型 AI に対する中心的な制約は、単なる分類器の精度ではなく、誘発されたテキストにおける発達シグナルの利用可能性であると特定されている。

著者らは、構造化された誘発（DSCT のようなもの）が、任意の言語からの受動的推論よりも、発達的適応のより信頼性の高い基盤を提供すると論じる。彼らは、自らの研究がユーザーの発達段階を安定した特性または診断的事実として測定するものではなく、特定の応答セットに存在する「段階的な構造」を特徴づけるものであることを強調する。これらの知見は、会話型 AI がユーザーの意味構築構造に効果的に適応するためには、ノイズの多い構造化されていない相互作用の痕跡から複雑な発達段階を推論しようとするのではなく、回復可能な発達シグナルにアクセスするために構造化された誘発に依存しなければならないことを示唆している。