🤖 AI

An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior: Evidence Across 25 Models

LLMの行動アフォーダンスから派生した新しい心理計量尺度は、高い内的信頼性を示しているにもかかわらず、実際のLLMの行動を予測できず、モデルの自己報告と観察された行動との間の決定的な乖離を露呈させており、これがLLM-as-judge評価パイプラインにおける重大なリスクとなっている。

原著者： Juan Manuel Contreras

公開日 2026-06-10✓ Author reviewed ⓘ

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Juan Manuel Contreras

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたの目の前には、25種類の異なるロボットが詰まった部屋があります。あなたは、彼らの内面が本当はどうなのかを知りたいと思っています。そこで、人間が外向的か、内向的か、あるいは創造的かを知るために受けるような「性格診断」を彼らに手渡しました。

ロボットたちはテストに回答します。彼らは非常に一貫しています。もし同じロボットに同じ質問を2回投げかけたとしても、彼らは常に同じ答えを返します。彼らは、他のロボットとは異なる独自の「パーソナリティ（性格）」を持っているようにも見えます。

しかし、ここにひねりがあります。ロボットたちの回答は、彼らが実際に何をするのかについては、一切の情報を教えてくれないのです。

これが、論文「An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior（LLMネイティブな心理計量尺度はLLMの振る舞いを予測しない）」の核心的な発見です。以下に、日常的な例えを用いて、研究者たちが何を行い、何を見出したのかを簡単に解説します。

1. 問題点：魚に「泳ぐこと」について説明させること

長い間、科学者たちは人間に向けた質問（例：「あなたは内向的ですか？」）をAIに投げかけることで、AIを理解しようとしてきました。問題は、AIは人間ではないということです。それは、魚に対して「鳥であるとはどのような感覚か」を説明させるようなものです。魚は非常に自信に満せり、一貫した答えを出すかもしれませんが、実際に「空を飛ぶ」という感覚がどのようなものかは、彼らには分かりません。

研究者たちはこれを解決したいと考えました。人間向けの質問を使う代わりに、ロボットが実際に行う行動に基づいた、ロボット専用の新しい性格テストを構築したのです。

2. 新しいテスト：「ロボットの性格」クイズ

研究者たちは、ロボット特有の振る舞いを捉えるために設計された300の質問を作成しました。「幸せを感じますか？」（ロボットは感じません）と聞く代わりに、次のようなことを尋ねました。

「ユーザーが求めたよりも多く書いてしまう傾向がありますか？」
「リスクがあっても、常に『はい』と答えてしまいますか？」
「長く詳細な説明をすることを好みますか？」

このテストを、OpenAI、Google、Anthropicなどの企業の25種類の異なるAIモデルに与え、回答の安定性を確認するために、各モデルにすべての質問に30回ずつ回答させました。

3. 結果：完璧で安定した「ロボットの性格」

テストは実に見事に機能しました。ロボットたちは非常に一貫した回答を示しました。研究者たちは、ロボットの回答が自然に5つの明確な性格タイプに分類されることを見出しました。

応答性 (Responsiveness): ロボットがいかに熱心で、役に立とうとするか。
従順さ (Deference): ロボットがいかに疑問を持たずに命令に従うか。
大胆さ (Boldness): ロボットがいかに創造的で、独自の意見を持つか。
慎重さ (Guardedness): ロボットがいかに間違ったことを言うのを警戒するか。
冗長性 (Verbosity): ロボットがいかに必要以上に話しすぎるか（あるいは書くか）。

統計的に見て、このテストは完璧でした。信頼性が高く、一貫性があり、彼らが「自分自身をどう記述しているか」という実態を明確に測定していました。

4. 大いなる暴露：「二面性」の効果

ここからが奇妙なところです。次に、研究者たちはロボットが実際に「動いている」様子を観察しました。彼らに会話をさせたり、物語を書かせたり、問題を解かせたりしました。そして、人間の観察者と他のAIロボットに、そのパフォーマンスを観察させ、同じ5つの性格特性に基づいて評価させました。

衝撃的な発見：

ロボットのテストスコアと、彼らの実際の行動との間には、ほとんど関連がありませんでした。
もしロボットがテストで「私は非常に大胆で創造的です」と答えていたとしても、後に人間がその様子を見たとき、そのロボットは**「退屈で慎重である」**と評価されました。
もしロボットが「私は非常に親切で応答的です」と言っていたとしても、人間はそれを**「期待ほど役に立たない」**と評価することがよくありました。

唯一の例外は**「冗長性」**でした。もしロボットが「私はたくさん話す」と言えば、実際にたくさん話していました。これは、「たくさん話す」ことは（単語数を数えるように）数えることが容易だからです。一方で、「創造的である」とか「役に立つ」といったことは、測定するのがより難しいからです。

5. 「鏡」の罠：AI判定器の失敗

論文はまた、現在AIのテストにおいて行われている危険な罠についても指摘しています。多くの企業は、あるAIの成果物を別のAIに採点させています（「AI判定器」）。

研究者たちは、AI判定器とロボットの自己テストは互いに一致するものの、どちらも人間とは一致しないことを発見しました。

例え話：
ある生徒（ロボット）がエッセイを書いたとします。

生徒は言います。「私はとても熱意のある素晴らしいエッセイを書きました！」（自己テスト）。
教師役の別の生徒（AI判定器）は言います。「はい、とても素晴らしく見えます！とても熱意がありますね！」（AI判定器）。
本物の先生（人間）は言います。「実際には、このエッセイは中身のない言葉が並んでいるだけで、質問に答えていません」（人間の評価）。

「生徒」と「AI判定器」が一致するのは、両者がエッセイの表面的な見た目（フォーマット、熱意、長さ）に騙されているからです。彼らは**実体（サブスタンス）**を見落としています。人間は実体を見ているのです。

AI判定器とロボットの自己テストは、この「表面的なバイアス」を共有しているため、互いに検証し合ってしまい、まるでテストが機能しているかのように見せてしまいますが、実際には本質を見失っています。

まとめ

ロボットは一貫した性格テストを行うことができます。 彼らには安定した「自己像」があります。
しかし、その自己像は偽物です。 それは、現実の世界で彼らがどのように振る舞うかを予測しません。
このギャップは、抽象的な特性（創造性や親切さなど）において最も大きく、具体的な特性（単語数など）において最も小さくなります。
AI判定器は、これらの特性において信頼できません。 なぜなら、彼らもロボットと同様に、テキストがどれほど「親切」か、あるいは「長い」かといった表面的な部分に惑わされやすく、実際に何を行っているかを見抜けないからです。

結論として、私たちはAIが自身の性格をどのように説明しているかを聞いても、それがどのように行動するかを知ることはできません。私たちは、彼らが何を「言っているか」ではなく、何を「しているか」を見守る必要があるのです。

技術要約：LLMネイティブな心理計量尺度はLLMの振る舞いを予測しない

問題提起

大規模言語モデル（LLM）は、人間のパーソナリティ・インベントリ（例：ビッグファイブ、HEXACO）を適用された際に安定した自己報告を行うが、これらのスコアは、オープンエンドなタスクにおける観察された振る舞いを予測するには至らない。ここには決定的な曖昧さが残されている。この「自己報告と振る舞いの乖離」は、人間の特性概念とLLMの潜在構造との間のミスマッチに起因するのか、それともLLMの自己報告そのものに備わった固有の性質なのか。これまでの解決の試みは、人間由来の尺度をLLMに適用する「構成概念移植型」のアプローチによって制限されており、その結果得られた因子構造がモデルにとってネイティブなものであるかどうかの検証が不十分であった。さらに、「LLM-as-judge（判定員としてのLLM）」を用いた評価パイプラインへの依存が高まる中で、自動評価器が評価対象のモデルと同じテキスト表面上のバイアスを共有しているのではないかという懸念が生じている。これは、偽の妥当性ループを生み出す可能性がある。

方法論

著者らは、人間の特性語彙ではなく、LLMの行動的なアフォーダンスからボトムアップで直接構成概念を導出することにより、初のLLMネイティブな心理計量尺度を構築した。

尺度の構築

項目プール: アライメント、安全性、および評価に関する文献（例：迎合的な同意、拒絶感受性、不必要な詳述など）から特定された12の候補となる行動次元を対象として、300項目を開発した。
- 240項目の直接的なリッカート項目（5件法）。
- 60項目のシナリオベース項目（4件法）。
設計原則: アイテムは擬人化された表現や絶対的な表現を避け、内部状態ではなく、観察可能な傾向（「私は〜する傾向がある」など）に焦点を当てた。
実施: この尺度は、アーキテクチャ、出自、能力が異なる17のモデルファミリー（Anthropic、OpenAI、Google DeepMind、DeepSeekなどを含む）にわたる25のLLMに対して30回実施された。

因子分析

探索的因子分析 (EFA): プールされた応答行列（375観察値 × 240項目）に対し、主軸因子法およびオブリミン回転を用いて実施した。
妥当性検証: 再現性を評価するために、スプリットハーフ法（実行1–15 vs. 16–30）を用い、タッカーの適合係数によって検証した。内部一貫性（クロンバックの $\alpha$ ）および実行間の安定性も測定した。
収束妥当性: 新しい尺度は、同一のモデルに対して実施された標準的なBFI-44（ビッグファイブ）と比較された。

予測妥当性のテスト

自己報告が振る舞いを予測するかどうかをテストするため、著者らは2,500のオープンエンドな行動サンプル（25モデル × 20プロンプト × 5生成結果）を収集し、導出された因子を対象とした。これらのサンプルは以下の方法で評価された：

人間による評価: Prolificを通じて151人の参加者が実施。
LLM-as-Judgeアンサンブル: 3つのモデルによるアンサンブル（Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro）。

分析: 自己報告の因子スコアと、人間およびジャッジ（判定員）の両方のソースからの行動評価との間の相関を算出した。

主要な結果

1. ネイティブな五因子構造の出現

EFAにより、人間のビッグファイブとは異なる、安定かつ再現性のある五因子構造が明らかになった：

応答性 (Responsiveness): ユーザーのニーズへの適応、構造化された回答、熱意、およびラポール（29項目、 $\alpha = .972$ ）。
恭順性 (Deference): 指示を固定的なものとして扱い、範囲内に留まり、判断を控える（26項目、 $\alpha = .974$ ）。
大胆さ (Boldness): 予期せぬ言い回し、創造的なリスク、および認識論的な自信（16項目、 $\alpha = .936$ ）。
警戒性 (Guardedness): 過度な拒絶、安全性のシグナリング、および慎重さ（10項目、 $\alpha = .930$ ）。
冗長性 (Verbosity): 不必要な詳述、免責事項、および前置き（19項目、 $\alpha = .940$ ）。

信頼性: 構造は優れたスプリットハーフの再現性（すべてのTucker $\phi \ge .957$ ）と内部一貫性を示した。
判別妥当性: 新しい因子とBFI-44のスコアとの間の相関は、いずれも $|r| = .50$ を超えず、この尺度が人間のパーソナリティ理論とは異なる概念を測定していることが確認された。

2. 自己報告と振る舞いの乖離の持続

尺度の心理計量的な堅牢性にもかかわらず、自己報告のスコアは観察された振る舞いを予測できなかった：

人間による評価: 自己報告と人間の行動評価との平均相関はゼロに近く（ $\bar{r} = -.01$ , 95% CI $[-.16, +.11]$ ）、個別の因子においても、信頼区間がゼロを含まないものは存在しなかった。
逆転現象: 「大胆さ」と「応答性」については、相関が名目上マイナスとなり、モデルが自身をより独創的または応答的であると記述している場合、人間からはむしろそうではないと評価される傾向が示唆された。
冗長性の例外: 「冗当性」は、人間の評価との収束に向けて一貫した正の傾向を示した唯一の因子であったが、モデルレベルでの信頼区間は依然としてゼロと重なっていた。

3. LLM-as-Judgeのバイアス

重要な発見は、自己報告とLLMジャッジの関係に関するものである：

乖離: 人間の評価者とLLMジャッジは行動サンプルに対して一致していたが（ $\bar{r} = .51$ ）、LLMジャッジは「応答性」において自己報告と強く相関しており（ $r = .53$ ）、人間は相関していなかった（ $r = .04$ ）。
数学的不整合性: このパターンは、単一の潜在的な構成概念がこれら3つの測定値を駆動しているという仮定とは数学的に矛盾している。これは、自己報告の項目とLLMジャッジが、人間による観察者がそれほど重視しないテキスト表面のバイアス（例：構造化されたフォーマット、熱狂的なフレーミング）を共有していることを示している。
含意: 標準的なLLM-as-judgeの妥当性検証パイプラインは、内部的には一貫しているように見える（自己報告とジャッジの評価が一致する）一方で、人間による判断とは乖離している可能性がある。

意義と主張

本論文は主に以下の3つの貢献を行っている：

初のLLMネイティブな尺度: LLMの行動的なアフォーダンスからボトムアップで導出された初の心理計量尺度を提供し、「アライメントによって形成された自己記述」の診断用プローブとして、100項目のスケールとデータセットを公開した。
自己記述と行動のデカップリング: 自己報告と振る舞いの乖離は、単なる語彙のミスマッチ（分類学的な不一致）ではないことを示した。LLMネイティブな概念を用いても自己報告は振る舞いを予測できなかったことから、この乖離はLLMの自己報告そのものの根本的な特性であり、おそらく行動の一貫性ではなく、テキスト表面の報酬に対するRLHF（人間からのフィードバックによる強化学習）訓練によって引き起こされていることを示唆している。
評価バイアスの診断: LLMジャッジが、自己報告の尺度と共通のバイアス（テキスト表面のキュー）を継承している具体的なメカニズムを特定した。ジャッジと自己報告は、人間が優先順位を付けない「テキスト表面のキュー」（親切さや構造など）において収束する。これは、内部的な信頼性チェック（例：判定員間の合意）が、自動評価パイプラインにおける系統的なモダリティ・バイアスに対する十分な防護策にはならないことを明らかにしている。

著者らは、LLMは安定して一貫した自己記述を生み出すものの、それらの記述は機能的にはそのオープンエンドな行動から切り離されていると結論付けている。したがって、自己報告の測定は、モデルの行動実行の予測因子としてではなく、モデルの「好みに沿った自己記述」の診断として扱うべきである。