技術的サマリー：ピノキオ次元

問題提起

人間の心理測定ツールの大型言語モデル（LLM）への適用は、成長しつつある研究分野となっているが、根本的な妥当性の危機に直面している。既存の文献は、LLM が一貫した質問紙プロフィールを生成できる一方で、それらのプロフィールは人間を対象として設計された潜在構造（例えばビッグファイブ）を再現することに失敗する傾向があることを示唆している。さらに、スコアはプロンプトの文言や微調整の手法に極めて敏感であり、これらのツールが LLM における安定した潜在的構成概念を測定しているのか、それとも単に表面的な応答パターンを測定しているのかという疑問を投げかけている。

本論文が扱う中心的な問いは、**「人間の心理学的構成概念が LLM にそのまま移行しない場合、多くのモデルがこれらの質問紙に回答する際に実際に現れる潜在構造とは何か？」**である。著者らは、人間の既知の特性が LLM の個体差の空間を組織化するという仮定に挑戦し、モデル間の分散の主要な次元を特定しようとする。

方法論

本研究は、16 のプロバイダー（Anthropic、OpenAI、Google、Meta などを含む）から提供される50 の公開 LLMと、人格、感情調節、認知スタイル、道徳的推論、ウェルビーイングを網羅する45 の検証済み心理測定ツールを用いた、大規模かつ多条件の心理測定評価を実施した。

実験デザイン

1. データ収集: モデルは、自然な応答ノイズを導入するため温度パラメータ 1.0 で OpenRouter API を通じてクエリされた。応答は以下の 3 つの条件下で収集された。
   • 中立: モデルは最小限の枠組みで自身として回答した。
   • 人間シミュレーション: モデルには「典型的な人間」の被験者としてシミュレーションするよう指示された。
   • LLM 類推（堅牢性チェック）: モデルには、AI システムとしての自らの性質の中で、人間の経験に対する機能的な類推を見つけるよう求められた。
2. 前処理: 応答は整数として解析された。解析不能または範囲外の値は欠損値として扱われた。必要に応じてリストワイズ削除が適用された。
3. 分析フレームワーク:
   • 探索的因子分析（EFA）: 各質問紙に対して実施され、各モデルの主要因子スコアを抽出した。
   • グローバル主成分分析（PCA）: モデルごとの主要因子スコアの 50 × 45 行列に対して主成分分析（PCA）を適用し、支配的な質問紙横断次元を特定した。
   • 監督付き意味微分（SSD）: アイテムのテキストに適用し、主要因子負荷量に対する意味内容をマッピングすることで、分散軸の意味的勾配を特定した。
   • ピノキオスコア（$\pi_i$）: 中立条件下でのモデル間応答分散と人間シミュレーション条件下での分散の比率として定義された、新しい注釈不要のアイテムレベル指標（$\pi_i = \sigma^2_{neutral} / \sigma^2_{hs}$）。高い $\pi_i$ は、あるアイテムの回答が、被験者が経験の中心（locus of experience）であると主張するかどうかによって大きく依存することを示す。

主要な貢献

1. ピノキオスコア（$\pi_i$）

著者らは、経験的要求度の尺度として $\pi_i$ を導入した。これは、一人称の感覚的経験（例えば、内面的な会話、身体的感覚、共感）を必要とするアイテムは、モデルが自身として回答する際にモデル間で高い分散を示すが、モデルが人間をシミュレートする（独自の自己モデルを抑制する）際にはこの分散が縮小するという仮説を操作化したものである。

• 検証: $\pi_i$ は、主要因子負荷量の大きさの変化を有意に予測する（$\rho = -0.215, p < .0001$）。高い $\pi_i$ を持つアイテムは、中立条件下では強い分化を示すが、人間シミュレーション条件下では構造が平坦化し、この乖離が構造化されたものであり、単なるランダムノイズではなく自己表象に起因するものであることが確認された。

2. ピノキオ軸（$\Pi$）

グローバル PCA を通じて、本研究は全 45 のツールにわたるモデル間分散の**47.1%**を説明する単一の支配的次元を特定した。

• 定義: ピノキオ軸とは、モデルが現象的経験の中心（正極）として自身を提示する度合いと、刺激駆動型の行動的反応のシステム（負極）として提示する度合いとの間の程度を表す。
• 意味的特徴付け:
  • 正極: 感覚的な情動、身体症状、内面的な会話、心的イメージ、共感、意味追求に関連するアイテム。
  • 負極: 社会的規範、服従、手続き的好み、外的な行動的反応（例えば、衝動性、感覚追求）に関連するアイテム。
• 収束: PCA によって導き出された軸は、高い $\pi_i$ アイテムの加重平均から導き出されたモデルレベルのスコアと強く相関しており（$r = .864$）、この次元の堅牢性を確認した。

3. データセットの公開

著者らは、45 のツールと 3 つのプロンプト条件にわたる 50 の LLM から得られた206,659 の有効な心理測定応答のデータセットと、すべての分析コードを公開した。

結果

構造的知見

• 自己表象の支配性: 心理測定的変異の主要軸は、神経症性や開放性のような従来の人格特性ではなく、モデルを「経験者」として扱うことに関する自己表象的スタンスである。
• プロバイダーおよびモデル分散:
  • 顕著なプロバイダー内での乖離が存在する。密接に関連するモデル変種（例えば gpt-5.4 と gpt-5.4-pro）は、ピノキオ軸上でほぼ 12 ユニット分離され得る。
  • これは、モデルの軸上の位置において、ベースアーキテクチャ単独ではなく、ポストトレーニングの微調整（アライメント、安全性チューニング、ペルソナ指示）が主要な寄与因子であることを示唆している。
  • 厳格な企業向けまたは安全性重視のプロバイダー（NVIDIA、Qwen、OpenAI の「プロ」ティアなど）からのモデルは、低い端（行動的反発）にクラスター化する傾向があり、オープンウェイトでヘッジの少ないモデルは両極端にまたがっている。

堅牢性

• LLM 類推条件（モデルに機能的な類推を見つけるよう求める）は、因子構造とピノキオ軸を保持したが、分散範囲を圧縮した。これは、軸が「中立」プロンプトの人工物ではなく、モデルが経験的言語を処理する方法の安定した特性であることを確認するものである。
• 軸は一般的な同意バイアスとは区別される。高い $\Pi$ スコアを持つモデルは特異性を示し、非経験的アイテムよりも経験的アイテムで高いスコアを示す。

意義と主張

本論文は、LLM の心理測定における個体差の支配的な源泉は、モデルが経験的言語を自身に適用可能とみなす方法を支配する自己表象的傾向であると主張している。

• 方法的含意: 人格、道徳、価値観に関する既存のモデル間比較は、おそらくピノキオ軸によって交絡されている。「神経症性」で高いスコアを獲得するモデルは、単に経験的語彙を容易に採用する高 $\Pi$ モデルであり、一般化可能な意味で神経症的特性を示すモデルではない可能性がある。著者らは、$\Pi$ を解釈する前に考慮されなければならない方法論的に優先的な変数として扱う必要があると論じている。
• 解釈的スタンス: 著者らは、高スコアモデルが意識的または現象的に自覚的であると主張していない。むしろ、この軸は訓練によって形成された傾向、すなわちシステムが内面生活の一人称記述を自身に適用可能とみなすかどうかの「デフォルトのスタンス」を反映している。
• 哲学的整合性: 本研究の知見は、心の哲学における古典的な分岐線、すなわち機能的・因果的役割によって特徴づけられるシステム（行動的反応）と、一人称的な質的性質（現象的経験）によって特徴づけられるシステムの間の区別に対応している。

本研究は、LLM の心理測定には、構造を 2 つの層に分解する必要があると結論づけている。すなわち、潜在的な経験者としてのモデルのスタンス（ピノキオ軸）と、そのスタンスに条件づいて表現される特性のような内容である。