Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

技術要約：大規模言語モデルの表層的な心理学的プロファイルは、主に測定上のアーティファクトである

問題提起
大規模言語モデル（LLM）は、モデルに安定した行動プロファイルを割り当てるために、人間用に設計された心理学的尺度（例：パーソナリティ・インベントリ、リスク選好タスク）を用いてますます評価されるようになっている。これらのプロファイルは、モデルの有用性、安全性評価、および研究における人間の代替としてのLLMの使用に関する決定に影響を与える。しかし、最近の知見は、LLMの応答が軽微なプロンプトの摂動に対して不安定であること、およびそこから導出される因子構造が人間の規範とは乖離していることを示唆している。本稿で扱う中心的な問題は、LLMの表層的な心理学的プロファイルが、真の意味での安定した行動的性質（特性）を反映しているのか、それとも、測定プロセスそのもの、具体的には、測定対象とする構成概念ではなく系統的な応答バイアスによって引き起こされる測定上のアーティファクト（人工物）であるのか、という点である。

方法論
著者らは、系統的な応答の2つの成分、すなわち潜在的特性（$\theta$）と方向性のある応答バイアス（$b$）を分離するために、正式な計量心理学の枠組みを採用している。本研究では、回答者の回答が、尺度の中心値、潜在的特性、方向性のあるバイアス、およびノイズの関数となる測定モデルを利用する。

• データ: 本研究では、56のインストラクション・チューニング済みLLM（オープンソース46、プロプライエタリ10）と、大規模な人間参照サンプル（$N=20,993$）を分析している。
• 測定尺度: 以下の2つの包括的なバッテリーを実施した：
  1. IPIP-NEO-300: ビッグファイブ（開放性、誠実性、外向性、協調性、神経症傾向）に関する300項目のパーソナリティ・インベントリ。
  2. リスク選好バッテリー: Freyらによる、自己報告尺度および行動タスク（例：記述に基づく決定、ロトリー）にわたる24の計器。
• 主要指標: 著者らは、**応答直交性（response orthogonality）**を導入し、これを利用している。これは、特性と応答バイアスが逆方向に作用する項目の割合（例：順方向キー項目 vs 逆方向キー項目）として定義される。
• 分析:
  • 診断テスト: 著者らは、順方向キー項目と逆方向キー項目の平均応答間の相関を分析している。測定モデルの下では、負の相関は特性の優位性を示し、正の相関は応答バイアスの優位性を示す。
  • 分解: 各モデルについて、応答は推定された特性（$\hat{\theta}$）とバイアス（$\hat{b}$）の成分に分解される。
  • 分散分解: バイアスと特性のそれぞれに起因するモデル間の分散の割合を算出する。
  • 直交性分析: 楽器内の逆方向キー項目の割合と、見かけ上の内部一貫性（クロンバックの$\alpha$）との関係を調査する。

主な知見

1. バイアスがモデル間の変動を支配する:

   • 人間のサンプルでは、順方向項目と逆方向項目の平均の相関は強く負であり（例：神経症傾向において $\rho \approx -0.82$）、これは基礎となる特性によって変動が駆動されていることを示している。
   • LLMにおいては、この相関は強く正であり（例：神経症傾向において $\rho \approx +0.68$）、これは変動が方向性のある応答バイアス（内容に関わらず尺度の端や特定のラベルを選択する傾向）によって駆動されていることを示している。
   • 分散分解の結果、LLMにおけるモデル間の変動の**81–90%は応答バイアスに起因しており、人間ではわずか9–16%**であった。

2. 能力はバイアスを減少させるが、排除はしない:

   • 応答バイアスは、モデルの能力（パラメータ数）が増加するにつれてわずかに減少する傾向があり、オープンウェイトモデルと比較してプロプライエタリなモデルの方が低い。
   • しかし、最も有能なモデルであっても、バイアスのレベルは人間と比較して依然として高い。スケーリングによってバイアスは解消されない。最も有能なモデルであっても、バイアスの範囲において人間の範囲外に留まっている。

3. 見かけ上の信頼性は直交性のアーティファクトである:

   • LLMにおいて、見かけ上の内部一貫性（信頼性）は、ほぼ完全にその計器の応答直交性によって予測される。
   • 逆方向キー項目の割合と平均項目間相関との間には、ほぼ決定的な負の相関（$r = -0.95$）が存在する。
   • 逆方向キー項目が少ない、あるいは存在しない計器は、高い信頼性（クロンバックの$\alpha$が最大0.96）を示すが、完全に直交する計器は信頼性がほぼゼロ、あるいは負になる。これは、直交していない計器における高い信頼性が、一貫した特性の発現ではなく、一貫したバイアスを反映していることを示唆している。

4. プロファイルの不安定性と製造可能性:

   • バイアスが応答を駆動するため、モデルの心理学的プロファイルは、順方向キー項目を使用するか逆方向キー項目を使用するかによって劇的に変化する。
   • プロファイルは、項目の選択を通じて「製造」することが可能である。順方向のみの項目から得られるプロファイルと、逆方向のみの項目から得られるプロファイルの差は、LLMにおいては極めて大きい（平均絶対バイアス $|\mu_b|$ は0.15から0.99の範囲）が、人間においては最小限である（$|\mu_b| \approx 0.09$）。
   • この不安定性は、パーソナリティ・インベントリよりもリスク選好計器においてより顕著である。

意義と主張
本論文は、LLMの表層的な心理学的プロファイルは、モデル固有の性質ではなく、それらを測定するために使用される計器のアーティファクトであると主張している。著者らの主張は以下の通りである：

• 現在の評価手法は欠陥がある: 標準的な人間の心理学的計器から導出されるプロファイルは、応答バイアスによって大きく混乱している。なぜなら、これらの計器は完全な応答直交性を備えていないことがほとんどだからである。したがって、報告されている信頼性係数やパーソナリティ・スコアは、安定した性質を反映していない。
• 方法論的な修正が必要である: LLMの性質を妥当に評価するには、完全な直交性を持つ計器（バランスの取れた順方向/逆方向キー）を使用するか、応答バイアスを明示的にモデル化し、特性から分離する正式な計量心理学的枠組みを適用する必要がある。
• 研究への影響: これらの知見は、測定上のアーティファクトを補正することなく、LL មLLMを研究における人間の代替として使用することの妥当性に疑問を投げかけている。また、行動タスクもこれらの問題に対して無防備であり、実際には自己報告よりもバイアスに対して敏感である可能性を示唆している。
• LLMの性質: 本研究は、観察されたバイアスが、サイコファンシー（追従性：これは一方向的なものとなる）や社会的望ましさ（これは特性の分散として現れるものとなる）といったポストトレーニングの効果では容易に説明できない、明確に区別された現象であることを位置づけている。これは、LLMが人間のような安定した性質を欠いているか、あるいは身体性や意志の欠如により、現在の計器がLLMに対して無効であることを示唆している。

著者らは、単に人間の心理学パラダイムを借用することは、LLMを特徴付けるには不十分であると結論付け、真の行動的性質と測定上のアーティファクトを区別するために、応答直交性に焦点を当てた専用の評価を求めている。