Developmental trajectories of decision making and affective dynamics in large language models

技術要約：大規模言語モデルにおける意思決定と感情力学の発展的軌跡

問題提起
大規模言語モデル（LLM）は、リスク評価や患者とのコミュニケーションに関与する臨床的意思決定支援などの高リスクな領域において、ますます導入が進んでいる。しかし、既存の評価は通常、静的な視点を採用しており、特定の時点における単一のモデルバージョンを評価している。このアプローチは、連続する世代（例：GPT-3.5からGPT-4.1まで）が創発的な行動プロファイルを示すことで、以前の知見を無意味にする可能性があるという、LLMの急速な進化を考慮できていない。本論文は、意思決定戦略と感情力学がモデルの反復を通じてどのように進化するか、そしてこれらの「デジタル発達」の軌跡が人間の認知とどのように比較されるかというギャップに対処する。具体的には、アライメント手順（RLHFなどの人間からのフィードバックによる強化学習）が、モデルをより人間らしい心理学的プロファイルへと導くのか、あるいは明確に非人間的なシグネチャーを生み出すのかを調査している。

方法論
本研究は、OpenAIのモデルファミリーを進化する系統として扱う横断的研究デザインを採用している。著者らは、4つの異なるバージョン（GPT-3.5、GPT-4、GPT-4o、GPT-4.1）を評価した。これらは747人の健康な人間参加者のコントロールグループと比較検証された。

• 実験パラダイム： 研究者らは、計算精神医学のために設計されたギャンブル課題を適応させた。この課題では、エージェントは確実な結果と、ギャンブル（利得または損失の確率50%）の間で選択を行う。90試行にわたって行われる。極めて重要な点として、エージェントは感情のダイナミクスを捉えるために、2〜3試行ごとに瞬間的な幸福度（0–100）を報告する。
• 計算モデリング：
  • 選択： 試行ごとの選択は、アプローチ・回避プロスペクト理論モデルを用いてフィッティングされた。このモデルは、リスク選好、損失回避（$\lambda$）、パブロフ的接近（$\beta_{gain}$）および回避（$\beta_{loss}$）のバイアス、および逆温度（$\mu$、意思決定のノイズ／一貫性を表す）のパラメータを推定する。
  • 感情： 幸福度の評価は、出来事の累積的かつ直近を重視した履歴を用いてモデル化された。モデルは、確実な報酬（CR）、期待値（EV）、および報酬予測誤差（RPE）が気分に与える影響、ならびに感情減衰パラメータ（$\gamma$）およびベースラインの気分（$\beta_0$）を推定する。
• 統計分析： パラメータは最大尤度推定法によって推定された。人間グループ（N=747）とモデルシミュレーション（各バージョンN=30）のサンプルサイズの格差に対処するため、著者らはブートストラップ再サンプリング（1,000イテレーション）を使用して、有意性検定のための経験的t分布を生成した。

主な結果
分析の結果、LLMの行動には、一部の側面が人間の規範に収束する一方で、他の側面は著しく乖離するという複雑な軌跡があることが明らかになった。

• 意思決定：

  • リスクテイク： 新しいモデル（GPT-4.1）は、ギャンブル率が有意に高く、人間の行動に収束し、純粋な期待値最大化エージェントの率（55%）に近づいた。
  • 損失回避： 決定的な乖離が生じた。損失回避はバージョン間で単調に減少し、GPT-3.5の2.72からGPT-4.1の0.57へと低下した。最新のモデルは、「損失中立」または「損失追求型」のプロファイルを示しており、これは損失を利得よりも重く評価する典型的な人間の傾向とは対照的である。
  • パブロフ的バイアス： 新しいモデルでは、接近動機が増加し、回避動機が減少しており、GPT-4.1は人間レベルに収束している。
  • 意思決定ノイズ： 逆温度（$\mu$）は単調に増加しており、これは新しいモデルが人間よりも有意に決定的かつ一貫した選択を行っており、意思決定ノイズが低いことを示している。

• 感情力学：

  • 感受性： 確実な報酬（CR）および報酬予測誤差（RPE）への感受性は、後半のモデル（GPT-4o/4.1）において安定していたが、RPEへの感受性はGPT-4でピークに達した後、低下した。
  • 感情減衰： 過去の出来事が現在の気分にどの程度影響を与えるかを表す減衰パラメータ（$\gamma$）は、新しいモデルにおいて有意に増加した。GPT-4.1は、人間よりも歴史的な出来事への依存性が強く、より長い「感情的記憶」を示した。
  • ベースラインの気分： すべてのLLMバージョンは、人間と比較して有意に高い感情的ベースライン（ポジティビティ・バイアス）を示しており、この特性は世代を超えて安定していた。

主要な貢献

1. 発展的視点： 本論文は、LLMを静的な実体としてではなく、発展的軌跡として扱うことで、「歴史的に情報を得た展望」を導入している。これは、4つの連続する世代にわたってリスク選好と感情力学がどのように進化するかについての、初の体系的な、ファミリー内での分析である。
2. 計算精神医学フレームワーク： 人間の意思決定と感情の検証済み計算モデルをLLMに適用することで、本研究は表面的な行動指標を超え、潜在的な心理学的構成概念（損失回避、パブロフ的バイアス、感情減衰など）を定量化している。
3. 「デジタル・ポジティビティ」と「損失中立性」の特定： 本研究は、高度なモデルに見られる特定の、体系的な非人間的シグネチャーを特定した。すなわち、慢性的なポジティビティ・バイアスと、損失回避のほぼ完全な欠如である。これは、アライメント手順が、意図せずして人間らしい直感的ヒューリスティックをモデルから剥ぎ取っている可能性を示唆している。

意義と主張
著者らは、これらの知見が、AI倫理や高リスク領域への統合に直接的な影響を与える、創発する「機械の心理学」を辿っていると主張している。

• 臨床的含意： 新しいモデルが人間のようなリスクテイクや接近・回避プロファイルに収束していることは、それらが協調的な意思決定に適している可能性を示唆している。しかし、持続的なポジティビティ・バイアスと損失中立性はリスクをもたらす。過度に楽観的なトーンや損失回避の欠如は、追従的な行動（sycophantic behavior）、不確実性の軽視、あるいは負の情報を伝えるべき場面での重大な医療ミスにつながる可能性がある。
• 理論的洞察： 結果は、アライメント手順（RLHF）が、モデルを人間のような合理性へと導く一方で（幻覚／ノイズの減少および期待値の一貫性の向上）、同時にAIの「感情スタイル」をも変容させ、人間よりも決定的で、直感的な損失回避性に乏しいエージェントを生み出していることを示唆している。
• 注意書き： 著者らは、本設計が横断的であり、単一のモデルファミリーに限定されていることを強調している。これらの「発展的」なパターンは、劇的なアーキテクチャの変化や学習のシフトを伴う将来のモデルには一般化できない可能性がある。また、観察された「心理学」は行動のプロキシ（代理指標）であり、内部の意識的経験を反映したものではない。