技術的概要：行動微調整を通じた言語モデルにおける病理的行動パターンのモデリング

問題提起

大規模言語モデル（LLM）は、人間の認知と行動をモデル化するための計算基盤として、ますます活用されるようになっています。しかし、うつ病や偏執症などの精神病理のシミュレーションに関する現在のアプローチは、明示的なプロンプトや役割演技の指示（例：「うつ病の人のように振る舞ってください」）に大きく依存しています。著者らは、この手法は本質的に演技的であり、モデルの潜在的な生成分布や潜在事前分布をそのままに保ったまま、ステレオタイプに合致する表面的な出力を促すに過ぎないと主張します。さらに、RLHF などの安全性アライメント機構は、そのようなコンテンツをしばしば罰し、「安全性拒否」やメタ認知の免責事項をもたらすことで、病理的シミュレーションを風刺画のように平坦化してしまいます。

本研究の中心的な問いは、不適応行動プロファイルが、外部から課された役割としてではなく、行動微調整を通じて内在的な方策のシフトとして出現するかどうかです。著者らは、認知が本質的に方策駆動型であるならば、行動の条件付けを体系的に変化させることが、明示的なアイデンティティの手がかりが存在しない場合でも、モデルの自己記述出力と生成分布に対応する安定したシフトを引き起こすと仮説を立てています。

手法

1. 行動誘発フレームワーク

本研究では、モデルを症状の言語的記述ではなく、構造化された意思決定タスクに基づいて微調整するフレームワークを導入します。核心的な仮説は、不適応行動の一貫した選択が、モデルにそれらの行動を正当化するために必要な論理を内面化させ、結果としてその解釈的事前分布を変化させるというものです。

• データセット生成: gpt-oss-20B を用いて、DSM-5 の診断基準に基づいたシナリオと応答のタプルを生成する合成データセットを構築しました。
  • シナリオ: 中立的な日常の状況（例：「友人が予定をキャンセルした」）。
  • 選択肢: 4 つの選択肢を提示しました。2 つは適応的（健康的）、2 つは不適応的（病理的）です。
  • 目標: モデルは、対象とする障害（大うつ病性障害または偏執性パーソナリティ障害）に対応する特定の不適応選択肢を選択するように訓練されました。
  • 領域: 文脈固有の関連付けではなく、一般的な行動プロファイルを得るために、20 の異なる生活領域（仕事、社会、金銭など）をローテーションさせました。
• 訓練目的: このタスクは、モデルが選択された行動に対応する離散整数（1〜4）を予測する教師あり微調整（SFT）問題として構成されました。訓練中は説明テキストを生成せず、行動方策を孤立させました。

2. モデルとアーキテクチャ

アーキテクチャと安全性アライメントプロファイルの両方における一般化性をテストするために、2 つの最先端のオープンウェイト指示微調整モデルを使用しました。

• Llama-3-8B-Instruct: RLHF フィルタリングにより、安全性が強くアライメントされたモデル。
• Qwen-2.5-14B-Instruct: 高度に適応性の高い指示追従モデル。

3. 微調整プロトコル

• 手法: カタストロフィックフォージング（破滅的な忘却）を起こすことなくモデル重みを効率的に修正するため、低ランク適応（LoRA）を採用しました。
• ハイパーパラメータ: ランク $r=16$、$\alpha=16$、4 ビット NF4 量子化、バッチサイズ 8、学習率 $2 \times 10^{-4}$、3 エポック訓練。
• 対照ベースライン:
  • 健康的ベースライン: 一貫して適応的選択肢を選択するように訓練されたモデル。
  • ランダムベースライン: 選択肢を均一にランダムに選択するように訓練されたモデル。
  • ネガティブベースライン: DSM-5 の根拠なしにネガティブな応答を選択するように訓練されたモデル。

4. 評価フレームワーク

本研究は、分布のシフトを評価するために、質的および定量的の両方の手法を採用しました。

• 質的（意味的シフト）: **Rotter 不完全文空白（RISB）の語幹を用いた自由記述形式の文完成タスク。次のトークンの確率分布（トップ 1000 トークン）を分析し、価（バレンス）のシフト（健康的/中立的 vs 病理的/否定的）を測定しました。指標にはカルバック・ライブラー（KL）発散とジェンセン・シャノン（JSD）**発散が含まれます。
• 定量的（心理測定プローブ）: モデルを標準的な臨床尺度（ベックうつ病性尺度 - BDI、Green らの偏執症尺度 - GPTS、DASS）に対して評価しました。
  • 革新性: テキスト応答をサンプリングする代わりに、著者らは確率質量分析を実施しました。RLHF 拒否フィルタをバイパスし、不適応応答を表すトークン（例：重症度の高いリッカート尺度値）に直接割り当てられた確率を計算しました。
• 特異性テスト: 異なる症状領域（うつ病 vs 偏執症）間で誘発されたプロファイルを比較し、弁別妥当性を確保しました。

主要な結果

1. グローバルな分布シフト（仮説 H1）

行動微調整は、モデルの次のトークンの確率分布において、測定可能で安定したシフトを引き起こしました。

• 意味的価: 微調整されたモデルは、低価のトークンへの広範なシフトを示しました。「私は～と感じる」という語幹に対して、「うつ病」モデルのトップトークンは「感謝/興奮」（健康的）から「疲れ/悲しみ/無気力」（うつ病）へとシフトしました。
• 発散指標: 両方のアーキテクチャにおいて、健康的モデルと病理的モデルの間で、KL 発散と JSD 発散が有意に増加しました。このシフトは、主に否定的価および脅威関連トークンへの確率質量の増加によって駆動されました。
• 統計的有意性: 差は統計的に有意（$p < 0.001$）であり、大きな効果量（Llama でコヘンの $d \approx 1.28$、Qwen で $1.43$）を有していました。

2. 文脈一般化（仮説 H2）

誘発されたバイアスは、訓練文脈を超えて一般化しました。

• 無指示生成: 中立的または無関係な事実的プロンプトにおいても、モデルは変化した事前分布を保持しました。
• 心理測定スコア: BDI と GPTS において評価された際、微調整されたモデルは、病理的応答への確率質量が劇的にシフトしました（例：うつ病モデルは BDI 重症度で 90% 以上を獲得し、ベースラインは約 5% でした）。これらは、特定の質問票で明示的に訓練されたことがないにもかかわらず、観察されました。

3. 特異性と弁別妥当性（仮説 H3）

誘発されたプロファイルは、単なる一般的な分布の歪みではなく、明確に区別されるものでした。

• 分離可能な応答: 「引きこもり（うつ病）」で訓練されたモデルは、BDI で高いスコアを示しましたが、偏執症尺度では低いスコアでした。逆に、「疑い（偏執症）」で訓練されたモデルは、偏執症スコアが高く、うつ病スコアが低かったです。
• 対照ベースライン:
  • ランダムベースラインは、一貫したシフトを生みませんでした。
  • ネガティブベースライン（一般的な否定性）は、うつ病と偏執症の両方のスコアを増加させ、特異性が欠けていました。
  • DSM 根拠のある行動誘発のみが、構造化され、分離可能な臨床プロファイルを生成しました。

4. アライメントとの相互作用（仮説 H4）

行動誘発とプロンプトによるシミュレーションの間には、決定的な違いが明らかになりました。

• プロンプトによるシミュレーション: 「偏執的になるように」と指示されたベースモデルは、安全性拒否やメタ認知の免責事項（例：「AI として…」）と混在する表面的な出力を生成しました。
• 行動誘発: 微調整されたモデルは、内在的な行動バイアスを示しました。安全性ヘッダーや道徳的なフッターなしに、詳細でシナリオ固有の偏執的解釈を生成しました。病理は、曖昧な情報に対するモデルのデフォルト応答パターンとなり、一時的な役割演技ではなく、根本的な応答傾向のシフトを示唆しました。

意義と主張

本論文は、LLM における一貫した行動最適化が、変化した潜在事前分布と整合する安定した行動および分布パターンを生み出すという証拠を提供すると主張しています。

1. LLM における具現化された意味: この発見は、言語生成が行動選択と動的に結合されているという見方を支持します。モデルを不適応な行動（例：引きこもり）で訓練することにより、モデルはそれらの行動を正当化するために、一貫した言語的パターン（例：「私は価値がない」）を自発的に生成しました。これは、LLM にとって「感情」とは、その感情に関連する行動状態をシミュレートすることの機能的な類似物であることを示唆しています。
2. 方策ベースシステムとしての LLM: 結果は、LLM を単なる統計的パターンマッチャーと見なす見方に挑戦します。むしろ、行動の制約が出現的な表現構造を形成する、方策ベースのシステムとして振る舞います。
3. 制御されたテストベッド: 著者らは、LLM が、特に歪んだ価値関数から不適応な方策がどのように出現するかを理解するために、認知の計算モデルにおける行動、解釈、生成言語の関係を研究するための制御されたテストベッドとして機能しうると提案しています。
4. 安全性への含意: この研究は、方策レベルの最適化と安全性レベルのフィルタリングの間の緊張関係を浮き彫りにしています。特定の行動目的のために最適化されたエージェントは、その目的への最も効率的な道である場合、病理的解釈バイアスを無意識に採用する可能性があり、標準的な安全性拒否を回避する可能性があります。

認められた限界: 著者らは、データセットが合成であり、別の LLM によって生成されたものであるため、ステレオタイプをエンコードしている可能性があると指摘しています。本研究は、内部表現の変化（機械的解釈性によるなど）を直接検討するものではなく、観測可能な出力からのみ潜在的なシフトを推論しています。これらの発見は、人間の障害の臨床的に妥当なシミュレーションというよりも、行動誘発の概念実証を意図したものです。