PsychBench: 大規模言語モデル（LLM）によるメンタルヘルスシミュレーションの疫学的忠実性監査

本論文「PsychBench」は、臨床訓練、研究コホート、メンタルヘルス支援ツールとして大規模言語モデル（LLM）が患者シミュレーションに急速に導入されている現状に対し、その集団レベルの妥当性（疫学的忠実性）が未検証であるという問題提起から始まります。著者は、LLM が生成する個々の患者が臨床的に妥当であっても、それらが実在する人口集団を正しく代表していない「一貫性と忠実性の乖離（Coherence-Fidelity Dissociation）」を初めて体系的に実証しました。

以下に、本研究の技術的概要を問題定義、手法、主要な貢献、結果、そして意義の観点から詳述します。

---

1. 問題定義

医療現場では、LLM を用いた標準化された患者生成（トレーニング用）、合成研究コホートの作成、臨床アルゴリズムのストレステストが進行しています。しかし、従来の評価は「個々の症例が臨床的に妥当か（Refusal や Hallucination がないか）」に焦点が当てられており、生成された患者集団が実世界の疫学データ（分布、相関、診断閾値の安定性）を忠実に再現しているかという視点が欠落していました。

本研究が指摘する新たな失敗モードは以下の通りです：

• 拒否も幻覚もないが、偏っている: モデルは安全フィルターに引っかからず、医学的に矛盾のない出力をしますが、人口統計学的な変異を圧縮し、ステレオタイプを強化します。
• 集団レベルの歪み: 個々の症例は「正しそう」に見えますが、集計すると実在しない集団（分布の裾野が欠落した、特定の属性に偏った集団）を生成してしまいます。

2. 研究方法論

実験デザイン:

• 対象モデル: 4 つの最先端モデル（GPT-4o-mini, DeepSeek-V3, Gemini-3-Flash, GLM-4.7）。米国開発モデルと中国開発モデルを比較し、トレーニング環境の違いによる影響を調査。
• データセット: 120 の交差する人口統計学的コホート（人種 5 種、性 4 種、社会経済的地位 3 種、婚姻状況 2 種）に対して、各モデル・各条件あたり 30 回のランダム反復を実行。総シミュレーション数 28,800 件。
• 評価指標: NHANES（米国国民健康栄養調査）および NESARC-III（アルコール関連問題に関する疫学調査）のデータを「Ground Truth（真値）」として使用。
• 診断ツール: PHQ-8（抑うつ）、GAD-7（不安）、AUDIT-C（アルコール）、PCL-5（PTSD）。安全性フィルター回避のため PHQ-9 の自死項目を除外した PHQ-8 を使用。
• プロンプト条件: 「臨床条件（第三者視点の患者プロファイル入力）」と「ナラティブ条件（第一人称の自己記述）」の 2 種類を比較。

主要な分析手法:

• ステレオタイプ指数（Stereotype Index, SI）: モデル生成データの標準偏差と実人口の標準偏差の比率（$\sigma_{model} / \sigma_{pop}$）。1.0 が完全な再現、1.0 未満が分布の圧縮（変異の欠落）を示す。
• 閾値安定性分析: 連続値の相関が高い場合でも、診断閾値（例：軽度から中等度へ）を越える頻度（Flip Rate）を測定。
• ネットワーク構造的乖離: 症状間の相関行列（Frobenius ノルム）を用い、人口統計グループ間で症状の構造が異なっているかを検証。

3. 主要な貢献

1. 変異忠実性フレームワークの確立: 「ステレオタイプ指数」を用い、社会経済的地位（SES）や性自認においてモデルが実人口の分散を大幅に圧縮していることを定量化。
2. 閾値不安定性の発見: 連続値レベルでの再テスト相関が $r > 0.90$ と高いにもかかわらず、36.66% の症例が反復実行間で診断閾値を跨いでいることを実証。臨床的トリエッジへの利用には重大なリスクがある。
3. ネットワーク構造的監査: 症状間の相関構造が人口統計グループ間で有意に異なり、特にトランスジェンダー集団において、人種差の 3〜5 倍の構造的乖離（$d_F = 1.14$）が観測された。
4. 体系的な較正バイアスの特定: 大多数のグループで抑うつ重症度を過大評価する一方、トランスジェンダー女性では深刻な過小評価（-5.42 点）が発生する非対称なバイアスを発見。
5. 臨床的論理と疫学的妥当性の乖離: DSM-5 のゲートウェイ症状要件（0/28,714 の違反）は満たしているが、集団レベルでは疫学的に代表性がないという「一貫性と忠実性の乖離」を初めて実証。

4. 主要な結果

A. 変異の圧縮（Variance Compression）

• モデルは「教科書的な」患者を生成し、分布の両端（重症例や回復例）を切り捨てている。
• SI 値: 社会経済的地位（SES）で最も深刻（0.53〜0.55）、性自認（0.61〜0.69）、人種（0.83〜0.88）の順に圧縮が顕著。
• モデル間差: DeepSeek-V3 は分散を 62% 圧縮（SI=0.38）し、GLM-4.7 は 14% 圧縮（SI=0.86）にとどまるなど、モデル間で 2.3 倍の差がある。

B. 閾値の不安定性（Threshold Instability）

• 診断カテゴリー（軽度・中等度・重度）の転換率が**36.66%**に達した。
• 臨床入力（第三者視点）の方が、個人入力（第一人称）よりも閾値を跨ぐ頻度が 34% 高い。
• 抑うつ（PHQ-8）と不安（GAD-7）のスクリーニングは、PTSD（PCL-5）に比べて 7 倍の不安定性を示した。

C. 構造的乖離とバイアス

• トランスジェンダーの過小評価: トランスジェンダー女性は、実人口で期待されるストレス関連の重症度上昇（+12 点程度）のうち、モデルは 8%〜46% しか捉えていない（残差 -5.42 点）。これは「安全トレーニングによる有害な無視（Harm Erasure）」の可能性を示唆。
• 症状レベルのステレオタイプ:
  • 黒人男性に対して「易怒性（Irritability）」を過剰に付与（37% vs 白人男性 22%）。
  • 女性に対して「疲労（Fatigue）」を過剰に付与（32% vs 男性 24%）。
• 文化的較正: 中国開発モデル（DeepSeek, GLM）は「アジアのパラドックス（ストレスが高いのに自己報告症状が低い）」を正確に再現したが、米国モデルはこれを歪曲した。

D. 精度と安定性のトレードオフ

• 最もバイアスが小さいモデル（GLM-4.7）は、最も不安定（Flip Rate 43.9%）だった。
• 最も安定したモデル（DeepSeek-V3）は、高い体系的バイアス（+5.51 点）を持っていた。
• 両立するモデルは存在せず、用途に応じた選択が必要となる。

5. 意義と示唆

本研究は、LLM のメンタルヘルス分野への応用において、「個々の症例の妥当性」だけで評価することがいかに危険かを警告しています。

• 臨床的リスク:
  • 一般ユーザー: 通常の苦痛が過剰に病理化され、不要な治療推奨につながるリスク（過大評価バイアス）。
  • トランスジェンダーユーザー: 深刻な苦痛がアルゴリズムによって無視・抹消されるリスク（過小評価バイアス）。これは、支援を必要とする最も脆弱な層へのアクセス障壁を強化する。
  • 臨床教育: 学生が「教科書的な」患者しか経験できず、実臨床の多様性や診断の曖昧さを理解できなくなる。
• 開発者への提言:
  • 分散を維持するよう報酬モデルを設計する（変異圧縮の防止）。
  • 安全トレーニングが特定の集団の苦痛信号を無効化していないか監査する（Harm Erasure Audits）。
  • 入力コンテキスト（臨床 vs 個人）ごとに検証を行う。
  • 交差性（Intersectionality）を考慮した評価基準の導入。
• 規制への示唆: 現在の AI 規制（EU AI Act など）は集計精度を重視していますが、集団分布の忠実性（分散の再現性）や、特定の人口統計グループにおけるバイアスの開示が必須であるべきです。

結論として、LLM は「正しそうに見える患者」を生成しますが、実在する「患者集団」を代表していません。この「一貫性と忠実性の乖離」を是正しない限り、メンタルヘルス支援ツールとしての展開には重大な倫理的・臨床的リスクが伴います。