テクニカル・サマリー：強化学習エージェントにおける障害様フェノタイプのトランスダイアグノスティック（横断的）な空間

問題提起

ヘルスケアや人間と対面するシステムに導入される強化学習（RL）エージェントには、感情的な安定性が求められる。価値推定の誤差は、回避、執着（perseveration）、あるいは無謀さといった壊滅的な失敗モードにつながる可能性がある。精神疾患をエージェントでモデル化しようとする先行研究は存在するが、主に以下の3つの弱点を抱えている：

1. メカニズムに基づいた根拠の欠如： 操作が計算精神医学の記述から導かれたものではなく、手動で調整されたヒューリスティックであることが多く、臨床的概念との対応関係が緩い。
2. 事後的なラベル付け： 行動が事前に登録された基準に基づいて測定されるのではなく、観察後にラベル付けされる（例：「これはOCDのように見える」）。これは確証バイアスの誘発を招く。
3. 厳密性の欠如： 結果が分散、コントロール、または用量反応分析なしに、単一の実行結果として報告されることが多い。

さらに、既存の計算精神医学モデルは、抽象的なタスクを行動に適合させることはできるが、障害の重症度を連続的に操作したり、健康から病理へ、そして再び健康へと至る全軌跡を観察したりすることはできない。

手法

AG-PPO アーキテクチャ

著者らは、アプレイザル理論（Lazarus, 1991; Scherer, 2001）をRLループに統合したエージェントである AG-PPO（Appraisal-Guided Proximal Policy Optimization）を導入している。

• アーキテクチャ： 共有畳み込みエンコーダが、エゴセントリックな記号的観測（7×7×3）を処理する。その出力は、アクター（Actor）とクリティック（Critic）の両方に供給される。
• アプレイザル・ベクトル ($\zeta$)： クリティックは、毎ステップごとに計算される6次元のアプレイザル・ベクトル $\zeta_t$ を消費する：
  1. 動機づけの関連性 ($\zeta_{MR}$): エージェントの目標との距離の関数。
  2. 目標の一致性 ($\zeta_{GC}$): 目標との幾何学的な整列。
  3. 確実性 ($\zeta_{C}$): 方策のエントロピーから導出。
  4. 新規性 ($\zeta_{N}$): 一様方策に対するKLダイバージェンスから導出。
  5. コーピング（対処）能力 ($\zeta_{CP}$): エージェントの視界の外にある脅威の割合。
  6. 予期 ($\zeta_{A}$): 次の報酬予測誤差の補数（次報酬推定ネットワークによって供給される）。
• 報酬シェーピング： 環境報酬 $r_t$ は、シェーピング関数 $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{特定の項}$ によって修正される。決定的なのは、各疾患がこの方程式の正確に一つの項を活性化するか、あるいは割引率 $\gamma$ を変更することによって誘導される点である。

疾患メカニズム（「ノブ」）

7つの疾患が、特定の計算精神医学的記述に基づいた、用量制御可能な「ノブ」としてモデル化されている：

1. 不安症（Anxiety）： 低いコーピング能力にペナルティを課す（脅威に対する過覚醒）。
2. 躁状態（Mania）： 高いコーピング能力にペナルティを課す（報酬への過敏性／脅威探索）。
3. 強迫性障害（OCD - 確認行動）： チェックポイントの再訪問に対して減衰するボーナスを与える（安心感の減衰をモデル化）。
4. うつ病（Depression）： 移動に対してステップごとの努力コストを課す（行動活性化の低下）。
5. 衝動性（Impulsivity）： 割引率 $\gamma$ を減少させる（急峻な遅延割引）。
6. 依存症（Addiction）： ドラックタイルに対して非慣習的なボーナスを加える（上限のないインセンティブ・サリエンス）。
7. PTSD： トラウマタイルに対して条件付きショックを適用し、回避の過剰汎化を引き起こす。

実験プロトコル

• 環境： 4つの脅威/空間グリッドワールド（Dynamic-Obstacles, LavaGap, LavaCrossing, Approach-Avoidance, Temporal-Choice, Addiction, Trauma）および1つの3Dピクセル環境（MiniWorld）。
• アッセイ（評価）： 各疾患に対する主要な症状アッセイは事前登録されている（例：不安症におけるリスクのある目標選択、OCDにおける確認率）。
• コントロール： 4つのコントロール条件を使用：標準的なPPO、クリティック・ノイズ（ランダム・ベクトル）、PPO+RND（内的動機付け）、およびシェーピングなしのアプレイザル・クリティック。
• 統計的厳密性： 実験は10個のシードを用いて1,375の構成を実行した（95%信頼区間）。

主要な結果

1. 段階的な用量反応

すべての7つの疾患において、「ノブ」の用量を増やすと、主要な症状アッセイにおいて段階的かつ単調な反応が示された。コントロール群はこれらのフェノタイプを再現できなかったことから、効果が一般的な内的動機付けやノイズではなく、特定のシェーピング・メカニズムに由来することが確認された。

2. 創発的なトランスダイアスティック構造

疾患は、報酬に明示的にエンコードされていないにもかかわらず、2次元の感情空間（報酬-接近 vs 脅威-回避）へと自己組織化された：

• 躁状態と不安症は、原点を挟んで正確に鏡合わせの関係となった（脱抑制された過剰追求 vs 過覚醒的な回避）。
• OCDは、主要な平面に対して直交する別の次元（強迫性）を占めた。
• うつ病は引きこもりへとマップされ、依存症と衝動性は過剰追求へとマップされた。

3. 治療の解離（救済 vs 抵抗性）

訓練後に病理的なノブを取り除くことで「治療」をテストした：

• 報酬歪曲型疾患（躁状態、OCD、依存症）： ノブの除去直後に症状が寛解した（目標勾配が再び支配的になったため）。
• 習慣/回避型疾患（不安症、PTSD、うつ病、衝動性）： パッシブな除去に対して症状が抵抗を示した。エージェントは、回避行動が反証となる証拠に遭遇することを妨げたため、適応不良な方策を維持した。
• 解決策： 抵抗性のある疾患（不安症、PTSD）は、段階的曝露カリキュラム（回避ルートに対してペナルティを課す）を通じてのみ回復した。これは臨床的な曝露療法を模している。

4. 創発的な併存症

2つのノブを同時に活性化した場合、その相互作用は非加算的であった：

• 躁状態 × 衝動性： 衝動性（急峻な割引）が躁状態の致死性を抑制した。躁状態のエージェントの無謀な溶岩への接近には多段階のコミットメントが必要であったが、近視眼的な衝動性エージェントはそれを行わなかった。
• 不安症 × うつ病： 重度のうつ病（高い努力コスト）が不安症の読み取りを上書きした。エージェントは行動を完全に停止し、回避行動の発現を防いだ。

5. 3Dピクセル環境への汎化

3つの疾患（うつ病、依存症、不安症）を、アプレイザル・クリティックを持たない標準的なCNNエージェントを用いて3Dピクセル環境（MiniWorld）に転送した。

• 同様のフェノタイプ・シグネチャーが出現した（例：うつ病は前進行動を減少させ、依存症はドラッグ占有率を増加させた）。
• クロスアッセイの解離も保持された：うつ病のノブはドラッグ占交率を増加させず、不安症のノブは移動を抑制しなかった。これは、メカニズムがグリッドワールドや特定のアプレイザル・クリティック・アーキテクチャの特性ではなく、報酬構造の特性であることを裏付けている。

意義と主張

本論文は、人工エージェントにおける感情的フェノタイプを研究するための、制御可能で根拠に基づいた基盤を確立したと主張している。その主な貢献は以下の通りである：

1. 記述から操作へ： 疾患モデリングを、事後的なラベル付けから、単一で解釈可能なパラメータを介して重症度を連続的に調整できる、検証可能な科学へと移行させた。
2. 創発的な臨床的パラレル： このフレームワークは、複雑な臨床現象（例：回避型疾患のパッシブなストレッサー除去に対する抵抗性、併存症の非加算的な性質）を、それらを明示的にプログラムすることなく再現している。これらは、エージェントの学習ダイナミクスとシェープされた報酬との相互作用から生じる創発的特性である。
3. 統一されたフレームワーク： 単一のエージェント・アーキテクチャが、複数の疾患の誘導、構造化（トランスダイアスティック空間）、および治療（救済/消去）を同時にモデル化できることを示している。
4. メカニズムの特異性： 解離の結果は、特定の「ノブ」が相互汚染なしに特定の症状次元をターゲットにしていることを確認しており、このアプローチのメカニズムに基づいた根拠を検証している。

著者らは、アプレイザル・ウェイトは、同じメカニズムが疾患を誘発すると同時に、その治療をもモデル化できる空間をパラメータ化しており、それが感情制御の失敗モードに関する新たなテストベッドおよびレンズを提供すると結論づけている。