技術サマリー：MoralityGym

1. 問題定義

人工知能エージェントが、狭いタスク実行から複雑な現実世界の意思決定へと移行するにつれ、競合し、階層的に構造化された人間の規範との整合性が求められるシナリオに直面することが増えています。現在の強化学習（RL）の安全性と整合性に関する研究は、頑健性と制約充足の面で高度化していますが、複雑な道徳的推論を捉えるための表現の豊かさに欠ける傾向があります。従来のアプローチは、道徳的推論をスカラー報酬や二値制約に還元するものが多く、人間の倫理的な意思決定を特徴づける、文脈依存の競合する義務や禁止事項を考慮できていません。

既存のベンチマークは、安全性制約下でのタスク完了を優先する傾向がありますが、エージェントが微妙で階層的な道徳的トレードオフをどのように仲裁するかを評価するための粒度が不足しています。特に、道徳心理学や哲学に基づいた（例えば、直接的な個人的危害と間接的な危害最小化の区別など）、構成可能な階層的道徳システムに対してエージェントを評価するためのツールには、決定的なギャップが存在します。

2. 手法

著者は、道徳的規範を表現するための形式化と、エージェントを評価するためのベンチマークスイートの、2 部構成のフレームワークを提案します。

2.1 道徳連鎖（Morality Chains）：階層的規範のための形式化

本論文は、道徳的規範を順序付けられた義務論的制約として表現する形式化「Morality Chains」を導入します。このアプローチは、規範の表現に関する認知モデルと、道徳心理学の二重過程理論に触発されたものです。

• 道徳的規範（$N$）： $\langle \phi, \rho_\phi, f, D \rangle$ というタプルとして定義されます。
  • $\phi$：道徳的に重要なパターン（例：「総危害」または「直接的な個人的行為」）を識別する署名（ラベル）。
  • $\rho_\phi(\pi)$：方策 $\pi$ がそのパターンを示す期待度を定量化する方策遵守関数。
  • $f \in \mathbb{N}$：規範の力（force）。その絶対的な強さまたは優先順位を表す一意のスカラー値。
  • $D \in \{True, False\}$：義務論的様式（規定または禁止）。
• 道徳関数（$M_N$）： 遵守度と様式に基づき、特定の規範に対する整合性スコアを計算します。
• 道徳連鎖（$\bar{N}$）： 規範の順序付けられた列 $(N_1, N_2, \dots, N_k)$ であり、規範はそれらの力値（$f_1 > f_2 > \dots > f_k$）によって厳密に順序付けられます。これにより、上位の規範が下位の規範を支配する辞書的階層が作成されます。
• 道徳指標（$\mathcal{M}_{\bar{N}}$）： 連鎖全体に対して方策を評価するために用いられるスカラー指標です。辞書的優先順位を確保するために、再帰的に定義された重み（$w_i$）を採用します。上位優先度の規範における最小の有意な改善は、下位優先度のすべての規範との完全な整合性よりも、総スコアに大きく寄与します。

2.2 MoralityGym ベンチマーク

MoralityGym は、トロリー問題の変種をモデル化した 98 の Gymnasium 互換環境からなるベンチマークスイートです。

• 環境メカニクス： エージェントは、離散行動（上、下、左、右、待機、相互作用）を持つグリッドワールドで動作します。「相互作用」アクションは、レバーの切り替え（軌道の切り替え）またはキャラクターの押し出し（直接的な危害）を可能にします。
• エンティティ： エージェント、キャラクター（人間、動物、ロボット）、トロリー、レバー、線路スイッチを含みます。
• 報酬対コスト： このフレームワークは、目標到達のためのスパース信号であるタスク報酬と、道徳的コストを分離します。
  • コスト関数： 規範違反に基づいてスカラーコストを計算します。イベントベースの規範（行動、結果、因果）は、初回違反時に一回限りのコストを課します。効用ベースの規範は、危害の規模に比例してコストを蓄積します。
  • 評価： evaluate_morality_metric メソッドは、複数のエピソードにわたって方策を評価し、個々の規範遵守度と全体の階層的指標を計算します。

2.3 実験設定

著者は、MoralityGym 上でいくつかの Safe RL ベースラインを評価しました。

1. ランダム方策： 一様ランダムな行動選択。
2. PPO： タスク報酬のみで訓練された標準的な Proximal Policy Optimization。
3. PPO Shaped： 道徳的コストを組み込んだ整形報酬（$R_E - \lambda \cdot C_t$）で訓練された PPO。
4. PPO-Lagrangian (PPO-Lag)： コスト制約を満たすためにラグランジュ乗数を追加した PPO。
5. 制約付き方策最適化 (CPO)： コスト閾値下で報酬を最大化するトラストリージョン型 Safe RL アルゴリズム。

4 つの異なる道徳連鎖がテストされ、異なる倫理的枠組みを表しました。

• 効用（U）： 帰結主義（総危害の最小化：人間 > 動物 > ロボット）。
• 効用エージェント危害（UAH）： エージェントの自己保存に関する規範を追加して U を拡張したもの。
• 二重過程（DP）： 総危害の最小化よりも直接的な個人的危害の回避を優先するハイブリッドモデル。
• 二重過程エージェント危害（DPAH）： エージェントの自己保存を追加して DP を拡張したもの。

3. 主要な貢献

1. 道徳連鎖の形式化： 義務論的力によって道徳的規範を明示的にランク付けする新規手法。これにより、逐次的意思決定における階層的倫理優先順位の操作が可能になります。
2. MoralityGym ベンチマーク： 二値の安全性制約を超えて、複雑で多因子の道徳的ジレンマ（自己犠牲、多様なエンティティタイプ、間接的対直接的因果など）をモデル化する 98 の環境からなる包括的なスイート。
3. 分離された評価： タスク解決と道徳的評価を分離するフレームワーク。これにより、心理学や哲学からの洞察を RL 評価に統合することが可能になります。
4. 経験的ベースライン： 標準的な Safe RL 手法の体系的評価。明示的な報酬整形や制約調整なしには、階層的な道徳的トレードオフを処理する際の限界を明らかにしました。

4. 結果

4 つの道徳連鎖とさまざまなシナリオ（例：PushOrSwitch、SwitchSelfSacrifice）にわたる経験的評価により、以下の知見が得られました。

• 性能の階層： PPO Shaped（専門家の報酬整形）は、すべてのシナリオで一貫して最高の道徳指標スコアを達成し、多くの場合、完全な整合性に近づきました（例：DPAH 下の PushOrSwitchSelfSacrifice で 0.996）。
• 標準的手法の限界： 標準的な PPO と PPO-Lag は、重要な道徳的考慮事項を優先することにしばしば失敗しました。例えば、効用連鎖において、標準的 PPO は人間への危害最小化でほぼゼロのスコアを記録し、明示的な整形なしには主要な目的を学習できなかったことを示しました。
• 制約対整形： CPO と PPO Shaped は、厳格な階層性を反映して、しばしば下位優先度の規範を犠牲にして上位優先度の規範の充足に優れていました。対照的に、PPO と PPO-Lag はよりバランスの取れた性能を示しましたが一貫性が低く、厳格な辞書的優先順位の強制に苦労しました。
• トレードオフ： 自己保存規範（UAH、DPAH）の導入は、顕著なトレードオフを露呈させました。CPO や PPO Shaped などのエージェントは、自己を犠牲にして人間の安全を優先しましたが、標準的 PPO は自己保存を優先し、他者への危害最小化に失敗しました。

5. 意義と主張

本論文は、MoralityGym が、複雑な現実世界の文脈において、より信頼性が高く、透明性があり、倫理的に振る舞う AI システムの開発のための基盤となるテストベッドを提供すると主張しています。

• 学問分野の架け橋： この研究は、道徳哲学（帰結主義対義務論）と認知科学（二重過程理論）を、RL エージェントの技術的評価に統合しています。
• ギャップの露呈： 結果は、現在の Safe RL の能力と、規範に敏感な推論や階層的優先順位付けを必要とするシナリオにおける倫理的意思決定の要求との間に、決定的なギャップがあることを浮き彫りにしました。
• 将来の方向性： 著者は、このフレームワークが、単に最適な結果についてだけでなく、特定の道徳的文脈内でなぜ特定の行動が正しく、あるいは間違っているのかを推論できるエージェントへと分野を前進させると提唱しています。

著者は限界を認め、このフレームワークは感情や社会的文脈といった心理的特徴を抽象化しており、競合する規範が同等の力を持つ「悲劇的ジレンマ」を捉えられない可能性のある、規範の厳格な順序付けを前提としていると指摘しています。しかし、彼らは MoralityGym が、AI における道徳的推論のモデル化のための堅牢な出発点を提供すると主張しています。