C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

1. 問題定義 (Problem)

移動体ロボティクスにおける強化学習（RL）では、複雑で動的な環境下での安全なナビゲーションが中心的な課題です。
従来の安全 RL の手法（制御バリア関数やリスク回避など）は、連続的な時空間ダイナミクスや未知の環境条件に対して、以下の課題を抱えています。

• 制約の硬さ: 安全領域を厳密に定義し、その外への進入を禁止する手法は、柔軟な行動を制限する可能性があります。
• 報酬設計の限界: 従来の安全報酬は、主に位置や速度などの外部状態に基づいたペナルティ（加法的な罰則）として設計されることが多く、エージェントの内部状態（初期速度など）やシステムダイナミクスを深く反映した「内在的な」安全指標が不足しています。
• 決定論的システムへの適用難: 情報理論に基づく「エンパワーメント（Empowerment）」という概念は、従来の離散時間・確率的なシステムでは有効ですが、決定論的な連続時間システムでは条件付きエントロピーが無限大になり、安全指標として機能しないという問題があります。

2. 提案手法 (Methodology)

本論文は、C-STEP（Continuous Space-Time Empowerment for Physics-informed） という新しい枠組みを提案しています。これは、エージェントの「将来の操作可能性（制御能力）」を定量化し、それを安全な内在的報酬として利用する手法です。

2.1 決定論的システム向けエンパワーメントの再定義

従来のエンパワーメント定義は、決定論的な連続システムでは条件付きエントロピーが $-\infty$ となり、意味をなさなくなります。これを解決するため、著者は以下のように再定義しました。

• 定式化: 決定論的システムにおいて、エンパワーメントは「次の状態分布の微分エントロピーを最大化する操作」の対数体積として定義されます。
• 物理的意味: これは、ある状態から出発して、一定時間 $T$ 以内に到達可能な状態の集合（到達可能集合：Reachable Set）の体積の対数に相当します。
  • 衝突を回避できる領域（$R_{T,free}$）が広いほど、エンパワーメント値は高くなり、その状態は「安全」であるとみなされます。

2.2 物理情報に基づく報酬設計 (C-STEP Reward)

タスク達成のための標準的なナビゲーション報酬 $r_d(x)$ に、安全指標を乗算する形で内在的報酬を設計します。

• 報酬関数: $r(x) := r_d(x) \cdot \log(c \cdot \lambda(R_{T,free}(x)))$
  • $c$: 安全係数（安全性の厳しさを調整）。
  • $\lambda(R_{T,free}(x))$: 衝突を回避しながら到達可能な状態の体積。
• 特徴:
  • 物理情報に基づく: システムの前方ダイナミクス（Forward Dynamics）と内部状態（速度など）を直接利用し、到達可能性を評価します。
  • 環境非依存: 障害物のグローバルな地図は不要です。シミュレータ上で「軌道が衝突するか否か」のみを判定すればよく、センサーデータから到達可能領域を近似できます。
  • 解釈可能性: エージェントは、将来の選択肢（到達可能体積）を最大化する行動（＝安全な位置）を自然に学習します。

2.3 サンプリングベースの近似アルゴリズム

到達可能集合の体積を解析的に計算することは困難なため、以下のサンプリング手法を用いて近似します（Algorithm 1）。

1. 現在の状態から、許容される制御入力軌道を $N$ 個サンプリングする。
2. 各軌道に対して前方シミュレーションを行い、最終状態を計算する。
3. 衝突しなかった軌道の最終状態集合から凸包（Convex Hull）を求め、その体積を推定する。
4. 衝突した軌道の集合から「終端集合（Terminal Set）」の体積を推定し、差し引くことで安全な到達可能体積を算出する。

3. 主要な貢献 (Key Contributions)

1. 連続時空間エンパワーメント（CST-Empowerment）の定式化: 決定論的連続システムにおいて、到達可能集合の体積の対数としてエンパワーメントを定義し、安全指標として利用可能にした。
2. 物理情報に基づく内在的報酬の設計: エージェントの内部状態（速度など）と前方ダイナミクスを反映し、既存のナビゲーション報酬を補完する乗法的な安全報酬を提案した。
3. 実用的な近似アルゴリズム: サンプリングと凸包計算を用いた、効率的なエンパワーメント近似手法を提案し、グローバルな環境マップを必要としない実装を可能にした。
4. 既存手法との相補性: 従来の安全 RL（CBF など）や報酬設計の上に重ねて適用可能な汎用性を示した。

4. 実験結果 (Results)

2D ポイントメイズ環境と、3D ドローン（PyBullet）環境での実験を行いました。PPO 強化学習アルゴリズムを使用し、「エンパワーメントなし（標準報酬のみ）」と「エンパワーメントあり（提案手法）」を比較しました。

• 行動の変化:
  • 標準報酬のみのエージェントは、最短経路（狭い道）を選び、衝突が多発しました。
  • 提案手法のエージェントは、安全な広い経路を選択し、衝突を回避する行動を学習しました。
• 成功率と時間:
  • 3D ドローン実験（100 種類のマップ）において、安全係数 $c=0.5$ のエージェントは99% の成功率を達成しました（基準となる非エンパワードエージェントは 82%）。
  • 安全性を高めるために所要時間はわずかに増加しましたが（約 18% の遅延）、成功率の向上は著しいものでした。
• 障害物との距離:
  • 提案手法のエージェントは、障害物から 0.1m 以内の領域に滞在する時間が、基準エージェントに比べて72% 以上減少しました。
  • 安全係数 $c$ を小さくするほど、エージェントはより安全な（障害物から離れた）経路を学習することが確認されました。

5. 意義と結論 (Significance)

• 安全な行動の内在化: 単に「衝突したら罰則」という受動的なアプローチではなく、「将来の選択肢を最大化する（＝安全な状態に留まる）」という能動的な動機付けにより、エージェントが本質的に安全な行動を学習することを可能にしました。
• 解釈可能性と柔軟性: 安全係数 $c$ を調整することで、安全性とタスク効率のトレードオフを直感的に制御できます。また、グローバルな環境モデルが不要なため、未知の環境や動的な障害物への適応性が高いです。
• 将来展望: 本手法はモデルフリー RL とモデルベース RL の中間的な性質を持ち、既存の安全 RL 手法（CBF など）と組み合わせることで、さらに堅牢な制御システムを構築できる可能性があります。

総じて、C-STEP は、移動体ロボットの強化学習において、物理法則に基づいた解釈可能な安全指標を提供し、高い成功率と安全性を両立させる画期的なアプローチです。