Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

以下は、論文「Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty」（Dyna-SAuR）の詳細な技術的サマリーです。

1. 問題定義

強化学習（RL）は、トレーニング中の安全な探索という重大な課題に直面しています。物理ハードウェア上での直接学習は、壊滅的な故障のリスクにより、しばしば非現実的です。既存のアプローチは概ね 2 つのカテゴリに分類され、それぞれに重大な限界があります。

• ソフト制約（例：制約付き MDP）: これらは期待値上でのみ安全性を保証し、個々の故障に対するハードな保証を提供しません。
• 制御理論からの安全フィルター: 制御バリア関数（CBF）やハミルトン・ヤコビ到達性のような手法はハードな安全性保証を提供しますが、広範なドメイン知識（既知のダイナミクス、不変集合など）を必要とし、高次元システムへの拡張に苦労します。
• 学習ベースのフィルター: 最近の RL による安全フィルターの学習試みは、しばしばシミュレーターに依存するか、未知のダイナミクスを持つ複雑で高次元の環境への効果的な拡張に失敗します。

核心的な問題は、最小限のドメイン知識（「故障」の定義と初期データのみ）を必要としつつ、トレーニングプロセス中に安全性を保証しながら、安全フィルターと制御方策を同時に学習する、スケーラブルでデータ駆動型の手法を開発することです。

2. 手法：Dyna-SAuR

著者らは、不確実性認識ダイナミクスモデルを用いて制御方策と安全フィルターを反復的に学習するモデルベース RL（MBRL）フレームワークであるDyna-SAuR（Dyna-style Safety Augmented Reinforcement Learning）を提案します。

コアアーキテクチャ

アルゴリズムは、3 つの主要なフェーズからなる反復ループ（アルゴリズム 1）として動作します。

1. モデル学習: 収集されたデータに基づき、確率的アンサンブルダイナミクスモデル（$\hat{p}$）が訓練されます。このモデルは、アンサンブルの不一致を用いて認識的不確実性（データ不足による不確実性）を捉えます。
2. 安全フィルター学習: フィルター方策（$\mu$）は、学習されたモデルのみに基づいて訓練されます。フィルターは、故障やモデルの不確実性の高い領域を回避するため、制御方策の動作を「生存可能（viable）」な集合に射影します。
3. 制御方策学習: 制御方策（$\pi$）は、実環境との相互作用とモデルベースのロールアウトの両方を用いて訓練され、現在の安全フィルター $\mu$ を通してフィルタリングされます。新しいデータが収集され、ダイナミクスモデルを精緻化し、次の反復における「確実な」安全領域を拡大します。

主要な技術的革新

A. 不確実性認識モデルにおける生存可能性
本論文は、生存可能性理論の概念を MBRL に拡張します。単に故障状態（$S_F$）を回避するだけでなく、システムはモデルが不確実な状態も回避しなければなりません。

• **確実安全集合（$SS(E)$）:** 状態が安全であり、かつモデルの予測エントロピーが閾値（$\lambda_1$）以下である状態 - 動作対の集合。
• 確実生存可能核（$S_V(E)$）: 有限時間範囲内で高い確率でシステムを $SS(E)$ 内に維持する方策が存在する状態の集合。
• フィルターは、この核内に留まる方策の集合へ動作を射影するように訓練されます。

B. 効率的なフィルター動作空間の定式化
主要な貢献の一つは、安全フィルターの再パラメータ化です。従来の手法は超平面パラメータ（$w, b$）を直接学習しており、非有界かつ過剰パラメータ化された探索空間をもたらしていました。

• 単位超球動作空間（$U$）: フィルター方策 $\mu$ は、単位超球内（$0 < \|u\|_2 \leq 1$）のベクトル $u$ を出力します。
• 双射変換（$h$）: 決定論的関数が $u$ を超平面パラメータ（$w, b$）にマッピングします。
  • $w = u / \|u\|_2$（法線ベクトルの方向）
  • $b = (2\|u\|_2 - 1)\|w\|_1$（オフセット）
• 意義: これにより、超平面が常に有界な動作空間 $A = [-1, 1]^{n_A}$ と交差することが保証されます。ノルム $\|u\|_2$ は「制限の厳しさ」のノブとして機能します。値が 0 に近い場合は許容的になり、1 に近い場合は制限的になります。これにより、RL エージェントに対してコンパクトで有界な探索空間が作成されます。

C. 報酬整形とデータ分布
現実世界での故障なしにフィルターを効果的に訓練するために：

• 報酬関数: フィルターは、次の状態が $SS(E)$内に留まれば$+1$の報酬を受け取り、離脱すれば大きな負のペナルティ（$-1/(1-\gamma)$）を受け取ります。これにより、「故障までの時間」が効果的にエンコードされます。
• 目的: 故障までの期待時間を最大化しつつ、過度に保守的な行動を避けるためにフィルター動作のノルム（$\|u\|_2$）を最小化します。
• データ整形: フィルター訓練の開始状態分布は、以下の混合です。
  1. 初期環境データ。
  2. 故障領域に近い状態（回復/回避を学習するため）。
  3. 高い制御リターンを持つ状態（フィルターが最適なパフォーマンスを阻害しないことを保証するため）。

3. 主要な貢献

1. 新規アルゴリズム: Dyna-SAuR は、最小限のドメイン知識（故障集合と初期データのみ）を用いて、多様で高次元のシステムに対する生存可能性ベースの安全フィルターを学習する、最初のスケーラブルなアプローチです。
2. コンパクトな RL 定式化: 安全性フィルター学習を、従来の超平面学習手法のスケーラビリティ問題を解決する新規の双射動作空間パラメータ化を備えた標準的な RL 問題として定式化します。
3. 不確実性認識生存可能性: モデルの不確実性を直接生存可能核に統合し、システムが環境の知識を安全に探索・拡大することを可能にします。
4. 反復的改善: このフレームワークは、より良いモデルが不確実性を減少させ、安全フィルターがより非保守的になり、より優れた制御方策を可能にするという正のフィードバックループを創出します。

4. 実験結果

この手法は、以下の 2 つのタスクで評価されました。

• ゴール到達 CartPole: 位置と角度の制約を伴う低次元タスク。
• MuJoCo Walker: 胴体制約を伴う高次元（17 状態、6 動作）の二足歩行タスク。

パフォーマンス指標:

• 安全性: Dyna-SAuR は、最先端の安全 RL 手法（PPO-Lagrangian、DH-RL）と比較して、トレーニング中の故障を**2 桁（100 倍）**削減しました。
• 制御パフォーマンス: 既存の安全 RL 手法の制御パフォーマンス（リターン）と同等かそれ以上を達成しました。
• スケーラビリティ: この手法は高次元の Walker 環境に成功裏に拡張されましたが、他のフィルター学習手法は苦労しました。
• アブレーション研究: 新規の動作空間定式化またはデータ整形ヒューリスティックを除去すると、パフォーマンスの大幅な低下または有効なフィルターの学習失敗につながり、設計選択の妥当性が検証されました。

5. 意義

Dyna-SAuR は、実用的で安全な実世界ロボット向け RLに向けた重要な一歩を表しています。

• ギャップの埋め合わせ: 厳密な制御理論（生存可能性）とデータ駆動型学習の間のギャップを埋め、手作業によるモデルや広範なドメイン専門知識の必要性を排除します。
• ハードウェア適用性: トレーニング中の故障を桁違いに減少させることで、物理ハードウェア上での RL エージェントの直接学習（または最小限のシミュレーションから実世界への転移）の可能性をより現実的なものにします。
• スケーラビリティ: 提案された動作空間パラメータ化と不確実性認識アプローチは、従来の手法が失敗する複雑で高次元のシステムへの安全 RL の拡張のための青写真を提供します。

要約すると、Dyna-SAuR は、自分が知らないこと（不確実性）と自分ができないこと（故障）を学習することで「安全に留まる」ことを学習し、学習するにつれて安全な動作範囲を動的に拡大する、堅牢でデータ駆動型のフレームワークを提供します。