技術要約：未知の環境における安全な制御のための共形到達可能性（Conformal Reachability）

1. 問題提起

本論文は、未知の動的環境で動作する自律システムのための、**証明可能な安全制御方策（provably safe control policies）**を設計するという課題に取り組んでいる。強化学習（RL）は自律性を進化させてきたが、標準的な手法は厳密な安全性の保証に欠けることが多く、通常は平均的なパフォーマンスの最適化や、安全性に致命的なシナリオにおいて失敗する経験的な安全性に依存している。

既存の検証および合成技術には、以下のような重大な限界がある：

• 既知・決定論的仮定： 多くの手法はシステムのダイナミクスが既知であるか決定論的であることを前提としているが、これは実用上稀である。
• 有限の状態・行動空間： 多くのアプローチは有限の状態または行動空間を必要とし、連続的なシステムへの適用を制限している。
• スケーラビリティと滑らかさ： ハミルトン・ヤコビ到達可能性（Hamilton-Jacobi reachability）のような形式的手法は、システムの複雑さに伴いスケーラビリティが低下し、また多くの学習ベースの手法は滑らかなダイナミクスや特定のモデル形式（例：ガウス過程）を仮定している。
• 近似的な保証： 現在の安全なRL手法は、未知で潜在的に確率的なダイナミクスに対して、有限ホライゾンの確率的保証を提供するのではなく、Constrained MDPsなどを通じて「平均的に」あるいは極限においてのみ安全性を提供することが多い。

核心となる問題は、システムダイナミクス $P$ や報酬関数 $r$ に関する事前知識がない状態で、決定ホライゾン $K$ に対してシステムが安全集合 $S_s$ 内に留まることを厳密な高確率保証とともに保証しつつ、累積報酬を最大化する方策を学習することである。

2. 手法：ReCORS

著者らは、ReCORS（Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees）を提案する。これは、共形予測（Conformal Prediction: CP）と到達可能性解析を、モデルベースおよびモデルフリーのRLと統合したフレームワークである。

2.1 システムダイナミクスの近似

本手法は、状態と行動のペアを予測された次状態へと写像する、パラメータ化された離散時間ダイナミクスモデル $\hat{f}_\beta$（ニューラルネットワーク）を学習する。

• 安全性重視の学習： 標準的なダイナミクス学習とは異まり、$\hat{f}_\beta$ の損失関数には**安全性重み（safety weights）**が組み込まれている。安全制約にとってより重要な状態空間の次元（例：障害物への近接性）には、$\ell_2$ 損失において高い重みが割り当てられる。これにより、全体の予測誤差がわずかに増加したとしても、安全性に直結する次元における予測精度を優先させる。
• トレーニング・パイプライン： モデルはランダムな行動を用いて事前学習された後、現在のポリシーから収集されたデータを用いて反復的に微調整される。

2.2 共形安全性解析 (CSA)

ダイナミクスの分布を仮定せずに確率的な保証を提供するために、ReCORSは共形予測を採用している。

• 不確実性の定量化： CPは、ダイナミクスモデルの有効な予測区間（不確実性集合）を生成するために使用される。与えられた状態と行動に対して、真の次状態は確率 $1-\alpha$ で区間 $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ 内に存在することが保証される。
• 軌跡レベルの境界： タイムステップにわたる過度な結合上界（union bounds）を避けるため、著者らは軌跡レベルの非適合度スコア（Cleaveland et al. [12]に基づく）を利用している。これにより、ホライゾン $K$ 全体にわたってよりタイトな境界を生成するための重みを最適化する。
• 到達可能性の検証： 学習されたダイナミクス $\hat{f}_\beta$ と共形不確実性境界 $\eta$ を用いて、システムは前方到達可能性解析を実行する。これにより、任意の時刻 $t \in [1, K]$ における到達可能状態集合が、不安全集合 $S_u$ と交差するかどうかを検証する。
• 初期状態分布： 本フレームワークは、Hoeffdingの不等式を用いた有限サンプル・テール境界を適用することで、初期状態分布 $\rho$ の不確実性を考慮に入れ、サンプリングされた初期状態だけでなく、分布全体に対して安全性保証が成立することを保証する。

2.3 微分可能なトレーニング・パイプライン

主要な革新は、エンドツーエンドのポリシー最適化を可能にするために、安全性検証プロセスを微分可能にすることである。

• ニューラル共形予測器： 別のニューラルネットワーク $\eta_\omega$ が、共形閾値 $\eta$ を予測するように訓練される。これは、標準的なCPにおける非微分的な分位点計算を置き換えるものである。
• 損失関数：
  • 共形損失（Conformal Loss）： 効率項（予測集合のサイズを最小化すること）と被覆項（経験的な被覆率が目標 $1-\alpha$ を満たすこと）を組み合わせる。
  • 安全性損失（Safety Loss）： ホライゾンにおける最大安全性違反を明示的に罰し、初期ステップから最終ステップにかけての安全性スコアの向上を促す。
• 結合最適化： ポリシー（アクター）、クリティック、ダイナミクスモデル、および共形予測器が共同で最適化される。総損失は、標準的なRLの報酬目的関数と、共形および安全性損失を組み合わせたものである。
• カリキュラム学習： アルゴリズムは、短い安全性ホライゾン $K_0$ から開始し、ポリシーが証明可能な安全性を達成するにつれて段階的にホライゾンを増大させるカリキュラム戦略を採用しており、複雑な挙動を段階的に学習することを可能にする。

3. 主な貢献

1. 共形安全性解析 (CSA): 未知の動的システムにおける学習ベースのコントローラーのために、共形予測と到達可能性解析を組み合わせた新しいフレームワーク。滑らかさや基礎となるダイナミクスの特定の形式を仮定することなく、厳密な確率的安全性保証を提供する。
2. 証明可能な安全な方策学習: モデルフリーRL（報酬最大化のため）とモデルベースの到達可能性推定（安全性のための）を統合したトレーニングフレームワーク。共形不確実性集合から導出された微分可能な損失関数を通じて、ハードな安全性制約を強制する。
3. 包括的な評価: 線形（アフィン）および非線形安全性仕様を含む7つの環境（Cartpole, Lane Following, 2D/3D Quadrotors, CarGoal, HalfCheetahを含む）にわたる広範な実験。

4. 実験結果

著者らは、ReCORSを5つの最先端のベースライン（PPOLag, PCPO, CRPO, P3O, RESPO）と比較評価した。

• 検証された安全性： ReCORSは、すべてのベースラインよりも有意に強力な証明可能な安全性保証を達成した。例えば、Cartpole環境において、ベースラインはホライゾン $K=20$ を超えると有用な保証を提供できなかったが、ReCORSは $K \ge 50$ までの高確率な安全性保証を維持した。
• 報酬と安全性のトレードオフ： 一部のベースラインはより高い報酬を達成したが、それは安全性の欠如（頻繁な違反）という代償を伴っていた。ReCORSは、強力なパフォーマンスと検証された安全性の両方を一貫して達成できた唯一の手法であった。一部のドメイン（例：2D Quadrotor）では、ReCORSは報酬と安全性の両面で全てのベースラインを上回った。
• 非線形制約： 本手法は、非線形な安全性制約（例：2D Quadrotorにおける安全距離）を正常に処理し、安全性を検証できなかったり、保守的な挙動（例：ドローンが静止したままになる）を招いたりしたベースラインを上回った。
• アブレーション研究： ダイナミクス学習における安全性重視の重みと、ダイナミクスおよび不確実性モデルの結合最適化の重要性が確認された。

5. 意義と主張

本論文は、未知の環境における高性能な学習と厳密な安全性検証の間の溝を埋める新しいアプローチを提示していると主張している。その意義は以下の通りである：

• 制限的な仮定の排除： 従来の研究とは異なり、既知、決定論的、または滑らかなダイナミクスを仮定せず、また有限の状態空間を必要ともしない。
• 分布フリーの保証： 共形予測を活用することで、統計的に較正された分布フリーの不確実性定量化を提供し、モデル誤差や未知の確率性に対して堅牢な安全性保証を実現する。
• スケーラビリティ： 離散時間有限ステップ到達可能性定式化は、PDEベースのハミルトン・ヤコビ法と比較して、システムの複雑さに対するスケーラビリティが高い。
• 実用的な適用可能性： 多様なドメインにおいて効果的であることが示されており、パフォーマンスのために安全性を妥協できない信頼性の高い自律走行への実行可能な道筋を提供している。

著者らは、現在の手法はシステムの全状態の観測可能性を前提としていることを認め、これは将来の研究における未解決の問題であるとしている。