技術的概要：サンプリングに基づく重み空間射影による制約付き方策最適化（SCPO）

1. 問題定義

本論文は、安全性が重要な学習（safety-critical learning）の課題、具体的には、安全性制約を違反したり既知の安全な運用領域から逸脱したりすることなく、学習ベースの制御器のパフォーマンスを向上させる必要性に取り組んでいる。著者らは、以下の設定に焦点を当てている：

• 安全性制約はロールアウトベースである：安全性は、シミュレーション（ロールアウト）を通じて評価できるが、方策パラメータに対して解析的に微分可能ではない軌道レベルの指標（例えば、状態制約、安定性マージン）によって定義される。
• ブラックボックス制約：制約関数 $g(\theta)$ は閉形式のヤコビ行列を持たず、明示的な制約勾配を必要とする標準的な制約付き最適化手法（など）を適用不可能にする。
• 目的：既知の安全な初期化から開始し、再帰的実行可能性（各トレーニングステップで安全を維持すること）とタスク目的の単調な改善を保証する制約付き方策最適化を行うこと。

2. 手法：SCPO

著者らは、方策ネットワークの重み空間で直接安全性を強制する**SCPO（サンプリングに基づく制約付き方策最適化）**を提案する。

2.1 アーキテクチャと初期化

低ランク適応（LoRA）に触発され、方策 $\pi_\theta$ は、認証済みのベースライン制御器（$\pi_{safe}$）と残差ニューラルネットワーク（$\phi_\theta$）の組み合わせとして構造化される：
$$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$$

• $\pi_{safe}$：領域 $\Omega$ 内で安全性と安定性を保証する非パラメトリックな安定化制御器（例えば、クリッピング付き LQR）。
• $\phi_\theta$：ゼロを出力するように初期化されたニューラルネットワーク（$\phi_{\theta_0} \equiv 0$）。これにより、初期方策は安全なベースラインと同一になることが保証される。
• 学習目的：トレーニングプロセスは、$\pi_{safe}$ の近傍における「安全な適応」として見なされ、$\phi_\theta$ はパフォーマンスを向上させるように学習する一方、射影メカニズムは結合された方策が安定化し続けることを保証する。

2.2 局所安全領域の構築

$g(\theta)$ が微分不可能であるため、SCPO は以下の手法を用いて重み空間に局所安全集合を構築する：

1. 点ごとの評価：安全性指標は、候補となる重み更新（ロールアウト）の有限集合上で評価される。
2. 滑らかさの境界：この手法は、安全性制約の局所リプシッツ連続性を仮定する。制約曲面を近似するために二次の上界を使用する：
   $$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$$
   ここで、$L_i$ はサンプリングされた更新から推定された曲率定数である。

2.3 サンプリングに基づく射影

高次元の制約付き最適化問題を直接解く代わりに、SCPO は更新をサンプリングされた候補更新の張る空間（$D$）に制限する。

• 候補バンク：バッファ $D$ は、最近の更新とそれに対応する安全性評価 $G$ を格納する。
• 低次元射影：更新は $\Delta\theta = Dc$ としてパラメータ化され、ここで $c \in \mathbb{R}^m$ は係数ベクトルである。
• 凸最適化：問題は低次元空間 $c$ における二次錐計画問題（SOCP）（または二次制約二次計画問題）に帰着される：
  $$\min_c \|c - e_m\|_S^2 \quad \text{s.t.} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$$
  これは、生きた勾配更新を保守的な局所安全集合上に射影し、新しい重みが安全性制約を満たすことを保証する。

2.4 理論的保証

• 帰納による安全性：安全な初期化（$g(\theta_0) \leq 0$）から開始し、射影が実行可能である限り、すべての後続ステップにおいて $g(\theta_{t+1}) \leq 0$ が保証される。
• 安定性：線形力学系の場合、この手法はリャプノフマージンを維持し、閉ループ系が局所漸近安定であり、安全領域 $\Omega$ が前方不変であることを保証する。
• 単調な改善：Armijo 型のバックトラッキング線探索を使用することで、アルゴリズムは制約を違反することなくタスク損失 $L(\theta)$ の減少を保証する。

3. 主な貢献

1. 重み空間射影：制約関数の勾配を必要とせずに、パラメータ空間で直接安全性射影を行う新しいサンプリングベースの手法。
2. 帰納による安全性メカニズム：任意の安全な初期化から開始し、再帰的実行可能性と単調な目的関数の改善を保証する学習フレームワーク。
3. 制御理論的解析：リャプノフマージンを維持することで、線形系における閉ループ安定性を維持することを形式的に証明。
4. 実証的検証：制約付き回帰および模倣学習タスクにおいて、有害な監督に対する頑健性と安全な探索の実証。

4. 実験結果

著者らは、SCPO を 2 つのタスクで評価する：

4.1 制約付き回帰

• 設定：特定の領域で目標関数が硬い制約（$|y| \leq 1.4$）に違反する 1 次元回帰問題。
• 結果：SCPO は安全な領域で目標関数にうまくフィットし、制約境界で滑らかに飽和する。微分可能な制約とハイパーパラメータ調整を必要とするソフト制約ベースラインとは異なり、SCPO は違反なしに硬い制約を厳格に強制する。

4.2 二重積分器の模倣学習

• 設定：安全な LQR ベースラインから開始し、ニューラルネットワークが「悪意のある専門家」（システムを不安定化する攻撃的な方策）を模倣しようとする制御タスク。
• 結果：
  • 有害な更新の拒絶：SCPO は不安定化につながる更新を拒否し、方策が専門家の不安定化行動を模倣するのを防ぐ。
  • 安定性の維持：学習された方策は、元の安全な制御器の安定化領域を維持するのに対し、悪意のある専門家は状態空間の大部分でシステムを安定化できなくなる。
  • パフォーマンス：方策は安全な運用領域内に留まりながら、模倣目的において意味のある改善を達成する。

5. 意義と限界

意義：
本論文は、SCPO が明示的な制約コストや微分可能な安全性フィルタに依存しない、実用的でデータ駆動型の安全な学習アプローチを提供すると主張している。認証済みのバックアップ制御器を凍結されたベースとして扱い、重み空間で更新を射影することで、保守的なベースラインを超えた安全な適応を可能にする。これは、形式的な保証の導出が困難だが安全性が妥協できない自動運転やロボティクスなどの分野で特に重要である。

限界：
著者らは、この手法が保守的であることを認めている。射影ステップは新しい改善方向を生成するものではなく、既存のサンプリングされた候補から最良の安全な方向を選択するのみである。著者らは、将来の研究においてこの保守性を克服するため、安全な探索を改善する目的を修正する他の手法を統合することを目指していると述べている。

結論：
SCPO は、高性能な学習と厳格な安全性要件の間のギャップを埋める、制約付き方策最適化のための厳密なフレームワークを提供し、学習ベースの制御器がトレーニングプロセス全体を通じて安全かつ安定であることを保証する。