技術要約: TraCeS

問題提起

強化学習（RL）において、安全性の制約が暗黙的であったり、測定不能であったり、あるいは学習中に利用できなかったりする場合、安全な振る舞いを保証することは困難です。ロボティクスや自動運転などの多くの安全性が重要な領域では、ハードコードされた制約や手作業で設計されたコスト関数は脆弱であり、文脈依存的なシナリオ全体にわたって汎用性を持たせることができません。さらに、高密度なステップごとの監督（supervision）は頻繁に利用不可能であり、代わりに、ある軌道（またはその接頭辞）が未知の安全閾値内に留まっていたかどうかを示す、粗い疎なバイナリラベルによる監督のみが提供されます。

核心となる困難は、**クレジット割り当て問題（credit assignment problem）*にあります。軌道レベルのラベル（例：「拒絶」）は違反が発生したことを示しますが、いつ、あるいはどの特定の振る舞い*が原因で違反が生じたのかまでは特定しません。標準的な制約付きマルコフ決定過程（CMDP）の手法は、既知のステップごとのコスト関数と閾値を想定していますが、ここでのケースはそれに該当しません。本論文は、エージェントが未知のコスト関数 $C$ や制約閾値 $b$ の知識なしに、疎な軌道レベルの受容/拒絶ラベルから安全な方策を学習しなければならない状況に対処します。

手法: TraCeS

著者らは、疎な軌道レベルのラベルから、ステップごとの違反クレジットを学習するフレームワークである TraCeS (Trajectory-based Constraint Estimation for Safety) を提案します。この手法は、主に3つのコンポーネントを含む反復ループを通じて動作します。

1. 逐次的違反エスティメータ (Sequential Violation Estimator)

TraCeSは、疎なバイナリフィードバックを密なステップごとの違反クレジットへと分解するために、逐次的エスティメータを訓練します。

• 単調な違反抽象化 (Monotone Violation Abstraction): この手法は、単調な違反構造（仮定 3.1）を想定しています。すなわち、一度軌道が制約に違反すると、その後はずっと違反した状態が続くという仮定です。これは、「まだ違反していない」確率が時間の経過とともに非増加であることを意味します。
• 因数分解 (Factorization): エスティメータは、軌道の接頭辞 $\tau_{0:t}$ がまだ制約に違反していない確率 $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$ を予測します。この確率は、ステップごとの乗法的クレジットへと因数分解されます：
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  ここで、$\hat{P}^\Delta_t$ は、接頭辞を1ステップ拡張した際の「違反していない確率」の変化を表します。1を大幅に下回る値は、安全確率の急激な低下を誘発するステップを示し、実質的に違反のクレジットを局所化します。
• アーキテクチャ: エスティメータは、接頭辞の要約ベクトル $h_t$ を維持するための共有エンコーダ $f_w$ と、対数正規分布のパラメータを出力するデコーダ $g_w$ を使用します。サンプリングされた対数クレジットは、累積確率が増加しないことを保証するために、非正（$\log \hat{P}^\Delta_t \le 0$）に制約されます。
• 訓練: エスティメータは、軌道または接頭辞の疎なバイナリラベル（受容/拒絶）を用いたバイナリクロスエントロピー損失を用いて訓練され、未知のラベリング規則 $\Psi(\cdot)$ の最大尤度推定問題として扱われます。

2. 制約付き方策最適化 (Constrained Policy Optimization)

エスティメータがステップごとのクレジットを学習すると、TraCeSはこれらを標準的なCMDPソルバーに統合します。

• 代理コスト (Surrogate Cost): 推定された対数クレジットは、代理コスト $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$ に変換されます。
• 制約の再定式化: 元のチャンス制約（受容可能な軌道の確率を少なくとも $d$ 以上にする必要があるという制約）を近似します。イェンセンの不等式を用いることで、著者らは乗法的な制約を加法的な形式に変換する扱いやすい下界を導出しました：
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  この再定式化により、真のコスト関数が未知であっても、学習された代理コストを用いて標準的な制約付きRLアルゴリズム（例：PPO-Lagrangian）を使用することが可能になります。
• 理論的保証: 論文では、イェンセンの不等式によって導入される近似誤差に関する境界を提供しており、エスティメータがより安定し、予測される非違反確率の分散が減少するにつれて、その誤差が縮小することを示しています。

3. 能動的軌道選択 (Active Trajectory Selection)

アノテーションの負担を軽減するために、TraCeSは不確実性に基づく戦略を用いて、どの軌道をラベル付けするかを選択します。

• 変動係数 (Coefficient of Variation: CV): この手法は、エスティメータのサンプリングノイズ下における、軌道レベルの代理コストのCVを計算します。CVが高い（エスティメータの予測における分散や不確実性が高いことを示す）軌道が、ラベル付けの優先対象となります。これにより、エスティメータが最も不確実性を感じているロールアウトに対して人間または自動化されたアノテーションの努力を集中させ、データ効率を向上させます。

主な貢献

1. 問題定式化: 本論文は、単調な違反抽象化の下での、疎な軌道レベルのラベルからの安全な方策学習の問題を定式化しました。これは、コスト関数も閾値も未知であるというギャップに対処しています。
2. 手法 (TraCeS): 軌道レベルの受容可能性をステップごとの違反クレジットへと因数分解する、新しい逐次的エスティメータを提案しています。これにより、粗いバイナリフィードバックを、標準的なCMDPソルバーと互換性のある密な代理コスト信号へと変換することを可能にします。
3. 理論と評価:
   • イェンセンの不等式の下界によって導入される近似誤差に関する理論的分析。
   • 12の連続制御タスク（Safety Gymnasium, MuJoCo, Bullet Safety Gym）における経験的検証。
   • 低データ環境、ノイズの多いラベル、および人間からのフィードバックが存在する設定における堅牢性の実証。

実験結果

著者らは、TraCeSを以下のベースラインと比較評価しました：

• オラクル手法: PPO-Lagrangian および CPPO-PID（コストと閾値が既知であることを想定）。
• 部分的知識: RLSF（コストは学習するが、閾値は既知であることを想定）。
• ゼロ知識ベースライン: コストと閾値の両方をゼロから学習しようとするコスト・閾値（C-T）ベースライン。

主な知見:

• 制約充足: TraCeSは、コストや閾値に関する知識が全くないにもかかわらず、ほとんどのタスクにおいて安全制約（コスト $\le$ 閾値）を満たす方策を確実に学習します。
• ラベル効率: TraCeSは、ゼロ知識のC-Tベースラインよりも大幅にラベル効率が高く、安全な方策に収束するために必要なラベル付き軌道の数が著しく少なくなります。
• パフォーマンス: TraCeSは、部分的知識を持つ手法（RLSF）と比較して競争力のある報酬と安全性のトレードオフを実現し、いくつかのタスクではオラクル手法の性能に迫ります。
• 局所化: 定性的分析により、学習されたステップごとのクレジットが違反イベントを正確に局所化していることが示されました。コストは一様に分散されるのではなく、オラクルの累積コストが閾値を越えるタイムステップ付近でピークに達します。
• 堅牢性: この手法は、中程度のラベルノイズ（最大10-20%）や低データ環境（例：1000個のラベル付き軌道）においても効果的です。また、HalfCheetahを用いた小規模な研究において、人間からのフィードバックに対しても良好に機能しました。

意義と主張

本論文は、形式的な仕様が利用不可能な場合に、暗黙的かつ文脈依存的な制約に対してRLエージェントを整列させるための実用的な道筋をTraCeSが提供すると主張しています。粗い受容/拒絶の監督をステップごとの違反クレジットへと変換することで、TraCeSは、手作業によるコスト関数の設計や閾値の知識を必要とせずに、標準的な制約付き最適化メカニズムの使用を可能にします。

著者らは、学習されたクレジットは、隠れた真のコストを識別可能な形で復元するものではなく、**制御に関連する安全な代理物（control-relevant safety surrogates）**として機能することを強調しています。この手法は、安全性が複雑で動的な要因（例：ポットホールの回避には一時的な車線逸脱が必要になる場合があるなど）によって定義され、固定されたコスト関数として記述することが困難であるが、人間やモニターによってその軌道が「許容できる」か「許容できない」かを判断できるような設定において特に重要です。

本研究は、逐次的エスティメータと能動的選択を通じて処理された疎な軌道レベルのフィードバックが、高レベルの安全性判断と低レベルの方策最適化の間の溝を効果的に埋めることができることを示唆しています。