技術概要：混合勾配によるハイブリッド離散・連続行動空間における方策最適化

問題定義

本論文は、大規模問題における強化学習（RL）の根本的な限界、すなわち高次元行動空間におけるクレジット割り当て問題に焦点を当てている。REINFORCE や Proximal Policy Optimization (PPO) などの標準的なモデルフリーの方策勾配法は、**スコア関数（SF）**推定量に依存している。これらの手法は、方策の摂動と累積報酬との相関を計算することで勾配を推定する。高次元の設定において、このアプローチは深刻な信号対雑音比の劣化に悩まされる。なぜなら、単一のスカラーリターンが、外生的なランダム性と絡み合った数千の行動成分に帰属させられる必要があるからである。

一方、微分可能なシミュレーション（パスワイズまたは PW 勾配）は、シミュレータを逆伝播させることでより鋭いクレジット割り当てを実現する解決策を提供するが、伝統的には完全に滑らかなダイナミクスを必要とする。ロボティクス、制御、オペレーションにおける多くの実用的な問題は、ハイブリッド離散・連続行動空間（例えば、離散的なレジームを選択し、その中で連続的な制御を最適化する）や、不連続性を伴う区分的に滑らかなダイナミクスを含む。これらの設定では、標準的な PW 勾配は偏りを持つか、あるいは無意味なものとなり、実務家は効率の低い SF ベースの手法に戻り、利用可能な構造的な情報を捨てることを余儀なくされる。

核心的な課題は、連続成分の滑らかさを逆伝播を通じて活用しつつ、離散的な決定と不連続性を偏りなく正しく処理する方策最適化フレームワークを開発することである。

手法：ハイブリッド方策最適化（HPO）

著者は、トレーニング中に外生的なランダム性（需要、気象など）の完全な実現にシミュレータがアクセスでき、同じ軌道に対する反実方策評価を可能にする外生的 MDP向けに設計された**ハイブリッド方策最適化（HPO）**を提案する。

1. 方策の表現

方策 $\pi$ は 2 つの成分に分解される：

• 離散成分（$\pi^X_\phi$）：有限集合 $\mathcal{X}$ から離散行動 $x_t$（例えば、レジームやモード）を選択する確率的方策。
• 連続成分（$\pi^B_\kappa$）：各可能な離散行動 $j \in \mathcal{X}$ に対して候補となる連続行動 $b_t$ を出力する決定論的コントローラ。実行される行動は $b_t = \pi^B_\kappa(s_t)[x_t]$ である。

この「タワー型」構造により、連続コントローラは離散行動に条件付けられた場合、そのパラメータ $\kappa$ に対して滑らかになることを可能にする。

2. 混合勾配推定量

中心的な理論的貢献は、パスワイズ（PW）項とスコア関数（SF）項を組み合わせた不偏な混合勾配推定量である。パラメータ $\theta = (\phi, \kappa)$ でパラメータ化された方策に対する勾配は以下の通りである：

• 離散勾配（$\nabla_\phi J$）：標準的な SF 推定量を使用して計算される：
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• 連続勾配（$\nabla_\kappa J$）：パスワイズ項とクロストermの和として計算される：
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{PW 勾配項}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{クロストerm}}$$

主要なメカニズム：

• PW 項は、離散行動を固定した状態で、シミュレータを通じて連続行動に対して逆伝播を行う。これにより、コストに対する連続行動の直接的な影響が分離され、クレジット割り当てが大幅に改善される。
• クロストermは、連続パラメータ $\kappa$ の変化が状態軌道 $s_t(\kappa)$ をどのように変化させ、それが結果として離散方策 $\pi^X_\phi$ の確率分布をシフトさせるかを捉える。
• この推定量は、自動微分フレームワーク（PyTorch など）において stop_grad（detach）操作を使用して実装され、PW 項に対して離散サンプリングを固定として扱う一方で、クロストerm は状態に対する離散対数確率の依存性を保持する。

3. 不連続性の処理

本論文は、行動の不連続性を伴う問題（区分的に滑らかな MDP）が、ハイブリッド MDP として再定式化可能であることを示している。行動空間の「滑らかな領域」を選択する離散行動と、その領域内の制御を指定する連続行動を導入することで、局所的な滑らかさを活用しつつ不偏性を維持する。

主要な貢献

1. HPO フレームワーク：ハイブリッド離散・連続行動空間向けの方策最適化フレームワークであり、不偏な混合勾配推定量を生成する。問題構造が許す限り PW 勾配を活用し、純粋な PW 手法の脆さと、純粋な SF 手法の高い分散を回避する。
2. クロストerm の理論的性質：著者は、離散方策が最適反応に近づくにつれてクロストerm が消滅することを証明している（定理 2）。具体的には、クロストerm の大きさは、離散方策の最適性の欠如（$\epsilon$）と、連続パラメータに対する状態の感度によって上から抑えられる。この結果は、最適性に近づくにつれて離散成分と連続成分の結合が弱まり、近似された分散更新が可能になることを示唆している。
3. 実証的検証：**共同発注問題（JRP）およびスイッチド線形二次レギュレータ（S-LQR）**における広範な実験により、HPO が PPO を大幅に上回ることを示している。特に、連続行動次元が増加するにつれてその差は顕著である。
   • スケーリング：HPO の PPO に対する性能差は、連続行動空間の次元（$p$）が増加するにつれて著しく拡大する。例えば、S-LQR において、PPO は $p > 24$ で収束に失敗するのに対し、HPO は $p=48$ まで確実に収束する。
   • 勾配の質：分析により、混合推定量は高次元において高い整合性と低い RMSE を維持するのに対し、PPO が使用する純粋な SF 推定量は次元が増加するにつれて真の勾配方向との整合性がほぼゼロに崩壊することが示された。
4. 分散低減戦略：本論文は、最適性に近づく段階でクロストerm を削除すること（HPONoCross）が有益であることを示している。クロストerm の期待値は離散方策が改善するにつれて消滅する一方、その分散は増大するため、これを除去することで最終的なトレーニング段階において大きな偏りを導入することなくノイズを低減できる。

結果と意義

本論文は、HPO が、微分可能なシミュレータが利用可能であるが、歴史的に離散的な決定がパスワイズ手法の適用範囲を制限してきた現実的な大規模問題に方策勾配法を適用するための重要な一歩であると主張している。

• 性能：JRP および S-LQR ベンチマークにおいて、HPO は一貫して低いテスト損失を達成し、PPO に比べて目標性能ギャップに到達するための方策更新回数を削減する。この利点は、高次元の連続空間（$p \ge 40$）において最も顕著である。
• 勾配効率：混合勾配は、純粋な SF 勾配よりも劇的に優れた信号を提供する。高次元において、SF 推定量の真の勾配方向との整合性はほぼゼロに低下するのに対し、混合推定量は 0.8 以上の整合性を維持する。
• 分散化の可能性：消滅するクロストerm に関する理論的結果は、離散方策が十分に最適反応に近づいた時点で、離散成分と連続成分を個別に最適化できる半分散化トレーニングへの道筋を示唆している。

著者は、この研究をモデルフリー RL と微分可能なシミュレーションの架け橋として位置づけ、収束に必要な不偏性を犠牲にすることなく、後者の適用範囲をハイブリッド行動空間に拡張するものであるとしている。コードとリソースは、この方向性におけるさらなる研究を促進するために公開されている。