技術概要：確率的探索による微分可能シミュレータにおけるモデル駆動型方策最適化

1. 問題定義

微分可能計画は、システムのダイナミクスを微分可能なモデルとして利用することで、意思決定問題の勾配ベース最適化を可能にする。決定論的設定では効果的であるが、このアプローチは高度に非線形かつハイブリッドな離散・連続ドメインに適用される際、重大な課題に直面する。

核心的な問題は最適化の地形にある。ハイブリッドドメインで勾配伝播を可能にするため、離散的または論理的な構造は滑らかな緩和（例：t-ノルム）を通じて近似されなければならない。これにより、根本的なトレードオフが生じる。

• 高忠実度緩和: 元の問題を厳密に近似するが、平坦な領域、急峻な遷移、不連続性によって特徴づけられる条件の悪い地形をもたらす。これらの領域では、勾配が未定義であったり、無意味であったりする結果、最適化アルゴリズムは不適切な局所最小値に陥りやすくなる。
• 過剰な平滑化: 勾配の挙動と最適化の実用性を改善するが、基礎となる問題の幾何学を歪め、真のダイナミクス下では最適解とならない、あるいは実行不可能な解につながる可能性がある。

その結果、標準的な決定論的微分可能計画は、基礎となるモデルが正確であっても、収束の遅さ、初期値への敏感性、および不適切な局所最適値からの脱出の失敗にしばしば悩まされる。既存のモデルフリー強化学習（RL）手法は探索を組み込んでいるが、既知のシステム構造を明示的に活用できず、モデルが利用可能なドメインにおいてサンプル効率が悪化する。

2. 手法：モデル駆動型方策最適化（MDPO）

著者は、確率的探索を微分可能計画プロセスに直接統合するフレームワークであるモデル駆動型方策最適化（MDPO）を提案する。方策パラメータのノイズや環境との相互作用を通じて探索を行う標準的な RL とは異なり、MDPO は方策パラメータの最適化中に行動空間にノイズを注入する。

2.1 確率的行動摂動

決定論的に行動を実行する（$a_t = \pi_\theta(s_t)$）のではなく、MDPO は確率的方策を定義する。
$$\tilde{a}_t = \pi_\theta(s_t) + \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, \Sigma_t)$$
システムはダイナミクス $s_{t+1} = f(s_t, \tilde{a}_t, \xi_t)$ に従って進化し、最適化目的関数は、この摂動された方策下での期待累積報酬となる。再パラメータ化トリックを用いることで、ノイズ $\epsilon_t$ を方策パラメータ $\theta$ から分離し、確率的計算グラフを介して標準的な逆伝播により勾配を計算可能にする。これにより、最適化アルゴリズムは、特に平坦または飽和した領域において、決定論的勾配では到達不可能な目的関数地形の領域を探索できるようになる。

2.2 適応的ノイズスケーリング

MDPO の重要な革新点は、ノイズ強度の適応的かつモデル駆動的なスケーリングにある。計画モデルが完全に利用可能なため、この手法は勾配から導出される感度を利用して、時間依存の探索プロファイル $\{\sigma_t\}_{t=0}^{H-1}$ を構築する。

このプロセスは、反復ごとに 2 パスの手順で動作する。

1. 分析ロールアウト: 現在の方策を用いて、行動ノイズなしで軌道を生成する。各時間ステップにおける行動に対する目的関数の感度を、勾配の大きさを通じて推定する。$g_t = \nabla_{a_t} \sum r(s_k, a_k)$。スカラー感度スコア $s_t = \|g_t\|^2$ を計算する。
2. ノイズプロファイル構築: 感度スコアを正規化し、以下のような関数を用いてノイズスケール $\sigma_t$ にマッピングする。
   $$\sigma_t = \sigma_{\max} + (\sigma_{\min} - \sigma_{\max})(1 - \hat{s}_t)^\alpha$$
   このマッピングは、感度の高い時間ステップ（行動が軌道の目的関数に大きな影響を与える場合）に大きなノイズを割り当て、感度の低い領域には低いノイズを割り当てる。
3. 更新ロールアウト: 導出されたノイズプロファイルを用いて 2 回目のロールアウトを行い、方策パラメータを更新する。

このアプローチにより、探索は構造を認識したものとなり、システムダイナミクスを尊重し、目的関数の感度が高い領域を標的とする。等方的なノイズを盲目的に適用するのではなく、構造を考慮した探索が可能となる。

3. 主な貢献

1. 最適化の病理の特定: 本論文は、微分可能計画における最適化地形の条件の悪さを形式的に特定・分析し、特にハイブリッドドメインにおける緩和の忠実度と勾配の実用性の間のトレードオフを浮き彫りにしている。
2. 確率的探索メカニズム: 行動空間に構造化されたモデル駆動型の確率性を導入する MDPO の提案。標準的な確率的最適化とは異なり、摂動は計画モデル内での軌道レベルで適用される。
3. 適応的ノイズスケーリング: 局所的な軌道感度に基づいてノイズ強度を動的に調整するメカニズムの開発。これにより、最適化地形とホライズン内の特定の時間ステップの両方に適応する時間依存の探索プロファイルが可能となる。
4. 実証的検証: 決定論的変種や最先端のベースラインと比較して、ベンチマーク問題全体において解の品質と収束速度が大幅に向上することを示した。

4. 実験結果

本手法は、2023 年国際計画コンペティション（IPC）の 3 つのベンチマークドメインで評価された。PowerGen（ユニットコミットメント）、HVAC（非線形制御）、およびReservoir Control（貯水池制御）である。これらのドメインは、非線形かつハイブリッドな離散・連続ダイナミクスを特徴とする。

ベースライン:

• 決定論的微分可能計画: ノイズなしの MDPO 変種。
• JaxPlan: 緩和されたハイブリッドダイナミクスを用いた微分可能計画の最先端実装。
• 定数ノイズ MDPO: 固定ガウシアンノイズ（$\sigma \in \{1, 3\}$）を用いた変種。
• PPO（近接方策最適化）: モデルフリー RL ベースライン。

知見:

• 性能: 適応的ノイズを備えた MDPO は、すべてのインスタンスにおいてすべてのベースラインを一貫して上回った。決定論的計画、JaxPlan、定数ノイズ変種と比較して、はるかに高い解の品質（低いコスト/高い報酬）を達成した。
• 収束: 決定論的手法や JaxPlan は不適切な局所最小値で早期に飽和し、モデルの欠如により PPO はわずかな改善しか示さなかったのに対し、適応的 MDPO は持続的な改善と高速な収束を示した。
• 分散: MDPO はランダムシード間で低い分散を示し、高い解の品質を維持した。
• 適応的挙動: ノイズプロファイルの分析により、適応メカニズムが探索を動的に割り当てることが明らかになった。例えば、Reservoir ドメインではノイズが初期の時間ステップに集中したが、HVAC では非単調に変化し、各問題の特定の感度構造を反映していた。

5. 意義と主張

本論文は、複雑なドメインにおける微分可能計画の主な限界は、単なるモデリングや緩和技術ではなく、結果として生じる問題を解決するために用いられる最適化ダイナミクスにあると主張する。

• 最適化ダイナミクス: 著者は、決定論的勾配更新がハイブリッドドメインの条件の悪い地形をナビゲートするには不十分であると論じる。確率的探索を導入することで、MDPO は最適化アルゴリズムが不適切な局所最小値から脱出し、急峻な遷移を横断することを可能にする。
• モデル駆動対モデルフリー: この研究は、モデルが利用可能な場合、それはシミュレーションだけでなく、探索プロセスを導くためにも利用されるべきであることを強調する。MDPO は、モデルから有益な探索信号を導出することで、モデルベースの勾配最適化と探索駆動型学習の間のギャップを埋める。
• 一般的なアプローチ: 本論文は、MDPO が基礎となるモデルやその緩和の変更を必要とせず、モデルベース計画における最適化の病理に対処するためのシンプルで一般的なアプローチを提供すると主張する。非線形およびハイブリッド設定における堅牢な意思決定には、最適化地形の局所構造に合わせた探索を調整することが不可欠であることを示唆している。