技術要約: PolicyFlow

問題提起

近接方策最適化（PPO）は、その安定性とシンプルさで知られる標準的なオンポリシー強化学習（RL）アルゴリズムである。しかし、通常はガウス型方策分布に依存しており、複雑、マルチモーダル、または高度に歪んだアクション分布を表現することに苦慮する。連続正規化流（CNF）や拡散モデルのような表現力豊かな生成モデルは、このような複雑な分布を捉えることができるが、これらをPPOに統合するには大きな課題がある。

主なボトルネックは、PPOのサロゲート目的関数における重要度比（$\pi(a|s)/\hat{\pi}(a|s)$）を計算するための尤度評価の必要性である。CNFの場合、正確な尤度評価には完全な常微分方程式（ODE）の軌道をシミュレーションし、パスごとのバックプロパゲーションを行う必要がある。このプロセスは計算コストが高く、メモリ消費が激しく、また勾配の爆発や消失による数値的不安定性を招きやすい。フローベースの方策にPPO型の更新を適用しようとする既存の試み（FPO、DPPOなど）は、非対称な推定バイアスに苦しむか、大きなバッチサイズを必要とするか、あるいはオフマニホールド探索の困難さからスクラッチからの学習において性能が低下する。さらに、フローベースの方策に対しては、フローのダイバージェンス（発散）を明示的に計算するために高価なエントロピー積分が必要となるため、標準的なエントロピー正則化技術を適用することが困難である。

手法

著者らは、完全な軌道尤度評価を必要とせずに、表現力豊かなCNF方策をPPO型の目的関数と統合するオンポリシーRLアルゴリズムであるPolicyFlowを提案する。この手法は、2つのコアコンポーネントで構成される。

1. 速度場の変動による重要度比の近似

現在の方策 $\phi_1$ と参照方策 $\hat{\phi}_1$ の間の終端シフトを計算するために、完全なODE軌道をシミュレートする代わりに、PolicyFlowは単純な線形補間パスに沿った速度場の変動を用いて重要度比を近似する。

• 方策の表現: 方策は、ニューラル速度場 $v_t$ に支配されるフロー $\phi_t(z; s)$ を積分し、終端時刻にガウスノイズ $n$ を加えることでアクションを生成する：$a = \phi_1(z; s) + n$。
• 近似: 終端シフト $\delta\phi_1 = \phi_1 - \hat{\phi}_1$ は、線形補間パス $x_t = (1-t)z + t\hat{\phi}_1(z; s)$ に沿って、速度場の差 $\delta v_t = v_t - \hat{v}_t$ を積分することによって近似される。
• サロゲート目的関数: 重要度比 $\rho$ は、完全なフローの軌道ではなく、速度場の変動のガウス尤度比を用いて推定される。これにより、更新ステップ中に完全なODEシミュレーションへのバックプロパゲーションを行うことなく、補間パスに沿って効率的に学習目的関数を推定することが可能になる。理論的分析によれば、これは対数尤度に一次の誤差をもたらすが、それはPPOのクリッピング機構によって自然に抑えられる。

2. エントロピーのためのブラウン運動正則化器

モード崩壊を防ぎ、フローの明示的なエントロピー計算を必要とせずに多様な探索を促進するために、著者らは**ブラウン運動正則化器（Brownian Regularizer）**を導入する。

• 概念: ブラウン運動と熱方程式に着想を得たこの正則化器は、学習された速度場がエントロピーが増大するプロセスのダイナミクスに従うよう促す。
• メカニズム: これは、レクティファイドフローにおける速度場とスコア関数（$\nabla \log p_t$）の関係を利用する。この正則化器は、学習された速度場が参照フローのスコアから導出されたターゲットベクトル場から逸脱することを罰する。
• 定式化: 正則化項 $J_{Reg}$ は、学習された速度場とターゲットのアライメント項（参照速度場と状態から導出）の差を最小化する項と、注入されるガウスノイズの分散を促進する項を含んでいる。このアプローチは、高価な対数尤度計算やヒューリスティックなノイズ注入を回避し、軌道の多様性を維持するための軽量かつ原理的な方法を提供する。

主な貢献

1. 効率的なCNF-PPOの統合: PolicyFlowは、重要度比を速度場の変動によって近似することで、完全なパスごとのバックプロパゲーションという高コストなプロセスを排除し、表現力豊かなCNF方策のオンポリシーRLでの使用を可能にする。
2. ブラウン運動正則化器: 明示的なエントロピー計算を必要とせずにモード崩壊を軽減し、多様な振る舞いを促進する、ブラウン運動に着想を得た新規かつ計算量の少ないエントロピー正則化器。
3. 実証的検証: 本手法は多様な環境で検証されており、ガウス型PPOおよび最先端のフローベースのベースライン（FPO、DPPO）と比較して、競争力のある、あるいは優れた性能を示している。

実験結果

著者らは、MultiGoal、MuJoCo Playground、およびIsaacLabのベンチマークにおいてPolicyFlowを評価した。

• MultiGoal (モード崩壊テスト): 6つの対称なゴールを持つ環境において、標準的なPPO（ガウス型）はすべてのゴールに到達できなかった。ベースラインのFPOとDPPOは、効果的なエントロピー正則化の欠如により、いくつかのモードに崩壊した。ブラウン運動正則化器を備えたPolicyFlowは、バランスの取れたマルチモーダル分布を捉えることに成功し、ほぼ等しい確率ですべてのゴールに到達した。
• MuJoCo Playground: PolicyFlowは、様々なタスク（WalkerWalk、CheetahRunなど）において、FPOおよびDPPOと同等またはそれ以上の性能を達成した。多くの場合、より速く収束しており、高いサンプル効率を示している。
• IsaacLab: ロボティクス・タスク（移動、操作）においてPolicyFlowをPPOと比較した。PolicyFlowは一貫してPPOの漸近的性能に匹達またはそれを上回った。
• 計算効率: PolicyFlowはサンプリングのためにODEシミュレーションを伴うが、学習ステップ（完全なODEバックプロパゲーションを回避するもの）による反復あたりの学習時間の増加は、標準的なタスクにおけるPPOと比較して50%未満であり、埋め込み次元を増やした場合でも2倍のコストを下回っていた。

意義と主張

論文は、PolicyFlowがオンポリシーRLのための実用的かつ表現力豊かなフレームワークを提供すると主張している。完全な軌道尤度評価の必要性を方策の更新から切り離すことで、連続正規化流の表現力とPPOの安定性の間の溝を埋めている。

著者らは以下の点を強調している：

• 重要度比の近似は理論的に制限されており、PPOのクリッピング領域内での安定した学習には十分である。
• ブラウン運動正則化器は、多様性を維持するためのヒューリスティックなノイズ注入や高価なダイバージェンス積分に代わる、原理的な選択肢を提供する。
• PolicyFlowは、最適化の安定性、計算コスト、およびバイアスに関する既存のフローベースRL手法（FPO、DPPO）の具体的な限界に対処しており、表現力豊かな生成方策をオンライン強化学習においてより利用しやすくしている。

本研究は、PolicyFlowが生成モデリングと強化学習を橋渡しする基礎となり、フローマッチング方策の微調整、オフラインRLへの拡張、および拡散モデルとの関連性の探求といった将来の方向性を示唆している。