技術要約：方策勾配における軌道の再利用による高速な収束

問題提起

方策勾配（Policy Gradient; PG）法は連続制御問題に対して有効であるが、サンプル効率の低さが課題となっている。標準的な「バニラ」のPGアルゴリズム（例：REINFORCE、GPOMDP）は、完全にオンポリシーな新しいデータのみに依存しており、$\epsilon$-近似定常点に到達するために $O(\epsilon^{-2})$ の軌跡を必要とする。この非効率性は、勾配が常に新しいサンプルから推定されるため、勾配推定値の分散が消失しないことに起因している。

過去のデータ（オフポリシーの軌跡または勾配）を再利用することは、効率を向上させるための一般的な戦略であるが、既存の理論的研究の多くは勾配の再利用（例：SVRPG、SRVRPG、STORM-PG）に焦点を当てており、最大で $O(\epsilon^{-3/2})$ のレートを実現している。過去の軌跡の再利用は直感的ではあるものの、厳密な理論的観点からはほとんど未開拓のままであった。軌跡を再利用しようとするこれまでの試みは、収束保証を欠いているか、あるいは強力な仮定や複雑な推定器（例：すべての過去の方策を保存する必要がある、または素朴な重要度サンプリングによる高分散に苦しむ）に依存していた。

本研究が取り組む中心的な問いは、**「過去のオフポリシー軌跡の再利用は、PG法のサンプル複雑度の証明可能な改善をもたらすことができるか？」**である。

手法

RT-PG アルゴリズム

著者らは、直近 $\omega$ 回のイテレーションから収集された軌跡を活用して方策勾配を推定する新しいアルゴリズム、RT-PG (Reusing Trajectories – Policy Gradient) を提案する。その核心となる革新は、修正された複数重要度サンプリング（Multiple Importance Weighting; MIW）スキームを用いて、オンポリシーデータとオフポリシーデータを組み合わせる Multiple Power Mean (MPM) 推定器である。

MPM 推定器

データの再利用に伴う統計的な課題（特に、現在のパラメータと過去の軌跡との間の依存関係によって生じるバイアス）に対処するため、MPM 推定器は2つの主要なメカニズムを採用している：

1. 決定論的係数: すべての過去の方策に依存する係数を用いることで「クロスタイム・バイアス（cross-time bias）」を導入してしまうバランス・ヒューリスティック（BH）とは異なり、RT-PG はイテレーション回数とウィンドウ・インデックスにのみ依存する決定論的係数 $\alpha_{i,k}$ を使用する。これにより、クロスタイム・バイアスを排除している。
2. パワーミーン（PM）補正: 重要度が有界であることを保証し（「防御的」特性）、決定論的係数によって導入されるバイアスを制御するために、MPM 推定器はバニラの重要度重みに PM 補正を適用する。方策 $\pi_{\theta_i}$ の下で収集され、$\pi_{\theta_k}$ の下で評価される軌跡 $\tau$ に対する補正された重みは以下の通りである：
   $$\left( (1 - \lambda_{i,k}) \frac{p_{\theta_i}(\tau)}{p_{\theta_k}(\tau)} + \lambda_{i,k} \right)^{-1}$$
   ここで $\lambda_{i,k} \in [0, 1]$ は補正パラメータである。この項は、バニラの重みと 1 の間の調和平均を表しており、重みが $1/\lambda_{i,k}$ で抑えられることを保証する。

理論的解析

著者らは、MPM 推定器に関する厳密な有限時間解析を提供している：

• 集中不等式（Concentration Bounds）: ベクトル値の勾配を扱うための被覆引数（covering argument）と、マルチンゲールに対するフリードマンの不等式を用いて、推定量の高確率集中境界を導出している。
• バイアス制御: 解析では、2つのバイアス源を明示的に分離して制御している：
  • ターゲット・バイアス: ターゲットとなるパラメータ $\theta_k$ が軌跡の履歴に依存することから生じる。これは、履歴依存のターゲットを含むパラメータ空間の部分集合に対する被覆引数を用いて制御される。
  • PM バイアス: PM 補正項から生じる。これは、バッチサイズと軌跡分布間の $\chi^2$ ダイバージェンスの境界に基づいて $\lambda_{i,k}$ を慎重に選択することで管理される。

主な貢献

1. 初の厳密な証拠: 本論文は、過去のオフポリシー軌跡の再利用が、PGの収束を大幅に加速させる有効なメカニズムであることを示す最初の理論的証明を提供している。
2. 新規推定器 (MPM): 直近 $\omega$ 回のイテレーションからのオフポリシー・データを、有界な重要度重みを維持しつつ、クロスタイム・バイアスを排除しながらオンポリシー・データと効果的に混合する MPM 推定器を導入した。
3. 改善されたサンプル複雑度:
   • 部分的再利用: 直近 $\omega$ 回のイテレーション（$\omega < K$）の軌跡を再利用する場合、RT-PG は $\tilde{O}(\epsilon^{-2}\omega^{-1})$ のサンプル複雑度を達成する。
   • 完全再利用: すべての利用可能な過去の軌跡を再利用する場合（$\omega \ge K$）、本アルゴリズムは $\tilde{O}(\epsilon^{-1})$ のサンプル複雑度を達成する。これは、PG法における既知の最良レートに一致しており、標準的な $O(\epsilon^{-2})$ レートからの大幅な改善を示している。
4. 実用的な実装: 方策の非類似性（ダイバージェンス）の経験的推定に基づいてオフポリシー・データを適応的に重み付けする、RT-RT-PG の実用的なバリアントを提案しており、これにより実用上の理論的なグローバル境界 $D$ の必要性を排除している。

結果

理論的結果

標準的な仮定（軌跡分布間の有界な $\chi^2$ ダイバージェンスおよび方策クラスの正則性）の下で、著者らは RT-PG が以下のサンプル複雑度で $\epsilon$-近似定常点を見つけることを証明した：

• 完全再利用レジームにおける $\tilde{O}(\epsilon^{-1})$。
• 部分再利用レジームにおける $\tilde{O}(\epsilon^{-2}\omega^{-1})$。

これらの結果は、BH ベースの手法とは異なり、過去の方策を保存する必要なく、過去の軌跡の保存のみを要求する。

実験的結果

連続制御タスク（Cart Pole, Half Cheetah, Swimmer）において、線形ガウス方策および深層ガウス方策の両方を用いて実験を行った。

• サンプル効率: RT-PG は、サンプル効率の面で標準的なオンポリシー・ベースライン（GPOMDP）および最新の分散減少手法（SVRPG, SRVRPG, STORM-PG, DEF-PG）を一貫して上回った。Half Cheetah 環境において、RT-PG はほとんどのベースラインの約2倍の最終性能を達成した。
• 軌跡再利用の影響: 再利用ウィンドウ $\omega$ を変化させた実験により、再利用ウィンドウを大きくすることで収束が加速することが示された。RT-PG は非常に大きなウィンドウでは収穫逓減が見られたものの、中程度の再利用でもベースラインを大幅に上回った。
• 素朴な再利用との比較: RT-PG は、一様重み付けを用いる MIW-PG よりも大幅に優れた性能を示し、分散を制御するための PM 補正と適応的重み付けスキームの有効性を検証した。
• メモリ効率: すべての過去のパラメータを保持する必要がある BH ベースの手法とは異なり、RT-PG は過去の軌跡の保存のみを必要とするため、高次元の方策空間に対して高いスケーラビリティを持つ。

意義と主張

本論文は、軌跡の再利用が、方策勾配の収束を加速させるための実行可能かつ強力なメカニズムであることを示す、最初の厳密な理論的証拠を提供すると主張している。RT-PG アルゴリズムと MPM 推定器を導入することで、著者らは「過去のデータを再利用する」という直感的なアイデアと、証明可能な収束保証との間の溝を埋めている。

その意義は以下の点にある：

1. 理論的進展: 軌跡の再利用が $\tilde{O}(\epsilon^{-1})$ レートを達成できることを確立した。これは、強力な仮定や勾配の再利用なしには困難と考えられていた。
2. 実用的有用性: 軌跡を再利用することで、学習の安定性を損なうことなくサンプリングコストを削減できることを示し、より大きなバッチサイズや複雑な分散減少技術を必要とする可能性のある勾配再利用手法に代わる実用的な選択肢を提示した。
3. メモリ効率: パラメータの保存を必要とする他の軌跡再利用アプローチ（BH など）の制限に対し、メモリオーバーヘッドを抑えたまま改善されたレートを実現した。

著者らは、結果が軌跡分布間の有界な $\chi^2$ ダイバージェンスの仮定に依存していること、およびサンプル複雑度がパラメータ次元 $d_\Theta$ に依存することを認め、これらを排除することが今後の課題であるとして、控えめな姿勢を保っている。