COOPO: Cyclic Offline-Online Policy Optimization Algorithm

COOPO：循環的オフライン・オンライン方策最適化の技術的概要

問題定義
強化学習（RL）は、データ効率と性能の間に根本的なトレードオフが存在します。純粋なオンライン RL 手法（PPO、SAC など）は、最適な方策を学習するために膨大な数の環境相互作用を必要とし、探索がコストがかかるか危険である安全クリティカルなサイバーフィジカルシステム（CPS）には不適切です。一方、オフライン RL は静的データセットからのみ学習し、オンライン相互作用を回避しますが、未観測状態の探索 inability に起因する分布シフトと方策の最適性の欠如に悩まされます。

最近のハイブリッドな「オフラインからオンラインへ」のアプローチは、オフラインデータで事前学習し、その後オンラインで微調整することでこのギャップを埋めようと試みています。しかし、本論文は既存のハイブリッド手法における 2 つの致命的な失敗モードを特定しています：

1. 破滅的忘却：オンライン微調整中に、方策がオフラインデータセットから学習した知識を頻繁に上書きし、性能の大幅な低下を招きます。
2. 分布シフト：静的なオフライン分布から動的なオンライン分布への遷移により、方策がデータでサポートされていない状態空間の領域へ逸脱し、不正確な価値推定と不安定な学習を引き起こします。

ウォームスタート段階やリプレイバッファでのデータ混合などの既存の解決策は、長期的な安定性を維持できなかったり、オンライン段階のサンプル複雑性を十分に削減できなかったりします。

手法：COOPO フレームワーク
著者らは、制約付きオフライン学習とオンライン微調整を反復的に循環させることでこれらの課題を解決する統合フレームワークである**COOPO（Cyclic Offline-Online Policy Optimization：循環的オフライン・オンライン方策最適化）**を提案します。従来の単一のオフライン事前学習 followed by オンライン適応を行う手法とは異なり、COOPO はこれらの段階をループ内で交互に実行します。

中核となるメカニズムは以下の通り動作します：

1. 循環構造：アルゴリズムは $K$ 回のサイクルにわたり、オフライン段階とオンライン段階を交互に行います。
2. オフライン段階（安定性とアンカー）：
   • 方策は**KL 正則化付きアドバンテージ重み付けアクター・クリティック（AWAC）**アルゴリズムを用いて更新されます。
   • この段階では、明示的なカルバック・ライブライ（KL）ダイバージェンスペナルティを用いて、新しい方策（$\pi_{new}$）が以前の方策（$\pi_{old}$）およびデータセット内の行動方策（$\pi_\beta$）に近づくよう制約します。
   • 値関数は、その後のオンライン遷移を支援し、ロバストなアドバンテージ推定を提供するために、この段階で明示的に学習され、分布外（OOD）エラーを軽減します。
   • 重要なのは、オフライン段階が「修正的な安定化項」として機能し、高品質な静的データセットに方策を再アンカーすることで、逸脱と忘却を防ぐ点です。
3. オンライン段階（適応と探索）：
   • 方策は、トラスト領域オンポリシーアルゴリズム（実験では特にPPO）を用いて微調整されます。
   • クリティックの安定性を維持するため、オフライン段階で学習された Q 関数は、オンライン PPO 更新中に凍結されます。これにより、オフライン状態とオンライン状態の分布の不一致に起因する価値の逸脱を防ぎます。
   • オンライン段階は、環境相互作用を最小限に抑えつつ必要な探索を可能にするよう、短く（少数のエピソードで）保持されます。
4. 相乗効果：循環的な挙動は、オフライン段階が方策を安定化し誤りを修正し、オンライン段階がリアルワールドの信号を用いて方策を洗練するというフィードバックループを創出します。これにより、オフラインデータのコストを複数のサイクルにわたって償却することが可能になります。

主要な貢献

1. 汎用的な循環フレームワーク：著者らは、KL 正則化されたオフライン学習と適応的オンライン微調整を交互に行う新たなフレームワークを導入しました。この設計は、方策を定期的にオフラインデータセットに戻すことで、破滅的忘却と分布シフトを明示的に防止します。
2. 理論的保証：
   • 性能 bound：本論文は、標準的なデータカバレッジの仮定の下で、サイクルごとのリターン増加が保証されることを示す性能差 bound（定理 1）を導出しています。
   • サンプル複雑性：著者らは、COOPO が総サンプル複雑性 $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$ を達成することを証明しています。注目すべきは、データ再利用によりオフラインサンプル複雑性がデータセットサイズ $|D|$ に依存しないこと、およびオンラインサンプル複雑性が $H^3$（ここで $H$ はホライズン）にスケーリングすることです。これは、純粋なオンライン PPO の $H^4$ スケーリングに対する改善です。
   • 収束：定理 2 は、最適方策の近傍への線形収束を確立しています。
3. 実証的優位性：D4RL ベンチマーク（HalfCheetah、Hopper、Walker2D）における広範な実験により、COOPO が最終リターンとサンプル効率の両面で、最先端のオフライン RL（IQL、CQL など）およびオフラインからオンラインへのベースライン（Cal-QL、Uni-O4 など）を上回ることが示されました。

結果

• 性能：COOPO は 9 つの D4RL タスクのうち 7 つで最高性能を達成し、純粋なオフライン手法やワンステップのハイブリッドアプローチを上回りました。例えば、halfcheetah-medium-expert タスクにおいて、COOPO は 9242.2 のリターンを達成し、次点のベースライン（Uni-O4 の 8859.3）を凌駕しました。
• サンプル効率：COOPO は、純粋なオンライン PPO に比べて高性能に達するために必要なオンライン環境相互作用の数を大幅に削減しました。理論分析と実証結果（図 7）は、COOPO がオンライン相互作用を一定の係数で削減することを確認しています。
• 安定性：循環的アーキテクチャは、AWAC や IQL などの手法で見られる早期のプラトー化を回避し、ロバストな漸近性能を示しました。アブレーション研究により、オフラインエポック数（$E$）とオンラインエピソード数（$T$）のバランスが重要であることが示されました。具体的には、初期段階でオフライン学習を強調し、後期段階でオンライン微調整を行うことが最適結果をもたらします。
• ハイパーパラメータ感度：KL 係数（$\lambda$）は、収束速度と更新の保守性の間のトレードオフを制御することが判明しました。中程度の $\lambda$（例：3）が、収束速度と低分散の最良のバランスを提供しました。

意義と主張
本論文は、COOPO が特に安全クリティカルなサイバーフィジカルシステム向けのサンプル効率的かつ安定した適応学習のための新たなパラダイムを確立すると主張しています。「循環的相乗効果」を形式化することで、この手法はオフライン RL の限界（カバレッジ制約）とオンライン RL の限界（サンプル非効率性）を相補的な強みへと変換します。

著者らは、大規模な探索が非現実的な実世界アプリケーションにおける信頼性の高い展開のために、COOPO が原理的な基盤を提供することを強調しています。このフレームワークは、性能改善とバインドされたオンライン相互作用に関する理論的保証を提供し、分布シフトや敵対的摂動下で安定性を維持するアルゴリズムに対する重要なニーズに応えます。この作業は、このループされた相乗効果が破滅的忘却と分布の逸脱を効果的に軽減し、限られたデータと不確実なダイナミクスを持つ環境における適応制御のためのロバストな解決策を提供することを示唆しています。