技術要約：オンラインRLのファインチューニングにおいて、Q関数を事前学習する必要は本当にあるのか？

1. 問題設定

本論文は、事前学習済みのポリシーをオンライン強化学習（RL）でファインチューニングする際、オフラインデータを用いてQ関数を事前学習することが有効かどうかを調査している。設定としては、エージェントが固定されたオフラインデータセット $D_{offline}$ と、事前学習済みのベースポリシー $\pi_{base}$（通常、教師あり学習や模倣学習を通じて $D_{offline}$ 上で学習されたもの）を持つマルコフ決定過程（MDP）を想定している。目標は、オンラインRLによるファインチューニングを行い、リターンを最大化することである。

中心となる問いは、ポリシーの更新中にエージェントのアクション選択をガイドするQ関数（$Q_\phi$）を、ポリシーと共に $D_{offline}$ 上で事前学習すべきか、それともランダムに初期化してオンラインで完全に学習させるべきか、という点である。オフラインからオンラインへのRLにおける一般的な知見では、ポリシーとQ関数の共同事前学習が有益であるとされている。しかし、近年の研究では、事前学習済みのポリシーとランダムに初期化されたQ関数から開始することで、非常に高い性能が得られることが示されている。本論文は、Q関数の事前学習がダウンストリームの性能に対して必要な足がかりを提供するのかという直感を体系的に検証している。

2. 手法

実験設定

著者らは、Robomimic（lift, can, square）および OGBench（cube, scene, puzzle）の6つの困難な連続制御操作タスクを用いて仮説を評価している。これらのタスクは、スパースな報酬と長期的な推論を伴う。

• ベースアルゴリズム: 本研究では、サンプル効率の高いオフポリシーRLアルゴリズムである EXPO を利用している。EXPOは、「ベースフローポリシー」（$\pi_{base}$）と、アクションの修正を予測する軽量な「エディットポリシー」（$\pi_{edit}$）を採用している。最終的なアクションは、ベースのアクションとエディットされたアクションの集合に対してQ値を最大化することによって選択される。
• ベースライン:
  1. ナイーブな事前学習 (Naive Pretraining): オンラインファインチューニングの前に、$\pi_{base}$ と $Q_\phi$ の両方を、$D_{offline}$ 上でそれぞれ教師あり学習およびオフラインTD学習を用いて事前学習する。
  2. ランダム初期化 (Random Initialization): $\pi_{base}$ のみを $D_{offline}$ 上で事前学習し、$Q_\phi$ はランダムに初期化して、オンラインファインチューニング中に完全に学習させる。
  3. オフライン価値最大化 (Offline Value Maximization): 事前学習中に、オフラインでの価値最大化（例：エディットポリシーの学習やワンステップポリシーの蒸留）を行うことで、オフラインとオンラインのターゲット間のギャップを埋めようとする試み。

提案手法：ポリシーアンサンブルによる初期化 (IPE)

ナイーブな事前学習が失敗するという知見に基づき、著者らは、標準的な事前学習のようなミスマッチの問題を起こさずに、オフラインデータをQ関数の初期化により良く活用する手法として IPE を提案している。

• 核心となるアイデア: 単一の事前学習済みポリシーはしばしば狭いアクション分布を生み出し、Q関数が一般的な汎用性のあるアクション値構造を学習するのではなく、特定のポリシーの価値関数（$Q_{\pi_{base}} \approx V_{\pi_{base}}$）へと崩壊（collapse）する原因となる。
• 手順:
  1. オフラインデータセット上でベースポリシー $\pi_{base}$ を学習する。
  2. 同じアクション分布（同じデータセット、または異なるシードを用いたサブセットを使用）を用いて、$N$ 個の多様な追加ポリシー（$\pi_1, \dots, \pi_N$）を学習する。
  3. 環境内でこれら $N+1$ 個のポリシーをロールアウトし、多様な遷移を収集する。
  4. これらのロールアウトを統合して、オンラインRLファインチューニング用のリプレイバッファを初期化する。
     このアプローチは、Q関数に対して各状態におけるより広い範囲のアクションのカバレッジを提供し、単一のポリシーの狭い分布に制約されることなく、より最適なオンラインターゲット（$Q^*_{RL}$）に近いQ関数を学習することを可能にする。

3. 主な知見と分析

ナイーブな事前学習の失敗

従来の直感に反して、著者らは、Q関数をナイーブに事前学習しても、ランダム初期化と比較してほとんど、あるいは全くメリットがないことを見出した。いくつかのタスクでは、それがオンライン学習を阻害することさえある。

• ミスマッチ: オフライン事前学習中に学習されたQ関数（$Q_{\pi_{base}}$）は、ベースポリシーの価値関数をターゲットとしている。しかし、オンラインRLのファインチューニングは、異なる最適Q関数（$Q^*_{RL}$）へと収束する。
• 好みの正確性 (Preference Accuracy): ベースポリシーが最適に近い場合であっても、オフラインで事前学習されたクリティックは、オンライン収束に必要とされる方法で、最適ポリシー（$\pi^*$）とベースポリシー（$\pi_{base}$）のアクションを正しくランク付けできない。
• 修正策の無効性: オフラインでの価値最大化（例：エディットポリシーの学習や事前学習中のアクション勾配の適用）を通じてこのギャップを埋めようとする試みも、性能や好みの正確性を改善させることはできず、正しいターゲットを学習するためにはオンラインでの相互作用が必要であることを示している。

IPEのメカニズム

本論文は、ナイーブな事前学習の失敗がアクションの多様性の欠如に起因することを実証している。単一のポリシーによるロールアウトは、非常に低い分散を持つQ関数をもたらし、事実上、決定論的となり、代替となるアクションを区別できなくなる。

• 多様性: アンサンブル・ポリシーを用いることで、IPEは大幅に高いアクション多様性を持つロールアウトを生成する。
• 結果: この多様性により、Q関数は単一のポリシーの振る舞いに崩壊することなく、意味のあるアクション値構造（$Q^*_{RL}$）を学習することができる。

4. 結果

• 性能向上: 連続制御ベンチマークのスイート全体において、IPEはナイーブなQ関数事前学習と比較して、ファインチューニング性能において平均1.26倍（約26%）の向上を実現した。
• ランダム初期化との比較: IPEはナイーブな事前学習とランダム初期化の両方を上回っており、Q関数の初期化の質が極めて重要であるが、その初期化のソースは多様である必要があることを示している。
• スケーリング: 性能は、アンサンブルに使用されるポリシーの数（$N$）に応じてスケールする。実験では、$N=5$ が最良の結果を示しており、より広い振る舞いポリシーのカバレッジが、より良いダウンストリームのファインチューニングにつながることを示唆している。
• 好みの正確性: IPEで学習されたQ関数は、ベースラインと比較して最適アクションに対する好みの正確性が高く、この手法が $Q^*_{RL}$ へのギャップをうまく埋めていることを裏付けている。

5. 意義と主張

本論文は、オフラインからオンラインへのRLの文脈において、「より多くの事前学習が常に優れている」という支配的な仮定に異議を唱えている。主な貢献は以下の通りである：

1. 実証的証拠: 事前学習済みのポリシーから開始する場合、Q関数を直接オフラインデータで事前学習することは、オンラインRLのファインチューニングを加速させたり改善したりすることにしばしば失敗することを体系的に示した。
2. 理論的洞察: オフラインQ関数（$Q_{\pi_{base}}$）とオンラインターゲット（$Q^*_{RL}$）の間の根本的なミスマッチを特定し、オフラインの価値最大化だけではこの不一致を解決できないことを示した。
3. 実践的な解決策: ポリシーアンサンブルを利用してQ関数の学習をブートストラップする、シンプルかつ効果的な手法である IPE を導入した。事前学習フェーズでアクションの多様性を高めることにより、IPEはオンラインRLが正しい価値関数をより効率的に学習することを可能にする。

著者らは、ポリシーの事前学習は不可欠であるが、Q関数の初期化戦略は、単にオフラインデータの分布に適合するのではなく、最適な価値景観を学習するために必要なアクションの多様性を考慮しなければならないと結論付けている。本研究はオフポリシーRLの設定に限定されており、著者らはIPEのデータ収集オーバーヘッドを削減することが今後の研究課題であると述べている。