Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

技術的サマリー：オフラインからオンラインへの強化学習におけるインタラクション制約下での適応的方策選択と微調整

1. 問題定式化

本論文は、オフラインからオンラインへの強化学習（O2O-RL）における重要な課題、すなわち、オフラインで事前学習された候補方策の集合から最良の方策を選択・洗練するために、限られたオンラインインタラクション予算をいかに効率的に活用するかという課題に取り組んでいる。

標準的な O2O-RL パイプラインでは、複数の候補方策が様々なアルゴリズムとハイパーパラメータを用いてオフラインで学習される。これらは通常、展開に用いる単一の方策を選択するためにオフポリシー評価（OPE）を通じて評価され、その後微調整が行われる。著者らは、このアプローチに以下の 2 つの主要な欠陥があると指摘している。

1. OPE の信頼性の欠如: 分布のシフトにより OPE 推定値はしばしば不正確であり、これらのスコアのみに基づいて方策を展開することはリスクが高い。
2. オンライン評価（OE）と単純な微調整の非効率性: 全ての候補をオンラインで網羅的に評価すると、方策を洗練させることなくインタラクション予算を消費してしまう。逆に、単一の方策への微調整にコミットすることはリスクを伴う。なぜなら、事前学習された方策は、特に非定常環境において、オンラインインタラクション中に停滞したり後退したりする可能性があるからである。さらに、どの方策が微調整から最も恩恵を受けるかを事前に知ることは不可能であることが多い。

核心的な問題は、固定されたインタラクション予算 $N$ 内で**後悔（regret）**を最小化することとして定義される。目標は、単に最良の初期候補を選択するか、あるいは全ての候補を均等に評価するのではなく、$N$ のオンライン遷移を $K$ 個の候補方策（それぞれが複数の微調整イテレーションを受ける可能性がある）に割り当て、最終的に選択される方策の価値を最大化する手順を見つけることである。

2. 手法

提案されるフレームワーク「適応的方策選択と微調整」は、2 つの段階で動作する。

A. オフライン段階

• 多様なオフライン RL アルゴリズム（例：AWAC, IQL, CalQL, ReBRAC）およびハイパーパラメータ設定を用いて、多様な $K$ 個の候補方策のプールが学習される。
• **オフポリシー評価（OPE）**が実行され、初期のパフォーマンス推定値が生成される。これらの推定値は方策のランク付けに使用されるが、オンライン段階における価値推定の真実値（ground truth）としては扱われない。
• オンライン段階の初期価値推定値は、データセットから導出された行動方策の価値（$\hat{v}_B$）に設定され、初期段階の識別問題に対処するために疑似観測値が付加される。

B. オンライン段階（適応的ループ）
オンライン段階では、インタラクション予算 $N$ を動的に割り当てるために**上限信頼区間（UCB）**アプローチが利用される。プロセスは以下のように反復する。

1. 選択: 優先度キュー（最大ヒープ）が、最も高いmax-UCBを持つ方策を選択する。UCB は、方策の将来のパフォーマンス予測に基づいて計算される。
2. 微調整と評価: 選択された方策は、予算の一部を用いて 1 回分の微調整イテレーションを受け、その後、新しい価値推定値を得るためにオンライン評価が行われる。
3. 価値予測モデル: 著者らは、微調整中の方策価値の進化を、線形自己回帰（AR(2)）プロセスと条件付き異分散（ARCH(1)）プロセスを組み合わせてモデル化する。これにより、微調整曲線が不規則であったり、停滞したり、後退したりする可能性があるため重要となる、短期的な傾向（上昇/下降）と時間変化する分散（ボラティリティ）の両方を捉える。
4. 予測と更新: 適合させた AR-ARCH モデルを用いて、システムは将来の $R$ 個の価値軌道をシミュレーションし、将来のステップに対する 95 パーセンタイル（UCB）を計算する。max-UCB（残りの予算ホライズン全体にわたる最大 UCB）が計算される。
5. 再キューイング: 方策は新しい価値と max-UCB で更新され、優先度キューに戻される。
6. 切り替え: 異なる候補の max-UCB が現在選択されている方策のそれを上回る場合、システムは焦点を新しい候補に切り替える。これにより、アルゴリズムは後退または停滞している方策を放棄し、より有望な候補にリソースを割り当てることが可能になる。

このプロセスはインタラクション予算が尽きるまで継続し、評価された全ての方策の集合から推定価値が最も高い方策を返す。

3. 主な貢献

• 新規フレームワーク: 本論文は、厳格なオンラインインタラクション予算下で適応的方策選択と微調整を統合的に組み合わせる最初の手法を提案する。「選択して微調整」または「全てを評価」という二項選択を超え、動的な割り当て戦略へと移行する。
• 微調整のボラティリティのモデル化: 著者らは、微調整中の方策価値の非定常的な進化を予測するためにAR(2)-ARCH(1) モデルを導入する。これにより、標準的な回帰モデルがしばしば見逃す、パフォーマンスの後退や分散の可能性を明示的に考慮する。
• UCB に基づく割り当て: 予測された将来のパフォーマンスに対して UCB 基準を用いることで、この手法は探索（新しい候補の評価）と活用（有望な候補の微調整）を効率的にバランスさせ、改善が見込めない方策に予算を浪費しないことを保証する。

4. 実験結果

このアプローチは、D4RLベンチマーク（Hopper, Cheetah, Walker, Ant）の 4 つの標準的な脚付きロボット移動タスクにおいて、4 つのデータセット品質レベル（Random, Medium, Medium-Replay, Medium-Expert）で評価された。

• ベースライン: 本手法は以下の手法と比較された。
  • OPE: オフライン推定値のみに基づいて最良の方策を選択する。
  • OE: 予算を均等に共有し、微調整なしで全ての候補をオンラインで評価する。
  • FT: OPE で最良と判断された方策を選択し、予算全体を用いてそれを微調整する。
  • Best: 真の最良の方策を使用する仮想的な上限。
• パフォーマンス:
  • 提案手法は、全ての環境および予算サイズ（160K および 320K 遷移）において、一貫して最高平均スコアを達成した。
  • 単一の方策に予算全体をコミットし、それが後退する可能性がある（例：Walker-Medium-Expert）ため、しばしば苦戦するFTを大幅に上回った。
  • 高ポテンシャルの候補の特定とそれらの洗練の両方に予算を効果的に活用し、微調整を行わないことによる「機会損失」や、誤った方策を微調整することによる「後悔」を回避することで、OPEおよびOEを上回った。
  • 結果は、適応的割り当てがシステムに初期の OPE ランキングの悪さから回復させ、オンラインインタラクションで改善しない方策にリソースを浪費することを防げることを示した。

5. 意義と主張

著者らは、この研究が、オンラインインタラクションが高コスト、高リスク、または時間がかかる現実世界のシステムにおける RL の展開に対する実用的な解決策を提供すると主張している。事前学習された方策が恣意的に poor に動作する可能性があり、微調整の結果が不安定であることを認識することで、提案フレームワークはこれらの不確実性を navigat するための堅牢なメカニズムを提供する。

論文は、このアプローチが強力なベースラインを上回る一方で、最終的な解決策ではないと控えめに指摘している。制限事項には、頻繁なオンライン評価の計算コストと、特定のハイパーパラメータ設定への依存が含まれる。著者らは、明示的な評価コストを削減するための探索ロールアウトの活用、方策類似性メトリックの組み込み、O2O-RL ランキングに特化した OPE 手法の開発などの将来の方向性を提案している。究極的に、このフレームワークは、理論的なオフライン RL と実用的で展開可能なシステムとの間のギャップを埋めることを目指している。