技術要約：デプロイされた強化学習は継続的であるべきである

問題提起

本論文は、現実世界の強化学習（RL）のデプロイメントにおける理論的な性質と、現在主流となっているエンジニアリング・パラダイムである**「学習して固定する（train-then-fix）」**との間にある根本的な不一致を指摘している。この標準的なパラダイムでは、エージェントはオフライン（シミュレーション、セルフプレイ、またはデモンストレーション経由）で学習され、デプロイ時に固定される。学習は、性能が著しく低下し、人間による再学習サイクルがトリガーされるまで停止する。

著者らは、このパラダイムは**「測定可能なデプロイメント（measurable deployment）」**の設定においては理論的に不十分であると主張している。測定可能なデプロイメントは、以下の条件を満たすシナリオとして定義される：

1. エージェントが「大きな世界（Big World）」のレジームで動作しており、環境の複雑さがエージェントの表現能力や利用可能な計算リソースを超えている。
2. デプロイ後も、評価的な報酬信号（例：ユーザーエンゲージメント、配車完了、提案の受理など）が利用可能である。

これらの条件下では、「学習して固定する」アプローチは潜在的な性能向上を逃すことになる。本論文は、表現不可能な、あるいは到達不可能な最適方策が存在する非定常な環境において、評価的なフィードバックを受け取り続けるエージェントは、本質的に**継続的強化学習（Continual Reinforcement Learning: CRL）**の問題に直面していると断じている。核心となる問題は、定常性と固定された最適方策（$\pi^*$）の存在を仮定する従来のマルコフ決定過程（MDP）の形式化では、「終わることのない」現実世界の適応という性質を捉えきれないことにある。

メソドロジーおよび理論的枠組み

1. 理論的基礎：履歴プロセス形式化

問題を厳密に定義するために、本論文は標準的なMDPのタプル $\langle S, A, P, R \rangle$ から離れ、**履歴プロセス（History Process）**形式化（Bowling et al., 2023; Abel et al., 2023）を採用している。

• 環境 ($e$): 有限長の履歴 ($H$) と行動 ($A$) を、観測 ($O$) の分布へとマッピングする関数として定義される。
• エージェントの状態 ($S$): MDPの状態とは区別される、エージェントによる履歴の圧縮を表す。
• 学習ルール ($\sigma$): 履歴から方策の分布 ($\Pi$) へのマッピング。
• CRLの定義: 「最良のエージェント」（到達可能な方策の中で性能指標を最大化するもの）が学習を止めることがない場合、そのRL問題はCRLのインスタンスである。履歴プロセスにおいては、エージェントは環境をリセットしたり過去の履歴を正確に再訪したりすることができず、また環境が非定常であるため、最適方策の探索が終了することはない。

2. 非定常性の特性化

本論文は、測定可能なデプロイメントにおいて継続的学習を必要とする、非定常性の4つの具体的なソースを特定している：

1. 行動誘発型非定常性（Action-Induced Non-Stationarity）: エージェント自身の行動が、将来の履歴の分布を変化させる（例：レコメンデーションシステムがユーザーの好みを変化させる）。
2. 環境ダイナミクスの変化: 季節変動、ハードウェアの経年劣化、市場の変化など、エージェントの制御外で発生する外部要因。
3. 進化する目標（Evolving Goals）: ステークホルダーの優先順位の変化、規制の更新、安全制約の変化などにより、報酬関数自体が時間の経過とともに変化する。
4. 創発的な新規性（Emergent Novelty）: 「大きな世界仮説（Big World Hypothesis）」によれば、エージェントは必然的に、有限の学習フェーズの分布外にある行動・観測シーケンス（ブラックスワン事象を含む）に遭遇する。

3. 学習ルールの分析

著者らは、2つの学習ルール（方策を更新するための戦略）を対比させている：

• 学習ルール A（学習して固定する）: エージェントは高性能な方策を探索し、固定された $\pi_{final}$ に落ち着いて停止する。性能は、新たな探索サイクルをトリガーする閾値に達するまで低下し続け、結果として「のこぎり型」の性能パターンを示す。
• 学習ルール B（継続的学習者）: エージェントは、到達可能などの方策もグローバルに最適ではないことを認識している。エージェントは探索を終了させることなく、利用可能な評価的信号を用いて、変化するターゲットを追跡するために継続的に方策を適応させる。

主な貢献

1. パラダイムシフトの提案: 本論文は、測定可能なデプロイメントは単に継続的学習アルゴリズムによって「解決される」問題ではなく、それ自体が本質的にCRLの問題であると主張している。その違いは、アルゴリズムの解法ではなく、問題の設定（環境の特性）にある。
2. 理論的正当化: 履歴プロセス形式化を用いることで、現実世界のデプロイメントにおいて、上述の4つの非定常性のソースが存在するため、固定された最適方策の仮定が無効であることを証明している。
3. 実証的なケーススタディ: 本論文は、継続的学習を暗黙的または明示的に利用している3つの成功した実世界のデプロイメントを分析している：
   • Cursor Tab: オンライン方策勾配を用いたコード補完システム。これは創発的な新規性（新しいコードパターン）と環境ダイナミクス（進化するライブラリ）に直面している。1.5〜2時間のタイトなデプロイ・学習ループにより、これらの変化に適応し、提案の21%削減と受理率の28%向上を実現している。
   • Lyft: オンラインRLを用いた配車マッチングアルゴリズム。主に行動誘発型非定常性（ドライバーの移動）と環境ダイナクス（需要の変動）に直面している。このシステムは、固定モデルに頼るのではなくオンラインで適応することにより、年間3,000万ドル以上の追加収益を生み出している。
   • Sim-to-Real Gap（シミュレーションから現実へのギャップ）: 本論文は、シミュレーションと現実のギャップは、これら4つの非定常性のソースすべてが顕在化したものであると主張している。ドメインランダム化を用いても、信頼性の高い性能を得るためにはリアルタイムのデータが必要であり、デプロイ後の学習が不可欠となる。
4. 実践的な推奨事項:
   • 実務家に向けて: プロダクションデータが学習データとなるフィードバックループを構築すること。オンラインモニタリング（例：スイッチバック実験）を通じて継続的に検証すること。また、適応性をテストするために、開発段階で意図的に非定常性を導入すること。
   • 研究者に向けて: 継続的な設定における従来のオプティマイザ（Adam, RMSPropなど）を再評価すること。履歴プロセスに対するアルゴリズムの特性を導出すること（マルコフ的な保証を超えて）。弱通信環境を仮定しない**偏差レグレット（deviation regret）**のような評価指標を採用すること。そして、理論モデルにおいて有限のリソース制約を明示的に考慮すること。

結果とエビデンス

本論文は、著者らが新たに生成した実験結果を提示するのではなく、既存の文献や業界レポートからのエビデスの統合を行っている：

• Cursor Tab: オンラインでのオンポリシー更新が、静的なモデルリリースと比較して優れた性能指標をもたらすことを示した。
• Lyft: オンラインRLマッチングシステムが、固定された方策よりもドライバーの稼働率や収益の面で優れていることを示し、誘発された非定常性への適応能力を実証した。
• 理論的エビデンス: 摩擦が蓄積するにつれて「学習して固定する」方策が失敗する「錆びた振り子（Rusting Pendulum）」環境（付録A）を引用し、継続的学習者が性能を維持することを示している。
• 文献の傾向: CRLに対する学術的関心の急増（図1）と、このシフトを支持する理論的基礎（例：履歴プロセス形式化）の成熟を強調している。

意義と主張

本論文は、「学習して固定する」パラダイムは、継続的学習問題に対する解決策ではなく、単なる「遅延メカニズム」であると主張している。その意義は以下の通りである：

• デプロイメントの再定義: 複雑な世界において評価的フィードバックを伴うエージェントをデプロイすることは、定義上、CRLの問題であると断じている。この信号を無視し、更新を人間の介入に依存することは、性能を犠牲にする劣った戦略である。
• 安全性と適応性: 固定された方策の方が安全であるという見解に対し、本論文は、非定常な環境下では固定された方策は不安全に劣化すると主張している。継続的学習は、進化する目標や規制への整合性を維持するために、安全制約を設計した上で必要不可欠である。
• コミュニティへの方向性: 研究の焦点を、固定された成果物へと収束するアルゴリズムから、持続的かつオープンエンドな学習が可能なエージェントへとシフトすることを求め、実務家に対して、システム内に既に存在するフィードバック信号を活用するよう促している。

本論文は、現実世界のRLにおけるより優れた性能への道は、より優れたオフライン学習ではなく、デプロイメントの継続的な性質を受け入れ、より良い方策の探索を決して止めないエージェントを設計することにあると結論付けている。