技術的サマリー：Forager – 部分観測性を伴う継続的学習のための軽量テストベッド

問題定義

継続的強化学習（CRL）は、部分観測可能で非定常な「ビッグワールド」において、エージェントが無限に学習・行動・探索できることを目指す。現在の CRL 研究は、主に可塑性の喪失（タスク切り替え後の学習継続 inability）に焦点を当てており、非定常性が人工的に導入された完全観測マルコフ決定過程（MDP）内で多くの場合研究されている。

部分観測性の下での CRL 研究には重要なギャップが存在する。部分観測性は現実世界の環境の根本的な特徴（「ビッグワールド仮説」）であるが、既存のベンチマークの多くは以下のいずれかに該当する：

1. 完全観測可能（例：ALE、Mujoco）であり、エージェントは理論的に環境を完全にシミュレートできる。
2. 長期的な CRL 実験を実行するには実行コストが過剰に高く（例：Minecraft、Craftax）、成功には大規模な並列処理や特権的な状態情報の取得が必要とされることが多い。
3. 急速な反復を妨げる増大するメモリフットプリントなどの技術的制限に悩まされている（例：Jelly Bean World）。

その結果、部分観測性に対処するための状態構築（メモリ/再帰性の利用）と、変化するダイナミクスを追跡する継続的学習との相互作用は、未だ十分に探求されていない。

手法：Forager 環境

著者らは、CRL 用のスケーラブルなテストベッドとして機能するように設計された、軽量で設定可能なグリッドワールド環境Foragerを導入する。

• 環境構造：Forager は、エージェントが異なる報酬とリスポーン挙動を持つキノコを収集するために移動する、無限のトーラス型世界をシミュレートする。この世界は手続き的に生成されるが、複雑な物理や豊富なグラフィックには依存しない。
• 部分観測性：エージェントは、エージェント中心の限定された視野（FOV）で動作する。観測は、可視領域の RGB 画像または二値テンソルのいずれかである。エージェントはグローバル状態を見ることができないため、FOV 外のオブジェクトの位置やリスポーン時刻を追跡するためにメモリが必要となる。
• 非定常性：この環境は、以下のようなさまざまな形態の非定常性をサポートする：
  • タスク切り替え：特定のオブジェクトタイプに対する報酬関数の周期的な変化（例：以前は正しかったキノコの種類が負になる）。
  • 動的報酬：時間とともに減衰するか、隠れたスケジュールに基づいて変化する報酬。
  • 無限ストリーム：新しいキノコ種が絶滅した種を置き換えるバリアントであり、無限のタスクシーケンスを生成する。
• 性能特性：Forager は速度とメモリ効率のために最適化されている。エージェントの探索履歴に関係なく、一定のメモリフットプリントを維持しつつ、最大で $10^5$ フレーム/秒（FPS）で実行される。これは、探索に伴ってメモリ使用量が増加する Jelly Bean World などのベンチマークとは対照的である。
• 実装：この環境は CPU 実装と、単一の GPU で数百の並列試行を可能にする JAX ベースの実装（Foragax）の両方で利用可能である。

主要な貢献

1. リソース効率の高いテストベッド：Forager は、CRL アルゴリズムの迅速なプロトタイピングのための設定可能な環境を提供する。研究者は、複雑なゲームエンジンの計算オーバーヘッドなしに、部分観測性の度合い（FOV サイズを通じて）や問題の難易度（オブジェクト配置と報酬ダイナミクスを通じて）を制御できる。
2. 状態構築の必要性の実証：本論文は、標準的な深層 RL エージェント（DQN、PPO）が部分観測性により Forager で良好に機能しないという実証的証拠を提供する。この設定において、標準的な可塑性緩和技術よりも、状態構築（メモリ痕跡または再帰的アーキテクチャを通じて）が継続的なパフォーマンスにとってより重要であることを浮き彫りにする。
3. 包括的なベンチマークスイート：著者らは、広範なアルゴリズムを評価する：
   • ベースライン：DQN および PPO。
   • 可塑性緩和：初期化への正則化、cReLU 活性化、Shrink & Perturb、L2 正則化、および Permanent-Transient Q-learning（PT-DQN）。
   • 状態構築：指数重み付きメモリ痕跡、Deep Recurrent Q-Networks（DRQN）、および再帰的時間単位 PPO（RTU-PPO）。
4. 無限タスクバリアント：新しいタスクの無限ストリームを生成する特定の構成であり、エージェントを静的な方策に収束させることなく永遠に学習させ、現在の CRL エージェントの限界を浮き彫りにする。

実験結果

1. 部分観測性の影響（視野）

• 観察：FOV が減少するにつれて、順方向 DQN エージェントのパフォーマンスは著しく低下する。
• 発見：大きな FOV では、DQN はオラクル検索のパフォーマンスに近づく。一方、小さな FOV（エージェントが「バイオーム」のギャップを越えて見ることができない場合）では、DQN は最適な採集戦略を学習できず、ランダム検索または近傍探索のように振る舞う。これは、環境が隠れた状態を追跡するために実質的にメモリを必要とすることを確認する。

2. 可塑性の喪失と緩和

• 観察：タスク切り替えバリアントにおいて、PPO は深刻な可塑性の喪失（時間とともにパフォーマンスが低下）を示したが、DQN はわずかな低下のみを示した。
• 緩和テスト：いくつかの提案された緩和策（cReLU、L2 Init、Shrink & Perturb、PT-DQN）がテストされた。
  • 結果：いくつかの緩和策（特にL2 InitとcReLU）は適応速度を向上させたり完全な崩壊を防いだりしたが、いずれもエージェントがオラクル検索ベースラインのパフォーマンスに近づくことを許さなかった。
  • 結論：部分観測環境における CRL において、可塑性の喪失を緩和するだけでは不十分である。エージェントは依然として有用な内部状態を構築する能力を欠いている。

3. 状態構築の役割

• 単純なメモリ：最近の報酬の指数重み付きメモリ痕跡を追加することで、DQN と PPO の両方のパフォーマンスが大幅に向上した。
• 再帰的アーキテクチャ：
  • DRQN：GRU を用いた修正 DRQN は標準的な DQN を上回らず、この文脈では特定の実装またはアルゴリズムが有用な状態を抽出できていないことを示唆する。
  • RTU-PPO：再帰的時間単位（RTU）層を使用した再帰的 PPO バリアントは、すべての学習エージェントの中で最高のパフォーマンスを達成し、オラクル検索ベースラインにほぼ匹敵した。
  • 継続的学習の証拠：RTU-PPO エージェントを実験の半分で「凍結」（学習を停止）させたところ、そのパフォーマンスは著しく低下した。これは、エージェントが静的な方策に収束していたのではなく、部分観測性に対処するために再帰的状態を活用しながら、タスク切り替えに対して継続的に再学習し適応していたことを証明する。

4. 無限タスクストリーム

• 最も困難なバリアント（4 つのバイオーム、動的な種置換、隠れた手がかり）において、最良の再帰的エージェント（RTU-PPO）でさえもプラトーに達し、オラクルのパフォーマンスに到達できなかった。
• 解釈：急速な報酬非定常性、大きな世界サイズ、限定された FOV の組み合わせは、特に単一ストリーム（同期）学習設定において、現在のアルゴリズムが完全に克服できない課題を生み出している。

意義と主張

本論文は、Foragerが部分観測性と状態構築の課題を分離するスケーラブルでメモリ効率の高い環境を提供することで、CRL 研究における重要なギャップを埋めると主張する。

• 控えめな主張：著者らは明示的に、Forager は現実的なシミュレーションではなく、複雑な物理を欠いていると述べている。その価値は、複雑なゲームエンジンの計算オーバーヘッドなしに、迅速なプロトタイピングと現在のアルゴリズムに挑戦するのに十分な複雑さのバランスを取れる点にある。
• 核心的洞察：主要な発見は、可塑性の喪失を緩和することが重要である一方で、状態構築（再帰性またはメモリを通じて）が、部分観測可能な世界で継続的に学習するエージェントを可能にする支配的な要因であるということである。
• 将来の方向性：無限タスクバリアントは、大規模で部分観測可能な世界における迅速な適応、時間的抽象化、効果的な探索を扱えるアルゴリズムへの将来の研究を推進するための「課題問題」として機能する。

本論文は、現在の CRL エージェントにはこれらの設定において明確な限界があり、Forager が大規模環境の計算的制限なしにこれらの限界を検証するための科学的テストベッドを提供すると結論づけている。