技術要約：適応型マルチホライゾン強化学習

問題提起

複雑な環境における効果的な意思決定には、短期的な結果と長期的な結果のバランスを取ることが求められる。標準的な強化学習（RL）では、このトレードオフは固定された割引因子（$\gamma$）によって制御されており、単一の指数関数的に減衰するプランニング・ホライゾン（計画期間）を課している。この静的な仮定は、タスクや環境が進化し、短期的ホライゾン（即時的な結果）と長期的ホライゾン（遅延報酬）の意思決定戦略を切り替える必要がある**継続学習（continual learning）**のシナリオにおいて、しばしば失敗する。

対照的に、生物学的システムは、複数の時間的ホライゾンにわたる予測を統合し、それらへの依存度を柔軟に調整しているように見える。近年の神経科学の研究は、異なる割引タイムスケールにわたって価値を符号化する、個別のドーパミンニューロンや線条体回路の存在を示唆している。本論文が取り組む中心的な課題は、**「いかにしてエージェントは、生物学的システムに見られる柔軟な意思決定と同様に、タスクの要求に応じてプランニング・ホライゾンを動的に適応させることができるか？」**という点である。

手法

著者らは、手動による割引因子のチューニングを不要にする、複数の時間的ホライゾンを適応的に組み合わせるマルチホライゾン強化学習のアプローチを提案している。コアとなる手法は、**混合Q値（Mixture-of-Q-Values）**フレームワークである：

1. 複数のクリティック（エキスパート）: エージェントは、それぞれが異なる固定された割引因子 $\gamma_i$ を用いて独立して学習された、複数の行動価値関数 $Q_i(s, a)$ を保持する。これらのエキスパートは、広範な時間的ホライゾンをカバーしている。
2. 状態依存型ゲーティングネットワーク: 学習可能なゲーティングネットワークは、状態表現 $x = \phi(s)$ を受け取り、ロジット $z = Wx + b$を計算する。これらはソフトマックス関数を介して正規化され、各エキスパートに対する混合重み$w_i(s)$ を生成する。
3. 混合価値関数: 最終的な行動価値関数は、以下の加重和となる：
   $$Q_{mix}(s, a) = \sum_{i=1}^{K} w_i(s) Q_i(s, a)$$
4. 学習ダイナミクス:
   • 個々のエキスパートは、それぞれの特定の $\gamma_i$ を用いて更新される。
   • 混合方策 $\pi(a|s)$ は、$Q_{mix}$ を用いた $\epsilon$-greedy戦略から導出される。
   • ゲーティングネットワークのパラメータ（$W, b$）は、混合価値関数の二乗時間差（TD）誤差を最小化するように最適化される（ここで、更新には混合に対して $\gamma=1$ が使用される）。これにより、ネットワークはどの時間的ホライゾンが特定の状態で最も効果的であるかを学習することができる。

主な貢献

• 適応型ホライゾン選択: 本論文は、単一の固定された $\gamma$ に頼るのではなく、現在の状態に基づいて複数のプランニング・ホライゾンを動的に選択および重み付けするメカニズムを導入した。
• 継続学習への適応性: この手法は、タスクが逐次的に切り替わる継続学習の設定向けに特別に設計されており、手動の介入なしにエージェントが最適な時間スケールを再評価することを可能にする。
• 生物学的原理の経験的検証: 本研究は、適応的なマルチタイムスケール学習が、生物学的な意思決定で見られる原理と同様に、パラメータ効率と適応性を向上させるという仮説を支持する経験的な証拠を提供している。

実験結果

著者らは、継続学習の設定における3つの連続するタスクに焦点を当てて、MiniGrid環境でこのアプローチを評価した：

1. Foraging（採餌）: グリッド内に分散した40個の報酬を収集する。
2. Goal Reaching（目標到達）: ラバによるペナルティを回避しながら、高価値のゴールに到達する。
3. Four Rooms（フォー・ルーム）: 時間制限のある「ジャックポット」と局所的な報酬を含む複合タスク。

主な知見:

• タスク依存の最適ホライゾン: 実験により、最適な有効割引因子はタスクや報酬構造によって大きく異なることが示された。
  • Foraging: 最適な有効ホライゾンは16〜32ステップであった。
  • Goal Reaching: 最適なホライゾンは32〜512ステップの範囲であった。
  • Four Rooms: 最適なパフォーマンスには128ステップの有効ホライゾンが必要であった。
• 報酬の疎性と到達可能性: 報酬の分散（空間的分散）が高くなる、あるいは報酬の頻度が減少するにつれて、最適となる割引因子がより大きな値（より長いホライゾン）へとシフトすることを示した。これは、疎性を緩和するためである。
• 継続学習のパフォーマンス: 逐次的なタスク切り替え実験において、適応型の混合アプローチは、3つのタスクすべてにおいて一貫して最適に近いパフォーマンス（エピソード収益36〜40）を維持した。
• ゲーティングの挙動: ゲーティングネットワークは、現在のタスクに最適な特定の割引因子に対して高い重みを割り当てることに成功した。例えば、採餌には短いホライゾンを、時間制限のあるジャックポット・タスクには長いホライゾンを優先させた。
• 堅牢性: エージェントは、（困難なサブゴールである）時間制限付きのジャックポットを収集することを一貫して学習したが、残りの局所的報酬の収集については、ランダムシードや残りのエピソード長に依存して変動が見られた。

意義と主張

本論文は、その適応型マルチホライゾン・アプローチが、異なる能力を持つ複数のクリティックを組み合わせるための新しい枠組みを提供すると主張している。主な意義は以下の通りである：

• 手動チューニングの排除: この手法は、報酬構造が時間とともに変化する環境において特に有益な、手動による割引因子のチューニングを不要にする。
• 生物学的妥当性: 結果は、適応的な時間的割引が、人工的および生物学的な学習システムの双方を向上させるための実行可能な原理であることを示唆しており、マルチタイムスケールでの価値符号化に関する神経科学の知見と一致している。
• 継続学習における効率性: このアプローチは、異なる時間的要件を持つタスクを切り替える際の適応性の向上を示しており、単一の固定されたホライゾンを学習することよりも、混合されたホライゾンを学習することの方が堅牢であることを示唆している。

著者らは今後の展望について謙虚な姿勢を保っており、変異性を特徴付けるためにはより多くのシードを用いたさらなる評価が必要であること、また、ニューラルネットワークの関数近似器への拡張や、適応型エリジビリティ・トレースの共同適応が、今後の調査における有望な方向性であると述べている。