技術要約：いつ計画を立てるべきか：反応的制御と熟考的プランニングの選択学習

問題提起

人工エージェントは、反応的制御（状態から行動へ直接マッピングする高速かつモデルフリーな方策）と、熟考的プランニング（より高品質な行動を生み出すが計算レイテンシを伴う、低速かつモデルベースの決定時プランニング）の間のトレードオフに直面することが多い。反応的な方策は、学習分布内では効率的であるが、分布外（OOD）の状態に対しては汎化性能が低いことが多い。対照的に、プランナーはより広い状態空間に対して堅牢であるが、時間制約のあるタスクにおいてパフォーマンスを低下させる時間遅延を引き起こす。

現在のシステムは通常、テスト時に固定された戦略（常に反応的、または常にプランニングを行う）をコミットする。本論文は、メタ推論の問題、すなわち、時間ベースのコストの下でタスクの報酬を最大化するために、分布の制約を受けた高速な反応的方策と、低速だが信頼性の高いプランナーの間を動的に選択する適応的な方策をどのように学習するかという問題に取り組む。核心となる課題は、反応的方策が失敗する可能性が高いとき（プランニングが必要なとき）と、「十分である」とき（即時実行が可能であるとき）をどのように判断するかである。

手法

1. 問題定式化

著者らは、Meta-MDP（Meta-Markov Decision Process）内でのオプションフレームワーク（Sutton et al., 1999）を用いて問題を定式化している。

• メタ状態 ($\tilde{S}$): エージェントの内部状態であり、世界の環境状態とは区別される。
• オプション ($O$): 反応的オプション ($\pi_r$) と、異なるホライゾン $k$ を持つ複数のプランニング・オプション ($\pi_k$) を含む選択肢の集合。
• コストモデル: 目的は、目標到達までの時間を最小化することである。
  • 反応的オプション: プランニングコストが発生せず ($c_p=0$)、1ステップを実行する ($c_a=-1$)。
  • プランニング・オプション: 探索深度に比例するコスト ($c_p(k) = -\alpha k$) と、プランの各ステップの実行コストが発生する。
  • 報酬: $\tilde{r} = c_p(k) + k \cdot c_a$。

2. メタ方策アーキテクチャ

メタ方策 ($\pi_\Omega$) は、内部観測ベクトル $\tilde{s}_t$ に基づいてオプションを選択するように、強化学習 (PPO) を通じて訓練される。極めて重要な点は、メタ観測が反応的方策が直面するのと同じ分布シフトの問題を避けるために、生の環境状態を含まないことである。代わりに、以下の要素に依存する：

• 不確実性スコア ($\tilde{u}_t$): 反応的方策を表す $M$ 個のニューラルネットワークのアンサンブルから導出される。
  • 連続的なアクションの場合：アンサンブルの平均の分散。
  • 離散的なアクションの場合：平均化されたカテゴリカル分布のエントロピー。
  • 高い不確実性は、プランニングが有益である可能性が高いOOD状態を示す。
• 目標までの距離 ($\tilde{d}_t$): 進捗を示すタスクの特徴量。
• 直前のメタアクション ($\tilde{a}_{t-1}$): 前回の決定に関するコンテキスト。
• 履歴: 不確実性と進捗の傾向を追跡するための、過去 $n$ ステップの観測のシーケンス。

3. 実行ループ

各メタステップにおいて：

1. 反応的方策がアクションと不確実性スコアを生成する。
2. メタ方策が観測 $\tilde{s}_t$ を構築し、オプション（反応的、または特定のプランニング・ホライゾン）を選択する。
3. 反応的である場合、アクションは1ステップ実行される。
4. プランニングである場合、ホライゾン $k$ のプランが計算され（完全な世界モデルを用いたA*プランナーを使用）、オープンループで $k$ ステップ実行される。
5. オプションの終了時にサイクルが繰り返される。

4. 学習戦略

• 反応的方策: プランナーによって生成されたイン分布の軌跡を用いた行動クローニング（Behavioral Cloning）を通じて事前学習される。
• メタ方策: 割引報酬（時間コストの最小化）を最大化するようにPPOで訓練される。
• 結合学習（オプション）: 反応的方策がプランナーのロールアウトを通じて改善される設定において、メタ方策の訓練中に行動クローニングを用いて反応的方策を微調整する。これにより、システムが反応的方策の向上に合わせて適応することを可能にする。

主な貢献

1. 計算割り当てのためのRLベースのメタ推論: 本論文は、高速だが潜在的に信頼性の低い反応的方策と、低速だが信頼性の高いプランナーの間を仲裁するメタ方策を学習する手法を導入している。内部計算の選択やアクションの繰り返しを選択する先行研究とは異なり、本アプローチは、異なる制御パラダイム間の選択を、タスクのエピソード全体にわたる逐次的な決定問題として扱う。
2. 環境適応型戦略: 著者らは、学習されたメタ方策が、プランニング遅延 ($\alpha$)、反応的方策の能力、および環境の確率性を含む環境特性に基づいて、プランニングと反応のバランスを正常に取っていることを示している。
3. 不確実性に条件付けられた適応: メタ方策を反応的方策の不確実性に条件付けることで、反応的方策の改善を追跡できることを示している。反応的方策が学習し、その不確実性が減少するにつれて、メタ方策は自然に完全な反応的制御へと移行し、パフォーマンスを犠牲にすることなく速度を最適化する。

実験結果

本手法は、多様な状態空間（離散/連続）とタスク構造を持つ5つのモーションプランニングおよびナビゲーション環境（Box Push, DoorKey, Fetch, Maze, Navigation）で評価された。

• ベースラインとの比較: 適応的なメタ方策は、固定計算ベースライン（常に反応的、常に短期的プラン、常に中期的プラン、常に長期的プラン）と比較して、トータルのエピソード報酬（時間コスト）において一貫して優れた性能を示した。
  • Box Push: 間違いが取り返しのつかない状態において反応的制御を回避することにより、ベースラインに対してほぼ2倍の改善を達成した。
  • Fetch: 複雑な7自由度アームの操作のためにプランニングを行い、一般的なタスクの部分には反応的制御を活用することで、2.5倍の改善を達成した。
• アブレーション研究:
  • 不確実性と履歴: 不確実性スコアまたは観測履歴を取り除くと、大幅な性能低下（例：Box Pushでは4.5倍悪化）が見られ、これらが効果的な割り当てのための最も重要なコンポーネントであることを裏付けている。
  • 距離と直前のアクション: これらは有用ではあるが、ほとんどのドメインにおいて、不確実性や履歴よりも影響が小さかった。
• 感度分析:
  • プランニングコスト: プランニングのコスト ($\alpha$) が増加するにつれ、メタ方策は反応的制御へとシフトした。
  • 確率性: ノイズの多い環境では、メタ方策は（エラーが蓄積しやすい）長期間のプランへの依存を減らしたが、反応的制御と短・中期的プランニングの混合戦略を維持した。
  • イン分布のカバー率: イン分布のタスクの割合が増えるにつれ、メタ方策は正しく完全な反応的制御へとシフトした。
• 結合学習: 反応的方策が時間の経過とともに改善される設定において、メタ方策は減少した不確実性を検出し、排他的な反応的制御へと収束し、効率を最大化した。

意義と主張

本論文は、人工エージェントのための適応的計算の実際的なメカニズムを提供することを主張している。その意義は以下の通りである：

• メタ推論の運用化: 人間の二重過程理論（システム1 vs システム2）の記述的モデルを超え、AIエージェントが認知リソースを割り当てるための訓練可能なメカニズムを提供する。
• 犠牲のない効率化: エージェントが単一のサブオプティマルな戦略に固執するのではなく、高速なヒューリスティックと低速なプランニングを動的に切り替えることで、ほぼ最適なパフォーマンスを達成できることを示す。
• スケーラビリティ: 反応的方策自体から導出される不確実性信号を使用することで、システムはメタ方策が生の環境状態を直接理解することなく、OOD状態へと汎化できる。

著者らは、プランニングにおける完全な世界モデルの仮定や、メタ観測における手設計の特徴量の使用といった限界についても言及している。今後の課題として、不確実性を伴う学習された世界モデルの組み込みや、高次元入力に対するより表現力のある観測表現の探索を挙げている。