A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space

技術要約: SAFE (Self-Evolving Default Action From Experiences)

問題提起
マルチエージェント強化学習（MARL）は、離散的な行動空間（例：StarCraft II）では成功を収めているが、自動運転車両ネットワークのような、現実世界の連続制御タスクにおいては大きな障壁に直面している。既存のアプローチには、主に以下の3つの課題がある：

1. 連続的な行動空間: 多くのクレジット割り当てスキームは離散空間向けに設計されており、連続制御に直接適用することができない。
2. 分散化の要件: 現実世界のアプリケーションでは、安全性とレイテンシのために完全な分散型ポリシーが求められることが多いが、スケーラブルな手法の多くは、エージェント数が増えるとスケールしにくい中央集権的な入力に依存している。
3. 連続領域におけるクレジット割り当て: Counterfactual Multi-Agent Policy Gradients (COMA) は、エージェントの行動を周辺化することで離散空間において効果的にクレジットを割り当てるが、モンテカルロ・サンプリングを用いてこれを連続空間へ拡張するとバイアスが生じる。連続空間におけるサンプリングされた行動は、十分に訓練されていないことが多く、つまり中央集権的クリティックがそれらの価値を十分に学習できていない。その結果、結合ポリシーの下でのベースラインの期待値がゼロにならず、偏った方策勾配と局所最適解への収束保証の欠如を招く。

手法
本論文では、CTDE（Centralized Training with Decentralized Execution）パラダイム内でこれらの制限に対処するために設計された、新しいMARLフレームワークである SAFE (Self-Evolving Default Action From Experiences) を提案する。

• コアメカニズム: SAFEは、自己進化型デフォルト行動に基づいたカウンターファクチュアル・ベースラインを導入する。ユーザー定義のデフォルト行動や追加のシミュレーションに依存する従来の手法とは異なり、SAFEは各エージェントの経験リプレイバッファ（$D_t$）から直接、このデフォルト行動（$\bar{a}_i$）をサンプリングする。
• ベースラインの構築: 特定のエージェント $i$ について、他のエージェントの行動（$a_{-i}$）を一定に保ちながら、エージェントの実際の行動 $a_i$ を中央集権的クリティックの入力内のサンプリングされたデフォルト行動 $\bar{a}_i(t)$ に置き換えることで、ベースライン $b_i$ を算出する：
  $$b_i = Q(s, a_{-i}, \bar{a}_i(t)), \quad \bar{a}_i(t) \sim D_t$$
• 自己進化: 学習が進むにつれて、サンプリングされたデフォルト行動は自然に進化し、エージェントの平均的なパフォーマンスを反映するようになる。バッファ内のサンプリングされた行動の分布は、エージェントによって最も頻繁に実行される行動へとシフトし、ベースラインが十分に訓練された価値から導出されることを保証する。
• 理論的保証: 著者らは、このベースラインが決定論的方策に対してバイアスをゼロにすることを数学的に証明している（補題 0.1）。決定論的方策を確率的方策の極限ケースとして扱うことで、ベースライン項の期待値が消失することを証明し、局所最適解への収束を保証している。
• アーキテクチャ: 本フレーム構組は、グローバルな状態と結合された行動・観測履歴に条件付けられた中央集権的クリティックを利用し、一方で分散型アクターはローカルな履歴のみに条件付けられる。協調的な役割については、アクター間でパラメータ共有が行われる。

主な貢献

1. 連続空間への拡張: SAFEは、追加のシミュレーション、報酬モデル、または環境固有の事前知識を必要とせずに、カウンターファクチュアルなクレジット割り当てを連続的な行動空間へと自然に拡張する。
2. バイアスのない収束: 本論文は、自己進化型デフォルト行動ベースラインが決定論的方策勾配にバイアスを導入しないという理論的証明を提供し、ナイーブなモンテカルロ拡張では欠落しがちな性質である、局所最適解への収束を保証している。
3. 動的な適応: ベースラインはエージェントの行動の進化に合わせて動的に適応し、サンプリングされたデフォルト行動は、学習中にエージェントの平均的なパフォーマンスをますます反映するようになる。
4. 実証的検証: 協調的な高速道路走行タスク（Highway-Env）を用いた広範な実験により、SAFEが車両数や障害物の数が変化するシナリオにおいて、最先端のモデル（VDN, QMIX, IQL, COMA, MAPPO）を一貫して上回る性能を示すことが実証された。

実験結果

• パフォーマンス: 協調的な高速道路走行シナリオ（2V1Oから7V2O）において、SAFEはベンチマークと比較して優れた性能を達成した。離散的な行動モデル（VDN, QMIX, IQL）は、離散的なメタアクションの粗い粒度เนื่องに、複雑なシナリオで衝突を回避できなかった。COMAとMAPPOは、主にオンポリシー学習におけるサンプル効率の低さに起因して、最適方策への収束に失敗した。
• アブレーション研究:
  • クレジット割り当て vs 連続性: 連続空間に適応しているが異なるクレジット割り当てスキームを使用しているベースライン（例：Centralized_critic, COMA_cont）との比較により、SAFEの性能向上は、単に連続的な行動を扱える能力からではなく、具体的にはそのクレジット割り当てメカニズムから生じていることが確認された。
  • 単一サンプル vs 複数サンプル: パラメータ分析により、単一のサンプリングされたデフォルト行動（SAFE1）を使用することが、複数のサンプルを平均化すること（SAFE30 から SAFE100）よりも優れた結果をもたらすことが明らかになった。複数のサンプルを平均化すると、追加のバイアスが導入され、推定精度が低下した。
  • デフォルト行動のソース: 経験からサンプリングされた行動を固定されたゼロ行動（SAFE_a=0）やバッチ平均（SAFE_batch_mean）に置き換えると、性能が低下した。これにより、自己進化型かつ経験に基づく選択の必要性が検証された。
• 行動分析: デフォルト行動の確率密度分布の可視化は、サンプリングされた行動が時間の経過とともにエージェントの学習された戦略（例：ニュートラルなステアリングから特定の回避操作へのシフト）と一致するように進化したことを示しており、ベースラインがエージェントの実際のポリシーと整合していることを裏付けている。

意義
本論文は、連続制御を必要とする現実世界のマルチエージェントシステムに対する効果的な解決策としてSAFEを位置づけている。連続ドメインにおけるカウンターファクチュアルなクレジット割り当てに関連するバイアスと収束の問題を解決することで、SAFEは、自動運転車両ネットワークのような複雑な環境における、スケーラブルで分散型の協調的ポリシーの展開を可能にする。本研究は、正確なクレジット割り当てが、外部のモデリングやシミュレーションではなく、経験に基づく自己進化を通じて達成できることを確立している。