R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

技術要約：R2BC – 単一エージェントのデモンストレーションからのマルチエージェント模倣学習

問題提起
模倣学習（IL）は、単一ロボットエージェントの訓練における不可欠な基盤となっているが、そのマルチエージェント・システム（MAS）への適用には、決定的なボトルネックが存在する。それは、協調した同期的なデモンストレーションを必要とすることである。従来のマルチエージェント模倣学習（MAIL）は、エキスパートが結合アクション空間において、すべてのエージェントが同時に最適に動作するデモンストレーションを提供できるという前提に基づいている。しかし、現実世界のシナリオでは、この仮定は非現実的である。なぜなら、認知負荷の増大や、アンダーアクチュエーション（劣駆動）の制御インターフェースにより、一人の人間オペレーターが複数のロボットを同時に信頼性高く遠隔操作することは困難だからである。既存の手法は、すべてのエージェントに対する同期された人間のテレオペレーションや、「オラクル（神託）」デモンストレーターとして機能する学習済み強化学習（RL）ポリシーといった、非現実的な仮定に依存することが多い。本論文は、次のような研究課題に取り組むものである：「人間が一度に一つのエージェントに対してのみ現実的にデモンストレーションを提供できる場合、どのようにしてマルチエージェント・システムへの模倣学習を拡張できるか？」

手法：Round-Robin Behavior Cloning (R2BC)
著者らは、逐次的な単一エージェントのデモンストレーションのみを用いて、協調的なマルチロボットチームを訓練するために設計されたオンライン模倣学習アルゴリズム、Round-Robin Behavior Cloning (R2BC) を提案する。

• コアメカニズム: R2BCはラウンドロビン方式で動作する。人間のデモンストレーターは特定の一個体（$i$）をテレオペレートし、残りの$N-1$個のエージェントは、現在学習済みのポリシーに従って自律的に実行される。
• データ収集: システムはエージェント（$i = 1 \dots N$）を順繰りに切り替える。エージェント$i$のデモンストレーション中、環境の状態は、エキスパートに制御されたエージェントと自律エージェントの結合アクションに基づいて進化する。結果として得られる状態・アクションのペア $(o_{i,t}, a_{i,t})$ は、エージェント$i$専用のバッファ $D_i$ に格納される。
• 訓練: 定期的（$k$回のデモンストレーションごと）に、各エージェントのポリシー $\pi_i$ は、自身のデータセット $D_i$ を用いた標準的な行動複製（Behavior Cloning, BC）によって独立して更新される。損失関数は、ポリシーの出力とデモンストレートされたアクションとの間の二乗誤差を最小化する：$L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$。
• 分散化: 全域的な状態を結合アクションにマッピングする中央集権的なアプローチとは異なり、R2BCは、各エージェントが局所的な観測を個別の行動にマッピングする分散型ポリシーを維持する。
• オンライン学習: この手法はオンライン・レジームで動作する。デモンストレーターがエージェントを切り替える際、自律エージェント（不完全で学習途上のポリシーを実行している）によって導入される「ノイズ」や変動性が、デモンストレートされているエージェントを多様な状態分布にさらすことになる。これは、オラクルを必要とせずに、ノイズを注入する効果（DARTに類似）や、修正ラベルを提供する効果（DAggerに類似）を模倣するものである。

主な貢献

1. 新しい問題設定: 本論文は、「単一エージェントのデモンストレーションからのマルチエージェント模倣学習」を定義し、対処することで、協調した結合デモンストレーションという非現実的な要求を取り除いた。
2. アルゴリズムの提案: R2BCの導入。これにより、人間が制御を循環させることで、マルチエージェント・システムに対して反復的に教示することが可能となり、結合アクション空間へのアクセスなしに協調行動を学習できるようになった。
3. 性能の同等性と超越: 著者らは、4つのシミュレーション上のマルチエージェント・ドメインにおいて、特権的な同期結合デモンストレーションを用いて訓練された「Oracle Joint Behavior Cloning (JBC)」メソッドに対し、R2BCが性能で並ぶか、あるいは上回ることを示した。
4. 実世界への展開: 本手法は物理ロボット（HeRo+）に正常に展開され、実在の人間によるデモンストレーションを用いて訓練され、中央集権的なBCベースラインを大幅に上回ることが示された。

実験結果
本論文では、R2BCを3つのベースライン、すなわち Oracle JBC（中央集権的、同期デモンストレーション）、Oracle DAgger、および Oracle DART（特権的な結合修正を必要とするオンラインIL手法）と比較評価している。

• シミュレーション実験: Vectorized Multi-Agent Simulator (VMAS) を用い、以下の4つのタスクでR2BCをテストした：Navigation（3エージェント）、Balance（荷重を運ぶ3エージェント）、Buzz Wire（結合ダイナミクスを持つ2エージェント）、および Transport（重い物体を押す3エージェント）。

  • R2BCは、結合アクションのデモンストレーションへのアクセスがないにもかかわらず、一貫してOracle JBCベースラインと同等の性能を達成するか、あるいはそれを上回った。
  • R2BCは、DARTやDAggerのようなオンライン手法と比較して、訓練時とテスト時の損失の差（共変量シフト）を減少させることを示した。
  • アブレーション研究: 分散化（中央集権的ネットワークの使用）またはオンライン学習（オフラインで更新されないエージェント）のいずれかを取り除くと、性能が低下または不安定になった。これは、両方の要素がR2BCの成功に不可欠であることを裏付けている。

• 物理ロボット実験: 著者らは、Navigation および Block Pushing タスクのために、3台のHeRo+ロボットにR2BCとJBCをデプロイした。

  • ポリシーは、シミュレーションで収集された実在の人間によるデモンストレーションに基づいて訓練され、そのままハードウェアに展開された。
  • Navigation: R2BCは、人間の介入なしでJBCを 3.25倍 上回った。1回の人間による介入（「スタック」したロボットの修正）を行った場合、その差は 3.92倍 に拡大した。
  • Block Pushing: R2BCは、介入なしでJBCを 5.9倍 上回った。
  • ウェルチのt検定による統計分析により、監視者の介入が許容された場合、R2BCに有利な有意差（$p < 0.05$）があることが確認された。

意義と主張
本論文は、オンラインの単一エージェント・デモンストレーションのみから学習する、マルチエージェント・システムのための行動複製手法を提案し、展開した最初の事例であると主張している。R2BCの意義は、協調した人間のテレオペレーションという仮定を緩和することで、単一エージェントILとスケーラブルなマルチエージェント展開の間の溝を埋められる点にある。

著者らは、R2BCが、人間が複数のエージェントを同時に制御できない現実世界の環境（例：捜索救助、倉庫自動化）において、マルチロボットチームを教示するための実用的な道筋を提供すると主張している。デモンストレーション段階における自律エージェントの変動性を活用することで、R2BCは自然に共変量シフトと累積誤差を軽減し、「超人的」またはオラクル的な結合デモンストレーションに依存する手法よりも優れた性能を発揮することが多い。本研究は、現実的で分散型のデモンストレーション収集が、単に実現可能であるだけでなく、伝統的な中央集権的アプローチと比較して、より優れた堅牢性をもたらし得ることを示唆している。