🤖 AI

M $^{2}$ GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit

この論文は、生体模倣型水中ロボットの協調追跡において、Mamba 構造による長期依存性の把握とグループ相対方策最適化（GRPO）による安定したクレジット割り当てを統合した新しいフレームワーク「M²GRPO」を提案し、シミュレーションおよび実機実験で既存手法を上回る性能を実証したものである。

原著者： Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🌊 物語：ロボット魚の「チームワーク」と「記憶力」

1. 従来の課題：「短絡的な魚」と「混乱するチーム」

これまで、水中のロボット魚が協力して獲物を捕まえる（追跡する）際、AI（頭脳）には2つの大きな弱点がありました。

記憶力が短い（短絡的）： 過去の動きをあまり覚えていないため、「今、獲物がどこにいるか」しか見えていません。獲物が「あっちへ逃げようとしていたな」という長いスパンの動きを予測できず、いつも手遅れになっていました。
チームワークが苦手： 魚同士が「お前が左から、俺が右から」というように、お互いの動きを深く理解して連携できません。まるで、目隠しをして「あっち行け！」と叫び合うような状態です。

2. 解決策：「M2GRPO」という新しい頭脳

この論文では、**「M2GRPO」**という新しいAIの仕組みを提案しました。これは2つの素晴らしいアイデアを組み合わせたものです。

① 「Mamba（マンバ）」：超能力を持つ「記憶と直感」

AIの頭脳部分に**「Mamba（マンバ）」**という新しい技術を使いました。

どんなもの？ 従来のAI（MLP）が「今だけ」を見て判断するのに対し、Mambaは**「過去のすべての動きをスキャンして、未来を予測する」**ことができます。
例え話： 獲物が「左に逃げた後、右に曲がる癖がある」という長い歴史を覚えており、「次はここに来るはずだ」と先読みできる**「未来予知能力」**を持った魚のチームになりました。
メリット： 計算が速く、複雑な水中の環境でも、長い間、集中して追跡し続けることができます。

② 「MAGRPO」：「グループで比較する」賢い褒め方

AIをトレーニングする際、どうやって「上手な動き」を教えるかが重要です。

従来の方法： 「正解の答え」を教えるか、複雑な計算で「正解に近い値」を推測していました。これだと計算コストが高く、安定しませんでした。
新しい方法（MAGRPO）： **「グループ比較」**という手法を使います。
- 例え話： 10匹のロボット魚が同時に練習します。「A君は50歩で捕まえた、B君は30歩で捕まえた」というように、「同じチーム内での相対的な成績」で評価します。「B君はチームの中で一番上手だから、B君のやり方を真似しよう」というように、「誰が一番頑張ったか」をグループ内で比較して褒めるだけで、AIは自然に上手くなります。
- メリット： 複雑な計算が不要になり、**「少ない計算リソースで、安定して」**チーム全体が劇的に上手くなります。

3. 実験結果：「本物のプール」で成功！

この新しいAIを、**「サメの形をしたロボット魚」**に搭載して実験しました。

シミュレーション： 仮想の水中で、ランダムに動く獲物も、賢く逃げる獲物も、他のAI（既存の技術）よりも圧倒的に高い成功率で捕まえました。
実機実験： 実際の屋内プールで、3匹のロボット魚を使って実験しました。
- 劇的な展開： 最初は獲物が逃げ回っていましたが、ロボット魚たちは「あいつは角に追い詰めると逃げる」というパターンを学習し、**「挟み撃ち」や「包囲網」**を自然に作りました。
- 結果： 獲物を隅に追い詰め、見事に捕獲することに成功しました。

💡 まとめ：何がすごいのか？

この研究は、「長い記憶力（Mamba）」と「賢いチーム評価（MAGRPO）」を組み合わせることで、水中ロボットが「短絡的」から「先見の明がある」へ、「バラバラ」から「完璧なチームワーク」へ進化させたことを証明しました。

日常への応用：
この技術は、単に獲物を捕まえるだけでなく、**「災害時の救助活動」や「海底の設備点検」**など、複雑で危険な水中環境で、複数のロボットが協力して任務を遂行する未来を切り開く第一歩です。

まるで、**「過去の経験を学び、チームメイトの動きを察知し、無駄な計算をせずに賢く動く、水中のスーパーチーム」**が誕生したようなものです。

論文サマリー：M2GRPO（Mamba ベースのマルチエージェント群相対方策最適化）

1. 研究の背景と課題

対象分野: 生体模倣型水中ロボット（特にサメ型ロボット）を用いた協調追跡・捕獲（Pursuit-Evasion, PE）タスク。
背景:

生体模倣ロボットは、高い機動性、低騒音、ステルス性を持ち、資源探査や捜索救助などで単体ではなく群（スウォーム）での運用が期待されている。
水中環境での協調追跡は、長期的な意思決定、部分的観測性（Partial Observability）、およびエージェント間の動的な相互作用という複雑な課題を内包する。

既存手法の限界:

幾何学的・制御ベース手法: 特定の仮定やモデルに依存し、頑健性と拡張性に欠ける。
マルチエージェント強化学習（MARL）: 従来の手法（MAPPO など）は、多層パーセプトロン（MLP）をバックボーンとして使用していることが多い。
- 課題 1（長期的依存関係の欠如）: MLP は履歴情報を統合するのが苦手で、部分的観測性のある長期的タスクにおいて「近視眼的」な意思決定になりがち。
- 課題 2（相互作用のモデル化不足）: 動的に変化するエージェント間の関係性を捉える能力が限られている。
- 課題 3（計算コストと安定性）: 表現力の高いモデルを導入すると計算負荷が増大し、価値関数（Critic）の学習が不安定になりやすい。

2. 提案手法：M2GRPO

本研究では、**Mamba ベースのマルチエージェント群相対方策最適化（M2GRPO）**を提案する。これは、中央集権的トレーニング・分散実行（CTDE）パラダイム下で、Mamba（選択的状態空間モデル）と群相対方策最適化（GRPO）を統合したフレームワークである。

2.1 Mamba ベースの方策ネットワーク（Policy Network）

各エージェントは、Mamba アーキテクチャを基盤とした方策ネットワークを使用する。

時系列依存関係の捕捉: 過去の観測履歴（ $h_t$ ）を入力とし、Mamba2（選択的状態空間モデル）を用いて長期的な時系列依存関係を線形時間計算量で効率的に学習する。
関係性特徴の抽出: 現在の観測（自己状態、獲物情報、他エージェントの相対位置・速度）をBiMamba2（双方向 Mamba）に通し、エージェント間の相互作用特徴を抽出する。
特徴融合: 時系列特徴と関係性特徴をマルチヘッドアテンションで統合し、表現力豊かな潜在特徴を生成する。
行動出力: 生成された特徴からガウス分布のパラメータ（平均と標準偏差）を推定し、連続的な行動をサンプリングする。

2.2 マルチエージェント群相対方策最適化（MAGRPO）

価値関数（Critic）を不要とし、トレーニングの安定性と効率性を向上させるための最適化アルゴリズム。

群相対アドバンテージ（Group-Relative Advantage）: 並列環境（ $G$ $G$ 個）で生成されたエピソード報酬を、エージェント群内で正規化（平均と標準偏差を用いたスケーリング）することでアドバンテージを算出する。
- これにより、明示的な価値関数や複雑なベースラインが不要となり、計算リソースを大幅に削減。
PPO-Clip による更新: 算出されたアドバンテージを用いて、信頼領域（Trust Region）内で方策を安定して更新する（PPO-Clip 目的関数）。
CTDE パラダイム: トレーニング時には全エージェントが環境情報を共有して並列更新を行うが、実行時には各エージェントが自身の局所観測と履歴のみに基づいて分散的に行動する。

2.3 報酬設計

エージェント $i$ の即時報酬 $r_i$ は以下の 3 つの項で構成される：

捕獲報酬 ( $r_{cap}$ ): 獲物との距離が閾値以下になった場合に与えられる固定報酬。
補助報酬 ( $r_{aux}$ ): 獲物への接近を促す負の距離報酬。
安全報酬 ( $r_{safe}$ ): 境界線への接近や衝突を防止するためのペナルティ。

3. 主要な貢献

Mamba ベースの方策ネットワークの提案: 選択的状態空間モデルを用いて、局所観測履歴から長期的な時系列依存関係を捕捉し、アテンション機構を通じて動的なエージェント間相互作用を統合したユニファイドフレームワークを構築。
マルチエージェント向け GRPO の拡張: 価値関数を不要とし、並列環境での報酬正規化によるアドバンテージ推定を採用することで、トレーニングの安定性とスケーラビリティを向上させ、計算コストを削減。
実世界での検証: シミュレーションに加え、実機（生体模倣サメ型ロボット）を用いたプール実験を行い、水中環境における協調追跡タスクの有効性を初めて実証。

4. 実験結果

実験設定:

シミュレーション: 2 体の追跡者（サメ型ロボット）対 1 体の逃走者。逃走者はランダム戦略または学習済み戦略を使用。
実機実験: 4m x 4m の屋内プールで、3 体のロボットサメを用いた追跡実験。
比較対象: MAPPO, HAPPO, MASAC などの主要な MARL ベースライン。

定量的評価:

成功率（Effectiveness）: M2GRPO は、ランダム逃走・学習済み逃走の両シナリオにおいて、他のすべてのベースライン（MAPPO, HAPPO, MASAC）を上回る成功率（93%〜97%）を達成。
効率性（Efficiency）: 捕獲までの平均ステップ数が最も少なく、より先を見据えた戦略的計画が可能であることを示した。
スケーラビリティ: 追跡者の数を 2 体から 6 体まで増やした場合でも、M2GRPO は高い成功率を維持し、エージェント数の増加に伴う性能低下が最も少なかった。
アブレーション研究: 時系列モデル（Mamba）や関係性エンコーダを除去した場合、性能が顕著に低下することを確認。特に相互作用のモデル化が重要であることを示唆。

定性的評価（実機実験）:

実機実験では、ロボットが直接追跡から挟み撃ち（包囲）への戦略転換を行い、逃走者を隅に追い詰めて捕獲する様子が確認された。
動的な環境変化に対して、学習された方策が適応的に動作し、実用性が高いことが示された。

5. 意義と結論

本研究は、生体模倣水中ロボットの協調制御において、**「長期的な時系列依存関係のモデル化」と「効率的なマルチエージェント最適化」**を同時に解決する画期的なアプローチを提示した。

技術的意義: Transformer の計算コスト高や MLP の記憶限界を克服し、Mamba の線形時間計算量と選択的状態空間モデルの特性を MARL に応用した成功例。
応用価値: 水中検査、環境調査、緊急対応など、複雑で動的な水中環境における自律型ロボット群の協調運用への道を開く。

今後は、3 次元水中環境への拡張、オンボードセンサを用いたエンドツーエンド学習、およびモデルベース強化学習との統合などへの発展が期待される。