🤖 AI

M $^{2}$ GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit

이 논문은 생체모방 수중 로봇의 협력 추적을 위해 장기적 시간 의존성과 에이전트 간 상호작용을 효과적으로 포착하고 안정적인 학습을 가능하게 하는 Mamba 기반의 다중 에이전트 그룹 상대적 정책 최적화 (M²GRPO) 프레임워크를 제안하고, 시뮬레이션 및 실제 수조 실험을 통해 기존 방법보다 우수한 성능을 입증했습니다.

원저자: Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **바다에서 물고기를 사냥하는 '로봇 상어 떼'**가 어떻게 더 똑똑하고 빠르게 협력할 수 있는지에 대한 새로운 방법을 소개합니다.

기존의 방법들은 로봇들이 서로의 행동을 예측하거나 긴 시간 동안의 상황을 기억하는 데 어려움을 겪었습니다. 이 연구는 **Mamba(만바)**라는 새로운 인공지능 기술과 **GRPO(그룹 상대 정책 최적화)**라는 새로운 학습 방식을 결합하여 이 문제를 해결했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 배경: 왜 로봇 상어 떼가 어려울까요?

상상해 보세요. 한 무리의 로봇 상어가 물속에서 달리는 '도망치는 물고기'를 잡으려 합니다.

문제점 1 (기억력 부족): 물속은 시야가 제한적입니다. 로봇들은 "방금 도망치는 물고기가 왼쪽으로 갔는데, 5 초 전엔 오른쪽으로 갔었지?"라고 과거의 상황을 기억해야 합니다. 기존 로봇들은 기억력이 짧아 "지금만 보면 되겠지?"라고 생각하다가 실패했습니다.
문제점 2 (협동 문제): 로봇들이 서로 "네가 왼쪽으로 가, 내가 오른쪽으로 가자"라고 대화할 수 없습니다. 각자 자신의 눈으로만 보고 판단해야 하므로, 서로의 의도를 오해하거나 같은 방향으로 몰려서 낭패를 보기 일쑤였습니다.
문제점 3 (학습 비용): 이렇게 복잡한 상황을 가르치려면 컴퓨터가 엄청나게 많은 계산을 해야 해서 시간이 너무 오래 걸렸습니다.

2. 해결책: M2GRPO (새로운 학습 시스템)

이 연구는 두 가지 핵심 기술을 합쳐서 **'M2GRPO'**라는 시스템을 만들었습니다.

A. '만바 (Mamba)' 정책: 기억력이 좋은 스마트한 두뇌

기존 로봇들은 'MLP(단순한 신경망)'를 썼는데, 이는 단어 하나만 보고 다음 단어를 추측하는 사람과 비슷합니다. 과거 문맥을 잘 기억하지 못하죠.

하지만 이 연구에서는 Mamba라는 기술을 썼습니다. 이는 책을 읽을 때 앞뒤 문맥을 완벽하게 기억하며 줄거리를 파악하는 독서광과 같습니다.

비유: 로봇 상어가 물고기를 쫓을 때, Mamba 는 "방금 물고기가 급하게 방향을 틀었어. 10 초 전에도 그랬던 걸 보면, 아마 다시 왼쪽으로 도망칠 거야"라고 과거의 흐름을 기억하고 미래를 예측합니다.
효과: 로봇들이 물고기의 움직임을 훨씬 정확하게 예측하게 되어, 함정을 잘 치고 협력할 수 있게 됩니다.

B. '그룹 상대 최적화 (GRPO)': 팀워크를 위한 공정한 평가

기존에는 각 로봇의 행동을 평가할 때 '전체적인 점수판 (가치 함수)'을 따로 만들어야 했는데, 이는 선생님이 학생 한 명 한 명에게 따로따로 점수를 매겨주는 방식이라 계산이 너무 복잡하고 불안정했습니다.

이 연구는 GRPO를 도입했습니다. 이는 동일한 시험을 본 친구들끼리 서로 비교해서 등수를 매기는 방식입니다.

비유: 로봇 상어 10 마리가 같은 미션을 수행했다고 칩시다. "A 로봇이 10 점, B 로봇이 8 점, C 로봇이 12 점"을 얻었다면, 평균 점수 (10 점) 를 기준으로 "A 는 평균보다 조금 못했네, C 는 평균보다 잘했네"라고 상대적으로 평가합니다.
효과: 복잡한 점수판 (선생님) 없이도 로봇들이 "내가 팀 평균보다 잘했나? 아니면 못했나?"를 스스로 판단하며 학습합니다. 덕분에 학습 속도가 빨라지고, 컴퓨터 자원도 훨씬 아낄 수 있습니다.

3. 실험 결과: 실제 물속에서 얼마나 잘했나요?

연구진은 실제 수영장 (4m x 4m) 에 생체 모방 로봇 상어 3 마리를 투입해서 실험했습니다.

상황: 도망치는 물고기 (에바더) 가 매우 민첩하게 움직입니다.
결과:
1. 초반: 로봇 상어들이 직진으로 쫓아가지만, 물고기가 구석으로 도망칩니다.
2. 중반: 로봇 상어들이 Mamba 의 도움을 받아 "아, 물고기가 구석에 갇히려고 하네. 우리가 양쪽에서 포위하자!"라고 협동 전략을 바꿉니다.
3. 결말: 물고기가 한 번은 탈출하려 하지만, 로봇 상어들이 다시 포위망을 좁혀 결국 성공적으로 잡습니다.

기존의 다른 방법들 (MAPPO 등) 보다 잡는 성공률이 훨씬 높았고 (90% 이상), 잡는 데 걸리는 시간도 더 짧았습니다.

4. 요약: 이 연구가 왜 중요한가요?

이 논문은 **"기억력 좋은 두뇌 (Mamba)"**와 **"효율적인 팀 평가 시스템 (GRPO)"**을 결합하여, 로봇들이 물속처럼 복잡하고 불확실한 환경에서도 스스로 협력하여 목표를 달성할 수 있게 했습니다.

실생활 적용: 앞으로 이 기술은 수중 탐사, 환경 오염 조사, 혹은 재난 구조 활동처럼 여러 대의 로봇이 함께 일해야 하는 상황에서 큰 역할을 할 것입니다.

한 줄 요약:

"기억력이 좋고 팀워크를 잘하는 로봇 상어 떼가, 과거의 경험을 바탕으로 물고기를 더 빠르고 정확하게 잡을 수 있게 된 새로운 비법입니다."

1. 연구 배경 및 문제 정의 (Problem)

배경: 생체 모방 수중 로봇 (예: 로봇 상어) 은 높은 기동성, 저소음, 은폐성 등의 장점으로 수중 탐사, 구조, 감시 등에 활용됩니다. 특히 다중 로봇 군집을 통한 협력 추격 (Pursuit-Evasion, PE) 과 같은 작업은 복잡한 수중 환경에서 중요한 과제로 부상하고 있습니다.
주요 문제점:
1. 장기적 의사결정 (Long-horizon Decision Making): 부분 관측 가능성 (Partial Observability) 하에서 추격자는 과거의 관측 이력을 바탕으로 장기적인 전략을 세워야 합니다. 기존의 MLP 기반 정책 네트워크는 이러한 장기 의존성을 포착하는 데 한계가 있습니다.
2. 상호작용 모델링의 부재: 다중 에이전트 간의 동적인 관계와 협력을 효과적으로 인코딩하는 데 기존 방법이 부족합니다.
3. 학습 안정성과 효율성: 기존 MARL (Multi-Agent Reinforcement Learning) 알고리즘 (예: MAPPO) 은 가치 함수 (Value Function) 추정을 위해 추가적인 크리틱 네트워크가 필요하여 계산 비용이 높고, 학습이 불안정할 수 있습니다.
4. 실제 배포 제약: 수중 로봇은 계산 자원이 제한적이므로, 추론 지연을 줄이고 온보드 (On-board) 배포가 가능한 경량화된 아키텍처가 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 M2GRPO (Mamba-based Multi-Agent Group Relative Policy Optimization) 라는 새로운 프레임워크를 제안했습니다. 이는 CTDE(Centralized Training, Decentralized Execution) 패러다임 하에서 작동합니다.

A. Mamba 기반 정책 네트워크 (Mamba Policy)

선택적 상태 공간 모델 (Selective SSM): Mamba2 아키텍처를 활용하여 관측 이력 (Observation History) 에서 장기적인 시간적 의존성을 선형 시간 복잡도로 효율적으로 포착합니다.
관계 모델링 (Relational Modeling): BiMamba2 를 사용하여 자기 상태, 목표 (피추격자), 그리고 이웃 추격자들의 상대적 위치/속도 정보를 결합하여 에이전트 간 상호작용 특징을 추출합니다.
융합 (Fusion): 멀티헤드 어텐션 (Multi-head Attention) 메커니즘을 통해 시간적 특징과 관계적 특징을 융합하여 표현력 있는 잠재 특징을 생성합니다.
출력: 생성된 특징을 기반으로 가우시안 분포의 평균과 표준편차를 출력하며, 이를 통해 연속적인 동작을 샘플링합니다.

B. 다중 에이전트 그룹 상대적 정책 최적화 (MAGRPO)

그룹 상대적 이점 (Group-Relative Advantages): DeepSeek-R1 에서 영감을 받아, 가치 함수 (Critic) 없이 그룹 내 에이전트들의 에피소드 보상 (Return) 을 정규화하여 이점 (Advantage) 을 추정합니다.
- $A^i_j = \frac{R^i_j - \bar{R}^i}{\text{Std}(R) + \tau}$
- 이를 통해 가치 네트워크의 필요성을 제거하고 학습 안정성을 확보하며 계산 자원을 절감합니다.
PPO-Clip 적용: 추정된 그룹 상대적 이점을 기반으로 PPO-Clip 목적 함수를 사용하여 정책을 안정적으로 업데이트합니다.

C. 보상 설계 (Reward Design)

포획 보상 ( $r_{cap}$ ): 피추격자와의 거리가 임계값 이하일 때 고정 보상.
보조 보상 ( $r_{aux}$ ): 피추격자 방향으로 수렴하도록 유도.
안전 보상 ( $r_{safe}$ ): 수역 경계를 벗어나지 않도록 페널티 부과.

3. 주요 기여 (Key Contributions)

Mamba 기반 정책 네트워크 도입: 생체 모방 수중 로봇의 협력 추격 작업에 최초로 Mamba 아키텍처를 적용하여, 장기 시간 의존성과 다중 에이전트 상호작용을 통합적으로 모델링했습니다.
MAGRPO 알고리즘 개발: 다중 에이전트 환경에 그룹 상대적 정책 최적화 (GRPO) 를 확장하여, 명시적인 가치 함수 없이도 안정적이고 확장 가능한 학습을 가능하게 했습니다. 이는 학습 자원 요구량을 크게 줄였습니다.
실증적 검증: 시뮬레이션 및 실제 수중 로봇 (로봇 상어) 실험을 통해 제안된 프레임워크의 유효성을 입증했습니다.

4. 실험 결과 (Results)

성능 비교 (시뮬레이션):
- 성공률: M2GRPO 는 무작위 및 학습된 피추격자 전략 모두에서 MAPPO, HAPPO, MASAC 등 기존 최첨단 알고리즘보다 높은 성공률 (93%~97%) 을 기록했습니다.
- 효율성: 포획에 소요된 평균 스텝 수가 가장 적어, 더 빠르고 효율적인 의사결정을 내리는 것을 확인했습니다.
- 확장성: 추격자 수를 2 명에서 6 명으로 늘렸을 때, M2GRPO 는 에이전트 수 증가에 따른 성능 저하가 가장 적었으며 일관된 높은 성공률을 유지했습니다.
Ablation Study:
- 시간적 모델링 (Temporal Modeling) 과 관계적 인코딩 (Relational Encoding) 을 제거하거나 Mamba 백본을 MLP 로 대체할 경우 성능이 급격히 하락하여, 각 구성 요소의 중요성을 입증했습니다.
실제 실험 (Real-world):
- 4m x 4m 수조에서 3 대의 로봇 상어를 사용하여 협력 추격 실험을 수행했습니다.
- 로봇들이 피추격자를 구석으로 몰아넣고, 전략을 전환하여 (직접 추격 $\rightarrow$ 양면 포위) 성공적으로 포획하는 과정을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

기술적 의의: 수중 다중 로봇 시스템의 협력 학습에 있어, 장기 기억과 상호작용 모델링을 동시에 해결할 수 있는 새로운 아키텍처 (Mamba + GRPO) 를 제시했습니다.
실용적 가치: 가치 함수가 불필요하여 계산 비용이 낮고, 학습이 안정적이므로 실제 제한된 자원을 가진 수중 로봇에 배포하기에 적합합니다.
미래 전망: 이 연구는 수중 환경에서의 지능형 협력 (수색, 구조, 환경 모니터링 등) 을 위한 강력한 기반을 마련했으며, 향후 3 차원 수중 환경 및 온보드 센서 통합으로 확장될 수 있습니다.

요약하자면, 이 논문은 Mamba의 강력한 시퀀스 모델링 능력과 GRPO의 효율적인 최적화 기법을 결합하여, 복잡한 수중 환경에서 다중 생체 모방 로봇이 협력하여 목표를 달성하는 문제를 해결한 획기적인 연구입니다.