Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards

이 논문은 부분 관측성과 희소한 보상 신호 하에서 분산형 환경에 있는 이종 다중 에이전트의 협력을 향상시키기 위해 그래프 신경망 (GNN) 기반의 내재적 보상을 활용하는 'CoHet' 알고리즘을 제안하고, 이를 통해 기존 최첨단 방법보다 우수한 성능을 입증합니다.

핵심

🌟 핵심 비유: "낯선 도시에서의 팀워크"

상상해 보세요. 여러분과 친구들이 서로 다른 능력을 가진 채 낯선 도시 (환경) 에 떨어졌습니다.

• 이웃 (에이전트): 어떤 사람은 눈이 좋아서 멀리 볼 수 있고, 어떤 사람은 다리가 빨라 빠르게 움직일 수 있지만, 서로의 능력이나 위치를 정확히 알 수 없습니다. (부분 관측)
• 목표: 도시의 보물 (보상) 을 찾아야 하지만, 보상은 매우 드물게 나옵니다. (희소 보상)
• 문제: 보상이 거의 없으니 "어떻게 해야 하나?" 막막하고, 서로 다른 능력을 가진 채로 협력하기가 매우 어렵습니다.

기존의 방법들은 "중앙 통제실 (중앙 서버) 에서 지시를 내리거나, 모든 사람이 똑같은 능력을 가져야만" 협력이 가능했습니다. 하지만 현실 세계에서는 그런 통제실이 없거나, 로봇들이 제각각 다른 모양과 능력을 가지고 있습니다.

🚀 이 논문이 제안한 해결책: "CoHet (코헷)"

이 논문은 CoHet이라는 새로운 알고리즘을 소개합니다. 이를 **"서로가 서로의 미래를 예측하는 놀이"**라고 부를 수 있습니다.

1. GNN(그래프 신경망): "친구들의 안테나"

각 로봇은 주변에 있는 친구들 (이웃) 과만 연결된 '보이지 않는 안테나 (그래프)'를 가지고 있습니다. 이 안테나를 통해 서로의 상태만 공유할 뿐, 전 세계의 정보를 다 알 수는 없습니다.

2. 내재적 보상 (Intrinsic Reward): "예측 놀이 점수"

보물 (보상) 이 드물게 나오기 때문에, 로봇들은 보물이 나오지 않아도 스스로 동기부여를 해야 합니다. 여기서 CoHet이 등장합니다.

• 상황: 로봇 A 가 "내가 저쪽으로 가면 내 친구 B 는 내 다음 위치를 이렇게 예측할 거야"라고 생각합니다.
• 행동: 로봇 A 가 실제로 움직인 후, 친구 B 가 예측한 위치와 실제 위치를 비교합니다.
• 점수 (보상):
  • 예측과 실제가 딱 맞으면? "우와, 우리가 서로를 잘 이해하고 있네!"라고 긍정적인 점수를 줍니다.
  • 예측과 실제가 어긋나면? "아, 내가 친구의 기대를 저버렸네"라고 **부정적인 점수 (패널티)**를 줍니다.

이게 바로 내재적 보상입니다. 보물을 찾지 못해도, "내 이웃이 나를 잘 예측할 수 있도록 행동하는 것"만으로도 로봇들은 배울 수 있게 됩니다. 마치 **"서로가 서로의 마음을 읽는 게임"**을 하며 협력하는 것과 같습니다.

3. 이질성 (Heterogeneity) 처리: "서로 다른 능력을 존중"

기존 방법들은 로봇들이 모두 똑같아야 했습니다. 하지만 CoHet 은 서로 다른 크기, 속도, 능력을 가진 로봇들도 이 '예측 놀이'에 참여할 수 있게 합니다.

• "너는 빨라, 나는 느려. 그래도 우리가 함께 움직일 때 서로의 다음 위치를 정확히 예측하면 우리는 팀워크가 좋은 거야!"라고 가르쳐 줍니다.

---

📊 실험 결과: "실제 게임에서 어떻게 작동했나?"

연구팀은 로봇들이 보물을 찾거나, 장애물을 피하거나, 무리를 지어 움직여야 하는 6 가지 다양한 시나리오 (VMAS, MPE 벤치마크) 에서 이 방법을 테스트했습니다.

• 결과: CoHet 을 적용한 로봇들은 기존 최고 성능의 알고리즘보다 훨씬 더 잘 협력했습니다.
• 특이점: 로봇의 수가 늘어나고 서로 다른 능력을 가진 로봇들이 섞여도 성능이 떨어지지 않았습니다. 오히려 로봇이 많을수록 서로의 예측을 통해 더 잘 움직였습니다.

💡 요약: 왜 이것이 중요한가요?

1. 현실적인 문제 해결: 실제 세상은 중앙 통제실이 없고, 로봇들은 제각각 다릅니다. CoHet 은 이런 현실적인 제약 조건에서 작동합니다.
2. 희소 보상 극복: 보상이 거의 없어도, "이웃의 예측과 맞추기"라는 목표를 통해 로봇들이 스스로 학습하게 합니다.
3. 유연한 협력: 로봇이 서로 다르더라도, 서로의 미래를 예측하고 맞추는 과정에서 자연스럽게 팀워크가 형성됩니다.

한 줄 요약:

"서로 다른 능력을 가진 로봇들이 중앙 지시 없이도, '서로의 다음 행동을 예측하는 놀이'를 통해 자연스럽게 최고의 팀워크를 발휘하게 만든 새로운 방법입니다."

이 기술은 향후 자율 주행 차량 군집, 재난 구조 로봇 팀, 혹은 복잡한 물류 시스템 등 서로 다른 개체들이 협력해야 하는 모든 분야에 적용될 수 있을 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 다중 에이전트 강화학습 (MARL) 은 자원 관리, 자율 주행, 로봇 군집 등 다양한 분야에서 핵심 기술로 부상하고 있습니다. 특히 실제 환경에서는 에이전트 간의 이질성 (Heterogeneity, 예: 크기, 속도, 행동 양식의 차이) 과 부분 관측성 (Partial Observability) 이 존재하며, 에이전트들은 중앙 집중식 제어 없이 분산적으로 학습하고 실행해야 합니다.
• 주요 문제점:
  1. 희소 보상 (Reward Sparsity): 환경으로부터의 외부 보상 (Extrinsic Reward) 이 드물게 주어질 때 에이전트가 협력을 학습하기 어렵습니다.
  2. 이질성 처리의 한계: 기존 연구들은 이질적인 에이전트 간 협력을 다루기 위해 중앙 집중식 크리틱 (Centralized Critic), 파라미터 공유, 또는 에이전트 타입에 대한 사전 지식 (인덱싱 등) 을 요구하는 경우가 많습니다.
  3. 실제 적용의 제약: 실제 세계 배포에서는 중앙 집중식 학습이 불가능하며, 에이전트는 로컬 정보만 기반으로 행동해야 합니다. 기존 방법들은 부분 관측성과 희소 보상, 그리고 이질성이 동시에 존재하는 분산 환경 (Decentralized Training with Decentralized Execution, DTDE) 에서의 협력을 효과적으로 해결하지 못했습니다.

2. 제안 방법: CoHet 알고리즘 (Methodology)

저자들은 CoHet이라는 새로운 알고리즘을 제안합니다. 이는 그래프 신경망 (GNN) 기반의 고유 보상 (Intrinsic Reward) 메커니즘을 활용하여 분산 환경에서 이질적인 에이전트들의 협력을 촉진합니다.

• 핵심 아키텍처:

  • GNN 기반 통신: 에이전트들은 로컬 이웃 (Local Neighborhood) 정보만을 사용하여 그래프 구조를 형성합니다. 에이전트 속성 (비절대적 특징) 은 노드 임베딩으로, 상대적 위치/속도는 엣지 특징으로 사용됩니다.
  • 동역학 모델 (Dynamics Model): 각 에이전트는 자신의 경험으로 학습된 동역학 모델 ($f_{\theta}$) 을 통해 이웃 에이전트의 다음 관측치 ($\hat{o}_{t+1}$) 를 예측합니다.
  • 고유 보상 (Intrinsic Reward) 계산:
    • 에이전트 $i$가 이웃 $j$의 예측과 실제 관측치 간의 오차 (Misalignment) 를 계산합니다.
    • CoHetTeam: 이웃 에이전트들의 동역학 모델을 활용하여 이웃의 다음 관측치를 예측하고, 자신의 행동이 이웃의 예측과 얼마나 일치하는지에 따라 보상을 부여합니다. (이웃의 예측에 맞춰 행동을 조정하도록 유도)
    • CoHetSelf: 에이전트 자신의 동역학 모델을 사용하여 자기 자신의 다음 관측치를 예측하고, 이에 맞춰 행동하도록 유도합니다.
    • 보상 공식: 예측 오차의 역수 (부정적 값) 를 가중치 (거리 기반) 와 함께 합산하여, 예측과 불일치할 때 페널티 (음수 보상) 를 부과합니다.
  • 최종 보상: 희소한 외부 보상 ($r_{ext}$) 에 밀도 있는 고유 보상 ($r_{int}$) 을 더하여 ($r_{total} = r_{ext} + \beta \cdot r_{int}$), 정책 학습을 강화합니다.

• 특징:

  • 에이전트의 이질성 (크기, 속도, 타입 등) 에 대한 사전 지식이 필요 없습니다.
  • 중앙 집중식 크리틱 없이 순수하게 분산된 로컬 정보만으로 학습이 가능합니다.
  • 기존 HetGPPO 와 같은 분산 정책 최적화 알고리즘과 쉽게 통합 가능합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 고유 보상 메커니즘 (CoHet): 에이전트의 로컬 이웃 정보와 GNN 을 활용하여 이질적인 에이전트 환경에서도 정확한 고유 보상을 계산하는 자기 지도 학습 (Self-supervised) 알고리즘을 제안했습니다.
2. 기존 알고리즘과의 통합: CoHet 아키텍처는 HetGPPO 와 같은 기존 분산 이질성 정책 학습 알고리즘에 모듈 형태로 통합되어 성능을 향상시킬 수 있음을 입증했습니다.
3. 광범위한 검증 및 확장성:
   • MPE (Multi-agent Particle Environment) 와 VMAS (Vectorized Multi-Agent Simulator) 벤치마크의 6 가지 시나리오에서 SOTA(최첨단) 알고리즘 대비 우수한 성능을 보였습니다.
   • 에이전트 동역학 모델이 고유 보상에 미치는 영향, CoHetTeam 과 CoHetSelf 변형체의 비교, 그리고 에이전트 수 증가에 따른 견고성 (Robustness) 을 분석했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:

  • VMAS/MPE 시나리오: Flocking, Navigation, Reverse Transport, Sampling, Simple Spread, Joint Passage 등 6 가지 협력 시나리오에서 CoHet(Team 및 Self 변형체) 이 기존 SOTA 인 HetGPPO를 모든 시나리오에서 능가했습니다.
  • IPPO 비교: 중앙 집중식 크리틱이 없는 독립적 PPO(IPPO) 와 비교했을 때, 6 개 시나리오 중 4 개 (Simple Spread, Joint Passage, Sampling, Flocking) 에서 CoHet 이 IPPO 보다 월등히 높은 성과를 보였습니다.
  • 평균 향상: CoHet 은 HetGPPO 대비 평균 약 3.19 배의 성능 향상을 보였습니다.

• 변형체 비교 (Team vs. Self):

  • CoHetTeam: 대부분의 협력 시나리오 (Flocking, Navigation 등) 에서 우세했습니다. 이웃의 예측에 맞춰 행동을 조정함으로써 협력적 탐색을 촉진하기 때문입니다.
  • CoHetSelf: 'Simple Spread' 시나리오에서만 Team 보다 우수했습니다. 이 시나리오에서는 특정 랜드마크가 특정 에이전트에 할당되지 않아, 에이전트가 자신의 동역학 모델 오차가 적은 지역을 활용하는 것이 유리했기 때문입니다.

• 동역학 모델 학습 및 보상 변화:

  • 훈련 과정에서 에이전트의 동역학 모델 오차 (MSE) 가 감소함에 따라, 고유 보상 (불일치 페널티) 또한 점차 0 에 수렴하는 것을 확인했습니다. 이는 에이전트가 환경과 이웃의 동역학을 잘 학습하여 예측 불확실성을 줄였음을 의미합니다.

• 확장성 (Robustness):

  • 공유 환경 내 이질적인 에이전트 수가 1 개에서 16 개로 증가해도 CoHetTeam 의 성능이 지속적으로 향상되거나 유지되었습니다. 이는 기존 고유 동기화 방법들이 겪던 에이전트 수 증가에 따른 성능 저하 문제를 해결했음을 보여줍니다.

5. 의의 및 결론 (Significance)

• 실제 적용 가능성: 중앙 집중식 학습이나 에이전트 타입에 대한 사전 지식 없이, 부분 관측성과 희소 보상이 존재하는 실제 세계의 복잡한 다중 에이전트 시스템에 적용 가능한 최초의 솔루션 중 하나입니다.
• 협력 학습의 패러다임 전환: 에이전트가 단순히 보상을 최대화하는 것을 넘어, 이웃의 예측과 자신의 행동을 정렬 (Alignment) 시킴으로써 미래의 불확실성을 줄이는 방식으로 협력 행동을 학습하도록 유도합니다.
• 미래 작업: CoHet 은 분산형 이질성 MARL 의 중요한 간극을 메웠으며, 향후 호기심 기반 (Curiosity-driven) 동기 부여나 다양한 가중치 메커니즘을 적용하여 더욱 정교한 협력 전략을 탐구할 수 있는 기반을 마련했습니다.

이 논문은 분산 학습 환경에서 이질적인 에이전트들이 어떻게 외부 보상이 부족할지라도 GNN 기반의 내부 보상을 통해 효과적으로 협력할 수 있는지를 체계적으로 증명했다는 점에서 의의가 큽니다.