R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

"R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

다중 에이전트 강화 학습 (MARL) 은 교통 제어 및 로봇 공학과 같은 복잡한 분야에서 중앙 집중식 훈련 분산 실행 (CTDE) 패러다임 (예: QMIX, MAPPO) 을 사용하여 성공을 거두었습니다. 그러나 표준 CTDE 방법은 공유 정책 파라미터에 의존하는 경우가 많아 효과적인 조정에 필요한 다양한 행동 학습을 저해합니다.

기존의 역할 기반 MARL 접근법은 에이전트의 과거 관측치로부터 발현된 역할을 학습하여 상호 보완적인 행동을 장려함으로써 이 문제를 해결하려 시도했습니다. 하지만 해당 논문은 이러한 방법들의 치명적인 결함을 지적합니다:

• 한계: 과거 경험만으로 역할을 도출하는 것은 역할이 에이전트의 미래 궤적에 어떻게 영향을 미치는지를 고려하지 못합니다.
• 결과: 유사한 초기 관측치를 가진 에이전트들이 초기에 동일한 역할을 채택하여, 두 대의 드론이 모두 같은 화재 지점으로 날아가는 것과 같은 중복된 행동을 초래하며, 효과적인 분배와 조정이 이루어지지 않습니다.
• 통찰: 에이전트의 역할은 능동적으로 미래 행동을 형성해야 합니다. 에이전트가 특정 역할을 채택하면, 다른 역할에 있는 에이전트들과의 효과적인 조정을 보장하기 위해 그 에이전트의 미래 관측치와 행동은 자연스럽게 분리되어야 합니다.

2. 방법론: R3DM

저자들은 정보 이론과 세계 모델을 사용하여 에이전트의 현재 역할과 기대되는 미래 행동을 연결하는 역할 발견 및 다양성 (Role Discovery and Diversity through Dynamics Models, R3DM) 프레임워크를 제안합니다.

핵심 목표

R3DM 은 세 가지 변수 간의 **상호 정보 (Mutual Information, MI)**를 최대화합니다:

1. 시간 $t$에서의 에이전트 역할 ($m^t_i$).
2. 시간 $t$까지의 관측된 궤적 ($\tau^t_i$).
3. 기대되는 미래 궤적 ($\tau^{t+1:t+k}_i$).

목적 함수는 다음과 같이 표현됩니다:
$$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$$
이 값을 직접 최대화하는 것은 계산적으로 불가능하므로, 저자들은 두 가지 구성 요소로 분해된 계산 가능한 하한을 유도합니다:

1. 역할 임베딩 학습: 관측 - 행동 히스토리로부터 중간 역할 임베딩 ($z^t_i$) 을 학습합니다.
2. 미래 행동 다양성: 이러한 역할 임베딩과 미래 궤적 간의 상호 정보를 최대화합니다.

주요 구성 요소

A. 중간 역할 임베딩 학습 (대비 학습)

• 과거 관측 - 행동 히스토리를 기반으로 에이전트를 서로 다른 역할로 클러스터링하기 위해 ACORM 기반의 대비 학습 (contrastive learning) 프레임워크를 활용합니다.
• 궤적 인코더 ($\theta_e$) 와 역할 인코더 ($\theta_r$) 를 사용하여 임베딩을 생성합니다.
• 유사한 행동 패턴을 가진 에이전트는 그룹화되고, 서로 다른 패턴은 분리되도록 대비 손실 (contrastive loss) 을 최적화합니다.

B. 동역학 모델을 통한 내재적 보상
역할이 미래 행동을 형성하도록 보장하기 위해, R3DM 은 MI 하한에서 유도된 두 가지 내재적 보상을 도입합니다:

1. 정책 내재적 보상 ($r_{pol}$):

   • 역할에 기반한 행동 선택의 다양성을 장려합니다.
   • 역할 조건부 정책과 평균 (역무관) 정책 간의 Kullback-Leibler (KL) 발산으로 계산됩니다.
   • 공식: $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$.

2. 동역학 내재적 보상 ($r_{dyn}$):

   • 이것이 새로운 기여입니다. 역할 임베딩이 미래 관측치 예측에 얼마나 영향을 미치는지 정량화합니다.
   • 두 개의 재귀적 상태 공간 모델 (Recurrent State Space Models, RSSM) (DreamerV3 기반) 을 사용합니다:
     • 역할 조건부 모델 ($q_\psi$): 궤적 및 역할 임베딩을给定하여 미래 관측치를 예측합니다.
     • 역무관 모델 ($p_\phi$): 역할 없이 궤적만을给定하여 미래 관측치를 예측합니다.
   • 보상은 두 모델 간의 로그 가능도 (log-likelihood) 차이입니다. 역할 조건부 모델이 무관 모델보다 미래를 훨씬 잘 예측한다면, 에이전트는 높은 보상을 받아 역할이 미래 행동을 예측하는 데 유용하도록 유도됩니다.
   • 공식: $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$.

C. 최종 학습 목표
MARL 에이전트의 총 보상은 작업 보상 ($r_t$) 과 내재적 보상의 조합입니다:
$$r_{total} = r_t + \alpha r_{int}$$
여기서 $r_{int} = \beta_3 r_{pol} + r_{dyn}$입니다. 이 결합된 보상은 표준 TD 학습을 통해 Q-네트워크를 업데이트하는 데 사용됩니다.

3. 주요 기여

1. 새로운 정보 이론적 목표: 역할, 과거 궤적, 그리고 기대되는 미래 궤적 간의 상호 정보를 최대화하는 목표를 제안하여, 과거 기반 역할 추론에서 미래 형성 역할로 초점을 이동시켰습니다.
2. 동역학 기반 내재적 보상: 세계 모델 (RSSM) 을 사용하여 역할별 미래 행동을 강제하는 내재적 보상을 생성하는 메커니즘을 도입하여, 탐색과 역할 전문화 사이의 균형을 맞췄습니다.
3. CTDE 와의 통합: 샘플 효율성을 희생하지 않고 기존 역할 기반 MARL 방법 (특히 ACORM/QMIX) 에 이 프레임워크를 성공적으로 통합했습니다.
4. 실증적 검증: 까다로운 벤치마크에서 최첨단 성능을 입증했습니다.

4. 실험 결과

저자들은 SMAC(StarCraft Multi-Agent Challenge) 및 SMACv2 환경에서 R3DM 을 평가했습니다.

• 성능: R3DM 은 QMIX, ACORM, CIA, GoMARL, CDS, EMC 를 포함한 최첨단 베이스라인보다 우수한 성과를 거두었습니다.
  • 어려운 맵 (예: 3s5z vs 3s6z, Corridor, 6h vs 8z) 에서 승률 최대 20% 향상을 달성했습니다.
  • 뛰어난 샘플 효율성과 빠른 수렴을 보였습니다.
• SMACv2: 확률적 환경 (변화하는 초기 조건) 에서 R3DM 은 견고한 성능을 유지하며 비대칭 시나리오 (예: Protoss 10 vs 11) 에서 베이스라인을 능가했습니다.
• 정성적 분석: 3s5z vs 3s6z 맵의 시각화 결과, ACORM 에이전트들이 대규모 공격 행동으로 수렴한 반면, R3DM 에이전트들은 전문화된 하위 팀으로 분할하는 법을 학습했습니다 (예: 한 에이전트는 적을 유인하고 나머지는 측면 공격). 이는 진정한 역할 분화를 보여주었습니다.
• Ablation 연구:
  • 상상 지평 (Imagination Horizon): 짧은 지평 ($k=1$ 또는 $2$) 이 가장 잘 작동했으며, 긴 지평은 누적 예측 오차를 초래했습니다.
  • 역할 카디널리티: 중간 수의 역할 (예: 3 개) 이 높은 카디널리티보다 조정과 전문화 사이의 균형을 더 잘 잡았습니다.
  • 구성 요소: 대비 학습과 내재적 보상 모두 최적의 성능을 위해 필수적인 것으로 나타났습니다.

5. 중요성 및 영향

• 패러다임 전환: R3DM 은 역할 기반 MARL 분야를 (무엇이 일어났는지에 기반한) 후회적 역할 할당에서 (무엇이 일어날지에 기반한) 예측적 역할 할당으로 이동시킵니다.
• 조정 메커니즘: 역할을 미래 동역학과 연결함으로써, 유사한 히스토리를 가진 에이전트들이 조정에 실패하는 '중복성' 문제를 자연스럽게 해결합니다.
• MARL 의 모델 기반 RL: 이 논문은 모델 프리 MARL 과 모델 기반 접근법 (내재적 동기를 위한 세계 모델 사용) 간의 간극을 성공적으로 메워 복잡하고 확률적인 환경에서 더 정교한 조정 전략의 길을 열었습니다.
• 실제 적용: 이 접근법은 여러 목표를 동시에 처리하기 위해 서로 다른 역할이 동적으로 할당되어야 하는 드론 스웜, 자율 주행 차량 함대, 로봇 팀과 같은 실제 다중 에이전트 시스템에 매우 관련이 높습니다.