Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning

기술 요약: 협력적 다중 에이전트 강화학습에서 탐색 향상을 위한 분산 확산 정책 학습

문제 제기
협력적 다중 에이전트 강화학습 (MARL) 은 에이전트들이 고보상 조정 패턴을 발견하기 위해 복잡한 공동 행동 공간을 탐색해야 합니다. 이 설정을 위한 대표적인 알고리즘 클래스인 분산 소프트맥스 정책 경사 (DecSPG) 는 에너지 기반 정책 업데이트를 활용하여 자연스럽게 다중 모드 행동 분포를 생성함으로써 다양한 탐색을 용이하게 합니다. 그러나 실제로는 특히 연속 행동 공간에서 정확한 에너지 기반 정책을 유지하는 것이 계산적으로 불가능합니다. 결과적으로 기존 방법들은 계산 효율성을 위해 이러한 정책을 가우시안 정책 클래스로 투영합니다.

저자들은 이 접근법에서 치명적인 한계를 지적합니다: 가우시안 정책은 단일 모드 (unimodal) 이며 다중 모드 행동 분포를 포착하는 데 필요한 표현력이 부족합니다. 이 제약은 탐색을 심각하게 저해하여 알고리즘이 최적이지 않은 균형에 조기에 수렴하게 만듭니다. 본 논문은 이러한 실패 양상이 다중 에이전트 설정에서 특히 심각하다고 주장합니다. 여기서 에이전트 수에 따라 유효한 조정 패턴의 수가 증가하고, 이러한 패턴을 놓치는 비용이 기하급수적으로 증폭되기 때문입니다.

방법론
표현력 병목 현상을 해결하기 위해, 본 논문은 분산 확산 정책 학습 (DDPL) 을 제안합니다. 이 프레임워크는 각 에이전트의 분산 정책을 디노이징 확산 확률 모델 (DDPM) 을 사용하여 매개변수화합니다. DDPM 은 복잡한 다중 모드 분포를 표현할 수 있으면서도 학습 및 샘플링이 효율적인 표현력 있는 생성 모델로 작용합니다.

온라인 MARL 설정 내에서 확산 정책을 배포할 때의 핵심 과제는 효율적인 학습 알고리즘의 부재입니다. 표준 스코어 매칭 (score matching) 방법은 일반적으로 목표 분포에서 샘플을 필요로 하는데, 정책 업데이트 전의 온라인 학습 단계에서는 이러한 샘플을 사용할 수 없습니다. 이를 극복하기 위해 저자들은 중요도 샘플링 스코어 매칭 (ISSM) 을 도입합니다.

• ISSM 메커니즘: 목표 에너지 기반 분포 $\pi^{\star,k}_i$에서 샘플을 요구하는 대신, ISSM 은 샘플링이 쉬운 분포 (구체적으로 이전 정책 $\pi^{k-1}_i$) 에서 샘플을 추출합니다. 그런 다음 목표 분포와 샘플링 분포 간의 중요도 샘플링 비율로 결정된 가중치를 적용하여 재가중치된 스코어 매칭 손실을 최소화합니다.
• 이론적 보장: 본 논문은 ISSM 에 대한 이론적 보장을 유도하여, 학습된 정책이 목표 분포로 수렴함을 보여주며, 이때 필요한 샘플 복잡도는 목표 분포와 샘플링 분포 간의 4 차 레니이 발산 (Rényi divergence) 에 의존함을 보입니다. 정책 업데이트가 진행됨에 따라 현재 정책이 목표에 가까워지면 정확한 업데이트를 위한 필요한 샘플 크기가 감소합니다.
• 알고리즘: 전체 DDPL 알고리즘 (알고리즘 2) 은 이러한 구성 요소들을 분산 프레임워크에 통합합니다. 에이전트들은 로컬 Q-네트워크와 확산 정책을 유지합니다. 각 에포크에서 에이전트들은 평균화된 Q-함수를 추정하고, 이전 정책을 샘플링 분포로 사용하여 ISSM 손실에 대한 단일 경사 단계로 확산 정책을 업데이트합니다.

주요 기여

1. 실패 양상의 식별: 저자들은 에너지 기반 정책을 가우시안 클래스로 투영하는 것이 협력적 MARL 에서 특정 실패 양상을 초래함을 공식적으로 증명합니다. 구축된 단일 에이전트 MDP 와 다중 에이전트 동일 이익 게임을 통해, 가우시안 근사가 에이전트 수에 따라 최적 균형 발견 확률이 기하급수적으로 감소하게 만든다는 것을 증명합니다 (구체적으로 $0.45^n$으로 제한됨).
2. DDPL 프레임워크: DDPM 을 활용하여 분산 정책을 매개변수화하고 효과적인 탐색에 필수적인 다중 모드 행동 분포를 표현할 수 있게 하는 DecSPG 기반 알고리즘인 DDPL 을 제안합니다.
3. ISSM 을 통한 온라인 학습: 목표 분포에서 샘플을 요구하지 않고 확산 정책의 효율적인 온라인 학습을 가능하게 하는 새로운 중요도 샘플링 스코어 매칭 목적 함수를 개발했습니다. 이 방법은 이론적 샘플 복잡도 보장과 내시 균형 (NE) 간격 한계를 제공합니다.
4. 실증적 검증: 이 방법은 Multi-Agent Particle Environment (MPE), Multi-Agent MuJoCo (MaMuJoCo), IsaacLab, 그리고 JAX 로 재구현된 StarCraft Multi-Agent Challenge (SMAX) 를 포함한 대표적인 연속 행동 MARL 벤치마크에서 평가되었습니다.

결과
실험 결과는 DDPL 이 8 개의 연속 행동 작업 전반에 걸쳐 최첨단 베이스라인 (HAPPO, MAPPO, HASAC) 보다 일관되게 우월한 성능을 보임을 나타냅니다.

• 성능: DDPL 은 8 개 작업 중 7 개에서 가장 높은 평균 보상을 달성했습니다. 주목할 만한 개선 사항으로는 IsaacLab ShadowHandOver 작업에서 25.78% 증가, 3s_vs_5z StarCraft 작업에서 132.56% 증가, 그리고 6h_vs_8z 작업에서 최상위 베이스라인 대비 155.84% 증가가 있습니다.
• 탐색 역학: 학습 곡선 분석은 DDPL 의 성과가 충분한 탐색에서 비롯됨을 시사합니다. 3s_vs_5z 와 같은 작업에서 DDPL 은 더 넓은 탐색으로 인해 초기에는 베이스라인보다 뒤처지지만, 빠르게 최적에 가까운 보상으로 수렴하는 반면, 가우시안 기반 베이스라인은 최적이지 않은 균형에 갇힙니다.
• 애블레이션: 확산 정책을 사용하는 DDPL 과 가우시안 정책을 사용하는 변형 간의 비교는 확산 정책의 다중 모드 특성이 결정적임을 확인시켜 줍니다. 가우시안 변형은 최적이지 않은 균형 (보상 $\approx 0.65$) 에 조기에 수렴하는 반면, 확산 변형은 더 높은 보상을 주는 모드를 발견하고 더 우수한 균형 (보상 $\approx 2.0$) 에 수렴합니다.
• 효율성: DDPL 의 학습 오버헤드는 DACER 보다 39% 작고 QVPO 보다 81% 빠른 것으로 보고되었으며, 이는 ISSM 온라인 학습 방법의 효율성 때문입니다. 추론 시간은 1ms 미만으로 적절하게 유지됩니다.

의의 및 주장
본 논문은 표준 정책 매개변수화 (특히 가우시안) 의 제한된 표현력이 협력적 MARL 에서 효과적인 탐색의 주요 장애물이라고 주장합니다. 확산 모델을 활용함으로써 저자들은 에너지 기반 정책 업데이트의 이론적 이점 (다중 모드성과 내시 균형으로의 수렴) 을 유지하면서도 온라인 학습의 계산적 실현 가능성을 보장할 수 있음을 입증합니다.

이 연구는 다중 에이전트 설정에서 불충분한 탐색의 비용이 에이전트 수에 따라 증폭됨을 강조합니다. DDPL 은 탐색 능력 측면에서 더 잘 확장되는 솔루션을 제공하여, 단일 모드 정책이 놓치는 조정 패턴을 에이전트들이 발견할 수 있게 합니다. 저자들은 DDPL 을 복잡하고 연속적인 행동 환경에서 더 견고하고 효과적인 협력 학습을 가능하게 하는 중요한 단계로 위치시킵니다.

한계점
저자들은 현재 DDPL 이 완전히 분산된 정책을 매개변수화하며, 인접 에이전트 간의 저비용 통신이 장려되는 네트워크 MARL 설정을 활용하지 못한다고 인정합니다. 또한, 이 프레임워크는 현재 동일 이익 설정에 초점을 맞추고 있으며, 일반 합 또는 경쟁 설정은 향후 연구 과제로 남겨두었습니다.