기술적 요약: 독립적 다중 에이전트 정책의 신뢰성 있는 공동 훈련을 위한 중앙집중식 적응형 샘플링

문제 정의

독립적 온-정책 정책 경사 알고리즘은 협력 및 비충돌 게임에서 다중 에이전트 강화학습 (MARL) 의 표준 접근법이다. 그러나 이러한 방법들은 최적에 미치지 못하는 수렴으로 인해 고생하는 것으로 알려져 있다. 기존 문헌은 이러한 실패를 주로 개별 정책 경사가 최적의 공동 균형에서 멀어지는 경우 (균형 선택 문제) 에 기인한다고 보지만, 본 논문은 공동 샘플링 오차라는 새로운 실패 모드를 규명한다.

저자들은 모든 에이전트의 기대 개별 정책 경사가 최적의 공동 해를 향해 올바르게 지시하더라도, 최적에 미치지 못하는 수렴이 발생할 수 있음을 관찰한다. 이는 유한한 데이터 수집 과정에서 독립적인 행동 샘플링의 확률적 특성으로 인해 경험적 공동 데이터 분포가 기대되는 온-정책 공동 분포에서 벗어나기 때문이다. 이러한 편차는 부정확한 경사 추정을 초래한다. 특히, 에이전트들이 자신의 주변 행동 분포에 대해서는 샘플링 오차가 0 일지라도 여전히 상당한 공동 샘플링 오차로 고통받아 최적에 미치지 못하는 공동 행동을 강화할 수 있다.

방법론

이를 해결하기 위해 본 논문은 중앙집중식 훈련과 분산 실행 (CTDE) 프레임워크 내에서 작동하는 적응형 행동 샘플링 알고리즘인 **협력적 샘플링 오차 감소 (CoSER)**를 제안한다.

핵심 메커니즘

표준 독립 샘플링이나 단일 에이전트 적응형 샘플링 방법의 분산 확장과는 달리, CoSER 는 데이터를 수집하기 위해 중앙집중식 행동 정책($\pi_\phi$) 을 활용한다. 이 행동 정책은 현재 공동 목표 정책 ($\pi_\theta$) 에 비해 과소 샘플링된 공동 행동의 확률을 높이기 위해 지속적으로 적응된다.

알고리즘 세부 사항

1. 아키텍처: CoSER 는 전체 공동 상태 $s$에 조건부인 중앙집중식 행동 정책 $\pi_\phi(a|s)$를 정의한다. $\pi_\phi$를 분산 목표 정책 $\pi_\theta$와 일치하도록 초기화할 수 있도록 하기 위해, 저자들은 특수한 아키텍처를 도입한다:
   $$\pi_\phi(\cdot|s) = \sigma(\log \pi_\theta(\cdot|s) + \Delta_\phi(s))$$
   여기서 $\Delta_\phi(s)$는 로짓 조정을 출력하는 신경망이다. 이는 0 으로 초기화되어 업데이트 시작 시 $\pi_\phi \equiv \pi_\theta$가 되도록 보장한다.
2. 업데이트 규칙: 행동 정책은 경험적 데이터 분포와 목표 정책 분포 간의 발산을 최소화하기 위해 PPO 와 PROPS 에서 영감을 받은 클리핑된 대리 목적 함수에 대한 경사 상승을 통해 업데이트된다. 이 목적 함수는 과소 샘플링된 공동 행동의 확률을 높이고 과다 샘플링된 행동의 확률을 낮춘다.
3. MA-PROPS 와의 대비: 본 논문은 CoSER 를 단일 에이전트 PROPS 알고리즘의 다중 에이전트 확장인 MA-PROPS와 대비시킨다. MA-PROPS 는 각 에이전트마다 독립적인 행동 정책을 사용한다. 저자들은 이론적 및 실증적으로 MA-PROPS 가 개별 에이전트의 샘플링 오차를 감소시키지만, 에이전트 간 행동 선택을 조정하지 않기 때문에 공동 샘플링 오차를 감소시키지 못함을 입증한다.

주요 기여

1. 새로운 실패 모드의 규명: 저자들은 기대 경사가 최적 행동과 일치하더라도 독립적 온-정책 정책 경사 RL 에서 공동 샘플링 오차가 최적에 미치지 못하는 수렴을 초래할 수 있음을 최초로 보여준다.
2. 이론적 통찰: 개별 에이전트에 대한 샘플링 오차를 독립적으로 감소시키는 것 (MA-PROPS 가 수행하는 방식) 이 공동 샘플링 오차 감소를 보장하지 못함을 증명한다. 공동 분포를 수정하려면 조정된 행동 선택이 필요하다.
3. 알고리즘 개발 (CoSER): 과소 샘플링된 공동 행동에 더 높은 확률을 부여함으로써 공동 샘플링 오차를 효율적으로 감소시키는 중앙집중식 적응형 샘플링 방법인 CoSER 를 도입한다.
4. 수렴 분석: 본 논문은 단일 에이전트 설정에서 MARL 로 수렴 분석을 확장하여, CoSER 하에서 경험적 공동 상태 방문 분포가 확률 1 로 실제 분포로 수렴하며, 공동 샘플링 오차의 수렴 속도가 표준 온-정책 샘플링의 $O_p(1/m)$에 비해 $O_p(1/m^2)$임을 보인다.

실험 결과

저자들은 레벨 기반 포징 (LBF), BoulderPush, GridWorld, 그리고 다양한 행렬 게임 (2x2 및 3x3) 을 포함한 다양한 비충돌 다중 에이전트 게임에서 CoSER 를 평가한다.

• 샘플링 효율성: 고정된 목표 정책이 있는 작업에서 CoSER 는 표준 온-정책 샘플링과 MA-PROPS 보다 공동 샘플링 오차를 훨씬 빠르게 감소시킨다. 일부 경우 CoSER 는 30%~50% 적은 샘플로 동일한 오차 감소를 달성한다. 주목할 점은 MA-PROPS 가 종종 공동 샘플링 오차를 전혀 감소시키지 못한다는 것이다.
• 수렴의 신뢰성: 전체 RL 훈련 (베이스 알고리즘으로 MAPPO 사용) 동안 CoSER 는 기준선 대비 에이전트가 최적 공동 정책으로 수렴할 확률을 10%~20% 증가시킨다.
  • 표준 방법들이 종종 실패하는 어려운 행렬 게임에서 CoSER 는 최적 정책으로 일관되게 수렴하는 유일한 알고리즘이다.
  • GridWorld 및 BoulderPush 와 같은 복잡한 환경에서 CoSER 는 온-정책 샘플링 대비 성공률을 15~19 퍼센트 포인트 향상시킨다.
• MA-PROPS 와의 비교: MA-PROPS 는 일반적으로 신뢰성이나 공동 샘플링 오차 감소 측면에서 표준 온-정책 샘플링보다 개선된 점을 제공하지 않아, 독립적 적응형 샘플링이 다중 에이전트 설정에는 불충분함을 확인시켜 준다.

중요성 및 주장

본 논문은 MARL 에서 최적에 미치지 못하는 수렴의 원인에 대한 이해의 전환을 주요 기여로 주장한다. 수렴 실패를 단순히 상충되는 목표나 잘못된 균형 선택 (경사가 잘못된 방향을 가리키는 경우) 의 결과로만 보는 대신, 저자들은 데이터 수집 비효율성 (공동 샘플링 오차) 이 이전에 간과되었던 중요한 요인이라고 주장한다.

CoSER 의 중요성은 학습 목적이나 경사 업데이트 규칙을 변경하지 않고도 독립적 정책 경사 알고리즘의 신뢰성을 향상시킬 수 있는 능력에 있다. 중앙집중식 행동 정책을 통해 데이터를 수집하는 방식을 조정함으로써만, 이 방법은 경험적 데이터가 기대되는 공동 분포를 더 잘 근사하도록 보장하여 더 정확한 경사 추정을 제공하고 최적 공동 정책을 찾을 가능성을 높인다. 저자들은 CoSER 를 공동 샘플링 오차를 완화하기 위한 첫걸음으로 위치시키며, 공동 행동 공간의 기하급수적 성장으로 인해 매우 많은 수의 에이전트로 확장하는 데에는 한계가 있음을 인정한다.