기술 요약: 다중 에이전트 강화학습에서 변화하는 최적점을 따르기 위한 비최적 행동의 유지

문제 제기

협력형 다중 에이전트 강화학습 (MARL) 에서 중앙 집중식 훈련과 분산 실행 (CTDE) 패러다임 하의 가치 분해 방법들, 예를 들어 QMIX 등은 상당한 성공을 거두었습니다. 그러나 이러한 방법들은 단조성 (monotonicity) 제약 조건을 통해 강제되는 개별 - 전역 최대 (IGM) 조건에 의존하며, 이는 결합 행동 가치 함수의 표현력을 제한합니다. 본 연구에서 확인된 중요한 한계는 기존 방법들이 훈련 중 동적으로 변화하는 근본적인 가치 함수에 적응하지 못한다는 점입니다.

기존 접근법은 일반적으로 단일 최적 결합 행동을 학습하는 데 중점을 둡니다. 환경이나 보상 구조가 변하여 최적 행동이 이동할 때 (예: 행동 $A$에서 행동 $C$로 이동), 단일 최적 궤적에 의존하는 방법들은 새로운 최적점을 회복하지 못하는 경우가 많습니다. 이는 대규모 결합 행동 공간에서 $\epsilon$-greedy 정책의 과도한 의존으로 인해 더욱 악화되는데, 에이전트 수가 증가함에 따라 대안적인 고가치 행동을 공동으로 탐색할 확률이 기하급수적으로 감소하기 때문입니다. 결과적으로 에이전트들은 종종 비최적 정책으로 조기에 수렴하여 이동하는 최적점을 추적하는 데 어려움을 겪습니다.

방법론: 연속 하위 가치 Q-학습 (S2Q)

이러한 한계를 해결하기 위해 저자들은 대안적인 고가치 행동을 유지하고 변화하는 최적점에 빠르게 적응할 수 있도록 설계된 연속 하위 가치 Q-학습 (Successive Sub-value Q-learning, S2Q) 프레임워크를 제안합니다.

핵심 메커니즘

S2Q 는 단일 가치 접근법에서 벗어나 $k = 0, \dots, K$에 대해 $K+1$개의 하위 가치 함수 시퀀스 $Q^{sub}_k$를 학습합니다.

• $Q^{sub}_0$: IGM 조건 하에서 진정한 최적 행동을 식별하도록 훈련된 전역 결합 가치 함수 $Q_{tot}$로 정의됩니다.
• $Q^{sub}_k$ ($k > 0$): $k$번째 비최적 결합 행동을 포착하도록 설계됩니다.

학습 과정은 **연속 억제 전략 (successive suppression strategy)**을 사용합니다. $Q^{sub}_0$가 전역 최적점을 학습하는 동안, 후속 하위 가치 함수들은 이전 하위 가치 함수들이 식별한 행동을 제외한 결합 행동을 최대화하도록 훈련됩니다. 이는 시간차 (Temporal-Difference, TD) 학습 목적 함수에 억제 항을 추가함으로써 달성됩니다. 주어진 하위 가치 함수 $Q^{sub}_k$에 대해, 목표 값은 $Q^{sub}_0, \dots, Q^{sub}_{k-1}$에 의해 이미 최적 또는 비최적으로 식별된 행동을 억제하도록 조정됩니다.

$Q^{sub}_k$의 목적 함수는 다음과 같이 정의됩니다:
$$\mathbb{E} \left[ w_k(s_t, a_t) \left( Q^{sub}_k(s_t, \tau_t, a_t) - \left( y_t - \alpha \mathbb{I}(a_t \in A_{k-1,t}) \cdot \max(Q^*_{targ}(s_t, \tau_t, a_t), C) \right) \right)^2 \right]$$
여기서 $A_{k-1,t}$는 이전 서브 네트워크들이 식별한 행동들의 집합이며, $\alpha$는 억제 인자이고, $y_t$는 제약이 없는 가치 함수 $Q^*$에서 유도된 목표 값입니다. 이론적 분석 (정리 4.1) 은 충분히 큰 $\alpha$를 사용하면 각 $Q^{sub}_k$가 성공적으로 $k$번째 비최적 행동을 식별함을 보장합니다.

통신을 통한 조정된 실행

이러한 하위 가치 함수들을 효과적으로 활용하기 위해 S2Q 는 표준 $\epsilon$-greedy 정책을 Softmax 기반 행동 정책으로 대체합니다.

1. 샘플링: 훈련 중 에이전트들은 추적된 비최적 행동들의 값 ($Q^*(a^*_{0,t}), \dots, Q^*(a^*_{K,t})$) 을 기반으로 Softmax 분포 $P_t$에서 인덱스 $k$를 샘플링합니다.
2. 실행: $k$가 샘플링되면 에이전트들은 해당 하위 가치 함수 $Q^{sub}_k$의 $\epsilon$-greedy 정책에 따라 행동을 실행합니다.
3. 조정: 분산된 에이전트들이 전역 분포 $P_t$를 직접 관찰할 수 없기 때문에, S2Q 는 훈련 중에 인코더 - 디코더 아키텍처를 사용합니다. 인코더는 로컬 히스토리를 잠재 표현 $z_t$로 매핑하고, 디코더는 전역 상태와 근사 분포 $\hat{P}_t$를 재구성합니다. 에이전트들은 $\hat{P}_t$에 기반하여 $k$ 선택을 동기화합니다.
4. 분산 실행: 결정적으로, 테스트 시에는 통신이 필요하지 않습니다. $Q^{sub}_0$(즉 $Q_{tot}$와 동일) 가 탐욕적 최적 행동을 생성하기에 충분하기 때문에, 평가는 완전히 분산되고 통신이 없는 상태로 유지됩니다. 통신이 필수적인 환경을 위해 S2Q-Comm 변형도 제안되었으며, 실행 중 잠재 변수 $z_t$를 제공합니다.

주요 기여

1. 동적 최적성 이동의 식별: 본 논문은 기존 가치 분해 방법들이 단일 최적점을 찾은 후 비최적 행동에 대한 정보를 폐기하기 때문에 이동하는 최적점을 추적하지 못함을 강조합니다.
2. 연속 하위 가치 학습: 시스템이 최적 행동이 변경될 때 빠르게 전환할 수 있도록 여러 비최적 행동을 명시적으로 학습하고 유지하는 프레임워크를 도입했습니다.
3. Softmax 기반 탐색: $\epsilon$-greedy 정책에서의 결합 탐색 확률 기하급수적 감소를 극복하고, 추정된 값을 기반으로 유망한 비최적 행동 방문을 우선시하는 새로운 탐색 전략을 제시했습니다.
4. 통신 효율적 설계: 훈련 중에만 하위 가치 선택을 동기화하기 위해 통신을 사용하고 실행 중에는 완전한 분산성을 유지하는 메커니즘을 개발했습니다.

실험 결과

저자들은 S2Q 를 두 가지 주요 벤치마크인 **StarCraft Multi-Agent Challenge (SMAC)**와 **Google Research Football (GRF)**에서 평가했습니다.

• SMAC-Hard+ 및 GRF: S2Q 는 다양한 맵 (예: 6h vs 8z, MMM2, Corridor) 에서 QMIX, WQMIX, DOP, FOP, PAC, RiskQ, MARR 등을 포함한 최첨단 베이스라인보다 일관되게 우수한 성능을 발휘했습니다. 성능 차이는 훈련 중 최적 전략이 이동하는 탐색 집약적 시나리오에서 가장 두드러졌습니다. S2Q 는 더 빠른 수렴과 더 높은 점근적 승리율을 보여주었습니다.
• SMAC-Comm: 명시적 통신이 필요한 작업 (예: 5z vs 1ul, bane vs hM) 에서 S2Q-Comm 변형은 MASIA, NDQ, CAMA 와 같은 통신 중심 베이스라인보다 상당한 개선을 보였으며, 특히 복잡한 조정 작업에서 두드러졌습니다.
• 확률적 환경: S2Q 는 무작위 팀 구성이 포함된 SMACv2 와 혼합 상대 (Mixture Opponent) 가 포함된 SMAC-Hard 에서 우월한 성능을 유지하여 확률적 역학에 대한 강건성을 입증했습니다.
• 일반성: 이 방법은 VDN 및 QPLEX 와 같은 다른 CTDE 베이스라인으로 성공적으로 확장되어 일관된 성능 향상을 이루었습니다.
• 절대성 연구 (Ablation Studies): 실험은 연속 하위 가치 학습과 Softmax 기반 실행이 핵심 요소임을 확인했습니다. 억제 메커니즘이나 Softmax 정책을 제거하면 성능이 현저히 저하되었습니다. 최적의 서브 네트워크 수 ($K$) 는 다양성과 안정성 사이의 균형을 맞추어 2 로 발견되었습니다.

중요성과 주장

본 논문은 S2Q 가 협력형 MARL 의 근본적인 한계, 즉 단일 최적 정책으로 수렴하는 방법들의 경직성을 해결한다고 주장합니다. 비최적 행동을 유지함으로써 S2Q 는 에이전트들이 조기에 수렴하지 않고 변화하는 가치 지형에 빠르게 적응할 수 있게 합니다.

저자들은 S2Q 를 까다로운 MARL 환경에서 적응성과 전반적인 성능을 향상시키는 실용적이고 일반적인 프레임워크로 위치시킵니다. 그들은 이 방법이 실행 중 통신을 요구하지 않고 이러한 이점을 달성함으로써 통신 대역폭이 제한될 수 있는 실제 배포에 적합함을 강조합니다. 이 연구는 비최적 대안을 명시적으로 추적하는 것이 다중 에이전트 시스템에서 탐색과 강건성을 향상시키기 위한 실현 가능하고 효과적인 전략임을 시사합니다.