A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space

기술 요약: SAFE (경험으로부터 진화하는 자기 진화형 기본 동작)

문제 정의
다중 에이전트 강화 학습(MARL)은 이산 행동 공간(예: StarCraft II)에서는 성공을 거두었으나, 자율 주행 차량 네트워킹과 같은 실제 연속 제어 작업에서는 상당한 난관에 봉착해 있습니다. 기존 방식들은 다음과 같은 세 가지 주요 과제에 직면해 있습니다:

1. 연속 행동 공간: 많은 신용 할당(credit assignment) 기법들이 이산 공간을 위해 설계되어 연속 제어에 직접 적용하기 어렵습니다.
2. 분산화 요구 사항: 실제 응용 분야에서는 안전과 지연 시간을 위해 완전한 분산 정책을 요구하는 경우가 많지만, 많은 확장 가능한 방법론들은 에이전트 수가 늘어남에 따라 확장이 어려운 중앙 집중식 입력을 기반으로 합니다.
3. 연속 도메인에서의 신용 할당: COMA(Counterfactual Multi-Agent Policy Gradients)는 에이전트의 행동을 마진화(marginalizing out)함으로써 이산 공간에서 효과적으로 신용을 할당하지만, 이를 몬테카를로 샘플링을 통해 연속 공간으로 확장하면 편향(bias)이 발생합니다. 연속 공간에서 샘플링된 행동들은 충분히 훈련되지 않은 경우가 많으며, 이는 중앙 집중식 비평가(critic)가 해당 값들을 충분히 학습하지 못했음을 의미합니다. 결과적으로, 베이스라인 기대값이 결합 정책 하에서 0이 되지 않아 편향된 정책 그래디언트를 유발하고 국소 최적점(local optima)으로의 수렴 보장을 어렵게 만듭니다.

방법론
본 논문은 CTDE(Centralized Training with Decentralized Execution) 패러다임 내에서 이러한 한계를 해결하기 위해 설계된 새로운 MARL 프레임워크인 SAFE(Self-Evolving Default Action From Experiences)를 제안합니다.

• 핵심 메커니즘: SAFE는 **자기 진화형 기본 동작(self-evolving default action)**에 조건화된 역사실적 베이스라인(counterfactual baseline)을 도입합니다. 사용자 정의 기본 동작이나 추가적인 시뮬레이션에 의존하는 기존 방식과 달리, SAFE는 각 에이전트의 경험 리플레이 버퍼($D_t$)에서 이 기본 동작($\bar{a}_i$)을 직접 샘플링합니다.
• 베이스라인 구축: 특정 에이전트 $i$에 대해, 베이스라인 $b_i$는 다른 에이전트들의 행동($a_{-i}$)은 일정하게 유지하면서, 중앙 집중식 비평가의 입력에서 에이전트의 실제 행동 $a_i$를 샘플링된 기본 동작 $\bar{a}_i(t)$로 대체하여 계산됩니다:
  $$b_i = Q(s, a_{-i}, \bar{a}_i(t)), \quad \bar{a}_i(t) \sim D_t$$
• 자기 진화: 훈련이 진행됨에 따라, 샘플링된 기본 동작은 자연스럽게 에이전트의 평균 성능을 반영하도록 진화합니다. 버퍼 내 샘플링된 행동의 분포는 에이전트에 의해 가장 빈번하게 실행되는 행동 쪽으로 이동하며, 이를 통해 베이스라인이 충분히 훈련된 값으로부터 도출되도록 보장합니다.
• 이론적 보장: 저자들은 이 베이스라인이 결정론적 정책 그래디언트에 **제로 편향(zero bias)**을 도입한다는 것을 수학적으로 증명했습니다(Lemma 0.1). 결정론적 정책을 확률적 정책의 극한 사례로 취급함으로써, 베이스라인 항의 기대값이 소멸함을 입증하였고, 이는 국소 최적점으로의 수렴을 보장합니다.
• 아키텍처: 이 프레임워크는 글로벌 상태와 결합 행동-관측 이력에 조건화된 중앙 집중식 비평가를 사용하며, 분산된 액터(actor)들은 오직 자신의 로컬 이력에만 조건화됩니다. 협력적 역할을 위해 액터들 간의 파라미터 공유가 적용됩니다.

주요 기여

1. 연속 공간으로의 확장: SAFE는 추가적인 시뮬레이션, 보상 모델, 또는 환경 특화적 사전 지식 없이도 연속 행동 공간으로 역사실적 신용 할당을 자연스럽게 확장합니다.
2. 편향 없는 수렴: 본 논문은 자기 진화형 기본 동작 베이스라인이 결정론적 정책 그래디언트에 편향을 도입하지 않음을 이론적으로 증명하여, 나이브한 몬테카를로 확장 방식에서 흔히 결여되는 특성인 국소 최적점으로의 수렴을 보장합니다.
3. 동적 적응: 베이스라인은 에이전트의 행동이 진화함에 따라 동적으로 적응하며, 샘플링된 기본 동작은 훈련 중 에이전트의 평균 성능을 점점 더 잘 반영하게 됩니다.
4. 실증적 검증: 협력적 자율 주행 작업(Highway-Env)에 대한 광범한 실험을 통해, SAFE가 다양한 차량 수와 장애물 시나리오에서 최신 모델들(VDN, QMIX, IQL, COMA, MAPPO)보다 일관되게 우수한 성능을 보임을 입증했습니다.

실험 결과

• 성능: 협력적 고속도로 주행 시나리오(2V1O ~ 7V2O)에서 SAFE는 벤치마크 대비 탁월한 성능을 달ável 했습니다. 이산 행동 모델(VDN, QMIX, IQL)은 이산 메타 행동의 거친 입도(granularity)로 인해 복잡한 시나리오에서 충돌을 피하는 데 실패했습니다. COMA와 MAPPO는 온폴리시(on-policy) 훈련의 샘플 효율성 문제로 인해 최적 정책으로 수렴하지 못했습니다.
• 절제 연구(Ablation Studies):
  • 신용 할당 vs 연속성: 연속 공간에 적응하지만 다른 신용 할당 방식을 사용하는 베이스라인들(Centralized_critic, COMA_cont)과의 비교를 통해, SAFE의 성능 향상이 단순히 연속 행동을 다룰 수 있는 능력 때문이 아니라 구체적으로 그 신용 할당 메커니즘에서 기인함을 확인했습니다.
  • 단일 샘플 vs 다중 샘플: 파라미터 분석 결과, 여러 샘플을 평균 내는 것(SAFE30 ~ SAFE100)보다 단일 샘플된 기본 동작을 사용하는 것(SAFE1)이 더 나은 결과를 얻었습니다. 여러 샘플을 평균 내는 것은 추가적인 편향을 도입하고 추정 정확도를 떨어뜨렸습니다.
  • 기본 동작의 출처: 경험에서 샘플링된 행동 대신 고정된 제로 행동(SAFE_a=0)이나 배치 평균(SAFE_batch_mean)을 사용했을 때 성능이 저하되었으며, 이는 경험 기반의 자기 진화형 선택의 필요성을 입증합니다.
• 행동 분석: 기본 동작 확률 밀도의 시각화는 샘플링된 행동이 시간이 지남에 따라 에이전트의 학습된 전략(예: 중립 조향에서 특정 회피 기동으로의 변화)과 일치하도록 진화함을 보여주었으며, 이는 베이스라인이 에이전트의 실제 정책과 정렬되어 있음을 확인시켜 줍니다.

의의
본 논문은 SAFE를 연속 제어가 필요한 실제 다중 에이전트 시스템을 위한 효과적인 솔루션으로 포지셔하는 위치에 둡니다. 연속 도메인에서의 역사실적 신용 할당과 관련된 편향 및 수렴 문제를 해결함으로써, SAFE는 자율 주행 차량 네트워킹과 같은 복잡한 환경에서 확장 가능한 분산 협력 정책의 배포를 가능하게 합니다. 본 연구는 경험 기반의 자기 진화를 통해 연속 공간에서도 정확한 신용 할당을 달성할 수 있음을 확립하였습니다.