Adaptive Value Decomposition: Coordinating a Varying Number of Agents in Urban Systems

1. 문제 정의 (Problem Statement)

이 논문은 도시 시스템 (예: 자전거 공유, 물류 배송) 에서 다중 에이전트 강화학습 (MARL) 을 적용할 때 발생하는 세 가지 주요 실용적 한계를 해결하는 것을 목표로 합니다.

• 가변적인 에이전트 수 (Dynamic Agent Population): 기존 MARL 알고리즘은 고정된 수의 에이전트를 가정합니다. 그러나 도시 환경에서는 피크 시간대와 비피크 시간대에 따라 활동하는 에이전트 (예: 재배치 차량) 의 수가 유동적으로 변하며, 예기치 않은 사건으로 인해 급증하거나 감소할 수 있습니다.
• 비동기적 행동 실행 (Semi-MARL Setting): 에이전트들이 수행하는 작업 (이동, 적재/하역 등) 의 지속 시간이 서로 다릅니다. 이로 인해 에이전트들이 동시에 결정을 내리지 못하는 '반 (Semi)-MARL' 환경이 형성됩니다.
• 행동 동질화 (Action Homogenization): 학습 효율성을 높이기 위해 에이전트 간 정책 파라미터를 공유하는 경우가 많습니다. 하지만 유사한 관측치 (예: 높은 수요가 집중된 지역) 를 가진 에이전트들이 동시에 결정을 내릴 때, 모든 에이전트가 동일한 행동을 취하게 되어 조정의 질이 떨어지는 문제가 발생합니다.

2. 제안 방법론: 적응형 가치 분해 (Adaptive Value Decomposition, AVD)

이러한 문제들을 해결하기 위해 저자들은 AVD라는 협력형 MARL 프레임워크를 제안했습니다.

2.1. 핵심 아키텍처

• 가변 에이전트 처리: QMIX 와 같은 기존 가치 분해 (Value Decomposition) 기법을 기반으로 하되, **하이퍼네트워크 (Hypernetwork)**와 **멀티헤드 어텐션 (Multi-Head Attention, MHA)**을 활용하여 현재 활성화된 에이전트 집합의 크기에 동적으로 적응하도록 설계되었습니다.
  • 에이전트 네트워크: 각 에이전트의 상태 (자신의 위치, 적재량, 진행 상황) 와 전역 상태 (전체 스테이션 재고, 시간) 를 입력받아 개별 가치 함수 ($Q_v$) 를 추정합니다. MHA 를 통해 에이전트 간의 의미적 관계를 포착합니다.
  • 믹싱 네트워크 (Mixing Network): 개별 가치 함수들을 전역 가치 함수 ($Q_{tot}$) 로 통합합니다. 전역 상태에 의존하는 단조 증가 함수 (Monotonic Mixing Function) 를 사용하여 중앙 집중식 학습과 분산 실행 (CTDE) 을 가능하게 합니다. 가변적인 에이전트 수를 처리하기 위해 가중치와 편향을 동적으로 생성합니다.

2.2. 행동 동질화 완화 메커니즘

공유 정책으로 인한 행동의 획일화를 방지하기 위해 두 가지 경량 기법을 도입했습니다.

1. 분산 에이전트 초기화 (Dispersed Agent Initialization): 에피소드 시작 시, 에이전트들이 유사한 지역 (클러스터) 에 모이는 것을 방지하기 위해 공간적으로 분산된 위치 (각 클러스터의 중심) 에서 초기화합니다.
2. 확률적 교란 (Stochastic Perturbation): 에이전트 임베딩에 작은 가우스 노이즈를 지속적으로 주입합니다. 이는 유사한 관측치를 가진 에이전트들이 서로 다른 행동을 탐색하도록 유도하여 행동 다양성을 촉진하면서도 정책 공유의 효율성은 유지합니다.

2.3. 반-MARL 을 위한 학습 - 실행 전략

• 비동기적 결정: 에이전트가 이전 행동을 완료하기 전에는 해당 행동을 계속 수행하고, 완료된 에이전트만 새로운 행동을 선택하는 방식을 취합니다.
• CTDE 기반 전략: 중앙 집중식 학습 시에는 시간 단계별 전이 (step-level transitions) 를 기록하여 비동기적 실행과 보상을 학습 데이터로 활용하며, 실행 시에는 각 에이전트가 독립적으로 결정을 내리되 전역 조정을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 알고리즘적 혁신: 가변적인 에이전트 수에 적응하고, 공유 정책으로 인한 행동 동질화를 완화하는 경량 메커니즘을 통합한 협력형 MARL 프레임워크 AVD를 제안했습니다.
2. 학습 - 실행 전략: 비동기적 행동 실행이 가능한 반-MARL 환경에 특화된 CTDE 기반 전략을 설계했습니다.
3. 실증적 검증: 런던과 워싱턴 D.C. 의 실제 자전거 공유 데이터를 활용한 실험을 통해 AVD 가 기존 최첨단 (SOTA) 방법론들보다 우수함을 입증했습니다.
4. 벤치마크 기여: 도시 자원 재분배 및 다중 에이전트 조정을 연구하기 위한 고정밀 자전거 공유 시뮬레이터를 공개했습니다.

4. 실험 결과 (Results)

• 데이터셋: 런던 (Santander Cycles) 및 워싱턴 D.C. (Capital Bikeshare) 의 실제 데이터.
• 비교 대상: No Action, Greedy, OPT(최적화 기반), IDQN, VDN+, QMIX 등.
• 주요 성과:
  • 성능 우위: 고정된 에이전트 수 (2 개 또는 4 개) 와 가변적인 에이전트 수 (피크 시간 4 개, 비피크 시간 2 개) 모두에서 AVD 가 모든 베이스라인을 능가했습니다.
  • 동적 적응성: 에이전트 수가 변하는 환경에서도 AVD 는 안정적으로 높은 성과를 유지했습니다. 특히 에이전트 수가 2 개일 때보다 4 개일 때의 성능을 거의 유지하면서도, 에이전트 수가 2 개일 때보다 훨씬 높은 수익을 얻었습니다.
  • Zero-shot 일반화: 4 개의 에이전트로 학습된 AVD 정책을 재학습 없이 3 개의 에이전트 환경에 직접 적용했을 때, 3 개 에이전트로 학습된 모델과 유사하거나 더 나은 성능을 보였습니다. 이는 AVD 가 특정 에이전트 수에 과적합되지 않고 조정 패턴을 일반화하여 학습했음을 의미합니다.
  • 강건성: 워싱턴 D.C. 데이터 (수요가 낮고 초기 재고가 적은 엄격한 조건) 에서도 AVD 는 다른 방법론들보다 우월한 안정성을 보여주었습니다.
  • 동질화 완화 효과: 경량화 메커니즘을 제거한 변형 모델 (AVD w/o H) 보다 전체적으로 더 높은 성과를 보이며, 메커니즘의 유효성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 도시 시스템과 같은 복잡하고 동적인 환경에서 다중 에이전트 시스템을 조정하기 위한 실질적인 해결책을 제시합니다.

• 실제 적용 가능성: 고정된 에이전트 수를 가정하는 기존 이론적 접근의 한계를 넘어, 실제 도시 운영 (변동하는 인력, 비동기 작업) 에 적용 가능한 MARL 프레임워크를 제공합니다.
• 효율성과 다양성의 균형: 파라미터 공유의 효율성을 유지하면서도 행동 동질화라는 치명적인 단점을 경량 메커니즘으로 해결하여 조정의 질을 높였습니다.
• 확장성: 학습된 정책이 에이전트 수의 변화에 강건하게 일반화 (Zero-shot) 된다는 점은 실제 도시 환경에서 에이전트 수를 유연하게 조절해야 하는 운영자들에게 큰 장점을 제공합니다.

결론적으로, AVD 는 도시 내 자원 재분배 및 다중 에이전트 협업 문제를 해결하는 데 있어 강력하고 확장 가능한 새로운 패러다임을 제시합니다.