Multi-Agent Guided Policy Search for Non-Cooperative Dynamic Games

1. 문제 정의 (Problem)

비협동 동적 게임 (Non-cooperative Dynamic Games) 은 각 에이전트가 서로 다른 목표를 가지고 상호작용하는 상황을 모델링하며, 로봇 협업, 자율 주행, 인간 - 로봇 상호작용 등 다양한 분야에서 중요합니다. 이러한 게임의 핵심 해법 개념은 **내쉬 균형 (Nash Equilibrium)**입니다.

• 기존 방법의 한계:
  • 데이터 기반 방법 (MARL): 다중 에이전트 정책 경사 (MA-PG) 와 같은 방법은 고차원 게임에서 내쉬 균형을 계산하는 데 유망하지만, 에이전트 간의 목표 불일치와 동시적인 정책 업데이트로 인한 **비정상성 (Non-stationarity)**으로 인해 학습이 불안정해지거나 **한계 주기 (Limit-cycle)**에 수렴하는 문제가 발생합니다.
  • 모델 기반 방법: 국소 선형 2 차 (LQ) 게임 근사와 뉴턴형 알고리즘을 사용하여 내쉬 균형을 계산하는 전통적인 방법은 안정적으로 수렴하지만, 에이전트 수가 증가하거나 동역학이 비선형일 경우 계산 비용이 급증하여 확장성이 떨어집니다.
• 핵심 과제: MARL 의 확장성과 모델 기반 방법의 안정성을 모두 갖춘 하이브리드 접근법을 비협동 게임에 어떻게 통합할 것인가?

2. 제안 방법론 (Methodology)

저자들은 **모델 기반 유도 (Model-based Guidance)**를 다중 에이전트 정책 경사 (MA-PG) 에 통합하여 학습을 안정화하고 수렴 속도를 높이는 MA-GPS (Multi-agent Guided Policy Search) 프레임워크를 제안합니다.

A. 핵심 아이디어: 정규화 된 보상 함수

MA-PG 업데이트를 안정화하기 위해, 국소 모델 (예: LQ 근사) 에서 유도된 **근사 내쉬 균형 해 (Approximate Nash Equilibrium)**를 '우선 지식 (Prior)'으로 간주하여 보상 함수에 정규화 (Regularization) 항으로 추가합니다.

• 기존 MA-PG 는 엔트로피 기반 탐색에 의존하여 학습 속도가 느리고 분산이 큰 반면, 제안된 방법은 공유된 참조 (Prior) 를 통해 에이전트 간 정책 업데이트를 안정화하고 일관된 내쉬 균형으로 유도합니다.

B. 선형 2 차 (LQ) 게임에 대한 이론적 분석

• 정리: 선형 동역학과 2 차 목적 함수를 가진 LQ 게임에서, 내쉬 균형이 아닐지라도 안정화되는 임의의 피드백 정책을 유도 (Guidance) 로 사용하면, 정책 경사 동역학이 안정화되어 국소적으로 지수적으로 수렴함이 증명되었습니다.
• 편차 (Bias) 와 안정성의 트레이드오프: 유도 정책의 품질 ($\check{K}$) 과 정규화 가중치 ($\rho$) 가 수렴 해의 편차에 영향을 미칩니다. $\rho$가 너무 작으면 불안정성이 해결되지 않고, 너무 크면 유도 정책에 편향되어 원래 게임의 내쉬 균형에서 멀어질 수 있습니다.

C. 비선형 게임으로의 확장 (MA-GPS 알고리즘)

비선형 게임에서는 전역적인 LQ 해를 구하기 어렵기 때문에, iLQGames의 아이디어를 차용하여 국소 LQ 근사를 활용합니다.

1. 국소 LQ 근사 생성: 현재 신경망 정책 ($\pi_\theta$) 으로 생성된 명목 궤적 (Nominal Trajectory) 을 따라 동역학을 선형화하고 비용을 2 차 함수로 근사합니다.
2. 유도 신호 계산: 이 국소 LQ 게임의 내쉬 균형 해를 구하여, 이를 현재 상태에 대한 **유도 제어 입력 ($\check{u}$)**으로 사용합니다.
3. 정책 학습: 유도 제어 입력과 실제 정책 출력 간의 편차를 2 차 노름 (L2 norm) 으로 계산하여 보상 함수에 추가합니다.
   • $\hat{c}_i^\rho = c_i + \rho \| u_i - \check{\pi}_i(x, \pi_\theta) \|^2$
4. 반복 학습: 데이터 버퍼에서 샘플을 추출하고, 유도된 보상을 사용하여 정책과 가치 함수를 업데이트합니다. 학습이 진행됨에 따라 유도 가중치 $\rho$를 감쇠시켜 최적의 정책을 정제합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 증명 (LQ 게임): LQ 게임에서 내쉬 균형이 아닌 임의의 안정화 정책이라도 유도 (Guidance) 로 사용 시, 정책 경사의 국소적 지수 수렴을 보장하고 안정성을 이론적으로 증명했습니다.
2. 비선형 게임 프레임워크 (MA-GPS): 국소 LQ 근사의 내쉬 균형을 실시간으로 계산하여 유도 신호로 활용하는 효율적인 알고리즘을 개발했습니다. 이는 사전에 계산된 유도 정책이 필요 없으며, 신경망 정책 학습을 직접적으로 안내합니다.
3. 성능 검증: LQ 게임, 비선형 차량 편대 (Platooning), 6 인 전략적 농구 포메이션 등 다양한 시나리오에서 기존 MARL 방법 (IPPO, MA-PPO, MA-DDPG 등) 보다 더 빠른 수렴 속도와 더 높은 안정성, 우수한 정책 품질을 입증했습니다.

4. 실험 결과 (Results)

실험은 선형 2 차 게임, 3 대 차량 편대 (비선형), 6 인 농구 포메이션 (24 차원) 에서 수행되었습니다.

• LQ 게임: 유도 가중치 $\rho$가 없을 때 MA-PG 는 한계 주기 행동을 보이며 발산하거나 진동하지만, 적절한 $\rho$를 도입하면 안정화되어 참 내쉬 균형 근처로 수렴함을 확인했습니다.
• 비선형 차량 편대: MA-GPS 는 기존 방법들보다 학습 속도가 빠르고 분산이 적었습니다. L2 정규화와 유사한 분산 감소 효과를 내면서도 유도 편향 (Bias) 은 최소화했습니다.
• 6 인 농구 포메이션: 에이전트 수가 증가할수록 학습이 어려워지지만, MA-GPS 는 초기 학습 단계에서 다른 방법들보다 훨씬 빠르게 고수준의 정책을 수렴시켰습니다.
• 계산 효율성: 유한 시간 (Finite-horizon) iLQGames 는 실시간 적용 시 계산 비용이 높지만, MA-GPS 는 오프라인 학습을 통해 실시간 실행 가능한 신경망 정책을 생성하여 장기 전략적 의사결정에 적합합니다.

5. 의의 및 결론 (Significance)

이 논문은 모델 기반 최적화의 안정성과 데이터 기반 강화학습의 확장성을 성공적으로 결합했습니다.

• 안정성: 비협동 게임에서 발생하는 불안정한 한계 주기 (Limit-cycle) 문제를 모델 기반 유도 (Prior) 를 통해 해결하여, 복잡한 내쉬 균형 전략의 효율적인 학습을 가능하게 했습니다.
• 실용성: 계산 집약적인 모델 기반 방법을 실시간으로 대체할 수 있는 신경망 정책을 학습시키며, 비선형적이고 고차원인 다중 에이전트 환경에서도 적용 가능한 강력한 프레임워크를 제시했습니다.
• 미래 방향: 온라인으로 동역학 모델을 학습하거나, 엔트로피 기반 탐색과 모델 기반 유도의 균형을 연구하는 방향으로 확장 가능성이 있습니다.

요약하자면, 이 연구는 비협동 다중 에이전트 게임에서 정책 경사법의 불안정성을 해결하고, 모델 기반의 지식을 보상 함수 정규화를 통해 효과적으로 통합하여 안정적이고 빠른 수렴을 달성하는 새로운 패러다임을 제시했습니다.