기술 요약: 부분 관측 가능 평균장 게임에 대한 재귀적 구조적 정책 경사

문제 정의

평균장 게임 (MFGs) 은 개인들이 특정 정체성이 아닌 다른 개체들의 집계 분포에 반응하는 대규모 집단 시스템의 상호작용을 모델링하기 위한 프레임워크를 제공한다. 그러나 MFG 에 대한 알고리즘적 진전은 분산과 확장성 간의 상충 관계로 인해 지연되어 왔다. 모델 없는 강화학습 (RL) 방법은 경로 기반 샘플링으로 인해 높은 분산을 겪는 반면, 정확한 동적 계획법 (DP) 방법은 공통 잡음 (전체 집단에 영향을 미치는 집계 충격) 이 존재할 때 계산이 불가능해진다.

최근의 하이브리드 구조적 방법 (HSMs) 인 구조적 정책 경사 (SPG) 와 같은 방법들은 알려진 전이 역학을 활용하여 개별 상태에 대한 정확한 기대 보상을 계산하면서 공통 잡음을 샘플링함으로써 이 문제를 해결한다. 이는 분산을 크게 줄인다. 그러나 기존 HSM 은 기억력이 없는 (마르코프) 정책과 완전 관측 가능 환경으로 제한된다. 이들은 **공통 잡음이 있는 부분 관측 가능 평균장 게임 (POMFGs-CN)**을 처리하지 못한다. POMFGs-CN 에서는 에이전트들이 집계 상태의 공유된 부분 관측치 (예: 주가, 감염률) 만을 공유적으로 받으며, 이를 바탕으로 $(\mu_t, z_t)$라는 근본적인 집계 상태를 과거 이력을 통해 추론해야 한다. HSM 을 과거 의존적 정책으로 확장하는 것은 전통적으로 어렵다. 왜냐하면 과거 이력 공간이 기하급수적으로 커져서 이력 분포를 유지하는 것이 계산적으로 불가능해지기 때문이다.

방법론

재귀적 구조적 정책 경사 (RSPG)

저자들은 POMFGs-CN 에서 과거 의존적 정책을 처리할 수 있는 최초의 HSM 인 **재귀적 구조적 정책 경사 (RSPG)**를 제안한다.

1. 정보적 가정: RSPG 는 **가정 6.1 (충분한 공유 부분 정보)**에 의존한다. 이 가정은 에이전트의 현재 개별 상태 $s_t$와 공유된 공개 관측치 이력 $o_{0:t}$가 주어졌을 때, 완전한 개별 - 행동 - 관측 이력 $\tau_t$는 집계 상태 $(\mu_t, z_t)$에 대한 추가 정보를 제공하지 않는다고 주장한다. 이를 통해 정책은 기하급수적으로 증가하는 $\tau_t$가 아닌 $(s_t, o_{0:t})$에 조건부로 설정될 수 있다.
2. 재귀적 아키텍처: 이 가정 하에서 평균장은 과거 이력 공간이 아닌 고정된 개별 상태 공간 $S$에 대한 분포로 남는다. RSPG 는 공유 관측치 이력 $o_{0:t}$를 숨겨진 상태 $h_t$로 인코딩하기 위해 재귀적 신경망 (구체적으로 GRU) 을 활용한다.
   • 정책은 $\pi(a | s, h_t)$로 정의된다.
   • 핵심적으로, 숨겨진 상태 업데이트는 개별 상태 $s$와 무관하다. 모든 에이전트는 각 시간 단계에서 동일한 재귀적 임베딩을 공유하며, 이는 한 번 계산되어 브로드캐스트된다.
3. 하이브리드 업데이트 메커니즘: RSPG 는 HSM 의 분산 감소 이점을 유지한다.
   • 분석적 평균장 업데이트: 평균장 $\mu_{t+1}$의 진화는 알려진 전이 역학 $T$와 재귀적 상태에 조건부로 설정된 현재 정책을 사용하여 분석적으로 계산된다.
   • 몬테카를로 공통 잡음: 공통 잡음 $z_t$는 몬테카를로 롤아웃을 통해 샘플링된다.
   • 경사 계산: 경사는 기대 보상과 개별 상태 전이를 통해 전파되지만, 평균장 업데이트와 환경 보상 함수를 통해는 차단 (stop-gradient 를 통해) 되어 계산 가능성을 보장한다.

MFAX 프레임워크

연구를 촉진하기 위해 저자들은 MFG 를 위한 JAX 기반 프레임워크인 MFAX를 소개한다. 주요 기능은 다음과 같다.

• 이중 접근 모드: "화이트박스" (알려진 역학을 사용한 분석적 평균장 업데이트) 와 "블랙박스" (샘플 기반 업데이트) 환경을 모두 지원한다.
• 효율성: 큰 전이 행렬을 물리적으로 생성하지 않도록 함수 형태로 분석적 업데이트를 구현하여 메모리 복잡도를 $O(|S| + |S||A|)$로 줄인다.
• 기능: 공통 잡음, 부분 관측 가능성, 여러 초기 평균장 분포, 그리고 GPU 가속 병렬 처리를 지원한다.

주요 기여

1. 통합 분류 체계: 이 논문은 MFG 에 대한 DP, RL, HSM 을 통합적으로 분류하여 모델 지식과 분산에 관한 각 방법의 상충 관계를 명확히 한다.
2. 문제 공식화: 부분 관측 가능성 하에서 평균장을 업데이트하는 것과 구조적 방법의 계산 가능성을 유지하는 것이라는 이중적 도전을 강조하며, 공통 잡음이 있는 POMFG 를 공식적으로 정의한다.
3. RSPG 알고리즘: 최초의 과거 인식형 HSM 인 RSPG 의 도입이다. 이는 기억력이 없는 HSM 과 유사한 수렴 속도 (모델 없는 RL 보다 한 자릿수 빠름) 를 달성하면서도 과거 의존적이고 예측적인 행동 학습을 가능하게 한다.
4. MFAX 라이브러리: 분석적 업데이트와 샘플 기반 업데이트를 구분하고 이전에 시뮬레이션하기 어려웠던 복잡한 MFG 설정을 지원하는 다목적 JAX 기반 프레임워크를 공개한다.

실험 결과

저자들은 RSPG 를 기억력이 없는 HSM(SPQ) 과 모델 없는 RL 베이스라인 (IPPO, RIPPO, M-OMD) 과 비교하여 선형 2 차, 해변 바, 거시경제학의 세 가지 환경에서 평가한다.

• 수렴 속도: RSPG 는 RL 기반 방법보다 일관되게 낮은 착취성 (내쉬 균형에 대한 근접성 측정치) 으로 수렴한다. 선형 2 차 및 해변 바 환경에서 RSPG 와 SPG 는 RL 베이스라인보다 약 한 자릿수 빠르게 수렴한다.
• 과거 인식 행동: 잠재적 폐쇄 이벤트를 예측해야 하는 해변 바 환경에서 RSPG 는 잠재적 폐쇄 시간 전에 바에서 멀어지도록 학습한다. 기억력이 없는 정책 (SPG, IPPO) 은 이러한 예측적 행동을 보이지 못한다.
• 거시경제학: 이질적 에이전트 거시경제 모델에서 RSPG 에이전트들은 이자율과 임금을 조작하기 위해 에피소드 말기에 자산을 지출하도록 학습하며, 기억력이 없는 정책이 놓치는 예측적 행동을 보여준다. 이 환경에서 SPG 와 RSPG 는 유사한 착취성 수준을 달성하지만, RSPG 는 행동적으로 더 현실적인 균형을 식별한다.
• 성능: RSPG 는 역학을 블랙박스로 취급하여 고분산 업데이트를 겪는 RL 방법보다 우수한 성능을 보이며, HSM 의 저분산 이점을 유지한다.

중요성과 주장

이 논문은 RSPG 가 계산적 가능성과 분산 감소를 희생하지 않으면서 과거 인식 학습을 가능하게 함으로써 MFG 문헌의 중요한 간극을 메운다고 주장한다.

• 실질적 영향: 에이전트들이 공유된 공개 이력 (예: 시세, 감염 보고서) 에서 학습할 수 있게 함으로써, 에이전트들이 직접 관측이 아닌 추론된 집계 상태에 기반하여 행동하는 경제 및 사회 시스템의 더 현실적인 모델링을 가능하게 한다.
• 방법론적 진전: 이 연구는 공유 관측치의 이력으로 기억을 제한하는 것이 많은 응용 분야에서 충분한 근사치임을 보여줌으로써, 부분 관측 가능성 하에서도 평균장이 계산 가능하게 유지되도록 한다.
• 한계: 저자들은 겸손하게도 이러한 복잡한 설정에 대한 MFG 내쉬 균형에 대한 이론적 수렴 보장을 제공하지 않는다고 지적한다. 기존 보장은 부분 관측 가능성과 단조성 가정이 성립하지 않는다는 점에 의존하기 때문이다. 그러나 실험 결과는 모든 실험에서 안정적인 수렴을 보여준다.

이 논문은 MFAX 프레임워크를 지원하는 RSPG 가 공통 잡음이 있는 대규모 부분 관측 가능 다중 에이전트 시스템을 시뮬레이션하고 해결하기 위한 강력한 도구를 제공하며, 속도와 행동적 현실성 측면에서 기존 최첨단 방법들을 능가한다고 결론짓는다.