기술 요약: 모델 불일치 하에서의 정적 강건 평균장 게임 (Stationary Robust Mean-Field Games)

문제 정의

다중 에이전트 강화 학습(MARL)을 실제 환경에 배치하는 것은 모델 불일치(예: 모델링되지 않은 역학, 센서 결함)로 인해 시뮬레이터에서 훈련된 정책이 성능이 저하되는 "Sim-to-Real" 간극으로 인해 빈번히 저해됩니다. 다중 에이전트 시스템에서 이러한 과제는 전략적 상호작용으로 인해 더욱 악화됩니다. 즉, 한 에이전트의 역학에서 발생하는 작은 편차가 피드백 루프를 통해 내생적으로 증폭되어 심각한 성능 저하를 초래할 수 있습니다. 분포 강건성(Distributional Robustness)은 불확실성 집합 내의 최악의 전이 모델에 대해 최적화함으로써 원칙적인 접근법을 제공하지만, 표준 강건 MARL 프레임워크는 에이전트 수가 증가함에 따라 학습 복잡도가 기하급수적으로 증가하는 "다중 에이전시의 저주(curse of multi-agency)"를 겪습니다. 본 논문은 무한 시계(infinite-horizon), 정적(stationary) 설정에서 분포 강건성과 평균장 게임(MFG)의 확장성을 결합한 실행 가능한 프레임워크의 필요성을 다룹니다.

방법론

저자들은 **정적 분포 강건 평균장 게임(Robust MFGs)**을 위한 프레임워크를 제안합니다. 핵심 방법론은 다음과 같습니다:

1. 정식화: 이 문제는 전이 역학이 불확실한 무한 시계, 시계 불변(time-homogeneous) 게임으로 모델링됩니다. 불확실성은 가능한 전이 커널의 가족을 나타내는 집합값 맵 $\mathcal{P}(s, a, \mu)$를 통해 포착됩니다. 목표는 인구 분포, 대표 에이전트의 정책, 그리고 최악의 전이 커널으로 구성된 삼중항 $(\mu^\star, \pi^\star, p^\star)$인 **정적 강건 평균장 평형(Robust MFE)**을 찾는 것입니다. 이 평형은 다음을 만족해야 합니다:

   • 강건 최적성(Robust Optimality): $\pi^\star$는 주어진 $\mu^\star$에 대해 최악의 가치 함수를 최대화합니다.
   • 최악의 커널(Worst-Case Kernel): $p^\star$는 주어진 $\pi^\star$와 $\mu^\star$에 대해 가치 함수를 최소화합니다.
   • 일관성(Consistency): $\mu^\star$는 $\pi^\star$와 $p^\star$의 상호작용에 의해 유도된 불변 분포입니다.

2. 존재성 증명: 본 논문은 고정점 논증을 사용하여 Robust MFE의 존재성을 입증합니다. 후방 귀납법(backward induction)에 의존하는 유한 시계 연구와 달리, 본 연구는 강건 벨만 연산자의 수축 성질과 불확실성 대응 관계의 연속성을 활용하여 카쿠타니 고정점 정리(Kakutani's fixed-point theorem)를 통해 정적 평형의 존재성을 증명합니다.

3. 알고리즘 솔루션: 강건 최적 대응 반복(Robust Best-Response Iteration) 알고리즘이 개발되었습니다. 이 알고리즘은 다음 과정을 반복합니다:

   • 고정된 인구 분포 $\mu$에 대해 강건 마르코프 결정 과정(Robust MDP)을 풀어 최적의 강건 정책 $\pi_\mu$와 최악의 커널 $p_\mu$를 찾습니다.
   • 유도된 마르코프 커널 $K_\mu$를 사용하여 인구 분포 $\mu$를 업데이트합니다.
   • 수렴은 혼합 특성(mixing properties)과 인구 분포에 대한 커널의 립시츠 연속성을 결합한 수축적 레짐 가정(Assumption 5) 하에서 보장됩니다.

4. 유한 인구 근사: 본 논문은 무한 인구 Robust MFG와 유한 $N$-플레이어 강건 게임 사이의 연결 관계를 조사합니다.

   • 점근적 근사: 추가적인 안정화 가정(Assumption 2)이 충족될 경우, Robust MFE 정책이 $N \to \infty$일 때 $N$-플레이어 게임의 $\epsilon$-내쉬 평형(Nash equilibrium)이 됨을 보여줍니다. 본 논문은 이 가정 없이는 적대자가 경험적 분포를 조작할 수 있기 때문에 수렴이 실패할 수 있음을 보여주는 반례를 제시합니다.
   • 비점근적 경계: 유한 $N$에 대한 명시적인 오차 경계가 도출됩니다. 1단계 법칙 수렴(Assumption 3) 및 보상 정규성에 대한 정량적 가정 하에, 내쉬 갭(Nash gap)은 $O(N^{-1/2})$(또는 횔더 연속 보상의 경우 $O(N^{-\alpha/2})$)로 스케일링됨을 보여줍니다.

주요 기여

• Robust MFGs의 정식화: 본 논문은 무한 시계, 정적 분포 강건 MFG를 최초로 정식화하여, 표준 가정 하에서 Robust MFE를 정의하고 그 존재성을 증명합니다.
• 수렴 알고리즘: 정적 Robust MFGs를 위한 수렴 보장이 있는 최초의 구체적인 알고리즘을 제시합니다. 이 알고리즘은 문제를 인구 연산자의 고정점을 찾는 문제로 축소하여, 표준 강건 다중 에이전트 공식의 기하급수적 복잡성을 회피합니다.
• 근사 이론: Robust MFGs에 의한 유한 플레이어 강건 게임의 근사를 종합적으로 분석합니다. 비강건(non-robust) 사례와 달리 강건한 설정에서는 추가적인 안정화 가정이 필요함을 식별하고, 명시적인 비점근적 오차 경계를 도출합니다.
• 다중 에이전시의 저주 완화: 평균장 근사를 활용함으로써, 제안된 프레임워크는 모델 불확실성 하의 대규모 다중 에이전트 시스템에 대한 실행 가능한 솔루션을 제공하며 다중 에이전시의 저주를 우회합니다.

결과

• 이론적 보장: 정적 Robust MFE의 존재성이 증명되었습니다. 제안된 반복 알고리즘은 수축 가정 하에서 평형 인구 분포로 선형적으로 수렴함이 증명되었습니다.
• 근사율: 이론적 분석을 통해 Robust MFE 정책이 립시츠 조건 하에서 $O(N^{-1/2})$의 오차율을 갖는 $N$-플레이어 게임의 $\epsilon$-내쉬 평형을 유도함을 확인했습니다.
• 수치적 검증: 혼잡(congestion) 및 슬립(slip) 역학을 포함하는 합성 Robust MFG 환경에 대한 실험을 통해 이론적 발견을 검증했습니다.
  • 강건성: Robust MFE는 다양한 불확실성 반경 하에서 심각한 성능 저하를 겪는 비강건(non-robust) MFE에 비해 현저히 높은 안정성과 신뢰성을 보여줍니다.
  • 수렴성: 수치 결과는 플레이어 수 $N$이 증가함에 따라 내쉬 갭이 감소함을 확인하며, 로그 스케일에서의 수렴 기울기는 이론적인 $1/2$ 비율과 일치합니다.

의의 및 주장

본 논문은 모델 불일치 하에서 작동하는 대규모 인구 다중 에이전트 시스템을 위한 실행 가능한 토대를 제공한다고 주장합니다. 분포 강건성을 평균장 프레임워크에 통합함으로써, 표준 강건 다중 에이전트 공식의 계산적 불가능성에 빠지지 않고 대규모 MARL의 Sim-to-Real 간극을 메울 수 있는 원칙적인 방법을 제시합니다. 본 연구는 강건한 평형 개념이 무한 인구 극한에서도 잘 정의되며, 특정 안정성 조건이 충족되는 한 이러한 솔루션이 유한 시스템에 효과적인 근사를 제공함을 입증합니다. 이 설정에 대한 최초의 수렴 알고리즘 개발은 실질적인 강건 다중 에이전트 전략 배치를 향한 중요한 진전입니다.