Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

기술 요약: 타인을 꿈꾸기 – 다중 에이전트 강화 학습을 위한 월드 모델 내 잠재적 팀원 모델링

문제 정의
협력적 다중 에이전트 강화 학습(MARL)에서 에이전트는 자신의 내부 정책과 의도를 직접 관찰할 수 없는 파트너와 협력해야 합니다. 월드 모델, 특히 Dreamer 계열은 압축된 잠재 역학을 학습함으로써 단일 에이전트 설정에서 강력한 일반화와 샘플 효율성을 입증해 왔으나, MARL에 대한 적용은 현재 제한적입니다. 핵심 과제는 팀원의 행동이 비정상성(non-stationarity)과 부분 관측 가능한 구조를 도입하며, 이것이 일반적으로 차별화되지 않은 노이즈로 모델에 압축된다는 점입니다. 이는 에이전트가 파트너의 내부 관측값이나 정책에 접근할 수 없는 상태에서 파트너의 가변성을 효과적으로 예측하거나 보이지 않는 협력자에게 적응하는 것을 방해합니다. 또한, 표준적인 협력 MARL 접근 방식은 중앙 집중식 훈련(privileged information 활용)이나 명시적인 통신 채널과 같은 단순화된 방식에 의존하는 경우가 많으며, 이는 현실적인 인간-AI 협업 시나리오에서는 불가능합니다.

방법론
본 논문은 "팀원 조건부 월드 모델(Teammate-Conditioned World Model)"을 제안하며, 팀원을 외생적 노이즈가 아닌 에이전트의 월드 모델 내에서 구조화되고 학습 가능한 구성 요소로 재정의합니다. 방법론은 다음과 같은 건축적 및 목적 함수 혁신을 포함하는 Dreamer 스타일의 순환 상태 공간 모델(RSSM)을 기반으로 합니다:

• 요인 분해된 잠재 상태 (Factorized Latent State): 확률적 잠재 상태 $z_t$는 두 개의 구별된 구성 요소로 분해됩니다: $z_t = [z^{env}_t, z^{team}_t]$.
  • $z^{env}_t$는 물리적 환경의 결정론적 및 확률적 역학을 포착합니다.
  • $z^{team}_t$는 추론된 팀원의 행동, 성격 및 의도를 인코딩합니다.
• 아키텍처:
  • 인코더 (Encoder): 제어되는 에이전트의 관측값 $x_t$와 행동 $a^0_t$를 소비하여 결정론적 은닉 상태 $h_t$를 생성합니다.
  • 디코더 (Decoders): 두 개의 디코더가 요인 분해된 잠재 상태에서 작동합니다. 관측 디코더는 $z^{env}_t$로부터 환경 상태 $\hat{x}_t$를 재구성합니다. 별도의 "팀원 정책 디코더"는 $z^{team}_t$를 팀원의 다음 행동에 대한 예측 분포 $\hat{\pi}^j_t(\cdot)$로 매핑합니다.
  • 액터-크리틱 컨디셔닝 (Actor-Critic Conditioning): 상상(imagination) 단계 동안, 은닉 상태와 샘플링된 팀원 잠재 변수는 액터 및 크리틱 헤드를 조건화하여, 에이전트가 다양한 파트너 행동을 고려한 정책을 계획할 수 있도록 합니다.
• 마음 이론(ToM) 목적 함수: 팀원 행동의 추론을 감독하기 위해 전용 손실 함수 $\mathcal{L}_{ToM}$이 도입됩니다. 이 목적 함수는 경험적 팀원 행동 분포와 모델의 예측 사이의 보정된 교차 엔트로피를 최소화하며, 추론된 팀원 잠재 변수의 시간적 일관성을 보장하기 위해 KL 정규화 항을 추가합니다:
  $$\mathcal{L}_{ToM} = \mathbb{E}_t \left[ -\sum_a \pi^j_t(a) \log \hat{\pi}^j_t(a) \right] + \alpha \text{KL}\left( q(z^{team}_t | h_t) \parallel p(z^{team}_t | h_{t-1}, a_{t-1}) \right)$$
  이는 가중치 하이퍼파라미터 $\lambda_{ToM}$과 함께 표준 Dreamer 훈련 목적 함수에 추가됩니다.

주요 기여

1. 개념적 프레임워크: 본 논문은 월드 모델이 단순히 환경의 역학뿐만 아니라 사회적 행동의 시뮬레이터 역할을 하는 MARL을 위한 새로운 관점을 제시합니다. 저자들은 사회적 역학을 노이즈가 아닌 구조화된 잠재 프로세스로 모델링할 것을 권고합니다.
2. 새로운 아키텍처: 환경 잠재 변수와 팀원 잠재 변수를 명시적으로 분리한 특정 RSSM 아키텍처를 도입하며, 부분적인 궤적으로부터 파트너의 의도를 추론하기 위한 ToM 헤드를 결합합니다.
3. 훈련 프로토콜: 공유된 상상, 중앙 집중식 정책, 또는 에이전트 간의 명시적인 통신 채널 없이도 제로샷(zero-shot) 및 퓨샷(few-shot) 협력을 가능하게 하는 훈련 절차를 설명합니다.
4. 평가 제안: 일반화, 샘플 효율성, 그리고 다양한 파트너 인구 집단 및 사회적 맥락에서의 강건성을 평가하기 위해 Multi-Agent Particle Environments, Overcooked-AI, Melting Pot을 활용한 엄격한 평가 프로토콜을 제안합니다.

결과
본 논문은 명시적으로 이것이 논의를 촉진하기 위한 제안이며 경험적 결과를 보고하지 않음을 밝힙니다. 따라서 실험적 결과, 성능 지표 또는 비교 벤치마크는 제시되지 않았습니다. 기여는 순수하게 구조적 및 이론적이며, 이러한 시스템이 어떻게 작동해야 하고 어떻게 평가되어야 하는지에 대한 개요를 제공합니다.

의의 및 주장
논문은 이 연구를 파트너가 부분적으로 관측 가능하고 이질적인 "인간 친화적 AI"를 향한 단계로 위치시킵니다. 저자들은 팀원을 노이즈가 아닌 구조화된 잠재 프로세스로 취급함으로써 다음과 같은 경로를 제공한다고 주장합니다:

• 비정상성 감소: 사회적 역학을 물리적 역학으로부터 분리함으로써 협력적 환경에서의 학습을 안정화할 수 있습니다.
• 협력 개선: 보이지 않는 협력자에게 적응하고(제로샷), 제한된 상호작용을 통해 빠르게 개선(퓨샷)할 수 있게 합니다.
• 해석 가능성: 파트너의 성격과 의도를 명시적으로 인코딩하는 잠재 표현을 제공합니다.

저자들이 설정한 궁극적인 의의는 월드 모델이 단순히 "그들이 거주하는 세계를 꿈꾸는" 도구에서 "그들과 함께하는 마음을 꿈꾸는" 도구로 진화하여, 더욱 강력하고 적응 가능한 인간-AI 협업을 촉진할 수 있다는 점입니다.