Theory of Mind Guided Strategy Adaptation for Zero-Shot Coordination

1. 연구 배경 및 문제 정의 (Problem)

배경:
다중 에이전트 강화학습 (MARL) 의 핵심 과제 중 하나는 학습 시 보지 못한 새로운 파트너 (teammate) 와도 **영감각 (Zero-Shot)**으로 효과적으로 협력하는 것입니다. 기존 접근법인 '인구 기반 (Population-based)' 방법은 다양한 파트너 에이전트 풀을 생성한 후, 이 전체 풀에 대해 최적의 대응 전략 (Best-Response, BR) 을 학습하는 두 단계 방식을 따릅니다.

문제점:
기존의 단일 BR 에이전트 접근법은 다음과 같은 한계를 가집니다.

• 정적 일반화 (Static Generalization): 다양한 파트너에 대응하기 위해 학습된 단일 정책은 종종 모든 파트너에 대해 '그럭저럭' 작동하는 정적이며 일반화된 (generalist) 정책에 수렴합니다.
• 적응성 부재: 이는 새로운 파트너의 구체적인 의도나 행동을 실시간으로 추론하여 전략을 동적으로 수정하는 '적응형 (adaptive)' 정책 학습을 방해합니다.
• 국소 최적해: 다양한 파트너 풀이 커질수록 단일 정책을 학습하는 것은 더 어려워지며, 에이전트는 파트너의 다양성을 활용하지 못하고 국소 최적해에 갇히게 됩니다.

2. 제안 방법론: TBS (Theory-of-Mind-based Best Response Selection)

저자들은 TBS라는 새로운 프레임워크를 제안하여, 파트너의 의도를 추론하고 가장 적합한 정책을 동적으로 선택하는 적응형 에이전트를 개발했습니다.

핵심 구성 요소

1. 다양한 파트너 풀 구성 (Partner Pool Construction):
   • 무작위 보상 형성 (Random Reward Shaping) 등을 사용하여 다양한 전략을 가진 파트너 에이전트 풀을 생성합니다.
2. 전문가 BR 정책 앙상블 (Specialist BR Policy Ensemble):
   • 전체 풀에 대한 단일 정책을 학습하는 대신, 파트너들을 행동적 유사성에 따라 **클러스터 (Cluster)**로 그룹화합니다.
   • 각 클러스터마다 해당 그룹의 파트너와 협력하도록 특화된 전문가 (Specialist) BR 정책을 학습합니다.
   • 자기 조정 스펙트럼 클러스터링 (Self-tuning Spectral Clustering): 파트너 간의 크로스 플레이 (Cross-play) 성능을 기반으로 유사성 행렬을 생성하고, 이를 통해 자동으로 클러스터 수 ($k$) 를 결정하여 전략 군집을 형성합니다.
3. 적응형 선택 모듈 (Adaptive Selection Module - ToM):
   • 마음 이론 (Theory of Mind, ToM) 활용: 관찰된 파트너의 행동을 바탕으로 파트너의 고수준 의도 (Intentions) 를 추론합니다.
   • 글로벌 및 클러스터별 ToM 모델:
     • ToM_global: 모든 클러스터에 걸친 파트너의 의도를 추론.
     • ToM_cluster_i: 각 클러스터 내 파트너의 의도를 추론.
   • 실시간 선택: 테스트 시, ToM_global 의 출력과 각 ToM_cluster 의 출력 간의 발산도 (KL Divergence) 를 계산하여, 가장 유사한 클러스터를 식별하고 해당 클러스터에 대응하는 전문가 BR 정책을 선택하여 실행합니다.

3. 주요 기여 (Key Contributions)

1. 자기 조정 스펙트럼 클러스터링을 통한 전략 군집 자동 식별:
   • 다양한 파트너 풀 내에서 크로스 플레이 성능을 기반으로 행동적으로 유사한 전략 군집을 자동으로 발견하고, 각 군집에 특화된 BR 정책을 학습합니다.
2. 마음 이론 기반 적응형 선택 모듈:
   • 파트너의 의도를 추론하고, 앙상블 내의 가장 적합한 BR 정책을 동적으로 선택하는 메커니즘을 도입했습니다.
3. 강건한 영감각 조정 (Robust ZSC) 증명:
   • 'Overcooked' 환경에서 TBS 가 단일 BR 베이스라인보다 우수한 적응성과 일반화 능력을 보임을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

실험 환경:

• Overcooked-AI: 두 에이전트가 양파 수프를 만들어 배달하는 협력 게임.
• 조건: 7 가지 다른 레이아웃 (Fully Observable 및 Partially Observable) 에서 평가.
• 메트릭: 교차 플레이 (Cross-play, XP) 및 알고리즘 간 교차 플레이 (Inter-XP) 성능.

주요 결과:

• 성능 우위: TBS 는 Fully Observable 및 Partially Observable 환경 모두에서 기존 단일 Best-Response (BR) 베이스라인을 능가하거나 동등한 성능을 보였습니다. 특히 파트너 풀의 크기가 커질수록 TBS 의 성능 향상 폭이 더 컸습니다.
• 적응성: BR 에이전트는 파트너 풀이 커질수록 정적 정책에 수렴하여 성능이 정체되는 반면, TBS 는 파트너 풀의 다양성을 효과적으로 활용하여 적응 능력을 유지했습니다.
• 클러스터링의 중요성: 클러스터링 단계나 ToM 기반 선택 모듈을 제거한 Ablation Study 에서 성능이 크게 저하되어, 두 요소가 모두 필수적임을 확인했습니다.
• 개념 집합 (Concept Set) 의 민감도: ToM 이 학습하는 의도 (Concept) 의 세밀함 (Granularity) 이 성능에 영향을 미치지만, TBS 는 다양한 수준의 개념 집합에 대해 비교적 강건함을 보였습니다. 다만, 고수준 의도 기반 개념이 저수준 행동 기반 개념보다 더 나은 결과를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 다중 에이전트 협력에서 단일 정책의 한계를 극복하고 적응형 협력을 가능하게 하는 새로운 패러다임을 제시합니다.

• 이론적 통찰: 마음 이론 (ToM) 을 명시적으로 활용하여 파트너의 의도를 추론하고, 이를 기반으로 전략을 동적으로 전환하는 메커니즘이 영감각 조정의 핵심임을 입증했습니다.
• 실용적 가치: 실제 세계의 불확실한 환경에서 새로운 파트너와 즉시 협력해야 하는 로봇 시스템이나 AI 에이전트 개발에 중요한 기여를 합니다.
• 향후 과제: 이론적 일반화 분석의 부재와 개념 집합의 구체화 (Specification) 의존성은 향후 연구 과제로 남겼습니다.

요약하자면, 이 연구는 **"다양한 파트너 풀을 단순히 평균화하는 것이 아니라, 마음 이론을 통해 파트너를 분류하고 가장 적합한 전문가 정책을 선택함으로써 영감각 조정의 성능을 극대화한다"**는 것을 증명했습니다.