The Yokai Learning Environment: Tracking Beliefs Over Space and Time

이 논문은 기존 한아비 (Hanabi) 환경의 한계를 극복하고 제로샷 조율 (ZSC) 연구의 새로운 표준이 될 수 있도록, 불확실한 힌트와 이동하는 카드를 추적하며 공유된 신념을 구축해야 하는 새로운 다중 에이전트 강화학습 벤치마크인 '요카이 학습 환경 (YLE)'을 제안하고 기존 최첨단 방법론들의 한계를 입증합니다.

핵심

1. 문제: "너무 잘하는 AI"와 지루한 시험

과거에는 **'하나비 (Hanabi)'**라는 카드 게임이 AI 협력 능력을 테스트하는 표준 시험지로 쓰였습니다.

• 비유: 마치 초등학교 1 학년 수준의 수학 문제를 AI 에게 계속 내는 것과 같습니다.
• 현실: 최근 AI 들은 이 문제를 거의 완벽하게 풀어서, "이제 이걸로 더 이상 발전 정도를 재기 어렵다"는 문제가 생겼습니다. AI 들이 서로 다른 버전으로 훈련되어도 (다른 '씨앗'으로 키웠어도) 서로 알아서 완벽하게 협력해버렸기 때문입니다.

2. 해결책: '요카이 (Yokai)'라는 새로운 미스터리 게임

연구자들은 AI 의 진정한 협력 능력을 측정할 수 있는 **새로운 게임 '요카이 (Yokai)'**를 만들었습니다. 이 게임은 기존 하나비와 완전히 다른 난이도를 자랑합니다.

요카이 게임의 핵심 규칙 (비유 포함):

• 눈가리개와 이동하는 카드:
  • 하나비: 내 손에 든 카드는 내가 다 볼 수 있습니다.
  • 요카이: 카드는 테이블 위에 숨겨져 있고, 카드들이 계속 움직입니다. 내가 한 번 본 카드는 나중에 다른 곳으로 이동할 수 있습니다.
  • 비유: 친구와 함께 '숨은그림찾기'를 하는데, 친구는 내가 보는 그림을 볼 수 없고, 그림 속 캐릭터들은 계속 제자리에서 뛰어다닙니다. 내가 "저기 저게 빨간색이야!"라고 말해도, 그 캐릭터가 이미 다른 곳으로 이동했을지 모릅니다.
• 모호한 힌트:
  • 하나비: 힌트는 100% 진실입니다. "이 카드가 빨간색이야"라고 하면 무조건 빨간색입니다.
  • 요카이: 힌트가 거짓일 수도 있고, 여러 색을 동시에 가리킬 수도 있습니다.
  • 비유: 친구가 "저건 빨간색이야"라고 말했는데, 사실은 "빨간색이면서 동시에 파란색일 수도 있는" 모호한 상황입니다. 친구가 농담을 한 건지, 착각한 건지, 아니면 내가 오해한 건지 추론해야 합니다.
• 위험한 조기 종료:
  • 게임을 빨리 끝내면 점수가 훨씬 높지만, 아직 정보가 부족할 때 끝내면 0 점이 됩니다.
  • 비유: "우리가 다 알았으니 지금 바로 끝내자!"라고 말해야 하는데, 아직 친구가 무엇을 알고 있는지 확신이 없으면 큰 실수가 됩니다.

3. 실험 결과: 기존 AI 들이 당황하다

연구자들은 하나비에서 최강자였던 최신 AI 기술들 (High-Entropy IPPO, Other-Play, Off-Belief Learning 등) 을 요카이 게임에 투입했습니다. 결과는 충격적이었습니다.

• 결과: 하나비에서는 만점을 받던 AI 들이 요카이에서는 서로 통하지 않았습니다.
• 현상:
  • 자기 자신과 놀 때는 잘함 (SP): 같은 AI 가 자기 자신과 놀 때는 잘합니다.
  • 다른 AI 와 놀 때는 망함 (XP): 훈련된 AI 가 다른 버전의 AI 와 짝을 이루면 완전히 엉망이 됩니다.
  • 이유: AI 들이 서로의 '생각'을 읽는 능력 (심리 이론, Theory of Mind) 이 부족했기 때문입니다. 상대방이 무엇을 알고 있는지, 상대방이 어떤 힌트를 어떻게 해석할지 추론하지 못했습니다.

4. 핵심 통찰: "하나비에서 잘한다고 해서 요카이에서도 잘하는 건 아니다"

이 연구는 중요한 사실을 밝혀냈습니다.

"어떤 게임에서 AI 가 잘한다고 해서, 모든 협력 상황에서 잘하는 것은 아니다."

기존의 AI 기술들은 하나비라는 '편안한 환경'에 너무 맞춰져 있었습니다. 요카이처럼 정보가 불완전하고, 카드가 움직이며, 힌트가 모호한 실제와 더 가까운 복잡한 상황에서는 AI 들이 여전히 서로의 마음을 읽지 못해 실패합니다.

5. 결론: AI 협력의 새로운 도전

이 논문은 **'요카이 학습 환경 (YLE)'**이라는 새로운 도구를 공개했습니다.

• 이 환경은 AI 가 움직이는 정보를 기억하고, 모호한 말을 해석하며, 상대방의 생각을 추론해야만 이길 수 있게 설계되었습니다.
• 이는 AI 가 인간과 협력할 때 필요한 **'진짜 팀워크'**를 기르기 위한 새로운 훈련장이 될 것입니다.

한 줄 요약:

"AI 가 쉬운 시험 (하나비) 에서는 천재였지만, 새로운 미스터리 게임 (요카이) 에서는 서로의 마음을 읽지 못해 엉망이 되었습니다. 이제 AI 는 진짜 팀워크를 배우기 위해 더 어려운 훈련을 시작해야 합니다."

기술 요약

이 논문은 공조적 인공지능 (Cooperative AI) 및 제로샷 조율 (Zero-Shot Coordination, ZSC) 분야의 새로운 벤치마크인 **'요카이 학습 환경 (Y¯okai Learning Environment, YLE)'**을 소개하고, 기존 ZSC 방법론들의 한계를 실험적으로 규명한 연구입니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기

• 현황: 협력적 AI 연구의 표준 벤치마크인 '하나비 (Hanabi)' 학습 환경 (HLE) 은 최근 알고리즘들이 시드 간 교차 플레이 (Cross-play) 에서 거의 완벽한 성능을 달성함에 따라, 더 이상의 알고리즘 발전을 측정하는 데 한계에 도달했습니다.
• 문제점: 하나비 환경에서는 힌트가 항상 진실이며, 카드가 손에 고정되어 있어 신념 (Belief) 추론이 상대적으로 단순합니다. 반면, 실제 인간-AI 협력이나 복잡한 다중 에이전트 환경에서는 동적으로 이동하는 객체, 모호한 힌트, 그리고 불확실성 하에서의 조기 종료 결정과 같은 요소들이 존재합니다.
• 목표: 기존 벤치마크의 한계를 극복하고, 에이전트가 파트너의 신념을 추적하고 공유 지식을 형성하는 능력을 평가할 수 있는 새로운 환경이 필요합니다.

2. 제안된 방법론: 요카이 학습 환경 (YLE)

저자들은 협력적 카드 게임 '요카이 (Y¯okai)'를 기반으로 한 오픈소스 멀티에이전트 강화학습 (RL) 벤치마크인 YLE을 제안했습니다.

• 게임 규칙 및 특징:
  • 동적 공간 추적: 플레이어는 카드의 색상을 숨겨진 상태에서 추론해야 하며, 카드는 게임 중 이동합니다. 이는 에이전트가 카드의 위치와 색상에 대한 신념을 공간적, 시간적으로 추적해야 함을 의미합니다.
  • 모호한 힌트 (Ambiguous Hints): 하나비와 달리 힌트는 여러 색상을 포함할 수 있으며, 반드시 진실일 필요도 없습니다. 에이전트는 맥락과 과거 행동을 바탕으로 힌트의 의미를 추론해야 합니다.
  • 조기 종료 (Early Termination) 딜레마: 게임은 힌트 카드를 모두 사용한 후 종료될 수 있지만, 조기에 게임을 종료하면 더 높은 보상을 받습니다. 이는 불완전한 정보 하에서도 얼마나 정확하게 공유 지식을 형성했는지에 대한 고위험 - 고수익의 의사결정을 요구합니다.
  • 부분 관측성 (Partial Observability): 각 플레이어는 전체 보드를 볼 수 없으며, 자신의 턴에 2 장의 카드만 관찰할 수 있습니다.
• 기술적 구현:
  • Dec-POMDP 모델링: YLE 는 분산 부분 관측 마르코프 의사결정 과정 (Dec-POMDP) 으로 모델링되었습니다.
  • 그래프 기반 표현: 카드와 힌트의 관계를 그래프 (인접 행렬) 로 표현하여 JAX 를 기반으로 GPU 에서 초당 수십만 스텝 (SPS) 의 효율적인 학습이 가능하도록 구현되었습니다.
  • 메트릭: 기존 보상 (Return) 외에도 성공적인 조기 종료 (Successful Early Ending, SEE) 비율을 도입하여 에이전트의 신념 추론 능력과 타이밍 판단력을 진단합니다.

3. 주요 실험 및 결과

하나비에서 최상의 성능을 보이는 주요 ZSC 알고리즘 (High-Entropy IPPO, Other-Play (OP), Off-Belief Learning (OBL)) 을 YLE 에 적용하여 평가했습니다.

• SP-XP 간극 (Self-Play vs. Cross-Play Gap):
  • 하나비에서는 시드 간 교차 플레이 성능이 매우 높았으나, YLE 에서는 모든 알고리즘이 지속적인 SP-XP 간극을 보였습니다. 즉, 독립적으로 학습된 에이전트들이 새로운 파트너와 협력할 때 성능이 급격히 저하되었습니다.
• 알고리즘 순위의 반전:
  • 하나비에서는 HE (High-Entropy) > OBL > OP 순서로 성능이 좋았으나, YLE 에서는 OP > HE > OBL 순서로 반전되었습니다. 이는 특정 벤치마크에 최적화된 알고리즘이 다른 구조적 복잡성을 가진 환경에서는 실패할 수 있음을 시사합니다.
• 신념 표현의 결여:
  • 선형 프로브 (Linear Probe) 실험 결과, 교차 플레이 상황에서 에이전트의 은닉 상태 (Hidden State) 에서 카드 색상 정보가 선형적으로 복원되는 정확도가 크게 떨어졌습니다. 이는 파트너가 바뀔 때 내부 신념 모델이 일관성을 유지하지 못함을 의미합니다.
• 메모리 및 복잡성의 영향:
  • 완벽한 기억 (Perfect Memory) 설정에서도 성능 저하가 발생했으며, 불완전한 기억 (Imperfect Memory) 설정이나 플레이어 수 증가 (3 명, 4 명) 시 성능은 인간 수준에 훨씬 미치지 못했습니다.
  • OBL 의 한계: YLE 의 모호한 힌트와 긴 턴 구조로 인해 OBL 의 가상 롤아웃 (Fictitious Rollout) 비용이 크게 증가하여 비효율적이었습니다.

4. 주요 기여

1. 새로운 벤치마크 (YLE) 도입: 공간적 이동, 모호한 의사소통, 고위험 조기 종료 결정을 요구하는 YLE 를 오픈소스 (JAX 기반) 로 공개하여 ZSC 연구의 새로운 표준을 제시했습니다.
2. 기존 방법론의 한계 규명: 하나비에서 성공적인 ZSC 방법론들이 YLE 에서는 실패함을 보여주었으며, 이는 단일 벤치마크에 대한 과적합 (Overfitting) 위험과 알고리즘 평가의 다양성 필요성을 강조합니다.
3. 이론적 통찰: ZSC 의 핵심 과제가 단순한 정책 호환성이 아니라, 동적 환경에서의 공유 신념 (Common Ground) 형성과 유지에 있음을 입증했습니다. 특히, 대칭성 (Symmetry) 처리가 하나비보다 YLE 에서 훨씬 복잡하며, 부분적인 대칭성만 고려할 경우 잔류적인 관습 (Conventions) 이 남을 수 있음을 보였습니다.

5. 의의 및 결론

이 논문은 협력적 AI 연구가 하나비라는 단일 벤치마크의 포화 상태에서 벗어나야 함을 강력히 주장합니다. YLE 는 에이전트가 **이론적 마음 (Theory of Mind)**을 통해 파트너의 신념을 추론하고, 불확실한 정보 하에서 공유 지식을 구축하며, 위험을 감수하고 최적의 시점에 결정을 내리는 능력을 평가하는 강력한 도구입니다.

결과적으로, YLE 는 기존 ZSC 알고리즘들이 가진 구조적 한계를 드러냈으며, 향후 인간-AI 협력 및 복잡한 다중 에이전트 시스템을 개발하기 위해서는 다양한 환경에서의 견고한 조율 능력을 갖춘 새로운 알고리즘 개발이 필요함을 시사합니다.