Mastering Baghchal by Self-Play with Deep Reinforcement Learning
본 논문은 비대칭 네팔 보드게임인 바그찰(Baghchal)을 숙달하기 위해 네 가지 심층 강화 학습 알고리즘(DQN, REINFORCE, PPO, MuZero)을 자기 대국(self-play)을 통해 체계적으로 평가하며, MuZero가 모델 기반 계획을 통해 가장 높은 승률을 달성하는 반면 PPO는 성능과 계산 효율성 사이의 가장 실용적인 균형을 제공한다는 점을 밝히고 있습니다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
수십 년 동안 인공지능 분야는 기계를 생각하는 법을 가르치기 위한 시험대로 게임에 집착해 왔습니다. 그 목표는 단순히 체스나 바둑에서 이기는 것이 아니라, 에이전트가 인간 교사로부터 규칙을 배우지 않고도 어떻게 복잡한 전략을 처음부터 학습할 수 있는지를 이해하는 것입니다. 강화 학습이라고 알려진 이 과정은 디지털 형태의 시행착오와 같이 작동합니다. 에이전트는 게임을 플레이하며 좋은 수에는 보상을 받고 나쁜 수에는 벌칙을 받으며, 미래의 보상을 극대화하기 위해 자신의 내부 로직을 서서히 조정합니다. 이 접근 방식은 두 플레이어가 동일한 기물과 목표를 가진 대칭적인 게임에서는 숙달되었지만, 플레이어들이 근본적으로 다를 때는 훨씬 더 가파른 고비에 직면합니다. 이러한 비대칭적 시나리오에서는 한쪽은 소수의 강력한 유닛을 보유하고 다른 쪽은 대규모의 느린 군대를 지휘할 수 있으며, 이는 각 플레이어에게 승리로 가는 경로가 완전히 다르게 보이는 퍼즐을 만들어냅니다. 기계가 이러한 불균형한 경기장을 어떻게 탐색하는지 이해하는 것은 더 나은 게임 봇을 만드는 것뿐만 아니라, 현실 세계의 무질서하고 불평등한 실재를 다룰 수 있는 인공지능을 개발하는 데에도 매우 중요합니다.
최근 연구에서 네팔 카트만두 대학교의 연구진은 이러한 비대칭성을 완벽하게 구현하는 자신들의 문화적 전통 보드게임인 바그찰(Baghchal)에 주목했습니다. 5x5 격자 위에서 진행되는 이 게임은 네 마리의 민첩한 호랑이와 스무 마리의 염소를 맞붙입니다. 호랑이는 먼저 움직이며 염소를 뛰어넘어 잡아먹을 수 있고, 다섯 마리의 염소를 판에서 제거하는 것을 목표로 승리합니다. 초반 단계에서 하나씩 판 위에 놓이게 되는 염소들은 협력하여 호랑이를 둘러싸고 모든 움직임을 차단해야 합니다. 만약 염소들이 호랑이를 움직이지 못하도록 가두는 데 성공하면 염소가 승리합니다. 이 게임은 양측이 항상 전체 판을 볼 수 있는 완전 정보 게임이지만, 핵심적인 도전 과제는 극명하게 다른 역할에 있습니다. 호랑이는 사냥을 위한 공격적이고 단기적인 전술이 필요한 반면, 염소는 방어벽을 구축하기 위한 장기적이고 협동적인 계획이 필요합니다. 이러한 전략적 깊이에도 불구하고, 바그찰은 주로 서구 또는 동아시아 게임에 집중해 온 현대 인공지능 연구자들로부터 거의 주목받지 못했습니다.
기계가 이 독특한 도전을 어떻게 처리하는지 탐구하기 위해, 연구팀은 네 가지 유형의 학습 알고리즘을 훈련시켜 게임의 양쪽 역할을 모두 스스로 수행하게 했습니다. 그들은 에이전트에게 특정 전략을 프로그래밍하지 않았습니다. 대신, 알고리즘이 자신과 똑같은 복사본들을 상대로 수천 번의 게임을 치르며 결과로부터 학습하도록 했습니다. 연구진은 다양한 학습 스타일을 테스트했습니다: 특정 보드 위치의 가치를 암기하는 방식으로 학습하는 것, 전체 게임 시퀀스를 추측하고 확인하며 학습하는 것, 학습과 안정성 사이의 균형을 맞추는 것, 그리고 미래의 움직임을 상상하기 위해 게임의 내부 모델을 구축하는 방식입니다. 각 알고리즘이 호랑이와 염소 역할을 모두 수행하게 함으로써, 연구진은 단일 학습 방법이 완전히 다른 두 가지 사고방식에 적응할 수 있는지, 아니면 한 역할을 마스터하는 데는 성공하면서 다른 역할에서는 실패하는지를 확인할 수 있었습니다.
결과는 이 기계들이 학습하는 방식에 있어 명확한 계층 구조가 있음을 드러냈습니다. 가장 성공적인 알고리즘은 게임의 내부 모델을 구축하여 움직임을 취하기 전에 미래의 시나리오를 시뮬레이션할 수 있는 것이었습니다. 모델 기반 계획(model-based planning)이라고 알려진 이 접근 방식은 에이전트가 몇 수 앞을 내다볼 수 있게 해주었으며, 이는 염소들이 포위망을 신중하게 계획해야 하는 데 있어 필수적인 기술이었습니다. 시뮬레이션에서 이 고급 에이전트는 호랑이로 플레이할 때 86%의 승률을, 염소로 플레이할 때 62%의 승률을 기록했습니다. 이 에이전트는 나중에 더 나은 함정을 설치하기 위해 일시적으로 염소 한 마리를 놓아주는 것과 같은 희생을 학습했으며, 호랑이를 저지하기 위해 필요한 장기적인 협동 능력에서도 탁월함을 보였습니다. 연구진은 이 '앞을 내다보는 능력'이 승리에 있어 단 하나의 가장 큰 요인임을 발견했는데, 이는 에이전트가 자신의 행동이 가져올 결과를 훨씬 먼 미래까지 볼 수 있게 해주었기 때문입니다.
그러나 이 연구는 실질적인 트레이드오프(trade-off) 또한 강조했습니다. 모델 기반 에이전트가 가장 강력한 플레이어였지만, 동시에 가장 까다로운 요구를 하는 모델이기도 했습니다. 이 모델은 정점에 도달하기 위해 상당한 컴퓨터 연산 능력과 시간을 필요로 했습니다. 최고 성능에 도달하기까지 거의 25시간의 연속적인 프로세싱이 소요되었으며, 게임 도중 결정을 내리는 속도도 더 느렸습니다. 반면, 탐색과 안정성의 균형을 맞추며 학습하는 또 다른 알고리즘은 매력적인 절충안을 제시했습니다. 이 알고리즘은 호랑이로서 73%, 염소로서 58%라는 높은 승률을 달성하면서도, 훨씬 적은 계산 노력과 절반 미만의 훈련 시간만으로 이를 해냈습니다. 이는 자원이 제한된 많은 실제 응용 분야에서, 약간 덜 강력하더라도 훨씬 효율적인 시스템이 더 나은 선택이 될 수 있음을 시사합니다.
연구진은 또한 게임의 본질 자체가 학습 과정을 어떻게 형성하는지도 밝혀냈습니다. 호랑이 역할은 모든 알고리즘이 마스터하기 더 쉬웠는데, 그 이유는 보상이 즉각적이고 명확했기 때문입니다. 염소를 잡는 것은 즉각적인 상승 효과를 주었습니다. 이로 인해 학습 과정이 안정적이고 빨랐습니다. 그러나 염소 역할은 훨씬 어려웠습니다. 염소는 호랑이를 가두는 데 성공했을 때만 보상을 받는데, 이는 초기 설정 이후 여러 수 뒤에 일어날 수 있는 일입니다. 이러한 지연은 알고리즘이 어떤 초기 움직임이 도움이 되었고 어떤 것이 도움이 되지 않았는지 파악하는 것을 어렵게 만들었습니다. 결과적으로, 즉각적인 피드백에 의존하는 알고리즘들은 염소 역할에서 더 고전했으며, 종종 20개의 기물을 하나의 응집된 방어 체계로 조율하는 데 실패했습니다. 이 연구는 기계가 비대칭 게임을 플레이할 수 있지만, 역할의 난이도는 게임이 성공에 대한 피드백을 얼마나 빨리 제공하느냐에 크게 달려 있다는 것을 보여주었습니다.
궁극적으로 이 연구는 현대 인공지능이 인간의 지시 없이도 복잡하고 불균형한 경기장을 탐색할 수 있음을 입증합니다. 이 연구는 앞을 내다보는 능력이 바그찰과 같이 승리를 위한 경로가 당장의 다음 수 너머를 생각해야 하는 게임을 마스터하는 핵심임을 확인해 줍니다. 가장 강력한 시스템은 상당한 컴퓨팅 자원을 필요로 하지만, 이번 연구 결과는 효율적인 알고리즘도 여전히 높은 수준의 숙련도를 달랄 수 있음을 시사하며, 이는 고급 게임 플레이 기술을 하드웨어 환경이 제한적인 곳에서도 접근 가능하게 만듭니다. 전통적인 네팔 게임을 통해 이러한 방법론을 적용함으로써, 연구진은 인공지능의 과학을 발전시켰을 뿐만 아니라 문화적 유산을 보존하는 데도 기여했으며, 고대의 전략이 현대의 기계에게 협력, 전략, 그리고 앞을 내다보는 기술에 관한 귀중한 교훈을 줄 수 있음을 증명했습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.