Superhuman AI for Generals.io Using Self-Play Reinforcement Learning

기술 요약: 자기 대국 강화 학습을 이용한 Generals.io용 초인적 AI

문제 정의
본 논문은 강한 불완전 정보(전장의 안개), 동시 이동, 그리고 장기적 계획과 단기적 전술의 조화가 필요한 실시간 전략 게임(RTS)인 Generals.io를 위한 초인적 AI 에이전트를 구축하는 과제를 다룹니다. 방대한 계산 자원을 요구하거나 정교하게 튜닝된 보상 형성(reward shaping) 또는 복잡한 외부 루프 인구 관리(예: 리그 시스템)에 의존하는 StarCraft II나 Dota 2와 같은 복잡한 RTS 게임과 달리, Generals.io는 "경량화"되어 있으면서도 전략적으로 풍부한 환경을 제공합니다. 핵심 연구 질문은 단순화된 훈련 파이프라인—구체적으로 희소한 승/패 보상을 사용하는 정책 경사법(policy gradients) 기반의 잘 튜닝된 단일 내부 루프—이 행동 복제(behavior cloning), 보상 형성, 또는 복잡한 외부 루프 메커니즘 없이도 초인적인 성능을 달មាន 수 있는지 여부입니다.

방법론
저자들은 자기 대국(self-play)을 지원하는 고성능 시뮬레이션 환경을 중심으로 한 근사 정책 최적화(Proximal Policy Optimization, PPO) 중심의 훈련 파이프라인을 제안합니다.

1. JAX 네이티브 시뮬레이터: 이 연구의 주요 동력은 JAX로 구축된 커스텀 시뮬레이터입니다. 관찰(observations), 보상, 전장의 안개 마스킹, 전투 해결 전체 과정을 평탄한 PyTree 상의 순수 함수로 표현함으로써, 저자들은 엔드 투 엔드 JIT 컴파일을 달성했습니다. 이를 통해 시뮬레이션을 단일 NVIDIA H200 GPU에서 초당 5,070만 프레임의 속도로 실행할 수 있게 되었으며, 이는 기존 CPU 기반 베이스라인 대비 약 10,000배 빠른 속도입니다(32,768개의 병렬 환경 사용).
2. 에이전트 아키텍처: 에이전트는 비전 트랜스포머(Vision Transformer) 정책을 사용합니다.
   • 입력: 관찰 텐서($38 \times H \times W$)를 $3 \times 3$ 공간 패치로 분할합니다. 추가로, 두 개의 비공간적 토큰(non-spatial tokens)은 상대방의 총 병력 및 영토 수의 슬라이딩 윈도우를 인코딩하여, 전장의 안개 뒤에 숨겨진 정보를 추론하는 데 도움을 줍니다.
   • 출력: 정책 헤드는 각 셀당 9가지 액션(대기 또는 4방향으로 전체/절반 유닛 이동)에 대한 분포를 생성합니다.
3. 훈련 목적 함수: 에이전트는 희소한 종단 보상($+1$ 승리, $-1$ 패배)을 사용하여 PPO로 엔드 투 엔드 훈련됩니다. 목적 함수에는 전략적 붕괴를 방지하기 위한 엔트로피 보너스가 포함되어 있으나, 잠재적 보상 형성(potential-based reward shaping)이나 행동 복제는 명시적으로 배제되었습니다.
4. 주요 훈련 기법:
   • 스폰 거리 커리큘럼(Spawn-Distance Curriculum): 훈련은 제너럴들이 서로 가까이(4칸 거리) 배치되어 빈번한 게임 종료와 학습 가능한 신호를 보장하는 것부터 시작하여, 점진적으로 전체 게임 규모(17칸 이상)로 거리를 넓혀갑니다.
   • 파라미터 지수 이동 평균(Parameter Exponential Moving Average, EMA): 마지막 반복(iterate)의 정책 파라미터를 직접 배포하는 대신, 에이전트는 추론 시 EMA($\bar{\theta}_t = \tau \bar{\theta}_{t-1} + (1-\tau)\theta_t$)를 사용하여 일관되게 더 우수한 성능을 보입니다.
   • 최고 어드밴티지 필터링(Top-Advantage Filtering): 훈련 루프는 수집된 전이(transitions)를 필터링하여, 크리틱(critic)이 예측한 어드밴티지 순위 상위 25%의 샘플만을 유지합니다. 이는 실제 실행 시간(wall-clock time)과 샘물 효율성을 모두 개선합니다.

주요 기여

1. JAX 환경: 1v1, 2v2, 자유 대결 모드를 지원하며 공유 인터페이스를 가진 벡터화된 JAX 네이티브 Generals.io 환경을 공개하여 고처리량 멀티 에이전트 연구를 가능하게 했습니다.
2. 초인적 에이전트: 순수하게 자기 대국과 희소 보상을 통해 훈련된 단일 트랜스포머 정책이 공개 1v1 리더보드 1위(5,000명 이상의 인간 플레이어 대상)에 도달했습니다.
3. 어블레이션 연구(Ablation Study): 훈련 구성 요소들을 체계적으로 격리하여 다음을 입증했습니다:
   • 보상 형상은 불필요함: 높은 처리량에서는 희소한 승/패 보상만으로 충분하며, 보상 형성은 후기 단계의 훈련을 불안정하게 만들 수 있습니다.
   • EMA의 중요성: 파라미터의 EMA는 마지막 반복 모델보다 일관되게 더 강력한 배포 정책입니다.
   • 필터링 효율성: 최고 어드밴티지 필터링은 효율성을 크게 높입니다.
   • 강건성: 해당 방법은 학습률 및 엔트로피 계수 스케줄 변동에 강건하며, 이는 특정 어닐링 스케줄보다 전체적인 범위가 더 중요하다는 것을 시사합니다.

결과
"Average Joe"라는 이름의 에이전트는 4개의 NVIDIA H200 GPU에서 4일 동안 훈련되었습니다.

• 리더보드 성적: 118 OpenSkill 포인트를 획득하여, 2위 인간 플레이어(101 포인트)와의 격차(최상위 인간과 25위 인간 사이의 격차와 동일)를 벌리며 1위에 올랐습니다.
• 헤드 투 헤드 기록:
  • 최상위 인간 플레이어(shimatetsu) 대상: 27–12 (승률 69.2%).
  • 2위 인간 플레이어(Mithraaaa) 대상: 172–58 (승률 74.8%).
  • 가장 강력했던 이전 비학습 봇(Human.exe) 및 이전 SOTA 학습 봇(zero v3) 대상: 100% 승률 (각각 20–0).
• 통계적 유의성: 상위 인간들을 상대로 거둔 199–70의 종합 기록은 공정한 동전 던지기와 비교했을 때 통계적으로 유의미합니다 ($p < 0.001$).

의의 및 주장
본 논문은 대규모 불완전 정보 RTS 게임에서 일반적인 정책 경사 루프가 다음과 같은 요소 없이도 초인적 성능에 도달하기에 충분하다는 것을 보여준다고 주장합니다:

• 복잡한 외부 루프 인구 관리 (예: 리그, 더블 오라클).
• 인간 데이터로부터의 행동 복제.
• 수동으로 튜닝된 조밀한 보상 형성.

저자들은 데이터 병목 현상이 빠른 시뮬레이터를 통해 제거되면, 성공을 위한 "레시피"가 특정 안정기(EMA)와 효율성 필터(top-advantage)를 갖춘 잘 튜닝된 내부 루프로 단순화된다는 점을 강조합니다. 이 연구는 멀티 에이전트 시스템에서 정책 경사법의 확장성에 대한 참조점이 되며, 외부 루프의 복잡성이 특정 게임 클래스에서는 생각보다 덜 필수적일 수 있음을 시사합니다. 또한, 트랜스포머의 특정 어텐션 헤드가 상대방의 위치에 대한 일관된 사후 믿음(posterior belief)을 학습하는 것으로 보이며, 이는 불완전 정보에 대한 에이전트의 내부 추론 과정을 엿볼 수 있는 단초를 제공합니다.