Scaling Strategy, Not Compute: A Stand-Alone, Open-Source StarCraft II Benchmark for Accessible Reinforcement Learning Research

이 논문은 스타크래프트 II 의 풀 게임과 미니 게임 사이의 간극을 해소하기 위해 경제 및 건설 요소를 제거하고 전술적 기동과 전투에 집중하도록 설계된 오픈소스 중간 난이도 벤치마크 '투브리지 (Two-Bridge)'를 제안합니다.

핵심

이 논문은 인공지능 (AI) 연구자들이 스타크래프트 II라는 게임을 통해 학습할 때 겪는 '너무 어렵다'와 '너무 쉽다'라는 두 가지 극단 사이의 중간 지대를 찾아낸 이야기입니다.

비유하자면, AI 연구는 마치 수영을 배우는 과정과 같습니다.

1. 문제: 너무 깊은 바다 vs 너무 얕은 수영장

• 완전판 스타크래프트 (깊은 바다): AI 가 인간처럼 스타크래프트 전체 게임을 하려면, 경제 관리, 기지 건설, 안개 속의 적 찾기 등 너무 많은 일을 동시에 해야 합니다. 이는 마치 심해에서 수영을 배우는 것과 같습니다. 물이 너무 깊고 거칠어서 대부분의 연구자 (수영 배우는 사람) 는 숨을 쉴 수조차 없습니다. 거대한 슈퍼컴퓨터 (고급 수영장 시설) 가 없으면 시작조차 못 합니다.
• 미니 게임 (얕은 수영장): 반면, 적을 죽이기만 하거나 목표물만 찾는 미니 게임은 어린이용 얕은 수영장과 같습니다. 여기서는 누구나 금방 수영을 배웁니다. 하지만 너무 쉬워서, AI 가 진짜 전략을 배우거나 발전할 여지가 없습니다. 금방 '수영 실력 100 점'이 되어버려서 더 이상 배울 게 없습니다.

결국 연구자들은: "진짜 실력을 기르려면 너무 어렵고, 너무 쉬우면 재미없다"는 딜레마에 빠졌습니다.

2. 해결책: '두 개의 다리' (Two-Bridge)

저자들은 이 문제를 해결하기 위해 **'두 개의 다리 (Two-Bridge)'**라는 새로운 지도 세트를 만들었습니다.

• 아이디어: 이 지도는 경제 (자원 모으기) 나 기지 건설은 없애고, 오직 **'전술'**만 남겼습니다.
• 상황: 지도 중앙에 절벽이 있고, 양쪽을 잇는 두 개의 좁은 다리만 있습니다.
• 게임 방식:
  • AI 는 아군 병사들을 조종해야 합니다.
  • 적군을 모두 죽일 수도 있고, 멀리 있는 '비콘 (목표물)'을 잡을 수도 있습니다.
  • 하지만 어느 쪽을 선택할지는 AI 가 스스로 결정해야 합니다. (예: "적군이 많으니 싸우기엔 위험한데, 비콘이 가까운데?" 같은 고민)

이것은 심해도, 얕은 수영장도 아닌, 적당한 깊이의 강과 같습니다. 여기서 AI 는 진짜 '전략'을 고민하며 수영할 수 있습니다.

3. 왜 이것이 중요한가? (접근성)

이 연구의 가장 큰 장점은 누구나 쉽게 접근할 수 있다는 점입니다.

• 기존 방식: 스타크래프트 전체 게임을 AI 에게 가르치려면, 구글이나 알리바바 같은 대기업 수준의 거대한 컴퓨터와 수천 장의 인간 게임 기록 (리플레이) 이 필요했습니다.
• 이 연구: "두 개의 다리" 지도는 일반적인 게이머가 쓰는 컴퓨터로도 충분히 훈련시킬 수 있습니다. 복잡한 설정도 필요 없고, 바로 실행 가능한 도구 (Gym 호환) 를 무료로 공개했습니다.

4. 실험 결과: AI 는 어떻게 배웠을까?

저자들은 이 환경에서 AI 를 훈련시켜 보았습니다. 결과는 흥미로웠습니다.

• 처음엔: AI 는 멍청하게도 적을 만나면 무조건 덤벼들거나, 비콘이 있어도 무시하고 싸움만 하기도 했습니다.
• 점차: "내가 병력이 적으면 싸우지 말고 비콘을 잡아야겠다"거나 "병력이 많으면 적을 먼저 처치하자"는 식으로 **상황에 따른 선택 (전략)**을 배우기 시작했습니다.
• 한계: 아직 AI 가 인간처럼 완벽한 전략을 짜지는 못했지만, 학습 가능한 신호가 명확하게 존재한다는 것을 증명했습니다.

5. 요약: 이 연구가 주는 메시지

이 논문은 **"AI 연구는 거대한 슈퍼컴퓨터가 있어야만 가능한 것이 아니다"**라고 말합니다.

스타크래프트라는 복잡한 게임에서, **핵심적인 전술적 판단 (누가 누구를 때릴지, 어디로 갈지)**만 추출해서 적당한 난이도로 만들면, 일반 연구자들도 AI 가 어떻게 전략을 세우는지 연구할 수 있다는 것입니다.

한 줄 요약:

"스타크래프트 AI 연구가 '심해'와 '얕은 수영장' 사이에서 갇혀 있었을 때, 연구자들이 적당한 깊이의 강을 만들어 누구나 자유롭게 수영 (연구) 할 수 있게 해준 이야기입니다."

기술 요약

1. 문제 정의 (Problem Statement)

강화학습 (RL) 연구 커뮤니티는 스타크래프트 II(SC2) 환경에서 두 가지 극단적인 상황 사이에서 적절한 중간 지점을 찾지 못하고 있습니다.

• 풀 게임 (Full Game): 전략적 깊이가 매우 깊지만, 상태 - 행동 공간이 방대하여 보상 신호가 희소하고 노이즈가 많습니다. 또한, AlphaStar 와 같은 성과를 내기 위해서는 막대한 계산 자원 (수조 단계의 환경 상호작용, 대규모 인간 리플레이 데이터, 복잡한 파이프라인) 이 필요하여 대부분의 연구자가 접근하기 어렵습니다.
• 미니 게임 및 SMAC: 계산 비용이 적고 재현이 용이하지만, 문제가 지나치게 단순화되어 있습니다. 단순한 에이전트들이 빠르게 성능 한계 (saturation) 에 도달하며, 장기적인 전략적 의사결정이나 복잡한 미션 간의 트레이드오프를 연구하기에는 전략적 깊이가 부족합니다.

이러한 복잡성 격차 (Complexity Gap) 로 인해 현실적인 계산 예산 내에서 현대적인 RL 알고리즘을 실시간 전략 (RTS) 환경에서 실험하고, 체계적인 커리큘럼을 설계하는 것이 어렵습니다.

2. 방법론 (Methodology)

저자들은 이 격차를 해소하기 위해 Two-Bridge Map Suite라는 새로운 오픈소스 벤치마크를 제안합니다. 이는 풀 게임과 미니 게임 사이의 중간 단계로 설계되었습니다.

가. 환경 설계 (Core Design)

• 메커니즘 단순화: 자원 수집, 기지 건설, 전쟁의 안개 (Fog-of-War) 등 경제 및 탐사 메커니즘을 비활성화했습니다.
• 핵심 기술 집중: 에이전트가 학습해야 할 두 가지 핵심 전술적 기술인 장거리 탐색 (Navigation) 과 미세 전투 (Micro-combat) 에만 집중하도록 환경을 구성했습니다.
• 맵 구조: 지도는 절벽으로 양쪽이 나뉘어 있으며, 두 개의 좁은 다리 (Choke points) 만이 연결됩니다. 이는 병력 이동이 특정 경로로 제한되는 전형적인 전술적 시나리오를 구현합니다.
• 목표: 에이전트는 적군을 전멸시키거나 (Combat), 무방비 상태의 비콘 (Beacon) 을 점령하는 (Navigation) 두 가지 목표 중 하나를 달성해야 합니다.

나. 벤치마크 구성 (Variants)

전략적 진단을 위해 두 가지 축을 교차하여 9 가지 맵 변형 (Variants) 을 생성했습니다.

1. 병력 수 균형 (Unit Count Balance): 아군과 적군의 수적 우위/열위 (V1: 아군 우위, V2: 균형, V3: 적군 우위).
2. 목표 근접성 (Objective Proximity): 비콘과 적군이 아군에게 상대적으로 얼마나 가까운지 (Base: 등거리, Combat-Proximal: 적이 가까움, Navigate-Proximal: 비콘이 가까움).

다. 학습 설정 (Training Setup)

• 인터페이스: PySC2 기반의 경량 Gym 호환 래퍼를 제공하여 표준 RL 알고리즘 (Stable-Baselines3 등) 과의 플러그 - 앤 - 플레이를 지원합니다.
• 관측 공간: 벡터 특징 (유닛 상태, 거리, 시간 등) 과 공간 특징 (스크린 및 미니맵 이미지) 을 결합한 형태를 사용합니다.
• 행동 공간: 유닛 단위의 이산 행동 (이동, 공격, 노 - 옵) 을 선택하며, 액션 마스킹 (Action Masking) 을 적용하여 현재 상태에서 불가능한 행동을 배제하여 탐색 효율을 높입니다.
• 보상 함수: 탐색 (비콘 접근 거리 감소) 과 전투 (적 유닛 피해, 아군 생존) 에 대한 밀집 보상 (Dense Reward) 과 승리/패배 시의 종단 보상을 결합했습니다.
• 카메라 설정: 실험 3 에서는 카메라가 아군 유닛 그룹에 고정 (Camera Lock) 되어 시각적 입력과 행동의 불일치를 제거했습니다.

3. 주요 기여 (Key Contributions)

1. 중간 단계 SC2 벤치마크: 전략적 복잡성을 유지하면서도 계산적으로 실행 가능한 중간 난이도의 환경 (Two-Bridge) 을 최초로 제안했습니다.
2. 가벼운 Gym 호환 래퍼: 복잡한 스크립팅이나 리플레이 데이터 없이도 표준 RL 알고리즘으로 학습이 가능한 경량 인터페이스를 오픈소스로 공개했습니다.
3. 전략적 진단 도구: 다양한 맵 변형을 통해 에이전트가 자원 (병력 수) 과 목표 (전투 vs 탐색) 사이에서 어떻게 의사결정을 내리는지 체계적으로 분석할 수 있는 프레임워크를 제공합니다.

4. 실험 결과 및 분석 (Results & Analysis)

저자들은 소비자급 GPU 환경에서 Maskable PPO 알고리즘을 사용하여 실험을 수행했습니다.

• 학습된 행동 패턴:
  • V1 (아군 우위): 에이전트는 탐색 목표를 무시하고 무조건적으로 적군과 전투를 벌이는 경향이 강했습니다.
  • V2 (균형): 초기에는 전면전을 벌이다가 일부 유닛 손실 후 특정 경로로 퇴각하는 패턴을 보였으며, 비콘이 퇴각 경로 위에 있을 때만 우연히 탐색을 성공했습니다.
  • V3 (적군 우위): 전투를 피하거나 유닛이 분산되어 패배하는 등 성능이 급격히 저하되었습니다.
• 카메라 고정 (Camera Lock) 의 영향:
  • 카메라가 유닛에 고정된 설정에서는 에이전트가 시야 밖의 적을 무시하고, 시야 내의 적만 처리한 후 '노 - 옵 (No-op)' 행동을 반복하며 타임아웃으로 패배하는 시야 제한 실패 모드 (Camera-bound failure mode) 가 관찰되었습니다.
  • 이는 에이전트가 전장 전체의 맥락을 파악하지 못하고 국지적 최적해 (Local Optima) 에 갇히는 경향을 보여줍니다.
• 의미: 이러한 결과들은 에이전트가 단순한 반응을 넘어 전략적 트레이드오프 (전투 vs 탐색, 공격 vs 회피) 를 학습해야 함을 보여주며, 기존 RL 기반선 (Baselines) 이 해결하기 어려운 과제임을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 접근성 확대: 막대한 계산 자원 없이도 SC2 와 같은 복잡한 RTS 환경에서 전략적 RL 연구가 가능하도록 하여, 연구 커뮤니티의 참여 장벽을 낮춥니다.
• 재현성 및 표준화: 오픈소스로 공개된 맵, 래퍼, 스크립트를 통해 연구 결과의 재현성을 높이고, 새로운 RL 방법론 (표현 학습, 다중 에이전트 협력, 계층적 학습 등) 을 검증하는 표준 벤치마크로 자리 잡을 것으로 기대됩니다.
• 미래 방향: 이 벤치마크는 부분 관측성 (Fog-of-War) 재도입, 다양한 유닛 타입, 분산 제어 등 향후 연구의 확장을 위한 기반을 제공합니다.

요약하자면, 이 논문은 **"계산 자원의 확장이 아닌 전략적 설계의 확장"**을 통해 강화학습 연구의 민주화와 심화를 추구하는 중요한 도구 (Two-Bridge Map Suite) 를 제시했습니다.