기술 요약: RTSGameBench

문제 정의

현대적인 시각-언어 모델(VLM)은 다양한 작업에서 성공을 거두었으나, 경쟁적 및 협력적 환경에서 불확실성 하에 타 에이전트의 행동을 예측하고 이에 영향을 미치는 능력인 전략적 추론(strategic reasoning) 측면에서는 어려움을 겪고 있다. 실시간 전략(RTS) 게임은 장기 계획, 부분적 관측 가능성, 다중 에이전트 조율을 요구하기 때문에 이러한 능력을 테스트하기 위한 자연스러운 시험대가 될 수 있으나, 기존 벤치마크는 세 가지 결정적인 한계를 지닌다:

1. 제한된 평가 범위: 대부분의 벤치마크(예: StarCraft II 기반)는 주로 1v1 시나리오에 집중되어 있어, 전략적 추론에 필수적인 협력 및 다중 에이전트 역학을 간과한다.
2. 체계적인 진단 부족: 전체 게임 평가는 서로 다른 전략적 역량을 혼재시켜, 성공 또는 실패의 원인을 특정 능력(예: 자원 관리 vs 상대 모델링)으로 명확히 규명하기 어렵게 만든다.
3. 고정된 시나리오 커버리지: 기존 벤치마크는 정적인 사전 설계 시나리오에 의존하므로, 일반화 능력을 평가하는 데 한계가 있으며 수요에 따른 진단 범위를 확장하는 능력이 제한된다.

또한, 대규모 RTS 환경을 운영하는 것은 VLM에게 기술적 도전 과제가 된다. 방대한 수의 유닛과 긴 게임 지속 시간은 확장 가능한 조율과 지속적인 일관성을 요구하며, 표준적인 유닛 단위 제어 인터페이스로는 이를 효율적으로 관리할 수 없다.

방법론

저자들은 대규모 오픈 소스 RTS 게임인 **Beyond All Reason (BAR)**를 기반으로 구축된 종합적인 벤치마크 및 평가 플랫폼인 RTSGameBench를 제안한다. BAR는 최대 100명의 플레이어, 554개의 고유 유닛, 플레이어당 2,000개의 유닛 제한을 지원하여 StarCraft II보다 훨씬 확장된 규모를 제공하며, 이를 통해 전략적 공간을 넓히고 더 긴 호흡의 계획 수립을 요구한다.

본 방법론은 세 가지 핵심 구성 요소로 통합된다:

1. 전체 게임 평가

본 벤치마크는 다양한 매치업 구조를 통해 에이전트를 평가하여 서로 다른 전략적 요구 사항을 노출한다:

• 결투 (1v1): 개인의 의사결정 능력을 테스트한다.
• 대칭 팀 (2v2, 3v3): 아군 간의 조율을 도입한다.
• 비대칭 팀 (3v4): 수적 열세 상황에서의 조율을 요구한다.
• 프리 포 올 (1v1v1v1): 다극 체제의 위협 우선순위 설정을 요구한다.

2. 진단용 미니 게임

세밀한 평가를 가능하게 하기 위해, 저자들은 이전 RTS AI 분류 체계에서 식별된 특정 전략적 역량을 목표로 하는 다섯 가지 미니 게임을 도입한다:

• 자원 관리 (TCP): 적의 습격 상황 하에서 시간 제한이 있는 생산 능력을 테스트한다.
• 공간 및 시간적 추론 (MFD): 고정된 병력으로 단계적으로 발생하는 공격으로부터 여러 목표물을 방어하는 능력을 테스트한다.
• 상대 모델링 (FS-F): 상대의 목표를 예측해야 하는 프리 포 올 형태의 교전을 테스트한다.
• 협업 (FS-T): 명시적인 통신 없이 조율이 필요한 팀 기반 교전을 테스트한다.
• 적대적 계획 (SP): 시간 제한 내에 정적인 요새를 돌파하는 능력을 테스트한다.
• 참고: 안개(Fog-of-war) 효과는 특정 역량을 테스트하는 데 부분적 관측 가능성이 필수적인지에 따라 선택적으로 적용된다.

3. 자기 진화형 게임 생성 프레임워크

고정된 시나리오의 한계를 해결하기 위해, 저자들은 자유 형식의 사용자 쿼리를 새로운 진단용 미니 게임으로 변환하는 프레임워크를 제안한다. 이 파이프라인은 특화된 VLM 기반 에이전트들(프로젝트 매니저, 디자이너, 개발자, 분석가)을 활용하여 시나리오 기획, 게임 디자인 문서(GDD) 생성, 규칙 세트 구축 및 구현을 조율한다. 이 프레임워크는 검증된 결과물을 공유 지식 데이터베이스에 저장하는 자기 진화 메커니즘을 채택하며, 프로젝트 매니저가 회고적 분석을 수행하여 평가 루브릭을 개선함으로써, 반복되는 사이클을 통해 벤치마크가 스스로 개선되고 확장될 수 있도록 한다.

4. RTSGameAgent (베이스라인 에이전트)

대규모 RTS를 VLM이 다룰 수 있도록 만들기 위해, 저자들은 다음을 결합한 베이스라인 에이전트인 RTSGameAgent를 설계했다:

• FSM 기반 그룹 관리: 유닛 단위의 이동 명령을 그룹 단위 할당(분대) 및 유한 상태 머신(FSM) 명령(이동, 강제 이동, 정지)으로 대체한다. 이는 전술적 실행(예: 적 교전)을 게임 엔진에 위임하는 동시에, VLM은 전략적 그룹 조율을 담당하게 한다.
• 에이전틱 메모리 (Agentic Memory): LLM에 의해 관리되는 이중 메모리 시스템(단기 이벤트 로그 및 장기 경험 요약)을 통해 결정 단계 간의 맥락을 유지함으로써, 단계 간 정보 손실을 완화한다.

주요 결과

저자들은 RTSGameAgent를 사용하여 여러 최첨단(SoTA) VLM(GPT-5.2, Gemini-3-Flash, Claude-4.5-Sonnet 및 다양한 오픈 소스 모델 포함)을 평가하였다.

• 규모에 따른 성능 저하: 모든 모델은 작업 규모(더 큰 맵 크기 및 더 많은 유닛 수)가 커짐에 따라 일관된 성능 저하를 보였다. 예를 들어, 프리 포 올 모드에서 Gemini-3-Flash와 같은 상위 모델은 0.66의 순위 점수(Rank Score)를 기록했으나, 비대칭 팀 모드에서는 승률(WR)이 약 0.20으로 크게 떨어졌다.
• 조율의 어려움: 모델들은 긴밀한 조율이 필요한 시나리오에서 큰 어려움을 겪었다. 대칭 팀 모드에서 상위 모델들의 승률은 1v1에 비해 감소했다 (예: Gemini-3-Flash는 1v1에서의 0.87에서 2v2에서의 0.50으로 하락). 비대칭 팀 모드에서는 최상위 모델들조차 수적 열세 상황에서 지속적인 조율을 유지하는 데 실패했다.
• 역량 격차: 진단용 미니 게임은 구체적인 약점을 드러냈다. 일부 모델은 자원 관리(TCP)에서는 인간의 성능에 근접했으나, 공간 및 시간적 추론(MFD)과 상대 모델링(FS-F)에서는 큰 격차를 보였다. 예를 들어, MFD에서 가장 뛰어난 VLM은 1.82의 데미지 효율(DE)을 기록했는데, 이는 인간 기준치인 3.46에 훨씬 못 미치는 수치이다.
• 구성 요소 분석: 절제 실험(Ablation study)을 통해 FSM 기반 그룹 관리와 에이전틱 메모리가 모두 필수적임을 확인했다. 두 구성 요소를 모두 제거했을 경우 1v1 승률이 0.87에서 0.10으로 급락했다. 그룹 관리가 확장성의 주요 병목 지점으로 식별되었다.
• 자기 진화 프레임워크: 해당 프레임워크는 자유 형식의 쿼리로부터 플레이 가능한 미니 게임을 성공적으로 생성했다. 연속적인 배치 과정을 거치며 프레임워크는 플레이 가능성과 인간 선호도 점수를 개선하였으며, 이는 자기 진화 메커니즘이 생성 품질을 효과적으로 정교화하고 커버리지를 확장함을 입증한다.

의의 및 주장

본 논문은 RTSGameBench가 대규모 RTS 환경 내 VLM의 전략적 추론을 평가하기 위한 최초의 종합적, 진단적, 확장 가능한 벤치마크라고 주장한다. 본 연구의 의의는 다음과 같다:

1. 체계적 진단: 미니 게임을 통해 특정 전략적 역량을 분리함으로써, 연구자들이 단순한 종합 승률에 의존하는 대신 정확한 실패 모드(예: 상대 모델링 부족 vs 자원 관리 부족)를 특정할 수 있게 한다.
2. 확장성: BAR와 RTSGameAgent 아키텍처를 활용함으로써, 기존 벤치마크보다 수십 배 더 많은 유닛과 복잡성을 가진 환경에서 VLM을 평가할 수 있게 하며, 현재의 모델들이 추론 능력을 확장하는 데 어려움을 겪고 있음을 밝혀낸다.
3. 확장성(Extensibility): 자기 진화형 생성 프레임워크는 고정된 벤치마크의 포화 문제를 해결하며, 수동적인 시나리오 설계 없이도 연구자의 요구에 따라 평가 범위를 지속적으로 확장할 수 있는 경로를 제공한다.

저자들은 VLM이 유망한 가능성을 보여주고는 있으나, 특히 긴밀한 조율과 불확실성 하의 장기 계획을 요구하는 시나리오에서 현재로서는 복잡한 다중 에이전트 전략적 추론에 필요한 견고함이 부족하다고 결론짓는다. 본 벤치마크는 이 분야의 발전을 추적하기 위한 엄격한 도구 역할을 한다.