💻 computer science

Evaluating Large Language Models as Live Strategic Agents: Provider Performance, Hybrid Decomposition, and Operational Gaps in Timed Risk Play

본 연구는 시간 제한이 있는 리스크 환경에서 대형 언어 모델을 실시간 전략 에이전트로 평가하여, Gemini-3.1-pro-preview 가 종단 간 게임 플레이에서 다른 제공업체들을 크게 능가했으나, 그 성능 차이는 주로 계획 능력만이 아니라 실행 신뢰성과 목표 추적에서 비롯됨을 밝혀냈다.

원저자: H. C. Ekne

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: H. C. Ekne

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

체스 그랜드마스터 팀을 고용하여 토너먼트를 개최한다고 상상해 보세요. 보통 우리는 AI 모델(즉, "체스 플레이어") 을 테스트할 때, "여기서 최선의 수는 무엇인가?"와 같은 단일 질문을 던지고 그 답변을 평가합니다. 이는 마치 필기 시험을 보는 것과 같습니다.

하지만 현실 세계에서는 AI 가 단순히 시험만 보는 것이 아니라, 전체 게임을 플레이하고 수백 번의 수를 두며, 시간 제한을 처리하고, 멈추지 않고 자신의 실수를 수정해야 합니다. 이 논문은 다음과 같은 질문을 던집니다: AI 를 필기 시험으로 평가하는 것을 멈추고, 실시간으로 제한 시간이 있는 토너먼트에서 평가하기 시작하면 어떤 일이 일어날까요?

연구자들은 세계 정복을 위해 군대를 이동시키는 고전 보드 게임인 **리스크 (Risk)**를 테스트 무대로 사용했습니다. 그들은 다양한 AI 모델이 엄격한 규칙과 시간 제한 하에 실시간으로 서로 대결하는 "선수권 대회"를 구성했습니다.

다음은 그들이 발견한 바를 쉽게 설명한 이야기입니다:

1. 필기 시험 vs 실시간 경기

32 경기로 이루어진 대규모 토너먼트에서 한 AI 모델인 Gemini가 32 경기 중 20 경기를 승리했습니다. 이는 GPT, Claude, Kimi 와 같은 다른 유명 모델들을 제치고 경쟁을 압도한 결과였습니다.

놀라운 사실: 연구자들이 "최신"이거나 "가장 비싼" 모델들을 살펴봤을 때, 그들이 항상 승리하는 것은 아니었습니다. 때로는 약간 구식이거나 저렴한 모델이 최신 플래그십 모델보다 실시간 경기에서 더 잘 플레이했습니다.

비유: 경주용 자동차를 생각해 보세요. 가장 비싸고 첨단 기술이 적용된 자동차 (즉, "최신 모델") 는 전시장 바닥 (벤치마크) 에서는 놀라워 보일지 모르지만, 5 분 후 과열되는 약한 엔진을 가지고 있다면 긴 내구성 레이스에서는 패배할 것입니다. 승자는 가장 화려한 차가 아니라, 전체 레이스 동안 꾸준히 주행할 수 있는 차였습니다.

2. 비밀 재료: 계획 대 실행

연구자들은 Gemini 가 승리한 이유를 알고 싶어 했습니다. 그것은 계획 (전략을 생각하는 능력) 에 천재적이었기 때문이었을까요, 아니면 실행 (보드 위의 말을 실제로 움직이는 능력) 에 능했기 때문이었을까요?

이를 알아내기 위해 그들은 "하이브리드" 실험을 진행했습니다. 서로 다른 모델들의 두뇌 (계획 부분) 를 가져와서, 모든 모델이 말을 움직이는 데 동일한 저렴하고 빠른 몸체 (실행 부분) 를 사용하도록 강제한 것입니다.

결과: 이렇게 했을 때, 모델들 간의 격차는 거의 사라졌습니다. "천재" 모델과 "평균" 모델의 수행 능력이 거의 동일해졌습니다.

비유: 천재적인 체스 코치 (계획자) 와 서툰 조수 (실행자) 가 있다고 상상해 보세요. 천재 코치에게 서툰 조수를 주면 코치는 이길 수 없습니다. 하지만 모든 코치에게 동일한 서툰 조수를 준다면, 그들의 전략 차이는 그렇게 중요하지 않게 됩니다.
교훈: Gemini 가 대규모 토너먼트에서 승리한 이유는 단순히 더 잘 생각해서가 아니라, 그 전체 시스템 (사고 + 실행) 이 매끄럽게 조화되었기 때문입니다. 다른 모델들은 훌륭한 계획을 망쳐버리는 "서툰 조수"를 가지고 있었습니다.

3. Gemini 가 실제로 승리한 방법

게임 로그를 자세히 살펴보면, Gemini 를 챔피언으로 만든 두 가지 구체적인 습관을 발견할 수 있었습니다:

목표를 결코 잊지 않음: 다른 모델들이 사소한 세부 사항에 집중하는 동안, Gemini 는 끊임없이 "65% 의 보드를 장악해야 이긴다"라고 스스로에게 상기시켰습니다. 게임이 막바지로 가까워질수록, 그것은 최종 목표에 더욱 집중했습니다.
- 비유: 마치 마라톤 선수가 결승선 표지판을 끊임없이 확인하는 것과 같습니다. 다른 선수들은 나무나 구름을 바라보았지만, Gemini 는 결승선에 시선을 고정했습니다.
깊은 수를 둠: Gemini 가 공격하기로 결정했을 때, 단순히 작은 수 하나만 두지 않았습니다. 그것은 한 번의 턴에 거대한 영토를 정복하는 긴 공격 사슬을 계획했습니다.
- 비유: 다른 모델들은 풍선에 구멍을 뚫는 사람 같았습니다. 반면 Gemini 는 풍선 전체를 한 번에 터뜨리는 사람 같았습니다.

4. "더 저렴할수록 더 낫다"는 발견

연구자들은 또한 "하이브리드" 전략을 테스트했습니다: 만약 계획만은 초지능 (하지만 비싼) 모델이 맡고, 실제 작업은 더 저렴하고 빠른 모델이 맡는다면 어떨까요?

결과: 이 하이브리드 팀은 초고가의 팀만큼 자주 승리했지만, 실행 비용은 절반 미만으로 들었습니다.

비유: 유명하고 비싼 건축가를 고용하여 설계도를 그리게 한 뒤, 일반적이고 저렴한 건설 팀에게 집을 짓게 하는 것과 같습니다. 당신은 건축가의 시간당 요금을 모든 못을 박는 작업에 지불하지 않으면서도 훌륭한 디자인을 얻을 수 있습니다.

결론

이 논문은 단일 질문에 얼마나 잘 답변하는지로 AI 를 판단하는 것은 오해의 소지가 있음을 가르쳐 줍니다. 현실 세계의 AI 는 단순히 똑똑한 화자가 아니라 신뢰할 수 있는 근로자여야 합니다.

IQ 점수만 보지 마세요: 모델이 시간 제한, 실수, 그리고 긴 작업을 어떻게 처리하는지 살펴보세요.
전체 시스템이 중요합니다: 손 (실행) 이 서툴다면, 똑똑한 두뇌는 쓸모가 없습니다.
하이브리드가 미래입니다: 작업을 분할함으로써 종종 비용을 절감하고 더 좋은 결과를 얻을 수 있습니다. 즉, 사고는 똑똑한 모델이, 실행은 저렴한 모델이 맡는 것입니다.

요약하자면: 현실 세계에서는 raw intelligence(순수 지능) 만으로는 부족하며, 일관성과 실행력이 더 중요합니다.

기술 요약: 실시간 전략 에이전트로서의 대규모 언어 모델 평가

문제 제기

현재 대규모 언어 모델 (LLM) 에 대한 공개 평가는 주로 모델을 정적 응답자로 취급합니다. 프롬프트가 발행되면 답변이 채점되고 모델이 순위 매겨집니다. 본 논문은 이 접근 방식이 엄격한 시간 제한, 포맷팅 제약, 반복 실행 루프, 그리고 특정 실패 모드로 특징지어지는 경계된 워크플로우 내에서 작동하는 생산 시스템에서 모델이 어떻게 행동하는지를 포착하지 못한다고 주장합니다.

저자들은 모델이 정적 벤치마크에서는 잘 수행되지만, 반복적으로 행동하고 적응하며 회복해야 하는 동기식 다단계 루프에서는 성적이 저조할 수 있다고 가정합니다. 이 격차를 해소하기 위해 본 연구는 LLM 을 구체적인 적대적 환경인 보드 게임《Risk》에서 실시간 전략 에이전트로 평가합니다. 이 도메인은 에이전트에게 장기 목표를 추구하게 하고, 복잡한 행동 순서를 짜게 하며, 제약된 구문을 준수하게 하고, 여러 턴에 걸쳐 상대방에 적응하게 함으로써, 고립된 추론의 질이 아닌 실제 시스템 행동을 위한 스트레스 테스트 역할을 합니다.

방법론

본 연구는 고정된 시간 프로토콜 하에서 실행되는 복제된 교차 공급자 실험 하베스를 사용합니다. 핵심 실험 설계는 세 가지 구별된 단계를 포함합니다:

풀스택 공급자 챔피언십: 네 가지 주요 공급자 (Gemini 3.1 Pro, GPT-5.1, Claude Opus 4.7, Kimi K2.6) 가 네이티브 엔드투엔드 스택을 사용하여 경쟁하는 32 경기 토너먼트입니다. 각 에이전트는 90 초 계획 타이머, 90 초 실행 타이머, 15 초 배치 타이머 하에서 운영되었으며, 승리 조건은 영토의 65% 를 장악하는 것이었습니다.
분해 및 하이브리드화: 성능 차이의 원인을 분리하기 위해 저자들은 계획을 실행과 분리했습니다.
- 비용 게이트: 더 강력한 모델 (Gemini 3.1 Pro) 이 계획을 담당하고 더 저렴하고 빠른 모델 (Gemini 3 Flash) 이 실행을 담당하는 하이브리드 아키텍처를 테스트했습니다.
- 플래너 배크오프: 32 경기 시리즈에서 모든 공급자가 네이티브 계획 모델을 사용했지만 표준화된 저비용 Gemini Flash 실행 레이어를 공유했습니다. 이는 순수 계획 능력을 측정하기 위해 실행 변이를 통제했습니다.
추적 분석: 저자들은 공급자 챔피언십에서 저장된 946 개의 턴 요약물을 분석하여 메커니즘 수준의 행동을 검토하였으며, 특히 "목표 추적 언어"(종단 목표에 대한 참조) 와 "실행 체인 깊이"(연속적인 성공적인 공격) 에 초점을 맞췄습니다.

통계적 유의성은 승자 레이블 치환 검정과 정확한 이항 논리를 사용하여 결정되었으며, 구성된 승리 조건 하의 승률에 주로 초점을 맞췄습니다.

주요 결과

1. 풀스택 성능: Gemini 의 우세

복제된 32 경기 풀스택 챔피언십에서 Gemini 3.1 Pro는 명확한 이상치였으며, 20 경기 (62.5%) 를 승리했습니다. 승자 분포는 동등한 강도의 귀무가설과 유의미하게 달랐습니다 ( $p \approx 1.5 \times 10^{-5}$ ).

Gemini: 20 승
OpenAI (GPT-5.1): 6 승
Claude (Opus 4.7): 4 승
Kimi (K2.6): 2 승

특히 OpenAI 계보 내에서 GPT-5.1 이 더 새로운 OpenAI 변형들보다 더 우수한 성과를 거두었는데, 이는 실시간 턴 루프에서 속도 및 전술적 규율의 결합이 단순한 "플래그십" 지위보다 더 중요함을 시사합니다.

2. "시스템 설계" 효과: 분해

실행을 공유된 더 저렴한 Gemini Flash 레이어로 표준화했을 때, 공급자 간의 성능 격차는 극적으로 축소되었습니다.

플래너 배크오프에서 플래너 간의 승자 분포는 거의 동등한 것과 통계적으로 일치하게 되었습니다 ( $p \approx 0.821$ ).
하이브리드 효율성: 하이브리드 스택 (Gemini 3.1 계획 + Gemini 3 Flash 실행) 은 비용 게이트 실험에서 15 경기 중 8 경기를 승리했습니다. 이 하이브리드는 전체 스택의 강도 대부분을 달성하면서도 추정 API 비용을 절반 이상 (15 경기 세트당 6.28 달러에서 2.80 달러로) 절감했습니다.

3. 메커니즘 분석

추적 분석은 Gemini 의 성공을 위한 두 가지 주요 동인을 드러냈습니다:

명시적 목표 추적: Gemini 는 자신의 계획에서 **58.5%**의 경우 종단 목표 (영토 65% 장악) 를 참조한 반면, 다른 모델들은 4% 미만이었습니다. 이 집중도는 에이전트가 승리에 가까워질수록 강화되었습니다 (영토 20 개 이상 장악 시 100% 로 상승).
실행 전환: Gemini 는 Claude 보다 더 높은 무효 이동률을 보이며 "가장 깨끗한" 런타임은 아니었지만, 턴을 심층 정복 체인으로 전환하는 데 더 효과적이었습니다. 38.7% 의 턴에서 6 회 이상의 성공적인 정복을 달성하여 Claude (28.9%), Kimi (26.7%), GPT-5.1 (23.4%) 을 크게 앞섰습니다.

중요성 및 주장

본 논문은 실시간 에이전트의 품질은 전체 시스템의 속성이며, 단순히 기반 모델의 추론 능력만이 아니라고 결론지었습니다. 저자들은 다음과 같은 겸손한 경험적 주장을 펼칩니다:

벤치마크의 불일치: 정적 벤치마크의 권위는 실시간 에이전트 성능을 보장하지 않습니다. "최고 벤치마크 모델"과 "최고 실시간 에이전트"는 별개의 질문입니다.
운영적 동등성 vs 벤치마크 동등성: 정적 벤치마크에 기반한 "거의 동등함" 주장은 실제 세계 운영 동등성을 과장할 수 있습니다. 예를 들어, Kimi K2.6 은 벤치마크에서 이전 티어와 경쟁력이 있었지만, 실시간 플레이에서는 현재 Gemini 최전선보다 크게 뒤처졌습니다.
하이브리드 아키텍처: 가장 실용적인 배포 전략은 워크플로우를 분해하는 것일 수 있습니다: 고비용 고추론 모델을 계획에 사용하고, 저렴하고 빠른 모델을 실행에 사용하는 것입니다.
평가의 전환: 실제 시스템에서 LLM 을 이해하기 위해서는 평가가 고립된 응답자에서 비용, 지연 시간, 포맷팅 규율, 그리고 목표 추적을 고려하는 경계된 워크플로우 내의 구성 요소로 전환되어야 합니다.

저자들은 본 연구가 일반 모델 순위 매기기를 해결하거나 목표 지향적 언어가 더 나은 플레이를 유발한다는 것을 증명한다고 주장하지 않으며, 오히려 실시간 에이전트 평가가 정적 벤치마크 문화보다 실질적으로 다른 결론을 산출함을 보여준다고 명시적으로 밝힙니다.