기술 요약: ProxyWar: 게임 아레나에서의 LLM 코드 생성에 대한 동적 평가

1. 문제 정의

대규모 언어 모델(LLM)의 코드 생성 평가가 정적인 벤치마크와 단순한 지표 뒤에 머물며 정체되어 있다. HumanEval이나 MBPP와 같은 현재의 접근 방식은 실행 기반의 "pass@k" 메트릭이나 텍스트 유사도 점수(예: BLEU, CodeBLEU)에 크게 의존한다. 이러한 방법들은 다음과 같은 몇 가지 결정적인 한계를 갖는다:

• 정적 특성: 코드를 고립된 상태로 평가하여, 동적인 실행 제약, 런타임 안정성, 그리고 공유된 리소스 예산 하에서의 견고함을 포착하지 못한다.
• 단순성 편향: 벤치마크는 주로 제한된 테스트 케이스를 가진 독립적인 함수들로 구성되어 있어, 실제 소프트웨어 엔지니어링의 복잡성(예: 의존성, 다중 파일 협업)을 간과한다.
• 비교 맥락의 부재: 경쟁적이거나 적대적인 환경에서 코드가 대안적인 솔루션들과 비교하여 어떻게 작동하는지를 측정하지 못하며, 이로 인해 알고리즘 효율성 및 전략적 의사결정의 미묘한 차이를 놓친다.
• 간과된 차원: 메트릭이 기능적 정확성에만 거의 독점적으로 집중하여, 효율성, 유지보수성, 엣지 케이스에 대한 적응성과 같은 운영적 특성을 무시한다.

결과적으로, 벤치마크 점수와 동적이고 실제적인 시나리오에서의 LLM 생성 코드의 실제 생존 가능성 사이에는 상당한 격차가 존재한다.

2. 방법론: ProxyWar 프레임워크

ProxyWar는 다양한 게임 환경 내에서 경쟁적이고 통제된 실행을 통해 LLM 코드 생성을 평가하도록 설계된 새로운 프레임워크이다. 이는 코드 생성부터 경쟁적 평가에 이르는 파이프라인을 조율하며, 이진적인 pass/fail 테스트를 넘어 총체적인 성능 평가로 나아간다.

2.1 시스템 아키텍처

이 프레임워크는 다섯 가지 별도의 레이어를 통해 작동한다:

1. 게임 환경 레이어 (Game Environment Layer): 게임을 $G = \langle S, A, T, R, O, s_0 \rangle$ 튜플로 정의하며, 상태 전이, 규칙, 관측치를 관리한다. 완전 정보 및 불완전 정보 시나리오를 모두 지원한다.
2. 에이전트 레이어 (Agent Layer): 모든 생성된 에이전트가 반드시 구현해야 하는 최소 인터페이스 계약($\pi: O_{space} \times \{0, 1\}^{|A|} \to A$)을 강제하여, 동일한 제약 조건 하에서 공정한 비교를 보장한다.
3. 코드 생성 레이어 (Code Generation Layer): 자연어 명세를 실행 가능한 에이전트 코드로 변환한다. 여기에는 에러 피드백을 바탕으로 코드를 반복적으로 개선하는 **수정 함수(Repair Function)**가 포함되어 실제 디버깅 워크플로우를 시뮬레이션한다.
4. 테스트 레이어 (Testing Layer): 구문, 인터페이스 준수, 기본 기능, 게임 로직 및 견고성(엣지 케이스)을 다루는 계층적 테스트 세트를 통해 에이전트를 검증한다. 테스트 실패 시 수정 루프가 트리거된다.
5. 토너먼트 관리 레이어 (Tournament Management Layer): 에이전트들이 서로 맞붙어 경쟁하는 자동화된 토너먼트를 조율한다. 매치 결과를 바탕으로 스킬 순위를 계산하기 위해 TrueSkill 레이팅 시스템을 활용하며, 이를 통해 이진 점수가 아닌 연속적인 성능 지표를 제공한다.

2.2 평가 방법론

ProxyWar는 다차원적인 평가 전략을 채택한다:

• 경쟁적 성능 (Competitive Performance): 토너먼트에서의 승/패/무 결과에 따라 에이전트의 순위를 매기기 위해 TrueSkill 레이팅을 사용한다. 견고성을 보장하기 위해 보수적인 스킬 추정치($\mu - 3\sigma$)를 보고한다.
• 정적 코드 품질 (Static Code Quality): Pass@1(초기 정확도), 수정률(Self-correction 능력), 그리고 계층적 테스트 레이어(구조, 기능, 로직, 견고성) 전반의 성능을 측정한다.
• 운영적 특성 (Operational Characteristics): 결정 속도(지연 시간), 에러율(타임아웃, 예외), 참여율을 포함한 런타임 메트릭을 추적한다.

2.3 실험 설정

이 프레임워크는 Python으로 구현되었으며, 18개의 최첨단 LLM(일반 목적, 추론 강화, 코드 특화 모델 포함)과 10개의 다양한 게임 환경에서 평가되었다. 각 환경은 싱글 플레이어 퍼즐(스도쿠, 2048)부터 2인용 보드 게임(틱택토, 레버시) 및 멀티플레이어 카드 게임(텍사스 홀덤)까지 다양하다. 각 모델은 통계적 유의성을 확보하기 위해 10,000회 이상의 매치에 참여했다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 한다:

1. ProxyWar 프레임워크: 자동 생성, 반복적 수정, 토너먼트 기반 랭킹을 통합한 LLM 코드 생성을 위한 최초의 경쟁적, 실행 기반 평가 프레임워크이다.
2. 다차원 평가: 전통적인 pass/fail 메트릭을 넘어 운영적 특성(효율성, 견고성, 적응성)을 포착하는 방법론을 제시한다.
3. 확장 가능한 플랫폼: 다양한 프로그래밍 패러다임에 걸친 체계적인 평가를 가능하게 하기 위해, 다양한 복잡도와 정보 구조를 가진 다양한 게임 환경을 지원하는 구현체를 제공한다.
4. 실증적 평가: 알고리즘적 창의성, 최적화 전략, 그리고 기능적 정확성과 실질적 배포 가능성 사이의 간극을 포함하여, 기존의 정적 지표로는 보이지 않았던 LLM 코드 생성의 숨겨진 한계를 드러내는 포괄적인 연구를 수행한다.

4. 주요 결과 및 발견

실증적 평가는 다음과 같은 몇 가지 중요한 통찰을 도출했다:

• 변별력 (RQ1): ProxyWar는 정적 메트릭에서는 보이지 않는 상당한 성능 격차를 드러낸다. 예를 들어, DeepSeek-R1과 Qwen2.5-Coder가 유사한 Pass@k 점수를 가질 수 있음에도 불구하고, ProxyWar에서는 토너먼트 승률에서 거의 3배의 차이(39.6% 대 13.4%)를 보였다. 참여율이 100%(완벽한 테스트 통과)인 모델들도 경쟁적 성능에서는 큰 차이를 보였다.
• 정적 vs 동적 성능 (RQ2): Pass@1과 경쟁적 순위 사이에는 낮은 상관관계(Spearman's $\rho = 0.23$)가 존재한다.
  • 효율성 vs 정교함: 스도쿠에서 DeepSeek-R1은 GPT-4.1의 더 복잡한 휴리스틱 기반 접근 방식(MRV/LCV)보다 뛰어난 미니멀한 백트래킹 에이전트를 생성했다. GPT-4.1의 코드는 이론적으로는 우수했으나, Python 해석 오버헤드로 인해 실제로는 거의 28배 더 느렸으며, 이로 인해 더 낮은 토너먼트 성적을 기록했다.
  • 디버깅의 한계: Claude3.5-Sonnet과 같은 일부 모델은 완벽한 수정률을 달ek성했지만, 이것이 강력한 토너먼트 성능을 보장하지는 않았다. 이는 현재의 자기 수정 능력의 한계를 나타낸다.
• 환경적 민감도 (RQ3): 모델 성능은 문맥 의존적이다.
  • 복잡도: 게임의 복잡성이 증가함에 따라(예: 레버시 vs 틱택토) 성능 격차가 현저히 커진다.
  • 정보 구조: 완전 정보 게임은 탐색/계획 능력을 선호하는 반면, 불완전 정보 게임(예: 포커)은 확률적 추론을 선호한다. 모든 게임 유형에서 보편적으로 뛰어난 단일 모델은 존재하지 않는다.
  • 특화 모델: 코드 특화 모델은 경쟁적이고 문맥이 풍부한 시나리오에서 일반 목적 또는 추론 강화 모델에 비해 저조한 성능을 보이는 경우가 많다.

5. 의의 및 주장

저자들은 ProxyWar를 프로그램 합성 시스템의 더욱 엄격하고 재현 가능하며 현실적인 평가를 향한 기초적인 단계로 위치시킨다.

• 격차 해소: 이 프레임워크는 공유된 리소스 제약과 적대적 조건 하에서 코드를 평가함으로써 벤치마크 성능과 실질적 유용성 사이의 괴리를 해결한다.
• 정확성을 넘어: "정확한" 코드만으로는 불충분하며, 지연 시간, 안정성, 전략적 적응성과 같은 운영적 특성이 실제 배포에 있어 매우 중요하다는 점을 강조한다.
• 미래 연구: ProxyWar는 LLM 기반의 알고리즘 발견 및 적응형 문제 해결 연구를 위한 토대를 마련한다. 저자들은 향 future work로서 LLM 코더가 복잡한 게임에서 새로운 전략을 발견하거나 수작업으로 제작된 에이전트를 능가할 수 있는지 탐구할 수 있다고 제안한다.
• 제한적 범위: 본 논문은 게임 환경이 다양하긴 하지만, 모든 실제 소프트웨어 엔지니어링 작업(예: 대규모 협업 개발)의 복잡성을 완전히 포착하지 못할 수 있음을 인정한다. 저자들은 현재의 환경 세트를 더 넓은 비게임 벤치마크를 위한 시작점으로 간주한다.

결론적으로, ProxyWar는 경쟁적인 게임 기반 평가가 LLM 능력에 대한 미세한 차별화를 제공하며, 정적 벤치마크가 감지하지 못하는 운영적 한계를 노출한다는 것을 입증한다.