기술 요약: BenchEvolver: 솔루션 중심 진화를 통한 프런티어 태스크 합성

문제 정의

프런티어 대규모 언어 모델(LLM)의 급격한 발전은 널리 사용되는 코딩 벤치마크의 포화 상태를 초래했습니다. LiveCodeBench와 같은 데이터셋에서 최첨단 모델들은 높은 통과율(예: 쉬운 분할에서 >99%, 평균 >90%)을 달-성하여, 이러한 벤치마크들이 모델의 능력을 차별화하거나 의미 있는 학습 그래디언트를 제공하는 데 비효식적으로 만들고 있습니다. 인간이 새로운 도전적인 데이터셋을 구축하는 것은 가능하지만, 비용이 많이 들고 확장하기 어렵습니다. 기존의 합성 데이터 생성 방식은 종종 비대칭적 교사-학생 패러다임(더 강력한 모델이 더 약한 모델을 위한 데이터를 생성하는 방식)을 따르거나, 실행 가능한 태스크(문제 설명, 솔루션, 테스트)의 유효성을 보장하지 못한 채 인스트럭션 수준에서 작동합니다. 결과적으로, 프런티어 모델이 스스로를 도전하게 만들 수 있는 유효하고 검증 가능하며 어려운 태스크를 생성할 수 있는 메커니즘이 부족하며, 이는 폐쇄 루프 자기 개선(closed-loop self-improvement)의 전제 조건입니다.

방법론: BenchEvolver

저자들은 포화된 코딩 태스크를 더 어렵고 검증 가능한 변형으로 변환하도록 설계된 솔루션 중심 진화 프레임워크인 BenchEvolver를 소개합니다. 문제 설명을 먼저 생성한 다음 솔루션을 찾으려고 시도하는 전통적인 방식과 달리, BenchEvolver는 이 파이프라인을 역전시킵니다:

1. 솔루션 중심 진화 (Solution-Centric Evolution): 프로세스는 시드 태스크의 참조 솔루션($C$)에서 시작됩니다. **Proposer(제안자)**는 이 솔루션을 구조적으로 구별되는 새로운 참조 솔루션($C'$)으로 돌연변이 시킵니다. 이 돌연변이는 "지배적인 알고리즘 리프트(dominant algorithmic lift)"—즉, 부모 솔루션을 불충분하게 만드는 실질적인 변화(예: 새로운 자료 구조 요구, 다른 복잡도 클래스, 또는 수학적 재정의)를 도입하는 것을 목표로 가이드됩니다.
2. 태스크 구성 요소 도출 (Derivation of Task Components): $C'$가 확립되면, 프레임워크는 진화된 솔루션으로부터 자연어 문제 설명($S'$), 공개 예제, 그리고 숨겨진 테스트 스위트($T'$)를 직접 도출합니다. 이는 태스크가 실행 가능한 의미론에 근거하도록 보장합니다.
3. 검증 및 경험적 선택 (Verification and Empirical Selection): **Evaluator(평가자)**는 벤치마크별 일관성 체크(예: 경쟁 프로그래밍을 위해 참조 솔루션, 브루트 포스 솔버, 그리고 문제 설명 전용 오라클 간의 삼각 측량 수행; 과학적 코딩을 위한 문구 충실도 체크 활용)를 통해 후보 태스크($I' = (S', C', T', E)$)를 검증합니다. 결정적으로, 난이도는 휴리스틱하게 할당되지 않고 경험적으로 측정됩니다: 후보는 타겟 모델 패널의 통과율이 시드에 비해 낮아지는 경우에만 수락됩니다.
4. 메모리 가이드 탐색 (Memory-Guided Search): 프레임워크는 로컬 및 글로벌 메모리 모듈을 사용합니다. 로컬 메모리는 특정 시드의 계보(수락된 돌연변이, 실패 원인)를 추적하며, 글로벌 메모리는 모든 시드에 걸쳐 수락된 돌연변이 패밀리를 기록하여 다양성을 장려하고 중복된 탐색을 방지합니다. 이는 Proposer가 반복되는 실패를 피하고 뚜렷한 알고리즘 방향을 탐색하도록 가이드합니다.

주요 기여

• BenchEvolver 프레임워크: 참조 솔루션을 먼저 돌연변이 시킨 후 문제 설명과 테스트를 도출함으로써 포화된 코딩 태스크를 진화시키는 새로운 폐쇄 루프 프레임워크를 제안합니다. 이 설계는 태스크가 실행 가능하고 검증 가능함을 보장하며, 엄격하게 더 강력한 "교사" 모델을 요구하지 않습니다.
• 교차 도메인 검증: 프레임워크가 경쟁 프로그래밍(LiveCodeBench)과 과학적 코딩(SciCode)이라는 두 가지 뚜렷한 실행 가능 코딩 도메인에서 작동함을 입증하였으며, 유효하고 다양하며 실질적으로 더 어려운 태스크를 생성해 냈습니다.
• LIVECODEBENCH-PLUS: 저자들은 진화된 태스크와 어려운 원본 LiveCodeBench-v6 문제들을 결합한 새로운 91개 문제 벤치마크를 큐레이션했습니다. 이 벤치마크는 프런티어 모델 간의 명확한 차별성을 회복시키며, Pass@1 점수는 27.5%에서 62.6% 사이의 범위를 보입니다.
• 자기 개선 신호 (Self-Improvement Signal): 논문은 진화된 태스크가 이를 생성한 모델에게 효과적인 학습 신호로 작용한다는 증거를 제공합니다. 진화된 태스크에 대한 강화 학습(RL)은 원래의 시드 세트만 학습했을 때보다 홀드아웃 코딩 성능을 향상시킵니다.

결과

• 태스크 난이도 및 유효성: LiveCodeBench와 SciCode에 적용된 BenchEvolver는 타겟 모델의 통과율을 유의미하게 낮추는 유효한 진화 태스크를 성공적으로 생성했습니다. 예를 들어, LiveCodeBench Hard 시드에 대해 모델들의 평균 Pass@1은 진화된 태스크에서 87.0%에서 45.7%로 떨어졌습니다.
• 알고리즘 다양성: 경쟁 프로그래밍 전문가들에 의한 인간 평가 결과, 진화된 태스크는 알고리즘 표면 영역을 넓혔습니다. 시드 문제는 "탐색/시뮬레이션"(32.7%)이 지배적이었으나, 진화된 태스크는 HLD/LCT, AC 오토마타, 다항식 방법과 같은 고급 카테로리로 질량을 분산시켰습니다. 뚜렷한 알고리즘 카테고리의 수는 시드의 19개에서 진화된 세트의 30개로 증가했습니다.
• RL 성능 이득: gpt-oss-20b를 진화기와 타겟 모델로 모두 사용하여, 시드 및 진화된 태스크의 혼합물으로 학습했을 때 홀드아웃 벤치마크에서 상당한 이득을 얻었습니다:
  • LCB v6 Hard: 시드 전용 베이스라인 대비 +8.7 Pass@1 이득 (시드 전용 이득 대비 70.7% 상대적 개선).
  • LCB-Pro Easy: 시드 전용 베이스라인 대비 +8.3 Pass@1 이득 (시드 전용 대비 34.8% 상대적 개선).
  • 전이(Transfer): 자체 생성된 진화 태스크로 학습하는 것은 독립적으로 진화된 벤치마크(Gemini-3-Flash에 의해 생성됨)에서도 성능을 향상시켰으며, 이는 신호가 특정 생성기의 분포를 넘어 전이됨을 시사합니다.

의의 및 주장

본 논문은 BenchEvolver가 정적인, 포화된 데이터셋을 프런티어 레벨의 평가 스위트 및 재사용 가능한 학습 신호로 변환함으로써 벤치마크 포화 문제를 해결한다고 주장합니다. 핵심적인 의의는 태스크 생성을 실행 가능한 의미론에 근거하게 함으로써, 난이도가 표면적인 복잡성이 아닌 계산의 속성임을 보장하는 솔루션 중심 설계에 있습니다.

저자들은 이 접근 방식이 폐쇄 루프 자기 개선 메커니즘을 가능하게 한다고 주장합니다: 모델은 추론 시간 계산을 사용하여 자신의 약점을 발견하고, 이러한 실패를 검증된 학습 환경으로 변환하며, RL을 통해 개선될 수 있습니다. 이는 벤치마크를 필연적으로 포화되는 정적인 유물로 보는 전통적인 관점을 넘어, 평가와 학습 데이터셋이 모델 능력과 함께 공진화하는 "살아있는 벤치마크" 패러다임을 제안합니다. 결과는 진화된 태스크가 단순히 더 어려운 평가 항목일 뿐만 아니라, 모델이 원래의 훈련 분포를 넘어 어려운 코딩 체계에서 개선될 수 있도록 돕는 실행 가능한 학습 신호를 제공함을 시사합니다.