기술 요약: 추론 연산량이 프런티어 LLM 평가에 미치는 영향

1. 문제 제기

프런티어 AI 벤치마크가 포화 상태에 이름에 따라, 평가 과제는 다단계 계획, 도구 사용, 반복적 문제 해결을 요구하는 더 어렵고 긴 호흡의 문제로 이동하고 있습니다. 이러한 과제에서의 성능은 테스트 시점에 가용할 수 있는 연산량(즉, "추론 연산량")과 그 할당량에 점점 더 민감하게 반응합니다. 그러나 기존의 많은 평가는 단일하고 제한적인 예산(예: 고정된 토큰 제한 또는 턴 제한) 하에서 성능을 보고합니다. 이러한 접근 방식은 모델의 능력을 과소평가할 위험이 있는데, 이는 실패가 모델의 능력 부족 때문이 아니라 모델이 할당된 추론 예산을 모두 소진했기 때문일 수 있기 때문입니다. 또한, 고정된 예산 점수는 새로운 세대가 등장함에 따라 추가적인 추론 시간 연산량을 성능으로 전환하는 모델의 능력 발전을 추적하는 데 실패할 수 있습니다.

2. 방법론

저자들은 소프트웨어 엔지니어링, 수학, 의학, 사이버 보안를 아우르는 7개의 도전적인 벤치마크에 걸쳐 추론 스케일링에 대한 체계적인 연구를 수행했습니다. 이 연구는 2025년 5월에서 2026년 3월 사이에 출시된 최대 12개의 프런티어 언어 모델을 통일된 실험 프레임워크를 사용하여 평가했습니다.

실험 설정

• 모델: 두 계열(Anthropic Opus 및 OpenAI GPT)의 6개 프런티어 모델이 5개의 주요 벤치마크에서 평가되었습니다. 추가로, 10개의 모델이 포함된 두 개의 사이버 보안 벤치마크 데이터를 활용하여 추론 스케일링을 분석했습니다.
• 벤치마크:
  • 상태 유지형(Stateful): TerminalBench 2.0, SWE-Bench Pro, FrontierMath, Cyber CTFs, The Last Ones.
  • 상태 비유지형(Stateless): HealthBench, Humanity's Last Exam (HLE).
• 추론 스케일링 개입: 저자들은 모든 과제에 대해 세 가지 단순하고 재현 가능한 개입을 일관되게 적용했습니다:
  1. 확장된 토큰 예산: 총 궤적 예산을 5M30M 토큰으로 설정 (일반적인 기본값보다 13 자릿수 높음).
  2. 컨텍스트 압축: 초기 턴들을 모델이 생성한 요약본으로 대체하여 명목상의 컨텍스트 창을 넘어 직렬 스케일링이 가능하도록 함.
  3. 반복 제출: 생산적이지 않은 루프를 방지하기 위한 반복 방지 장치를 갖춘 무제한 제출 시도 (최대 999회로 제한).
• 피드백 조건: 각 모델/벤치마크 쌍에 대해 두 가지 조건을 테스트했습니다:
  • 피드백 없음: 모호한 확인만 제공; 모델은 스스로 과제 완료 여부를 판단해야 함.
  • 오라클 점수 피드백: 명시적인 정답 신호(또는 HealthBench의 경우 부분 점수) 제공; 첫 번째 정답 제출 시 궤적 종료.
• 분석: 연구는 총 소비된 토큰의 함수로서 누적 성능(추론 스케일링 곡선)을 측정하였으며, 세대 간 이득을 도달 범위(Reach) (해결 가능한 과제 증가), 효율성(Efficiency) (해결당 토큰 수), 신뢰성(Reliability) (잠금 해제된 과제의 성공률)으로 분해했습니다. 병렬 스케일링(pass@k) 또한 고정된 예산을 여러 독립적인 궤적에 나누어 할당함으로써 분석되었습니다.

3. 주요 기여 및 결과

3.1. 추론 스케일링은 상당하지만 벤치마크에 따라 다르다

연구 결과, 더 큰 토큰 예산은 여러 벤치마크에서 성능을 실질적으로 향상시키지만, 그 이득의 크기는 크게 달라집니다:

• 높은 헤드룸(High Headroom): FrontierMath, Humanity's Last Exam (HLE), Cyber CTFs와 같은 벤치마크는 일반적인 발표 예산을 훨씬 상회하는 상당한 성능 향상을 보여줍니다. 예를 들어, FrontierMath의 토큰을 1M에서 10M으로 확장했을 때 평균 +11.7%의 이득이 발생했습니다.
• 낮은 헤드룸(Low Headroom): 소프트웨어 엔지니어링 벤치마크(TerminalBench, SWE-Bench Pro)와 HealthBench는 예산을 확장하더라도 개선이 제한적이었습니다. TerminalBench와 SWE-Bench Pro는 예산을 두 배 또는 세 배로 늘렸을 때 각각 약 1.3%와 0.3%의 낮은 향상만을 보였습니다. HealthBench는 테스트된 프로토콜 하에서 직렬 스케일링 개입에 대한 민감도가 매우 낮았습니다.
• 정체(Plateauing): 한계 효용 체감은 모델 세대와 피드백 조건에 따라 다릅니다. 최신 모델은 구형 모델이 정체되는 지점에서도 더 큰 예산에서 계속해서 성능이 향상되는 경향이 있으며, 이는 고정된 예산 평가가 프런티어 모델의 능력을 놓칠 수 있음을 시사합니다.

3.2. 도달 범위와 신뢰성에 의한 세대 간 이득

대규모 예산에서의 세대 간 개선은 주로 다음 요소들에 의해 주도됩니다:

• 도달 범위 증가: 최신 모델은 특히 더 어려운 과제들을 포함하여 더 많은 비율의 과제를 해결할 수 있게 됩니다.
• 신뢰성 증가: 최신 모델은 반복되는 궤적 전반에 걸쳐 잠금 해제된 과제들을 더 일관되게 해결합니다.
• 조건부 효율성: 토큰 효율성(더 적은 토큰으로 과제 해결)의 이득은 벤치마크마다 불균형하며, 종종 해결 가능한 과제 집합의 확장보다 부차적인 요소로 나타납니다. 최신 모델은 이미 '도달 가능한' 과제를 더 효율적으로 해결하는 것이 아니라, 이전에는 접근 불가능했던 '새로운' 과제들을 해결합니다.

3.3. 프로토콜 선택이 유도하는 결과

추론 스케일링의 가치는 연산량이 어떻게 할당되고 어떤 피드백이 제공되는지에 따라 크게 달라집니다:

• 반복 제출: 모든 벤치마크에서 성능을 향상시킵니다. 이 이득은 지속적인 탐색을 유도하는 오라클 피드백이 있을 때 가장 두드러집니다 (예: HLE 및 SWE-Bench Pro).
• 직렬 vs. 병렬 스케일링:
  • 병렬 스케일링(고정된 예산을 여러 독립적인 궤적에 나누는 것)은 HealthBench(+0.283 pass@10 이득) 및 HLE(+0.183)와 같은 상태 비유지형 벤치마크에서 상당한 이득을 주지만, FrontierMath 및 SWE-Bench Pro와 같은 상태 유지형 벤치마크에서는 이득이 미미했습니다.
  • 최신 모델: 일반적으로 구형 모델보다 병렬 샘플링으로부터 얻는 이득이 적은데, 이는 최신 모델이 단일하고 깊은 궤적에서 더 많은 가치를 추출함을 시사합니다.

4. 의의 및 권고 사항

본 논문은 벤치마크 점수가 프로토콜 의존적이며, 단일 고정 예산 점수는 프런티어 모델의 역량에 대한 불완전한 그림을 제공한다고 주장합니다. 저자들은 평가 관행에 대한 세 가지 핵심 변화를 제안합니다:

1. 연산량의 함수로서 역량 보고: 평가는 단일 고정 예산 수치가 아니라, 다양한 추론 시간 연산량 범위에 따른 성능 곡선을 보고해야 합니다. 이는 포화된 평가와 추가 연산량이 측정 가능한 이득을 주는 평가를 구분해 줍니다.
2. 명시적 프로토콜 명시: 반복, 피드백, 연산량 할당(직렬 대 병렬)에 관한 선택 사항은 평가 설계의 필수적인 부분으로 취급되어야 하며, 이를 명시적으로 보고해야 합니다. 이는 측정된 성능을 크게 변화시키기 때문입니다.
3. 일치된 예산 비교: 모델 세대를 비교할 때, 특히 안전성이나 정책 관련 설정의 경우, 모델들은 일치된 예산 범위 내에서 대규모의 공유된 연산량에 대해 평가되어야 합니다. 고정된 예산 비교는 모델이 확장된 추론 시간을 활용하는 능력이 향상됨에 따라 발전 과정을 오도할 가능성이 큽니다.

본 연구는 단순한 추론 스케일링 개입(더 큰 예산, 컨텍스트 압축, 재제출)이 상당한 능력을 끌어낼 수 있지만, 그 이득의 정도는 과제의 구조와 특정 프로토콜에 크게 의존한다는 결론을 내립니다. 따라서 평가는 단일 지점 메트릭을 넘어, 다양한 추론 시간 제약 조건 하에서의 프런티어 모델의 전체 잠재력을 특징짓는 방향으로 나아가야 합니다.