🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

이 논문은 추론 토큰 예산의 변화가 모델 성능과 순위를 유의미하게 변화시킨다는 점을 입증함으로써 대규모 언어 모델 순위가 안정적이라는 가정에 이의를 제기하며, 예산 조건부 평가 프로토콜이 필요함을 시사하는 비단조적 동작, 순위 역전, 그리고 모델 상보성을 드러낸다.

원저자: Rodrigo Guedes de Souza, Alison R. Panisson

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Rodrigo Guedes de Souza, Alison R. Panisson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 도서관에 있다고 상상해 보세요. 그곳의 책들은 거대 언어 모델(LLM)이라고 불리는 초지능 로봇들이 쓴 것입니다. 이 로봇들은 거의 모든 것을 읽을 수 있으며 수학, 과학, 역사에 관한 질문에 답할 수 있습니다. 오랫동안 사람들은 단순히 질문을 던지고 누가 먼저 정답을 맞히는지 보고 "최고의" 로봇을 뽑으려 했습니다. 그들은 만약 로봇 A가 한 가지 테스트에서 로봇 B보다 뛰어나다면, 어떤 상황에서도 항상 더 뛰어날 것이라고 가정했습니다. 그것은 마치 얼마나 많은 시간을 허용했는지는 신경 쓰지 않고, 누가 결승선을 먼저 통과했는지만 보고 경주를 심사하는 것과 같았습니다.

하지만 여기 반전이 있습니다. 이 로봇들은 즉각적으로 "생각"하는 것이 아닙니다. 그들은 긴 생각의 사슬처럼 단어를 하나씩 써 내려가며 답을 작성합니다. 이들이 얼마나 많은 단어를 쓸 수 있는지에 대한 제한을 '토큰 예산'이라고 부릅니다. 이것은 학생에게 시험을 치를 시간을 다르게 주는 것과 같습니다. 어떤 학생은 어려운 퍼즐을 풀기 위해 많은 시간이 필요할 수도 있고, 어떤 학생은 시간이 너무 많으면 혼란에 빠져 생각을 너무 많이 하다가 오히려 망칠 수도 있습니다. 과학자들의 큰 질문은 이것입니다. "우리가 시간 제한을 바꾼다면, '최고'의 로봇은 여전히 최고로 남을 것인가?" 즉, 생각할 시간을 얼마나 주느냐에 따라 승자가 바뀌는가 하는 점입니다. 이것이 바로 연구자들이 알아내고자 했던 것입니다.

"과잉 사고(Overthinking)" 문제: 왜 더 많은 시간이 항상 더 나은 것은 아닌가

이 연구에서 연구자들은 네 가지 서로 다른 AI 모델이 세 가지 까다로운 테스트(초등 수준 수학, 경시대회 수준 수학, 대학원 수준 과학 질문)에서 어떻게 수행되는지 확인하기 위해 대규모 실험을 설계했습니다. 그들은 단순히 모델을 실행시킨 것이 아니라, 특정 양의 "생각(토큰으로 측정)" 후에 강제로 멈추게 했습니다. 그들은 아주 적은 64 토큰(매우 짧은 생각 시간)부터 엄청나게 큰 4,096 토큰(많은 생각 시간)까지 일곱 가지의 서로 다른 제한을 설정하여 테스트했습니다.

그들이 발견한 것은 단 하나의 "최고" 모델이라는 개념이 신화라는 사실이었습니다. 모델의 순위는 그들에게 주어진 시간에 따라 완전히 뒤바뀌고 변했습니다.

"과잉 사고"의 놀라움
로봇에게 생각할 시간을 더 많이 주면 항상 정답을 맞히는 데 도움이 될 것이라고 생각할 수도 있습니다. 하지만 연구자들은 이상한 점을 발견했습니다. 때로는 모델에게 더 많은 토큰을 주는 것이 오히려 정답을 틀리게 만든다는 사실입니다. 그들은 이를 "과잉 사고(overthinking)"라고 부릅니다.

수학 문제를 풀 줄 아는 학생을 상상해 보세요. 만약 10분을 준다면, 그 학생은 정답을 정확히 적어낼 것입니다. 하지만 30분을 준다면, 학생은 스스로를 의심하기 시작하여 답을 바꾸고 결국 틀린 답을 내놓을 수도 있습니다. 연구 결과, 이 현상은 질문의 약 3%에서 19%에서 발생했습니다. 더욱 나쁜 것은 이것이 질문 자체의 문제가 아니라 각 로봇의 특성에 따른 문제였다는 점입니다. 한 모델을 "과잉 사고"에 빠뜨려 실패하게 만든 질문이 다른 모델에게는 완벽하게 괜찮을 수도 있었습니다. 이는 어떤 사람은 발표 준비 시간이 너무 길어지면 긴장하는 반면, 어떤 사람은 그 시간을 활용해 잘 해내는 것과 같습니다.

순위의 거대한 역전
이 때문에 경주의 "승자"는 계속해서 바뀌었습니다.

쉬운 수학 테스트(GSM8K)에서는, 중간 정도의 시간(256 토코)을 주었을 때 거대 모델(LLaMA-3.3 70B)이 챔피언이었습니다. 하지만 모델들에게 더 많은 시간(4,096 토큰까지)을 주자마자, 더 작은 모델(GPT-OSS 20B)이 선두를 차지하며 그 자리를 지켰습니다.
가장 어려운 과학 테스트(GPQA)에서는, 시간이 촉박할 때(256–512 토큰) 가장 작은 모델(LLaMA-3 8B)이 실제로 가장 뛰어났습니다. 그러나 시간이 흐르자 더 큰 모델들이 따라잡았고 결국 공동 1위를 차지했습니다.

이는 오늘날 어떤 리더보드에서 "모델 X가 최고다"라고 말한다면, 그 문장은 특정 시간 동안에만 유효하다는 것을 의미합니다. 시간 제한을 바꾸면 모델 X는 갑자기 최악의 모델이 될 수도 있습니다.

"오라클(Oracle)"의 격차: 왜 스마트한 스위치가 필요한가
연구자들은 또한 다음과 같이 물었습니다. "만약 우리가 모든 질문에 대해 완벽한 모델을 마법처럼 골라낼 수 있다면, 얼마나 더 잘할 수 있을까?" 그들은 모든 특정 질문과 시간 제한에 대해 최적의 모델을 선택하는 이론적인 "오라클(완벽한 선택기)"을 구축했습니다.

결과는 충격적이었습니다. 이 완벽한 선택기는 단일 최고의 모델을 단독으로 실행했을 때보다 과학 테스트에서 27.8 퍼센트 포인트 더 많은 정답을 맞혔습니다. 쉬운 수학 테스트에서도 그 격차는 상당했습니다(최대 16.9 포인트). 이는 단 하나의 로봇이 모든 것에 능숙할 수 없음을 증명합니다. 때로는 작은 로봇이 최고이고, 때로는 큰 로봇이 최고이며, 때로는 둘 다 틀릴 수도 있습니다.

스마트한 스위치를 만들 수 있을까?
연구팀은 질문을 보고 어떤 로봇이 답해야 할지를 결정하는 스마트한 시스템인 "라우터(router)"를 만드는 시도를 했습니다.

동일한 유형의 테스트 내에서: 수학 문제로 라우터를 학습시키고 수학 문제로 테스트했을 때, 라우터는 매우 잘 작동했습니다. "시간 제한"을 단서로 활용함으로써 올바른 로봇을 선택하는 데 도움을 주었고, 정확도를 1.6에서 5.7 포인트까지 향상시켰습니다.
서로 다른 테스트 간에: 하지만 동일한 라우터를 수학에서 과학 질문으로 전환하여 사용하려고 했을 때, 라우터는 혼란에 빠졌습니다. 수학에서 작동했던 "시간 제한" 단서들이 과학에서는 작동하지 않았습니다. 실제로 이러한 단서들을 사용하는 것이 도메인을 전환할 때 라우터의 성능을 1.2 포인트 더 떨어뜨렸습니다. 이는 "얼마나 많은 시간을 갖느냐"와 "정답을 맞히느냐" 사이의 관계가 과목마다 다르다는 것을 시사합니다.

시사점

이 논문의 핵심 교훈은 간단하지만 강력합니다. 단 하나의 "최고" AI 모델은 존재하지 않습니다. "어떤 모델이 최고인가?"라는 질문의 답은 전적으로 "그들에게 얼마나 오래 생각하도록 허용하느냐"에 달려 있습니다.

만약 당신이 AI에게 아주 짧은 시간만 줄 수 있는 스마트폰 앱을 만들고 있다면, 작고 빠른 모델이 당신의 챔피언이 될 수 있습니다. 만약 당신이 AI에게 몇 시간 동안 생각할 시간을 줄 수 있는 서버를 운영하고 있다면, 다른 더 큰 모델이 승자가 될 것입니다. 단 하나의 승자를 뽑아 모두에게 적용하는 기존의 방식은 깨졌습니다. 대신 우리는 이렇게 말해야 합니다. "모델 A는 짧은 답변에 좋고, 모델 B는 긴 답변에 좋으며, 때로는 너무 많은 시간을 주면 그들이 일을 그르칠 수도 있다"라고 말입니다.

연구자들은 미래에 단일 점수를 요구하는 대신, 다양한 시간 제한에 따라 모델이 어떻게 수행되는지를 보고하기 시작해야 한다고 제안합니다. 그리고 이 모델들을 효과적으로 사용하고 싶다면, 언제 작은 모델(빠른 생각가)을 부르고 언제 큰 모델(느린 생각가)을 불러야 할지 아는 스마트한 시스템이 필요합니다. 왜냐하면 승자는 시계가 돌아가기 시작하는 순간 바뀌기 때문입니다.

기술 요약: LLM 평가에서의 예산 의존적 순위 (Budget-Dependent Rankings)

문제 정의

표준적인 대규모 언어 모델(LLM) 평가는 모델의 순위가 추론 시점의 조건에 관계없이 안정적이고 불변한다고 가정한다. 구체적으로, 특정 벤치마크(예: GSM8K, GPQA)에서 "최첨단(SOTA)"으로 선언된 모델이 토큰 생성 예산(모델이 절단되기 전까지 생성할 수 있는 최대 토큰 수)에 관계없이 그 우월성을 유지한다고 가정한다.

본 논문은 이러한 가설에 이의를 제기한다. 본 논문은 평가 환경이 근본적으로 예산 의존적이라고 주장한다. 테스트 시간 연산량 스케일링(test-time compute scaling)에 관한 최근 문헌은 토큰 허용량이 증가하면 성능이 향상될 수 있음을 시사하는 반면, "오버싱킹(overthinking)" 문헌은 추가적인 토큰이 오히려 정확도를 저하시킬 수 있음을 시사한다. 그러나 이러한 효과들 사이의 상호작용이 서로 다른 모델과 작업(task)에 걸쳐 어떻게 나타나는지는 아직 정량화되지 않았다. 핵심 문제는 모델의 순위, 항목의 난이도, 그리고 모델 간 상호 보완성이 정적인 속성인지, 아니면 토큰 예산의 함수인지 여부이다.

방법론

저자들은 네 가지 오픈 웨이트 추론 모델과 세 가지 추론 벤치마크를 대상으로 7개의 서로 다른 토큰 예산에 걸친 체계적인 조사를 수행하였다.

모델: 파라미터 규모가 한 자릿수 차이 나는 네 가지 모델: LLaMA-3 8B, Qwen-3 32B, LLaMA-3.3 70B, GPT-OSS 20B.
벤치마크: 난이도가 점진적으로 증가하는 세 가지 데이터셋:
- GSM8K (1,319개의 초등 수학 문제).
- MATH-500 (500개의 경시대회 수준 수학 문제).
- GPQA-Diamond (198개의 대학원 수준 과학 질문).
토큰 예산: 64에서 4,096까지의 7개 단계 ( $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ).
실험 설정: 결정론적 결과를 위해 온도 $T=0$ 에서 총 56,476개의 개별 추론을 생성하였다.
평가 프로토콜:
- 절단 처리(Truncation Handling): 저자들은 실제 추론 실패와 절단에 의한 아티팩트(artifact)를 구분하기 위해 세 단계 분석을 채택하였다:
  1. 전체 항목(All items): 절단된 출력을 오답으로 처리하는 표준 점수 산정 방식.
  2. 중단 전용(Stop-only): 특정 모델이 생성을 완료한 항목들로 분석을 제한함.
  3. 공통 비절단 항목(Common non-truncated): 네 모델 모두가 생성을 완료한 항목들로 제한하여 쌍별 비교를 가능하게 함.
- 지표: 이진 정답 여부(exact match), 순위 유의성을 위한 McNemar 검정, 모델 간 합의도를 위한 Jaccard 유사도, 그리고 오라클 갭 분석(per-item 오라클 앙상블과 최적의 단일 모델 간의 차이).

주요 기여 및 결과

1. 항목 수준 행동 분류 (Item-Level Behavioral Taxonomy)

저자들은 모델-항목 궤적을 네 가지 범주로 분류하였다: 항상 정답(always-correct), 단조 증가(monotone-increasing), 비단조(non-monotone), 항상 오답(always-wrong).

비단조 행동: 예산이 증가할수록 항상 도움이 된다는 가정과 달리, 3.6~25.8%의 항목이 비단조 행동(예산이 증가함에 따라 정확도가 감소함)을 보였으며, 이는 "오버싱킹"을 나타낸다.
모델 특이성: 이 현상은 주로 모델 특이적이다. 비단조 항목의 교차 모델 중복도는 낮으며(6~14%), 이는 한 모델에서 오버싱킹을 유발하는 항목이 다른 모델에서는 거의 발생하지 않음을 의미한다. 이는 "문제가 되는" 항목을 단순히 벤치마크에서 제거함으로써 문제를 해결할 수 없음을 시사한다.
검증: 절단 아티팩트를 필터링한 후에도(stop-only 궤적 사용), 비단조 비율은 여전히 상당한 수준(예: GPQA에서 LLaMA-3 8B의 경우 19.1%)으로 유지되었으며, 이는 오버싱킹이 실제적인 추론 실패임을 확인해 준다.

2. 통계적으로 유의미한 순위 역전 (Statistically Significant Ranking Reversals)

모델의 순위는 안정적이지 않으며, "최고의" 모델은 예산에 따라 달라진다.

GSM8K: LLaMA-3.3 70B는 $b=256$ 에서 앞서지만(62.4%), GPT-OSS 20B가 $b=512$ 에서 이를 추월하며 $b=4096$ 에서도 상당한 격차를 유지한다(94.9% 대 91.7%).
GPQA: 가장 작은 모델(LLaMA-3 8B)은 낮은 예산( $b=256, 512$ )에서 1위를 차지하지만, $b=1024$ 에서 LLaMA-3.3 70B에 의해 추월당하며, 결국 $b=4096$ 에서는 GPT-OSS 20B와 대등해진다.
유의성: 이러한 역전 현상은 공통 비절단 세트에 대해 통제하더라도 모든 벤치마크에서 McNemar 검정을 통해 통계적으로 유의미하다 ( $p < 0.01$ ).

3. 오라클 갭 역학 (Oracle Gap Dynamics)

오라클 앙상블(항목당 정답 모델을 선택)은 모델 선택을 통한 개선 가능성을 보여준다.

규모: 오라클 갭(오라클 정확도 - 최적의 단일 모델 정확도)은 +3.5 pp에서 +27.8 pp 사이이다.
예산 의존성:
- GSM8K의 경우, 모델들이 서로 다른 항목을 해결함에 따라 $b=256$ 에서 정점(+16.9 pp)을 찍고 이후 하락하는 비단조적 양상을 보이며, 이는 높은 예산에서 쉬운 항목들로 수렴하기 때문이다.
- 더 어려운 벤치마크(MATH-500, GPQA)에서는 오라클 갭이 단조 증가하여, $b=4096$ 에서 각각 +12.8 pp와 +27.8 pp에 도달한다.
상호 보완성: 높은 예산에서도 모델들은 유의미하게 다른 항목 집합을 해결하며(Jaccard 유사도 $\approx 0.74$ at $b=4096$ ), 이는 지속적인 상호 보완성을 나타낸다.

4. 예산 인지형 라우팅 개념 증명 (Budget-Aware Routing Proof-of-Concept)

저자들은 텍스트 특징과 토큰 예산을 기반으로 항목을 최적의 모델로 라우팅하는 XGBoost 분류기를 학습시켰다.

교차 도메인 성능: GSM8K+MATH-500으로 학습하고 GPQA로 테스트했을 때, 라우터는 "Best-Per-Budget" 베이스라인보다 +2.67 pp 높은 성능을 보였으며, 오라클 갭의 14.1%를 포착하였다.
특징 중요도: SHAP 분석 결과, 토큰 예산이 가장 지배적인 특징임이 드러났다(LaTeX 존재 여부와 같은 텍스트 특징보다 6.1배 더 중요함).
도메인 특이성: 예산 특징이 도메인 내에서는 성능을 향상시키지만(+1.6 ~ +5.7 pp), 도메인 간 전이 시에는 성능을 저하시킨다(-1.2 pp). 이는 예산과 정확도 사이의 관계가 도메인 특이적이며, 수학에서 과학으로 직접 일반화되지 않음을 나타낸다.

의의 및 시사점

본 논문은 "어떤 모델이 최고인가?"라는 질문은 단 하나의 답을 가질 수 없으며, 토큰 생성 예산에 달려 있다고 주장한다. 저자들은 세 가지 실행 가능한 시사점을 제안한다:

평가 프로토콜: 벤치마크는 단일 정적 점수 대신 여러 예산 수준에서의 순위를 보고하는 예산 조건부 평가(budget-conditioned evaluation)를 채택해야 한다. 이는 관대한 예산 확보가 불가능한 제약된 배포 환경(예: 모바일, 에지 디바이스)에서 매우 중요하다.
라우팅 시스템: 모델 선택 및 라우팅 시스템은 토큰 예산을 일급 신호(first-class signal)로 취급해야 한다. 다만, 예산-정확도 매핑은 도메인 특이적이므로, 라우팅 시스템은 예산 신호를 도메인 불변적 특징이나 적응 기술과 결래하여 사용해야 한다.
앙상블 기회: 기록된 상당한 오라클 갭은 모델 간 상호 보완성을 활용할 수 있는 구체적인 기회를 제공하며, 이는 단일 모델 배포보다 유의미한 성능 향상을 가져올 수 있다.

본 연구는 LLM의 평가 환경이 근본적으로 예산 의존적이며, 모델의 순위, 항목의 난이도, 상호 보완성 모두가 추론 시점의 토큰 제한 함수의 변수로 변화한다는 결론을 내린다.