💬 NLP

Scale or Reason? A Compute-Equivalent Analysis of Reasoning Distillation

이 논문은 고정된 연산 예산 하에서, 표준 지시 미세 조정(instruction fine-tuning)이 대부분의 모델 규모와 작업에서 추론 증류(reasoning distillation)를 일반적으로 능가하거나 대등한 성능을 보이며, 후자는 25~50%의 추론 데이터를 비용 효율적인 커리큘럼 믹싱 방식으로 결합했을 때 대규모 모델의 개방형 문제 해결에서만 유리해진다는 점을 입증한다.

원저자: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 어린 도제(작은 AI 모델)에게 문제를 해결하는 법을 가르치려 한다고 상상해 보세요. 당신에게는 그들을 훈련시키는 데 쓸 수 있는 한정된 돈(연산 예산)이 있습니다. 당신은 두 가지 주요 방법으로 도제를 가르칠 수 있습니다.

"직접 답변" 방식 (IFT): 스승이 질문과 함께 정답을 간결하게 제시합니다. "2 더하기 2는 무엇인가? 답은 4이다."
"풀이 과정 보여주기" 방식 (추론 증류): 스승이 질문을 던진 후, 정답을 말하기 전에 자신의 사고 과정을 담은 길고 상세한 일기를 작성합니다. "자, 어디 보자. 2 더와 2를 더하면... 음, 내가 사과 두 개를 가지고 있고 여기에 두 개를 더한다면... 하나씩 세어보자... 그러면 4가 된다. 그러므로 답은 4이다."

이 논문이 던지는 핵심 질문은 이것입니다: 도제에게 긴 "풀이 과정 보여주기" 방식을 가르치기 위해 그 모든 추가 비용을 지불할 가치가 있을까요, 아니면 그냥 더 크고 똑똑한 도제를 사서 "직접 답변" 방식으로 가르치는 것이 나을까요?

연구진이 발견한 내용을 쉬운 비유로 나누어 설명하면 다음과 같습니다.

1. "긴 길을 돌아가는" 문제

"풀이 과정 보여주기" 방식은 엄청나게 비쌉니다. 논문에 따르면 추론 흔적(reasoning traces)은 직접 답변보다 5배에서 20배 더 깁니다.

비유: 당신이 택시 기사에게 거리당 요금을 지불한다고 상상해 보세요.
- 직접 답변: 기사가 지름길을 이용해 1마일 만에 당신을 내려줍니다.
- 추론: 기사가 정답을 말하기 전에 모든 동네를 다 돌며 각 거리의 역사까지 설명하기로 결정합니다. 이 과정은 20마일이 걸립니다.
- 비용: 만약 당신에게 고정된 기름 예산이 있다면, "추론" 택시를 선택하는 것은 아주 작고 느린 차밖에 살 수 없음을 의미합니다. 반면 "직접 답변" 택시를 선택한다면, 거대하고 강력한 리무진을 살 수 있습니다.

2. 놀라운 승자: 거대한 리무진

연구진이 "기름 예산"(연산량)을 동일하게 유지한 채 두 방식을 비교했을 때, 직접 답변(IFT) 방식이 거의 항상 승리했습니다.

발견: 짧고 직접적인 답변을 사용하는 더 큰 모델을 훈련시키는 것이, 긴 상세한 추론을 사용하는 더 작은 모델을 훈련시키는 것보다 거의 항상 더 효율적이었습니다.
예외: "풀이 과정 보여주기" 방식이 승자가 되는 경우는 딱 두 가지 상황뿐이었습니다:
1. 과업: 질문이 개방형일 때 (예: 이야기를 쓰거나 정답이 하나가 아닌 복잡한 수학 문제를 풀 때).
2. 크기: 도제가 이미 상당히 클 때 (최소 70억 개의 "뇌세포" 또는 파라미터 보유).
작은 모델들: 작은 모델들에게 "풀이 과정 보여주기" 방식은 재앙이었습니다. 그들은 자신의 생각 속에 갇혀, 실수로 가득 찬 길고 횡설수설하는 일기를 쓰곤 했습니다. 그들은 정답에 도달하지 못한 채 제자리를 맴돌며 모든 돈을 낭비했습니다.

3. "골디락스(Goldilocks)" 솔루션: 혼합 식단

논문은 비용을 아끼면서도 이점을 유지할 수 있는 영리한 절충안을 발견했습니다.

순차적 훈련: 도제에게 주로 "직접 답변"(75%의 시간)으로 가르치다가, 훈련 마지막 단계에서만 "풀이 과정 보여주기"(25%의 시간)로 전환할 수 있습니다.
- 결과: 이는 값비싼 추론 방식의 이점을 거의 모두 포착하면서도 비용은 아주 적게 듭니다. 이는 마치 도제에게 표준 식단을 제공하다가 마지막에 기술을 날카롭게 만들기 위해 "추론 보충제"를 추가하는 것과 같습니다.
혼합 훈련: 두 종류의 데이터를 함께 섞되, "추론" 부분의 비중을 낮게(50% 미만) 유지하면, 모델은 길고 비싼 답변을 내놓지 않으면서도 수학과 논리 능력이 더 똑똑해집니다.
- 결과: 당신은 더 똑똑하면서도 간결하게 말하는 모델을 얻게 됩니다. 이는 누군가에게 깊이 생각하도록 가르치되, 짧고 강렬한 답변을 내놓도록 강제하는 것과 같습니다.

4. 작은 모델들이 추론에 실패하는 이유

연구진은 작은 모델들이 왜 "풀이 과정 보여주기" 방식에 어려움을 겪는지 자세히 살펴보았습니다.

발견: 작은 모델은 정답을 틀렸을 때, 맞았을 때보다 더 긴 설명을 쓰는 경ことも 있습니다. 이는 답을 몰라서 계속해서 문장을 늘려가며 운 좋게 정답을 맞히기를 바라는 학생과 같습니다.
결과: 이로 인해 작은 추론 모델들은 매우 비효efficient해집니다. 그들은 정답이 담긴 긴 이야기를 쓰느라 "기름 예산"을 허비합니다. 모델이 커질수록, 그들은 언제 말을 멈춰야 할지 더 잘 알게 되며, 이로 인해 "풀이 과정 보여주기" 방식은 더 크고 유능한 학생들에게만 유효해집니다.

결론

만약 당신이 AI를 만들고 있고 예산이 한정되어 있다면:

"추론"(긴 사고 흔적)이 무조건 더 좋을 것이라고 섣불리 가정하지 마세요.
먼저 직접 답변을 사용하는 더 큰 모델을 훈련시키는 것을 고려하세요.
만약 정말로 추론 능력이 필요하다면, 하이브리드 접근 방식을 사용하세요: 주로 직접 답변으로 훈련하다가, 마지막에 소량의 추론 데이터를 추가하십시오. 이것이 비용을 낭비하지 않으면서 두 방식의 장점을 모두 취하는 방법입니다.

이 논문은 우리가 막연히 "긴 사고" 트렌드를 쫓아서는 안 된다고 주장합니다. 때로는 더 짧은 답변을 내놓는 더 큰 뇌가 더 똑똑하고 효율적인 선택이 될 수 있습니다.

기술 요약: 규모인가, 추론인가? 추론 증류의 연산 등가성 분석

문제 정의

유능한 소형 언어 모델(SLM)을 구축하는 지배적인 패러다임은 강력한 교사 모델로부터 추론 흔적(reasoning traces)을 증류하는 것이다. 그러나 추론 흔적은 일반적으로 표준 지시 미세 조정(Instruction Fine-Tuning, IFT) 출력보다 5~20배 더 길다. 이러한 길이의 격차는 상당한 연산 오버헤드를 의미한다: 실무자가 추론 증류를 선택한다는 것은 동일한 연산 예산 내에서 더 큰 IFT 모델을 훈련할 수 있는 옵션을 포기함을 암시한다. 표준 스케일링 법칙은 모델 용량에 추가 연산을 할당하는 것이 매우 효율적임을 시사하지만, "규모 확장"(더 큰 IFT 모델)과 "추론 확장"(추론 흔적 증류) 사이의 구체적인 트레이드오프는 아직 해결되지 않은 상태로 남아 있다. 본 논문은 고정된 훈련 및 추론 예산이 주어졌을 때, 추론 증류의 연산 오버헤드가 표준 IFT를 확장하는 것과 비교하여 정당화될 수 있는지 조사한다.

방법론

저자들은 교사 품질이나 프롬프트 분포와 같은 다른 변수의 영향을 격리하기 위해 통제된 실험 설계를 채택하였다:

통제된 쌍 구성: 단일 교사 모델(Qwen3-235B-A22B)이 동일한 프롬프트에 대해 쌍을 이루는 출력(표준 IFT 출력 - 추론 모드 비활성화, 및 추론 출력 - 추론 모드 활성화)을 생성한다. 이를 통해 감독 형식(supervision format)이 유일한 독립 변수가 되도록 보장한다.
학생 모델 규모: Qwen2.5 베이스 모델을 0.5B, 1.5B, 3B, 7B, 14B의 다섯 가지 파라미터 규모로 훈련시킨다.
훈련 체계:
- 코퍼스: 실험에는 일반 목적 코퍼스(Infinity-Instruct의 1.3M 쌍)와 수학 중심 코퍼스(300K 쌍)를 활용한다.
- 하이브리드 전략: 순차적 훈련(IFT 후 추론)과 혼합 훈련(IFT와 추론 데이터를 섞음)을 추론 비율( $\rho$ : 0%, 25%, 50%, 75%, 100%)에 따라 평가한다.
평가: 모델은 네 가지 태스크 패밀리에 걸친 18개 벤치마크(General-MC, General-OE, Math-MC, Math-OE)에서 평가된다.
연산 매칭(Compute Matching): 핵심 분석은 단순히 파라미터 수를 비교하는 것이 아니라, 일치하는 훈련 및 추론 FLOPs를 기준으로 비교한다. 저자들은 추론 흔적의 증가된 시퀀스 길이로 인해 발생하는 정확한 FLOP 오버헤드를 추적한다.
강건성: 결과가 특정 아키텍처에 국한되지 않음을 확인하기 위해 두 번째 교사-학생 쌍(Nemotron-Super-49B와 Gemma-3)을 사용하여 주요 결과를 재현한다.

주요 결과

1. IFT 확장은 기본적으로 연산 효율적이다

일치하는 훈련 및 추론 FLOPs를 기준으로 모델을 비교할 때, 표준 IFT 모델은 대부분의 구성에서 파레토 최적선(Pareto frontier)에 위치하거나 그 근처에 있다. 추론 증류는 특정 조건 하에서만 파레토 최적선에 도달하거나 접근한다:

태스크 형식: 추론의 이점은 주로 개방형(Open-Ended, OE) 태스크에서 관찰된다. 객관식(Multiple-Choice, MC) 태스크에서는 길고 종종 틀린 추론 흔적을 생성하는 높은 오버헤드로 인해 추론 모델이 일관되게 IFT 모델보다 효율성이 떨어진다.
모델 용량: 추론 증류는 모델 규모가 커질 때만 연산 측면에서 실행 가능하다. 추론이 파레토 최적선을 포착하려면 7B 이상의 파라미터가 필요하다. 이 임계값(예: 0.5B–3B) 미만에서는 작은 모델이 길고 오류와 상관관계가 높은 흔적을 생성함에 따라, 단위 정확도 획득당 비용이 훨씬 높아진다.

2. 출력 형식과 용량의 역할

본 논문은 지식 영역보다 출력 형식이 추론 효율성을 예측하는 주요 지표임을 밝힌다.

형식이 가치를 결정한다: 개방형 태스크는 추론 증류로부터 일관된 이점을 얻는 반면, 객관식 태스크는 도메인(일반, 수학, 법률, 코드, 물리학 등)에 관계없이 추론 모델이 효율성 면에서 뒤처진다.
용량 임계값: 개방형 태스크의 경우, 7B 이상의 파라미터를 가진 추론 모델은 최적의 연산 효율성을 유지하면서 IFT 정확도와 대등하거나 이를 능가한다. 7B 미만에서는 "길이 페널티"가 심각하다. 잘못된 추론 흔적은 올바른 흔적보다 1.5~2배 더 길며, 작은 모델들은 이러한 길고 틀린 흔적을 자주 생성하여 정확도 대비 비용 비율을 저하시킨다.

3. 하이브리드 훈련 전략

연구는 100% 추론 데이터에 완전히 전념하는 것이 불필요하며 종종 최적이 아니라는 점을 보여준다.

순차적 훈련: 단 25~50%의 추론 데이터를 섞는 커리큘럼(IFT 이후 진행)은 전체 추론 증류 비용의 일부만 사용하면서도 대부분의 정확도 이점을 포착한다. 이 전략을 통해 모델은 개방형 태스크에서 파레토 최적선에 머물 수 있다.
혼합 훈련: IFT와 추론 데이터를 혼합하여 훈련하면(50% 미만 임계값), 수학적 태스크에 대한 정확도를 높이면서도 표준 IFT의 간결한 출력 스타일을 유지할 수 있다. 이는 전체 추론 생성과 관련된 추론 비용 페널티를 피하게 해준다. 그러나 추론 비율이 50%를 초과하면 모델은 완전히 추론 스타일의 생성으로 전환되는 경향이 있어, 추론 효율성 이점이 사라진다.

의의 및 주장

본 논문은 추론 증류에서의 연산 할당 문제에 대해 체계적인 답을 제공한다. 주요 기여는 작은 모델에 대해 추론 증류가 보편적으로 우월하다는 가설에 이의를 제기하는 것이다.

"추론" 트렌드의 재평가: 저자들은 대부분의 구성에서 표준 IFT가 더 연산 효율적인 전략이라고 주장한다. 추론 증류는 다음 두 조건이 동시에 충족될 때만 정당화된다: 태스크가 개방형 출력 형식을 요구하고, 모델이 최소 7B 이상의 파라미터를 보유해야 한다.
비용 인식 모델 설계: 본 연구는 정확도 이득을 계산 및 환경적 비용과 함께 고려해야 함을 강조한다. 이는 더 단순한 접근 방식(IFT)이나 정교하게 설계된 하이브리드 커리큘럼(25~50% 추론)이 종종 값비싼 전체 추론 훈련 체계의 성능에 근접하거나 이를 따라잡을 수 있음을 시사한다.
실무적 가이드라인: 연구 결과는 배포를 위한 실무적 프레임워크를 제공한다:
- 만약 **훈련 연산(Training compute)**이 제약 조건이라면, 낮은 추론 비율을 가진 순차적 혼합을 사용하라.
- 만약 **추론 비용(Inference cost)**이 제약 조건이라면, 간결한 출력을 유지하기 위해 50% 미만의 혼합 훈련을 사용하라.
- 전체 추론 증류는 효율성 경계선에 도달하는 대규모(7B 이상) 모델이 개방형 태스크를 다룰 때만 권장된다.

저자들은 추론 모델이 원시 성능을 높이기는 하지만, 추론 모델이 표준 IFT보다 연산 효율적일 수 있는 구조적 조건은 통상적인 가정보다 훨씬 좁다는 결론을 내리며, 실무적 제약에 맞춘 보다 목표 지향적인 모델 개발로의 전환을 촉구한다.