🤖 machine learning

Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

이 논문은 듀얼 에이전트 프레임워크와 조기 종료를 사용하여 DeepSeek-R1 교사 모델로부터 증류된 사고 사슬(Chain-of-Thought) 데이터로 소형 Qwen2.5-7B 학생 모델을 미세 조정하는 것이 John O'Bryan 수학 경시대회 및 MATH-500 벤치마크에서 정확도를 유의미하게 향상시키는 동시에, 응답 길이가 짧을수록 추론 품질이 저하된다는 상관관계를 밝혀냈음을 입증한다.

원저자: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 아주 뛰어나고 세계적인 수준의 수학 튜터(이름을 Professor DeepSeek이라고 부릅시다)가 있습니다. 그는 믿기지 않을 정도로 어려운 경시대х 문제를 풀 수 있습니다. 그는 매우 훌륭하지만, 덩치가 크고 느리며 거대한 슈퍼컴퓨터를 필요로 합니다. 당신은 이 작은, 더 빠르고, 더 저렴한 학생(이름을 Student Qwen이라고 부릅시다)에게 교수님처럼 생각하는 법을 가르쳐서, 그녀가 일반 노트북에서도 똑같은 일을 할 수 있게 만들고 싶습니다.

이 논문은 연구자들이 John O'Bryan Mathematics Competition(2011년부터 2025년까지 노던 켄터키 대학교에서 개최된 실제 대회)의 특정 수학 문제들을 사용하여 학생을 가르치려 했던 이야기입니다.

이 실험의 이야기를 다음과 같이 간단하게 나누어 설명합니다:

1. 훈련 방법: "풀이 과정을 보여라"

연구자들은 단순히 학생에게 정답만 알려주지 않았습니다. 그들은 **사고 사슬 증류(Chain-of-Thought Distillation)**라는 특별한 기법을 사용했습니다.

교사: 먼저, "Professor DeepSeek"이 671개의 과거 경시대회 문제를 풀었습니다. 하지만 그는 단순히 답만 적는 대신, 마치 시험에서 풀이 과정을 적는 학생처럼 자신의 사고 단계를 하나하나 상세히 적었습니다.
검증자: 두 번째 AI가 교수의 작업 내용을 확인하여 단계들이 실제로 올바른지 점검했습니다. 오직 완벽한 풀이만이 남겨졌습니다.
학생: 그 후, "Student Qwen"(더 작은 모델)이 이러한 단계별 풀이를 모방하도록 훈련되었습니다.

2. "과잉 연습"의 함정

연구자들은 전형적인 문제인 **과적합(Overfitting)**에 직면했습니다.
연습 문제의 정답 자체를 암기해 버리는 학생을 상상해 보세요. 만약 약간 다른 문제가 주어지면, 그 학생은 실패합니다.

연구자들은 처음에 학생이 1,000번의 "라운드"(반복) 동안 훈련하도록 허용했습니다.
결과: 학생은 논리를 배우는 대신 훈련 문제의 특정 단어들을 암기하기 시작했습니다. 그녀의 성능은 오히려 새로운 문제에 대해 더 나빠졌습니다.
해결책: 연구자들은 학생이 200 라운드에서 정점에 도달했다는 것을 깨달았습니다. 그 이후로는 그저 베끼고 있을 뿐이었습니다. 그래서 그들은 학생이 "신선함"과 일반화 능력을 유지할 수 있도록 훈련을 조기에 중단했습니다(200 라운드에서 중단).

3. 결과: 확실한 개선

훈련을 일찍 중단함으로써, 학생은 눈에 띄게 향상되었습니다:

훈련 전: 학생은 경시대회 문제의 약 **65%**를 맞혔습니다.
훈련 후: 그녀는 약 **69.4%**까지 뛰어올랐습니다.
보너스: 그녀는 단순히 이 특정 문제들만 잘하게 된 것이 아닙니다. 그녀는 또 다른 유명한 수학 벤치마크인 MATH-500에서도 성적이 좋아졌는데, 이는 그녀가 단순히 정답을 외운 것이 아니라 실제 추론 기술을 배웠음을 증명합니다.

4. "단어 수" 실험

연구자들은 알고 싶었습니다: 학생에게 얼마나 많은 "생각 공간"이 필요한가?
그들은 학생에게 엄격한 단어 제한(시험에서의 엄격한 글자 수 제한과 같은)을 두어 문제를 풀도록 강제했습니다.

제한 없음 (R1): 그녀는 약 220단어를 썼고 **69%**를 맞혔습니다.
중간 제한 (R2): 그녀는 약 120단어를 썼고 정확도는 **62%**로 떨어졌습니다.
엄격한 제한 (R6): 그녀는 단 약 31단어만 쓰도록 강요받았습니다. 그녀의 정확도는 **42%**로 폭락했습니다.

비유: 이것은 누군가에게 복잡한 퍼즐을 풀라고 하는 것과 같습니다. 만약 작은 메모장(적은 단어 수)을 준다면, 그들은 단계를 건너뛰고 추측해야 합니다. 만약 전체 노트(많은 단어 수)를 준다면, 그들은 논리를 써 내려가며 정답을 맞힐 수 있습니다. 연구는 이러한 어려운 문제들을 위해서는 좋은 답을 얻기 위해 약 50~100단어 정도의 "생각 공간"이 필요하다는 것을 발견했습니다.

5. 어려움을 겪은 부분

속도 vs 논리: 학생은 "Two-Person Speed" 섹션에서 가장 약했습니다. 이 문제들은 빠른 다단계 계산을 요구합니다. 단어 수가 제한되었을 때, 그녀는 필요한 계산 단계를 모두 담을 수 없었고, 이로 인해 정확도가 다른 섹션보다 더 심하게 급락했습니다.
형식 오류: 흥sa롭게도, 연구자들은 학생의 실수 중 약 **40%**가 수학 실력 때문이 아니라는 것을 발견했습니다. 그녀는 실제로 맞는 숫자를 구했지만, 그것을 지저분하게 적었습니다(예: 분수를 약분하지 않고 그대로 두거나, 답을 박스 안에 넣는 것을 잊어버림). 만약 인간이나 간단한 스크립트가 그녀의 글을 정리해 주었다면, 그녀의 점수는 훨씬 더 높았을 것입니다.

핵심 요약

이 논문은 거대하고 강력한 AI를 데려와서 더 작고 저렴한 AI에게 수학 문제를 효과적으로 추론하는 법을 가르칠 수 있다는 것을 증명합니다. 단, 암기를 시작하기 전에 훈련을 멈춘다면 말입니다.

하지만 주의할 점이 있습니다: 생각에는 공간이 필요합니다. 만약 AI가 너무 간결하게(너무 적은 단어로) 말하도록 강요한다면, 어려운 문제를 풀 수 있는 능력을 잃게 됩니다. 이러한 유형의 수학 경시대회를 위한 "최적의 지점(sweet spot)"은 AI가 약 50~100단어 정도의 추론을 써 내려갈 수 있는 충분한 여유를 주는 것입니다.

기술 요약: 대규모 추론 모델에서 소형 학생 모델로의 지식 증류(Knowledge Distillation)

문제 정의

DeepSeek-R1과 같이 고급 수학적 추론 능력을 갖춘 대규모 언어 모델(LLM)은 상당한 계산 자원을 필요로 하므로, 로컬 배포가 비현실적일 수 있다. 지식 증류(KD)는 이러한 추론 능력을 더 작고 효율적인 "학생(student)" 모델로 전이하는 경로를 제공하지만, 기존 연구는 주로 데이터 오염(contamination) 위험이 있는 일반적인 벤치마크(예: MATH-500, GSM8K)에 의존하고 있다. 데이터 오염 위험이 낮은 전문가 큐레이션 문제 세트에 대해 증류가 어떻게 수행되는지, 그리고 토큰 예산(token budget)과 같은 특정 제약 조건이 증류된 추론의 품질에 어떤 영향을 미치는지에 대한 이해가 부족한 실정이다.

방법론

저자들은 John O'Bryan Mathematics Competition(2011–2025)을 특화된 코퍼스로 사용하여, 대규모 교사(teacher) 모델로부터 소형 학생 모델로 추론 능력을 증류하는 파이프라인을 제안한다.

1. 데이터셋 구축

코퍼스: 15년에 걸친 671개의 문제를 Freshman/Sophomore, Junior/Senior, Two-Person Speed 섹션으로 분류하였다.
분할: 데이터 누수를 방기하기 위해 연대순 분할(Chronological splitting)을 적용하였다: 2011–2021 (훈련), 2022–2023 (검증), 2024–2025 (테스트).
이중 에이전트 프레임워크: DeepSeek-R1 API를 사용하는 2단계 프로세스를 사용하였다:
- 에이전트 1 (Solver): 단계별 사고 사슬(Chain-of-Thought, CoT) 추론 궤적을 생성한다.
- 에이전트 2 (Verifier): 솔버의 출력을 정답(ground-truth)과 대조하여 검증하고, CORRECT/INCORRECT 판정을 반환한다.
- 검증된 궤적(시도된 651개 중 594개)만을 훈련에 활용하였다.

2. 모델 아키텍처 및 훈련

교사 모델 (Teacher): DeepSeek-R1 (API를 통해 접속).
학생 모델 (Student): Qwen2.5-7B-Instruct (4비트 양자화).
미세 조정 (Fine-Tuning): Apple Silicon 하드웨어 상에서 MLX 프레임워크를 사용하여 저계수 적응(Low-Rank Adaptation, LoRA)을 적용하였다.
- 설정: Rank $r=8$ , $\alpha=16$ , 드롭아웃 $0.05$, query, key, value 및 output projection 모듈을 대상으로 함.
- 파라미터: 11.534M 개의 학습 가능한 파라미터 (전체의 0.151%).
훈련 프로토콜:
- 진단 실행 (Diagnostic Run): 1,000회 반복 실행 결과 심각한 과적합(overfitting)이 확인되었으며, 검증 손실(validation loss)은 200회 반복 시점에서 최소화된 후 상승하였다.
- 최종 실행: 안정성을 보장하기 위해 서로 다른 랜덤 시드(42, 123, 256, 512, 999)를 사용하여 200회 반복으로 제한된 5번의 독립적인 훈련을 수행하였다.
- 조기 종료 (Early Stopping): 모델들을 병합(fuse)하고 200회 반복 시점의 체크포인트를 기준으로 평가하였다.

3. 평가 전략

지표: 정답 정확도(동등한 수학적 형태를 처리하기 위해 DeepSeek-R1이 판단) 및 퍼플렉시티(perplexity).
일반화: MATH-500 벤치마크를 통한 도메인 외(out-of-domain) 평가.
토큰 예산 실험: 미세 조정된 모델을 점진적으로 제한된 토큰 제한(무제한부터 100 토큰까지)을 가진 6가지 추론 레벨(R1–R6) 하에서 평가하여, 응답 길이가 추론 품질에 미치는 영향을 조사하였다.

주요 결과

성능 향상

기본 모델 (Base Model): Qwen2.5-7B는 경연 테스트 세트에서 **64.67%**의 정확도를 달성하였다.
증류된 모델 (Distilled Model): 200회 반복 LoRA 미세 조정을 거친 모델은 평균 정확도 **69.43% ± 0.17%**를 달성하여, 4.76 퍼센티지 포인트 향상을 보였다.
안정성: 5개 시드 간의 좁은 표준 편차(0.17 pp)는 이 향상이 초기화의 산물이 아닌 견고한 결과임을 확인시켜 준다.
과적합: 1,000회 반복까지 훈련을 지속했을 때 더 낮은 정확도(67.59%)와 높은 퍼플렉시티가 나타났으며, 이는 소규모 코퍼스 증류에서 조기 종료가 매우 중요함을 입증한다.

일반화

MATH-500 벤치마크에서 증류된 모델은 기본 70.1%에서 **73.1% ± 0.18%**로 향상되었다.
성능 향상은 과목별로 불균형하게 나타났다: 훈련 코퍼스에 잘 반영된 대수학(Algebra, 93.5%)과 정수론(Number Theory, 82.3%)에서는 유의미한 개선이 있었으나, 중급 대수학(Intermediate Algebra), 기하학(Geometry), 미적분 기초(Precalculus)에서는 상대적으로 약한 성능을 보였다.

토큰 예산의 영향

길이 vs 정확도: 토큰 예산이 줄어듦에 따라 정확도가 일관되게 감소한다.
- R1 (무제한, ~220 단어): 69.43%
- R6 (100 토큰, ~31.2 단어): 41.9%
임계값: 가장 급격한 하락은 R3(~~96 단어)와 R4(~~55 단어) 사이에서 발생하였으며, 이는 다단계 경연 문제에 대한 실질적인 하한선이 50–100 단어임을 시사한다.
섹션 민감도: "Two-Person Speed" 섹션은 토큰 축소에 가장 민감하여 R2에서 R6 사이에서 34.5 퍼센티지 포인트 하락한 반면, 개념 중심 섹션(Freshman/Sophomore, Junior/Senior)은 더 견고한 모습을 보였다.

오류 분석

197개의 오답에 대한 질적 분석 결과, **오류의 40%**는 수학적 추론 오류가 아닌 포맷팅 또는 추출 문제(예: 렌더링되지 않은 LaTeX, 환원되지 않은 분수 등) 때문이었다. 이는 재학습 없이도 후처리(post-processing)를 통해 상당 부분의 오류를 복구할 수 있음을 시사한다.

의의 및 주장

본 논문은 데이터 오염 위험이 낮은 통제된 환경을 제공하는 John O'Bryan Mathematics Competition 코퍼스에 CoT 증류를 적용한 첫 번째 연구라고 주장한다. 주요 기여는 다음과 같다:

실행 가능성 입증: 조기 종료를 적용한 LoRA 방식의 CoT 증류가 대규모 모델(DeepSeek-R1)로부터 소형 모델(Qwen2.5-7B)로 도메인 특화 데이터의 추론 능력을 효과적으로 전이할 수 있음을 증명하였다.
제약 조건의 정량화: 응답 길이가 수학적 추론 품질의 핵심 요소임을 밝히고, 다단계 문제를 위한 실질적인 토큰 예산 하한선을 식별하였다.
방법론적 엄밀성: 소규모 코퍼스 미세 조정 시 과적합을 방지하기 위한 조기 종료의 필요성과 안정성을 위한 멀티 시드 검증의 가치를 강조하였다.

저자들은 약 30%의 오류율과 단일 기관 코퍼스로 인한 잠재적 편향을 언급하며, 모델이 아직 완전한 자율 교육용으로 사용될 준비가 되지 않았음을 명시하며 신중한 태도를 유지한다. 이들은 본 모델을 인간 참여형(human-in-the-loop) 워크플로우를 위한 초안 작성 도구로 포지셔닝하며, 향후 연구가 더 다양한 코퍼스를 다루고 엄격한 토큰 제약 하에서의 성능 향상을 위해 압축된 CoT 궤적을 학습하는 데 집중해야 한다고 제언한다.