How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

이 논문은 추론 모델 (Reasoning Model) 의 성능을 향상시키기 위한 감독 미세 조정 (SFT) 의 새로운 접근법을 제시합니다. 기존에 강력한 모델 (Teacher) 이 생성한 합성 데이터를 약한 모델 (Student) 의 학습에 사용하는 방식이 추론 모델에는 오히려 성능 저하를 초래할 수 있다는 문제를 발견하고, 이를 해결하기 위해 TESSY(Teacher–Student Cooperation Data Synthesis) 프레임워크를 제안했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 기존 방식의 한계: 강력한 Teacher 모델 (예: GPT-OSS-120B) 이 생성한 데이터를 Student 모델 (예: Qwen3-8B) 의 SFT 학습에 사용하는 것은 일반적인 LLM 에서는 효과적이지만, 추론 모델 (Reasoning Models) 에서는 종종 실패합니다.
• 원인: Teacher 모델이 생성한 데이터는 높은 추론 능력을 가지고 있지만, 스타일 (Style) 과 분포 (Distribution) 가 Student 모델과 크게 다릅니다.
  • 추론 모델은 "생각하는 과정 (Thinking Process)"과 "최종 답변 (Final Answer)"으로 명확히 구분된 응답 패턴을 가집니다.
  • 서로 다른 모델 간에는 연결어, 어조, 사고 흐름의 표현 방식 등 스타일적 차이가 존재합니다.
• 결과: 이러한 분포 불일치 (Distribution Mismatch) 로 인해 Student 모델은 Teacher 의 데이터에 적응하는 과정에서 **재앙적 망각 (Catastrophic Forgetting)**이 발생하거나, 불필요한 스타일 적응으로 인해 오히려 성능이 급격히 저하됩니다. (실제 실험에서 Teacher-Only 데이터로 학습 시 LiveCodeBench-Pro 에서 3.25%, OJBench 에서 10.02% 의 성능 하락 발생)

2. 제안 방법: TESSY 프레임워크 (Methodology)

TESSY 는 Teacher 와 Student 모델이 협력하여 데이터를 생성하는 프레임워크로, 능력 (Capability) 과 스타일 (Style) 을 분리하여 학습 데이터를 구성합니다.

• 핵심 아이디어:
  • 능력 토큰 (Capability Tokens): 문제 해결에 직접적인 코드, 수식, 논리적 추론 단계 등은 Teacher 모델이 생성하여 정확성을 보장합니다.
  • 스타일 토큰 (Style Tokens): "자, 봅시다 (Okay, let's see)", "하지만 (But)", "예를 들어 (For example)"와 같은 연결어, 어조, 담화 구조는 Student 모델이 생성하여 학습 데이터의 분포를 Student 모델의 기존 분포와 일치시킵니다.
• 구현 과정 (Generate-then-Rollback):
  1. 교차 생성 (Alternating Generation): Student 와 Teacher 모델이 번갈아 가며 텍스트 구간 (Span) 을 생성합니다. (예: Student(스타일) -> Teacher(추론) -> Student(스타일)...)
  2. 경계 예측기 (Boundary Predictor): 모델이 생성한 토큰 시퀀스 내에서 '스타일 구간'과 '능력 구간'의 경계를 정확히 식별하기 위해 훈련된 경계 예측 모델을 사용합니다.
  3. 롤백 (Rollback): 생성된 토큰 중 경계를 넘어서는 토큰은 제거 (Truncate) 하고, 다음 모델이 생성을 이어가도록 합니다. 이를 통해 각 모델이 자신의 역할 (스타일 또는 추론) 에만 집중하게 합니다.
  4. 최종 답변: 추론 과정이 끝난 후, 최종 답변은 Student 모델이 생성하여 전체 응답의 스타일 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 스타일 불일치 문제의 규명: 추론 모델의 SFT 실패 원인이 단순히 데이터의 질이 낮아서가 아니라, Teacher 와 Student 간의 스타일적/분포적 불일치에 있음을 실증적으로 증명했습니다.
2. TESSY 프레임워크 제안: Teacher 의 추론 능력과 Student 의 스타일 분포를 동시에 보존하는 새로운 데이터 합성 방법을 제시했습니다.
3. 성능 향상 및 일반화: 다양한 Teacher 모델 (GPT-OSS, DeepSeek-R1, Qwen3-235B 등) 과 Student 모델 (Qwen3-8B, Qwen3-30B) 조합에서 일관된 성능 개선을 보여주었습니다.

4. 실험 결과 (Results)

• 코드 생성 태스크 (LiveCodeBench-Pro, OJBench):
  • Teacher-Only (기존 방식): Qwen3-8B 를 Teacher-Only 데이터로 학습시켰을 때 OJBench 에서 10.02% 성능 하락, LiveCodeBench-Pro 에서 3.25% 하락.
  • TESSY: 동일한 환경에서 LiveCodeBench-Pro 에서 11.25%, OJBench 에서 6.68% 성능 향상을 기록했습니다.
• 일반화 능력: 수학 (AIME, OlympiadBench) 및 과학 (GPQA) 태스크에서도 Teacher-Only 방식은 성능이 떨어졌으나, TESSY 는 성능을 유지하거나 향상시켰습니다.
• 데이터 효율성: TESSY 로 생성된 데이터는 Teacher 모델이 생성한 데이터보다 토큰 길이가 짧아 (Student 가 사고 과정을 더 일찍 종료하는 경향 유도) 학습 및 추론 효율성이 높았습니다.

5. 의의 및 결론 (Significance)

• 추론 모델 학습의 새로운 패러다임: 추론 모델을 미세 조정할 때는 단순히 "더 강력한 Teacher 의 데이터"를 사용하는 것이 아니라, Student 모델의 스타일 분포를 고려한 데이터 구성이 필수적임을 강조했습니다.
• 실용적 가치: 이 방법은 폐쇄형 대형 모델 (Teacher) 의 지식을 오픈소스 모델 (Student) 에 효율적으로 전이하면서도, 모델 고유의 사고 패턴을 해치지 않는 방법을 제공합니다.
• 향후 연구 방향: 추론 모델의 SFT 시 데이터 분포 정렬의 중요성을 부각시켰으며, 향후 다양한 태스크와 이종 모델 간 협력 학습으로 확장 가능한 기반을 마련했습니다.

요약하자면, 이 논문은 **"강력한 Teacher 의 지능과 Student 의 스타일을 결합한 협력적 데이터 생성"**이 추론 모델의 성능 향상을 위한 핵심 열쇠임을 증명했습니다.