💻 computer science

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

이 논문은 교사-학생 분포를 더 잘 정렬하고 노출 편향을 완화하는 새로운 훈련 파이프라인을 통해 현재의 시퀀스 수준 증류(sequence-level distillation)의 결정적인 한계점들을 해결함으로써, 훨씬 적은 수의 훈련 샘플을 사용하면서도 최첨단 성능을 달성한 경량 오픈 소스 추론 모델인 DASD-4B-Thinking을 소개한다.

원저자: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

게시일 2026-01-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 세계적인 수준의 교수님(교사)이 있다고 상상해 보세요. 이 교수님은 믿기 힘들 정도로 어려운 수학 문제를 풀고, 복잡한 코드를 작성하며, 까다로운 과학 질문에 답할 수 있습니다. 이제, 당신에게는 이 교수님을 배우고 싶어 하지만, 교수님만큼의 지적 능력이나 기억력을 갖추지 못한 똑똑하지만 작은 학생(학생)이 있다고 상상해 보세요.

이 논문의 목표는 이 작은 학생이 자신보다 훨씬 큰 교수님처럼 생각하는 법을 가르치는 것입니다. 알리바바 클라우드(Alibaba Cloud)의 팀은 이를 위해 DASD-4B-Thinking이라는 새로운 방법을 개발했습니다.

이 과정을 쉬운 비유를 통해 설명하면 다음과 같습니다.

기존 방식: 숙제 베끼기

이전에는 연구자들이 교수님의 완성된 숙제 정답을 학생에게 주어 가르치려 했습니다. 그러면 학생은 그 정답을 단순히 암기하게 됩니다.

문제점: 때때로 교수님의 답변은 너무 완벽해서 보기 드물거나, 때로는 엉망인 경우도 있었습니다. 만약 학생이 무작정 아무 숙제나 골라 베낀다면, 가장 중요한 핵심 교훈을 놓치거나 혼란에 빠질 수 있습니다. 또한, 학생은 교수님이 바로 옆에서 정답을 알려줄 때(정답을 보고 있을 때)만 베끼는 법을 배웠습니다. 하지만 실제 세상에서 학생은 스스로 문제를 풀어야 합니다. 이는 마치 선생님이 다음 단어를 속삭여줘야만 에세이를 쓸 수 있는 학생과 같습니다. 혼자서 글을 쓰려고 하면 막혀버리는 것이죠.

새로운 방식: 더 스마트한 훈련 캠프

저자들은 더 나은 훈련 계획이 필요하다는 것을 깨달았습니다. 그들은 기존의 문제들을 해결하기 위해 세 가지 주요 "초능력"을 도입했습니다.

1. "워밍업"과 "스프린트" 전략 (온도 스케줄링 학습)

교수님이 수업을 하고 있다고 상상해 보세요.

기존의 실수: 선생님은 때때로 매우 쉽고 명확한 답을 주기도 하고, 때로는 아주 기괴하거나 혼란스럽고 희귀한 답을 주기도 했습니다. 학생은 기초를 이해하기도 전에 이런 기괴한 답들 때문에 혼란을 겪었습니다.
새로운 해결책: 팀은 두 단계의 일정을 만들었습니다.
- 1단계 (워밍업): 먼저, 학생에게 교수님의 가장 명확하고 확신에 찬 답변(낮은 온도)을 제공했습니다. 이를 통해 학생은 탄탄한 기초를 쌓고 기본적인 패턴을 빠르게 배울 수 있었습니다.
- 2단계 (스프린트): 학생이 자신감을 얻으면, 더 다양하고 까다로운 답변(높은 온도)을 도입했습니다. 이를 통해 학생은 더 넓은 범위의 문제 해결 스타일을 접하며 더 유연하고 견고해질 수 있었습니다.
- 결과: 학생은 즉시 압도당하는 대신, 기초를 먼저 배우고 나서 시야를 넓힐 수 있었습니다.

2. "차이점 찾기" 필터 (발산 인식 샘플링)

교수님과 학생이 같은 문제를 볼 때, 때때로 서로 다르게 생각할 수 있습니다.

기존의 실수: 학생은 자신이 이미 다른 방식(틀린 방식)으로 확신을 가지고 있더라도, 교수님이 주는 모든 답을 강제로 베껴야 했습니다. 이는 학생의 뇌를 혼란스럽게 만들었습니다.
새로운 해결책: 팀은 답변을 살펴보고 다음과 같이 질문하는 필터를 구축했습니다. "교수님은 이것이 훌륭한 아이디어라고 생각하는데, 학생은 왜 나쁜 아이디어라고 생각하는가?"
- 그들은 이러한 특정 순간들에 집중하여 훈련했습니다. 이 순간들이야말로 학생이 새로운 것을 배우고 실수를 바로잡을 가능성이 가장 높은 "고가치"의 레슨입니다.
- 학생과 교수님이 이미 동의하는 부분(이미 알고 있는 내용)이나, 쉽게 고칠 수 없는 방식으로 학생이 확신을 가지고 틀린 부분은 무시했습니다.
- 결과: 학생은 실제로 배워야 할 레슨에만 학습 시간을 쏟음으로써, 학습 시간을 훨씬 효율적으로 사용했습니다.

3. "연습 게임" 드릴 (혼합 정책 증류)

이것은 학생이 선생님의 속삭임 없이도 스스로 할 수 있게 만드는 과정입니다.

기존의 실수: 학생은 교수님의 전체 답변을 베끼며 연습했습니다. 하지만 실제 시험에서 선생님은 곁에 없습니다. 학생은 글을 쓰기 시작하다가 막히면, 스스로 문장을 끝맺는 연습을 해본 적이 없기 때문에 당황하게 됩니다.
새로운 해결책: 그들은 "연습 드릴"을 만들었습니다.
- 학생이 스스로 문제를 풀도록 둡니다.
- 만약 학생이 경로를 벗어나거나 막히기 시작하면, 문장이 끝나기 전에 멈춥니다.
- 그런 다음, 교수님이 개입하여 문장을 올바르게 완성합니다.
- 학생은 이 "절반은 직접 쓰고 절반은 교정된" 답변을 통해 배웁니다.
- 결과: 학생은 자신의 실수로부터 회복하고 도움 없이도 일을 끝마치는 법을 배웠으며, 이를 통해 실제 세상에서 훨씬 더 신뢰할 수 있는 능력을 갖추게 되었습니다.

놀라운 결과

이 스마트한 훈련 캠프를 사용하여, 팀은 (AI 세계에서 매우 작은 크기인) 단 40억(4B) 개의 파라미터만을 가진 모델을 만들었지만, 훨씬 더 큰 모델(일부 320억(32B) 개 규모)만큼 혹은 그보다 더 잘 생각할 수 있게 만들었습니다.

효율성: 그들은 이 결과를 단 448,000개의 훈련 예시만으로 달성했습니다. 다른 팀들은 비슷한 결과를 얻기 위해 수백만 또는 수천만 개의 예시를 사용하는 경우가 많습니다. 이는 공부 시간의 극히 일부만 사용하고도 박사 학위를 따는 것과 같습니다.
성능: 이 작은 모델은 어려운 수학 경시 대회(AIME), 코딩 챌린지, 과학 질문 등에서 분야의 "거인"들을 물리쳤습니다.

요약

이 논문은 똑똑한 AI를 만들기 위해 반드시 방대한 양의 데이터나 거대한 컴퓨터가 필요한 것은 아니라는 점을 보여줍니다. 대신, 더 스마트한 교육 방식이 필요합니다. 단계별로 가르치고, 적절한 레슨에 집중하며, 스스로 과업을 완수하는 연습을 시킴으로써, 작은 AI도 추론의 챔피언이 될 수 있습니다.

팀은 자신들의 "교과서"(데이터셋)와 "졸업한 학생"(모델)을 세상과 공유하여 다른 이들도 이 방법으로부터 배울 수 있도록 했습니다.

기술 요약: 우수한 Long-CoT 추론을 위한 분포 정렬 시퀀스 증류 (Distribution-Aligned Sequence Distillation)

1. 문제 정의

본 논문은 소규모 언어 모델의 추론 능력을 향상시키기 위해 현재 널리 사용되는 패러다임인 교사(Teacher) 생성 응답에 대한 시퀀스 수준 지도 미세 조정(Supervised Fine-Tuning, SFT) 방식의 한계를 다룹니다. 최근 연구들(예: DeepSeek-R1 증류)은 고품질의 교사 출력물에 대한 SFT가 강력한 추론 성능을 낼 수 있음을 보여주었으나, 저자들은 이러한 접근 방식이 지식 증류(Knowledge Distillation)의 핵심 원칙보다는 SFT 관점에 근거하고 있다고 주장합니다.

저자들은 기존 관행에서 세 가지 결정적인 한계를 식별했습니다:

교사 분포의 불충분한 표현: 현재의 방법들은 대개 휴리스틱 필터링을 동반한 무작위 샘플링에 의존하며, 이는 교사의 시퀀스 수준 출력 분포의 전체 서포트(support)를 충분히 커버하지 못합니다. 이는 모드 커버리지(mode coverage)의 저하나, 소규모 학생(Student) 모델이 학습하기 어려운 노이즈 섞인 저확률 시퀀스의 포함로 이어집니다.
학습 능력의 불일치: 표준 SFT는 정답 토큰의 확률을 높이지만, 오도하는 그래디언트(gradient)를 생성할 수 있습니다. 구체적으로, 학생 모델이 교사가 낮은 확률을 부여한 토큰에 높은 확률을 부여할 경우, SFT는 학생을 교사의 분포로부터 멀어지게 만듭니다. 기존 방식에는 학생의 학습 능력과 더 잘 정렬되는 타겟 분포를 식별하는 메커니즘이 부족합니다.
노출 편향 (Exposure Bias): 교사 포싱(Teacher forcing, 교사의 접두사를 노출하는 방식)으로 학습된 모델은 자기 회귀적 추론 과정에서 분포 변화(distributional shift)를 겪으며, 자신의 예측에 의존해야 합니다. 이러한 불일치는 특히 긴 Chain-of-Thought (CoT) 추론 작업에서 오류 누적과 복합적인 편차를 초래합니다.

2. 방법론

저자들은 교사와 학생 간의 상호작용을 명시적으로 강제하고 위의 세 가지 문제를 해결하기 위해 설계된 훈련 파이프라인인 **DASD (Distribution-Aligned Sequence Distillation)**를 제안합니다. 이 파이프라인은 세 가지 핵심 혁신으로 구성됩니다:

A. 온도 스케줄링 학습 (Temperature-Scheduled Learning)

학습 안정성과 분포 커버리지 사이의 트레이드오프를 해결하기 위해, 저자들은 2단계 훈련 스키줄을 제안합니다:

1단계 (저온 - Low Temperature): 학생 모델을 먼저 고신뢰도, 저온 샘플(예: $T=0.6$ )로 학습시킵니다. 이 샘플들은 일관된 패턴을 보이며 빠르고 안정적인 수렴을 가능하게 합니다.
2단계 (고온 - High Temperature): 이후 고온 샘플(예: $T=1.0$ )로 학습을 지속합니다. 이 샘플들은 다양성과 노이즈가 높아 학습하기는 더 어렵지만, 교사의 출력 모드를 더 넓게 커버합니다.
근거: 이러한 "쉬운 것에서 어려운 것으로(easy-to-hard)"로 이어지는 커리큘럼(또는 역 온도 어닐링)을 통해, 학생 모델이 교사의 전체 분포에 존재하는 더 풍부하고 다양한 잠재 정보를 학습하기 전에 일관된 패턴을 먼저 파악할 수 있도록 합니다.

B. 편차 인식 샘플링 (Divergence-Aware Sampling, DAS)

효과적인 학습을 지원하는 타겟 시퀀스 수준 분포를 식별하기 위해, 저자들은 분포 분해 프레임워크를 도입합니다. 이들은 응답의 문장 단위 세그먼트에 걸쳐 교사( $p_T$ ), 사전 증류 학생( $p_S$ ), 사후 증류 학생( $p_D$ ) 간의 확률 차이를 분석합니다.

분류: 응답은 네 가지 유형으로 분류됩니다: 교사 문장 ( $p_T \gg p_S$ ), 학생 문장 ( $p_S \gg p_T$ ), 공유 문장 (유사한 확률), 부스트된 문장 (유사한 $p_T, p_S$ 를 가지나 더 높은 $p_D$ ).
선택 전략: 경험적 분석 결과, 교사 문장(교사는 높은 신뢰도를 부여하지만 학생은 낮은 확률을 부여하는 경우)이 테스트 세트 성능 향상과 가장 강력하게 상관되어 있음이 밝혀졌습니다. 이러한 인스턴스들은 명확하고 오도가 없는 그래디언트를 제공합니다.
구현: 샘플링 전략은 교사 문장이 풍부한 예시를 우선시합니다. 로짓 증류(logit distillation)와 달리, 이 방법은 교사와 학생의 토큰 수준 확률만을 필요로 하므로 서로 다른 토크나이저와 아키텍처를 가진 모델 간에도 호환이 가능합니다.

C. 혼합 정책 증류 (Mixed-Policy Distillation)

노출 편향을 완화하기 위해, 저자들은 초기 오프-정책(off-policy) SFT 이후 가벼운 혼합 정책 단계를 도입합니다.

과정: 학습된 학생 모델이 훈련 질문의 일부에 대해 응답을 생성합니다. 교사와 크게 달라지는 응답(예: 중단되거나 틀린 응답)의 경우, 학생의 생성을 임의의 지점에서 중단하고 교사 모델이 해당 시퀀스를 완성하도록 유도합니다.
훈련: 품질 필터를 통과한 교사의 연속된 텍스트만을 유지하여 미세 조정을 진행합니다. 이를 통해 교사 포싱 접두사와 학생 생성 접두사가 혼합된 하이브리드 데이터셋이 생성되며, 모델이 자신의 오류를 스스로 수정하는 법을 배우고 훈련과 추론 사이의 분포 변화를 줄일 수 있게 합니다.

3. 주요 기여

DASD-4B-Thinking 모델: 동등한 규모의 오픈 소스 모델 중 최첨단(SOTA) 성능을 달이트는 완전 공개형 4B 파라미터 추론 모델입니다.
방법론적 혁신: 단순한 SFT를 넘어 분포 정렬에 초점을 맞춘 세 가지 구성 요소(온도 스케줄링 학습, 편차 인식 샘플링, 혼합 정책 증류)의 파이프라인을 제안하여 시퀀스 수준 증류를 재정의했습니다.
데이터 효율성: 이 모델은 대부분의 기존 오픈 소스 노력(보통 수백만 개의 샘플 사용)보다 10배 적은 448K개의 훈련 샘플만 사용하여 성능을 달성했습니다.
교차 아키텍처 검증: 이 파이프라인은 다양한 모델 제품군(예: gpt-oss-120b에서 Qwen3-4B로의 증류)과 규모(30B MoE 변체인 DASD-30B-A3B-Thinking-Preview로 검증)에서 효과적임을 입증했습니다.

4. 실험 결과

모델은 AIME24, AIME25, LiveCodeBench (v5/v6), GPQA-Diamond의 다섯 가지 도전적인 벤치마크에서 평가되었습니다.

수학적 추론: DASD-4B-Thinking은 AIME24에서 88.5, AIME25에서 83.3을 기록했습니다. 이 점수는 훨씬 더 큰 규모의 모델인 Qwen3-32B(81.4/72.9) 및 GLM-Z1-32B(80.8/63.6)는 물론, 8B 규모의 DeepSeek-R1-0528-Qwen3-8B(86.0/76.3)를 능가합니다.
코드 생성: LiveCodeBench v5에서 모델은 69.3점을 획득하여 Qwen3-32B(65.7)와 NVIDIA-OpenReasoning-Nemotron-7B(63.9)를 앞질렀습니다.
과학적 추론: GPQA-Diamond에서 68.4를 달성하여 32B 규모인 Qwen3-32B와 대등한 성능을 보였으며, 253B 규모인 NVIDIA-Nemotron-Ultra-253B(76.0)에 근접했습니다.
절제 연구 (Ablation Studies): 결과는 각 구성 요소가 점진적으로 기여함을 확인시켜 줍니다. 저온 훈련은 강력한 베이스라인을 구축하고, 고온 훈련은 능력을 확장하며, 혼합 정책 증류는 노출 편향에 대한 최종적인 견고함을 제공합니다.

5. 의의 및 주장

본 논문은 DASD-4B-Thinking이 정교한 증류 파이프라인을 통해 대규모 교사 모델로부터 경량 학생 모델로 복잡한 추론 능력을 효율적으로 전이할 수 있음을 보여준다고 주장합니다. 저자들은 자신들의 접근 방식이 다음과 같음을 강조합니다:

증류의 재정의: 단순한 SFT 관점을 넘어, 교사의 전체 출력 분포를 학습한다는 증류의 핵심 원칙을 명시적으로 다룹니다.
스케일링 법칙에 대한 도전: 8배에서 60배 더 큰 모델들과 대등하거나 더 나은 성능을 달성함으로써, 추론 작업에서는 순수한 파라미터 수보다 데이터의 품질과 증류 전략이 더 중요하다는 것을 시사합니다.
재현성 촉진: 모델, 훈련 데이터셋, 방법론을 모두 오픈 소스로 공개함으로써, 효율적이고 투명한 추론 모델에 대한 커뮤니티 연구를 촉진하고자 합니다.

저자들은 자신들의 연구가 콤팩트하고 고성능인 추론 모델을 개발하기 위한 새로운 관점을 제공한다고 결론지으면서도, 분포 인식 재가중치(reweighting)를 더욱 정교화하고 에이전트 능력을 통합하기 위한 후속 연구가 필요함을 인정합니다.