🤖 machine learning

On-Policy Delta Distillation

이 논문은 추론 튜닝 전의 베이스 모델과 교사 모델 사이의 차이를 나타내는 "델타 신호(delta signal)"를 활용하여, 최소한의 사후 학습만으로도 수학, 과학, 코드 벤치마크 전반에서 강력한 성능을 달성하고 추론 능력을 더욱 효과적으로 전이하는 새로운 강화 학습 사후 학습 방법론인 온-폴리시 델타 증류(On-Policy Delta Distillation, OPD $^2$ )를 소개한다.

원저자: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

게시일 2026-07-17

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 거의 모든 책을 읽은 거대하고 배고픈 도서관과 같은 세상이 있다고 상상해 보세요. 대규모 언어 모델(LLM)이라고 불리는 이 도서관들은 문장에서 다음 단어를 예측하는 데 매우 능숙합니다. 하지만 단순히 문장을 완성하는 법을 아는 것만으로는 까다로운 수학 문제를 풀거나 고장 난 컴퓨터 프로그램을 디버깅하는 데 충분하지 않습니다. 그들에게 이러한 과업을 정말 잘 수행하게 하려면, 우리는 그들이 '생각하는 법'을 가르쳐야 합니다.

이 과정을 학생을 훈련시키는 과정에 비유해 봅시다. 먼저, 학생은 기초적인 언어를 배우기 위해 거대한 도서관을 읽습니다(사전 훈련). 그 후, 선생님이 들어와 퍼즐을 푸는 법에 대한 구체적인 레슨을 제공합니다(사후 훈련). 보통 선생님들은 두 가지 주요 방법을 사용합니다. 학생에게 완벽한 정답을 보여주며 "이것을 그대로 따라 해"라고 말하거나(지도 미세 조정), 학생이 직접 시도하게 한 뒤 성적을 매기며 "다시 해봐, 다음에는 더 잘해야 해"라고 말하는 방식(강화 학습)입니다. 최근에는 '온-폴리시 디스틸레이션(On-Policy Distillation)'이라는 새로운 방법이 인기를 얻었습니다. 이는 마치 선생님이 학생이 문제를 푸는 것을 실시간으로 지켜보며, 선생님이 했을 법한 말을 바탕으로 "그래, 그 단어 좋았어" 또는 "아니, 그 단어는 틀렸어"라고 속삭여 주는 것과 같습니다. 이 방법은 효율적이며 복잡한 채점 시스템을 설계해야 하는 번거로운 과정을 피할 수 있습니다.

하지만 여기 함정이 있습니다. 이 똑똑한 방법조차도 결함이 있습니다. 선생님이 속삭일 때, 선생님은 학생이 이미 알고 있는 것들, 예를 들어 예의를 갖추는 법이나 이야기를 들려주는 법 같은 것들을 실수로 속삭일 수도 있습니다. 즉, 선생님을 천재로 만드는 논리의 '아하!' 모먼트(깨달음의 순간) 대신 말이죠. 여러분이 읽게 될 이 논문은 아주 간단한 질문을 던집니다. 만약 우리가 노이즈를 걸러내고, 선생님이 배운 '새로운 기술'만을 학생에게 가르칠 수 있다면 어떨까?

이 논문은 **OPD2(On-Policy Delta Distillation)**라고 불리는 영리한 새로운 기술을 소개합니다. 연구진들은 '추론하는 선생님'이 사실 두 개의 모델이 하나로 합쳐진 것이라는 점을 깨달았습니다. 바로 원래의 '베이스(Base)' 모델(추론을 배우기 전)과 '추론(Reasoning)' 모델(추론을 배운 후)입니다. 만약 베이스 모델의 생각을 추론 모델의 생각에서 뺀다면, 여러분은 '델타 신호(Delta Signal)'를 얻게 됩니다. 이 신호는 선생님이 생각하는 법을 배웠을 때 정확히 무엇이 변했는지를 보여주는 하이라이트 영상과 같습니다. 단순히 선생님의 최종 답변을 복사하는 대신, 학생은 이 '델타 신호'—즉, 추론 능력의 도약을 나타내는 구체적인 차이점—로부터 배웁니다.

저자들은 이 아이디어를 수학, 과학, 코딩 문제들을 섞어 테스트했습니다. 그들은 이 '델타 신호'를 주요 보상으로 사용하는 것이 기존의 방법들보다 학생들이 훨씬 더 빠르고 효과적으로 배울 수 있게 해준다는 것을 발견했습니다. 실제로, 새로운 방법인 OPD2는 17억 개의 파라미터를 가진 작은 모델부터 80억 개의 파라미터를 가진 거대한 모델에 이르기까지 다양한 크기의 모델에 걸쳐 기존의 최고 기술들을 일관되게 앞질렀습니다. OPD2로 훈련된 작은 모델이 기존 방식으로 훈련된 훨씬 더 큰 모델보다 더 뛰어난 성능을 보이기도 했습니다. 이 논문은 우리가 선생님의 전체적인 인격이 아니라, 오직 '변화'에만 집중함으로써 AI가 더 효과적으로 추론하도록 가르칠 수 있다고 제안합니다.

'델타' 신호의 이야기

이 발견의 메커니즘을 간단한 비유를 통해 깊이 파헤쳐 보겠습니다. 여러분이 복잡한 비디오 게임을 배우고 있다고 상상해 보세요. 여러분에게는 걷기, 점프하기, 말하기를 알고 있는 '베이스' 버전의 캐릭터가 있습니다. 그리고 그 다음, 게임의 가장 어려운 단계들을 마스터한 '프로' 버전의 캐릭터를 얻게 됩니다.

기존의 교육 방식(표준 온-폴리시 디스틸레이션)은 프로 캐릭터가 옆에 서서 "내가 하는 대로 똑같이 해"라고 말하는 것과 같습니다. 문제는 프로 캐릭터 역시 베이스 캐릭터와 똑같이 걷고 말한다는 점입니다. 그래서 프로가 "앞으로 걸어가"라고 말할 때, 그들은 여러분이 이미 할 줄 아는 것을 반복하고 있을 뿐입니다. 여러분은 프로가 되기 위한 비밀 콤보를 배우는 대신 걷는 연습에 시간을 허비하게 됩니다.

이 논문의 저자인 네이버 AI 랩의 허병호, 황재희, 윤상두, 한동윤 연구원은 다른 접근 방식을 제 제안했습니다. 그들은 이렇게 물었습니다. "만약 프로와 베이스의 '차이점'만을 학생에게 가르친다면 어떨까?"

이 차이가 바로 델타 신호입니다.

베이스 모델: 말하고 글을 쓸 줄 알지만, 복잡한 논리에서는 비틀거릴 수 있습니다.
추론하는 선생님: 말하고 글을 쓸 줄 알 뿐만 아니라, 어려운 논리 퍼즐도 풀 수 있습니다.
델타: 선생님이 퍼즐을 풀기 위해 배운 구체적인 '마법'입니다.

논문에서 저자들은 이를 워드 클라우드로 시각화했습니다. 기존 방식이 가르치는 내용을 살펴보면 "보다(see)", "시도하다(try)", "확인하다(verify)"와 같은 일반적인 단어들로 가득했습니다. 하지만 델타 신호를 살펴보았을 때, 눈에 띄는 단어들은 "따라서(hence)", "그러나(however)", "참고(note)", "대신에(instead)"와 같은 논리적 연결어들이었습니다. 이 단어들은 논리적 주장을 하나로 묶어주는 접착제 역할을 합니다. 델타 신호는 학생이 이미 알고 있는 '지루한' 내용들을 효과적으로 걸러내고, 추론의 '비법 소스'를 강조해 줍니다.

그들은 어떻게 OPD2를 만들었나

이것을 구현하기 위해 연구진은 몇 가지 까ʒ로운 문제들을 해결해야 했습니다. 단순히 학생에게 델타 신호를 주기만 하면, 그 신호가 학생 스스로 하고 있는 행동을 고려하지 않기 때문에 학생이 혼란을 느낄 수 있습니다. 이는 마치 코치가 선수의 현재 위치를 보지 않고 지시를 내리는 것과 같습니다.

그래서 그들은 자신들의 레시피에 두 가지 특별한 재료를 추가했습니다:

센터링(Centering): 그들은 신호가 0을 중심으로 균형을 잡도록 조정했습니다. 이는 학생이 단순히 오해의 소지가 있는 생으로 된 점수를 받는 대신, 어떤 움직임이 "평균보다 나은지" 혹은 "평균보다 못한지"를 이해하는 데 도움을 줍니다.
결합 조건화(Joint Conditioning): 그들은 새로운 델타 신호가 기존의 표준 방식과 일치할 때만 작동하도록 만들었습니다. 이는 안전망 역할을 합니다. 만약 델타 신호가 선생님의 일반적인 스타일과 모순되는 이상한 방향으로 학생을 몰아붙이려 한다면, 시스템은 "잠깐만"이라고 말하며 업데이트를 중단합니다. 이는 학생이 생각하는 법을 배우는 동안 제대로 말하는 법을 잊거나 혼란에 빠지는 것을 방지합니다.

결과: 새로운 챔피언

연구팀은 자신들의 새로운 방법인 OPD2를 기존의 표준 방식(OPD) 및 더 발전된 방식인 ExOPD와 비교 테스트했습니다. 그들은 수학, 과학, 코딩 데이터셋에서 추출한 10만 개의 질문을 사용했습니다. 이 테스트는 Qwen3 제품군(1.7B, 4B, 8B 사이즈)과 Gemma4 모델을 포함한 다양한 모델을 대상으로 진행되었습니다.

결과는 인상적이었습니다. "비사고(non-thinking)" 모드(모델이 풀이 과정을 보여주지 않고 빠르게 답하는 모드)에서 OPD2는 일관되게 다른 방식들을 앞질렀습니다.

Qwen3-1.7B 모델의 수학 점수에서, OPD2는 평균 점수를 34.8에서 54.6으로 끌어올렸습니다. 이는 다음으로 좋은 방법을 3점 이상 차이로 따돌린 엄청난 도약입니다.
Qwen3-4B 모델의 경우, OPD2는 평균 70.3에 도달한 반면, 이전의 최고 방식인 ExOPD는 66.4에 머물렀습니다.
더욱 놀라운 점은, OPD2로 훈련된 4B 모델이 기존 방식으로 훈련된 8B 모델보다 더 나은 성능을 보였다는 것입니다. 이는 모델을 '어떻게' 훈련시키느냐가 모델의 '크기'만큼 중요하다는 것을 시사합니다.

그들은 또한 모델이 이미 꽤 똑똑하고 추론 단계를 보여주는 "사고(thinking)" 모드에서도 테스트를 진행했습니다. 이미 잘하고 있는 모델이기에 성능을 높이기가 더 어렵습니다. 그럼에도 불구하고 OPD2는 추가적인 성능 향상을 이끌어냈습니다. 예를 들어, HMMT25 수학 벤치마크에서 Qwen3-8B 모델은 OPD2를 통해 점수를 44.3에서 52.3으로 개선한 반면, 다른 방법들은 오히려 점수가 떨어지거나 거의 변화가 없었습니다.

이 방법은 다른 모델 제품군인 Gemma4에서도 작동했습니다. 다른 방법들이 고전하거나 심지어 모델의 성능을 떨어뜨린 반면, OPD2는 수학 점수를 60.6에서 67.8로 향상시켰습니다. 이는 "델타 신호"를 사용하는 아이디어가 특정 모델에만 국한된 우연이 아니라, AI가 더 잘 생각하도록 돕는 일반적인 원리임을 보여줍니다.

이것이 왜 중요한가

이 논문은 AI에게 추론을 가르치는 핵심은 단순히 더 많은 데이터를 먹이거나 선생님을 더 크게 만드는 것이 아니라고 제안합니다. 그것은 우리가 '무엇을' 가르치고 있는지에 대해 정밀해지는 것입니다. 모델이 추론을 배울 때 발생하는 구체적인 변화(델타)를 분리함으로써, 우리는 그 능력을 훨씬 더 효율적으로 전달할 수 있습니다.

저자들은 이 방식이 계산적으로 효율적이라고 언급했습니다. 컴퓨터가 차이를 계산하기 위해 배경에서 "베이스" 모델을 실행해야 하므로 표준 방식보다 훈련 시간이 약 24~28% 더 소요됩니다. 하지만 이러한 훈련 세션은 보통 짧기 때문에(종종 데이터의 전체 패스보다 짧음), 이 작은 추가 비용은 막대한 성능 향상에 비하면 충분히 가치가 있습니다.

요약하자면, OPD2는 숙련된 요리사가 제자에게 완벽한 수프의 비밀을 가르치기 위해 단순히 "소금을 넣으라"고 말해서는 안 된다는 것을 깨달은 것과 같습니다. 대신 "평소에 넣던 것보다 이만큼 더 소금을 넣으세요. 왜냐하면 그것이 좋은 수프와 위대한 수프의 차이니까요"라고 말해야 한다는 것을 알고 있습니다. 차이에 집중함으로써, 학생은 그 비법을 더 빠르고 더 잘 배우게 됩니다. 이 논문은 이러한 접근 방식이 AI를 더 똑똑하고, 빠르고, 복잡한 문제를 해결할 수 있게 만드는 데 있어 중요한 진전이라고 결론짓습니다.

기술 요약: On-Policy Delta Distillation (OPD²)

1. 문제 정의

On-Policy Distillation (OPD)는 대규모 언어 모델(LLM)의 추론 능력을 정렬하기 위한 강화 학습(RL)의 유망한 사후 학습(post-training) 대안으로 부상했습니다. 교사 생성 시퀀스(SFT)에 의존하는 전통적인 지식 증류(Knowledge Distillation, KD)와 달리, OPD는 학생 모델이 스스로 생성한 시퀀스를 바탕으로 학습하며, 교사 모델을 사용하여 샘플링된 토큰을 점수화합니다. 이 접근 방식은 노출 편향(exposure bias)을 완화하고, 보상 모델링(reward modeling)과 관련된 계산 및 설계 복잡성을 줄여줍니다.

그러나 OPD 보상 신호의 근본적인 설계는 아직 충분히 탐구되지 않았습니다. 표준 OPD는 교사( $\pi^*$ )와 학생( $\pi_\theta$ ) 사이의 로그 확률 차이로 보상을 정의합니다. 저자들은 이 방식이 학생 모델로 하여금 교사가 추론 특화 튜닝을 거치기 전부터 보유하고 있던 자연스러운 언어적 선호도나 스타일적 경향을 포함하여, 교사의 전체 출력 분포를 모방하도록 강제한다고 주장합니다. 결과적으로, 학생 모델은 교사의 사후 학습 단계에서 획득한 구체적인 "학습 궤적" 또는 추론 능력을 고립시켜 효과적으로 전이하는 데 실패할 수 있습니다.

2. 방법론: On-Policy Delta Distillation (OPD²)

본 논문은 추론 지식을 얻기 위해 교사 모델의 변화에만 집중하도록 보상 신호를 재정의하는 새로운 프레임워크인 **On-Policy Delta Distillation (OPD²)**을 제안합니다.

2.1 델타 신호 (The Delta Signal)

학생을 교사와 비교하는 대신, OPD²는 추론 튜닝된 교사 모델( $\pi^*$ )과 튜닝 전의 베이스 모델( $\pi^*_{\text{base}}$ ) 사이의 차이로 정의되는 델타 신호( $\Delta$ )를 도입합니다.

토큰 $y_t$ 에 대한 보상은 다음과 같이 공식화됩니다:
$R^\Delta_t = \log \pi^*(y_t | x, y_{<t}) - \log \pi^*_{\text{base}}(y_t | x, y_{<t})$

이 신호는 추론 튜닝에 의해 유도된 구체적인 변화를 포착하며, 베이스 모델의 내재된 선호도를 효과적으로 필터링합니다. 저자들은 이것이 일반적인 언어 모델링 능력보다는 복잡한 과업을 위한 "추론 지식"을 고립시킨다는 가설을 세웠습니다.

2.2 보상 설계 및 안정화

델타 신호를 직접 적용하는 것은 특히 수렴과 관련하여 어려움이 따릅니다. $R^\Delta_t$ 는 학생의 확률 $\pi_\theta$ 에 의존하지 않으므로, 이 신호에만 기반한 학습은 불안정성을 초래하거나 원-핫 벡터(one-hot vector) 최댓값으로 수렴할 수 있습니다. 이를 해결하기 위해 저자들은 두 가지 설계 메커니즘을 도입했습니다:

중심화 (Centering): RL의 어드밴티지(Advantage) 함수와 유사하게, 신호 편향을 처리하기 위해 학생의 정책 하에서의 기대 보상을 뺍니다:
$A^\Delta_t = R^\Delta_t - \mathbb{E}_{\tilde{y}_t \sim \pi_\theta} [R^\Delta_t]$
결합 조건부 (Joint Conditioning): 학생이 교사의 실제 분포에서 너무 멀어져 성능이 저하되는 것을 방지하기 위해, 저자들은 조건부 중단 메커니즘을 도입합니다. 최종 어드밴티지 함수 $A^{D2}_t$ 는 델타 신호가 원래의 OPD 신호 방향과 일치할 때만 활성화됩니다:
$A^{D2}_t = \begin{cases} A^\Delta_t & \text{if } A^\Delta_t \cdot A^{OPD}_t > 0 \\ 0 & \text{otherwise} \end{cases}$
이는 델타 신호가 표준 증류 신호의 방향을 강화할 때만 업데이트가 발생하도록 보장하여, 학생의 기존 능력을 보존하면서 추론 능력을 향상시킵니다.

3. 주요 기여

새로운 보상 공식화: 단순한 교사 모방에서 교사의 개선 사항을 모방하는 것으로 초점을 전환하여, 델타 신호( $\pi^* - \pi^*_{\text{base}}$ )를 온-폴리시 증류의 주요 학습 목표로 도입했습니다.
이론적 및 경험적 분석: 워드 클라우드 시각화, 토큰 수준의 신호 분석, 통계적 증거를 통해 델타 신호가 표준 OPD보다 논리적 연결어(예: "hence", "however")를 더 효과적으로 강조하고 일반적인 탐색적 문구(예: "see", "try")를 억제함을 입증했습니다.
안정화 메커니즘: 델타 신호를 사용할 때 안정적인 수렴을 보장하기 위한 중심화 및 결합 조건부 기법을 제안했습니다.
광범한 벤치마킹: 세 가지 추론 도메인(Math, Science, Code)과 다양한 크기(1.7B ~ 30B)의 여러 모델 패밀리(Qwen3, Gemma4)에 걸친 포괄적인 평가 프레임워크를 제공합니다.

4. 실험 결과

저자들은 14개 벤치마크에서 OPD²를 표준 OPD 및 ExOPD(최근의 고급 방법론)와 비교 평가했습니다.

비사고 모드 (Non-Thinking Mode): OPD²는 베이스라인보다 일관되게 우수한 성능을 보였습니다. Qwen3-1.7B의 경우, 평균 수학 점수가 34.8(base)에서 54.6(OPD²)로 향상되어 ExOPD(51.4)를 넘어섰습니다. 특히, OPD²로 학습된 4B 모델이 다른 방법으로 학습된 8B 모델보다 높은 성능을 보였는데, 이는 이 방법이 모델 크기를 보완할 수 있음을 시사합니다.
사고 모드 (Thinking Mode): 베이스라인 모델이 이미 강력한 추론 능력을 갖춘 시나리오에서 표준 OPD는 종종 성능 저하를 일으켰습니다. 반면, OPD²는 모든 모델 크기와 도메인에서 성능을 개선하거나 유지하며 Math, Code, Science에서 가장 높은 평균 점수를 달성했습니다.
교차 아키텍처 일반화: Gemma4-E4B-it에 적용했을 때, 표준 OPD는 상당한 성능 저하를 일으켰습니다. 그러나 OPD²는 성공적으로 일반화되어 수학 성능을 명확한 차이로 개선(60.6에서 67.8로)했으며, 코딩 능력을 다른 방법보다 더 잘 유지했습니다.
학습 역학 (Training Dynamics): OPD²는 학습 궤적 전반에 걸쳐 지속적인 성능 우위를 보여준 반면, OPD와 ExOPD는 초기 이득 이후 정체되거나 저하되는 모습을 보였습니다.
절제 연구 (Ablation Studies): 델타 신호를 제거했을 때 가장 큰 성능 저하가 발생하여, 이것이 개선의 주요 동력임을 확인했습니다. 중심화 및 결합 조건부 구성 요소는 추가적이지만 상대적으로 작은 안정성 및 성능 이득을 제공했습니다.
계산 비용: OPD²는 베이스 모델의 추가 순전파(forward pass)로 인해 약간의 오버헤드(Qwen3 모델 기준 실제 시간 약 24-28% 증가)가 발생합니다. 이는 ExOPD와 유사한 수준이며, 온-폴리시 증류의 전형적인 짧은 학습 기간을 고려할 때 수용 가능한 수준으로 간주됩니다.

5. 의의 및 주장

본 논문은 OPD²가 온-폴리시 증류 설계의 근본적인 개선을 나타낸다고 주장합니다. 델타 신호를 활용함으로써, 이 방법은 교사의 일반적인 출력 분포가 아닌, 교사의 사후 학습 단계에서 획득한 구체적인 추론 능력을 성공적으로 고립시키고 전이합니다.

저자들은 OPD²를 다음과 같은 특징을 가진 강력한 RL 대안으로 포지셔닝합니다:

짧은 사후 학습 기간 동안 강력한 추론 성능을 달성합니다.
다양한 모델 크기와 아키텍처(Qwen, Gemma)에 효과적으로 일반화됩니다.
이미 강력한 "사고(thinking)" 모델에 표준 증류를 적용할 때 발생하는 성능 저하를 피합니다.

이 연구는 복잡한 추론 기술을 전이하는 데 있어 절대적인 행동(absolute behavior)보다 행동의 *변화(change, delta)*에 집중하는 것이 더 효과적인 전략임을 시사하며, 이는 LLM을 위한 효율적인 사후 학습 방법 개발의 중요한 이정표가 될 수 있습니다.