💬 NLP

Weak-to-Strong Generalization via Direct On-Policy Distillation

이 논문은 검증 가능한 보상(RLVR)을 통한 강화 학습 과정에서 더 작은 모델이 학습한 정책 변화를 로그 비율(log-ratio)을 밀집된 암시적 보상으로 사용하여 더 강력한 타겟 모델로 전이함으로써, 더 큰 모델에 대한 전체 강화 학습의 높은 계산 비용 없이 효율적인 약한 모델에서 강한 모델로의 일반화를 가능하게 하는 Direct On-Policy Distillation(Direct-OPD) 방법을 제안한다.

원저자: Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 모델을 훈련시키는 것은 비용이 너무 많이 듭니다

당신이 아주 똑똑하지만 매우 느리고 비싼 교수님(거대 AI 모델)에게 복잡한 수학 문제를 푸는 법을 가르치고 싶다고 상상해 보세요. 현재 가장 좋은 방법은 **강화 학습(RL)**입니다.

강화 학습에서 모델은 문제를 풀려고 시도하고, 정답을 맞히면 점수(보상)를 받으며 학습합니다. 하지만 여기에는 함정이 있습니다. 학습을 위해 모델은 무엇이 효과적인지 확인하기 위해 수천 번의 연습 시도("롤아웃")를 생성해야 합니다.

병목 현상: 만약 당신의 "교수님"이 거대한 슈퍼컴퓨터라면, 이러한 연습 시도를 생성하는 데 엄청난 시간이 걸리고 막대한 전기료가 발생합니다. AI 모델이 커질수록, 이 훈련 과정은 매번 새로운 모델을 위해 반복하기에는 너무 느리고 비싸집니다.

제안된 해결책: "견습생" 전략

저자들은 Direct-OPD라는 영리한 지름길을 제안합니다. 거대한 모델을 직접 훈련시키는 대신, 먼저 작고 저렴한 "견습생" 모델을 훈련시킨 다음, 그 견습생이 배운 것을 거대 모델로 전이시키는 방식입니다.

다음과 같이 생각해보세요:

견습생 (작은 모델): 당신은 빠르고 훈련 비용이 저렴한 주니어 학생을 고용합니다. 당신은 강화 학습 방식을 사용하여 이 학생을 가르칩니다. 학생은 조금 고전하겠지만, 결국 어떻게 더 잘 생각해야 하는지를 깨닫게 됩니다.
스승 (큰 모델): 당신에게는 이미 매우 똑똑하지만, 아직 이 특정 방식의 사고법을 배우지 못한 천재 교수님이 있습니다.
목표: 당신은 거대 모델이 비싼 연습 훈련을 직접 수행하지 않고도, 견습생이 만들어낸 "개선 사항"을 배우기를 원합니다.

함정: 단순히 견습생를 따라 하지 마세요

자연스러운 생각은 "좋아, 이제 견습의 수학 실력이 좋아졌으니, 스승이 견습생의 답을 그대로 복사하게 만들자"라고 말하는 것입니다.

논문은 이렇게 하지 말라고 말합니다.
왜일까요? 견습생은 여전히 주니어이기 때문입니다. 그들에게는 한계가 있습니다. 만약 스승이 견실생을 그대로 복사한다면, 스승은 견습생의 개선점뿐만 아니라 실수와 한계까지도 복사하게 되어 오히려 실력이 저하될 수 있습니다.

비유: 어떤 초보 체스 선수가 드디어 초보자를 이길 수 있는 특정 오프닝 수를 배웠다고 상상해 보세요. 만약 그랜드마스터가 그 초보자의 전체적인 경기 스타일을 복사하려고 한다면, 그랜드마스터는 패배할 것입니다. 그랜드마스터에게 필요한 것은 초보자의 성격 전체가 아니라, 그 특정한 하나의 새로운 수뿐입니다.

핵심 비결: "직접 온-폴리시 증류" (Direct On-Policy Distillation, Direct-OPD)

저자들은 한계는 남겨두고 오직 개선점만을 추출하는 방법을 발명했습니다.

작동 방식은 다음과 같습니다:

전과 후의 스냅샷 찍기:
- 견습생의 훈련 전 뇌 상태를 찍습니다 (이를 이전 뇌라고 부릅시다).
- 견습생의 훈련 후 뇌 상태를 찍습니다 (이를 새로운 뇌라고 부릅시다).
차이점 찾기:
- 이 방법은 두 뇌를 비교합니다. 그리고 질문합니다: "새로운 뇌가 이전의 뇌라면 하지 않았을 행동 중 무엇을 결정했는가?"
- 이 방식은 견습생이 이미 잘하고 있던 모든 것은 무시합니다. 오직 변화만을 봅니다.
- 비유: 견습생이 예전에는 항상 피자를 먹었다고 가정해 봅시다. 훈련 후에 그들은 샐러드를 먹기로 결정했습니다. 여기서 "변화"는 피자에서 샐러드로의 전환입니다. 이 방식은 그들이 여전히 요리에 서툴다는 사실은 무시하고, 오직 샐러드를 선택했다는 결정에만 주목합니다.
스승 가르치기:
- 스승(큰 모델)에게 문제를 풀도록 요청합니다.
- 스승에게 견습생의 최종 답변을 복사하라고 하는 대신, 스승에게는 이전 뇌와 새로운 뇌 사이의 차이점을 보여줍니다.
- 스승에게는 이렇게 말합니다: "이 상황에서 '새로운' 버전의 견습생이라면 이 경로를 선택했을 것이고, '이전' 버전은 그러지 않았을 것이다. 그러니 너는 그 경로 쪽으로 기울어야 한다."

왜 이것이 게임 체인저인가

이 논문은 이 방법이 세 가지 놀라운 방식으로 작동함을 증명합니다:

1. 스승이 이미 견습생보다 똑똑하더라도 작동합니다.
보통 자신보다 약한 사람으로부터 배울 수는 없습니다. 하지만 여기서 스승은 견습생의 답변을 배우는 것이 아니라, 견습생이 움직인 방향을 배우는 것입니다.

비유: 그랜드마스터가 초보자보다 뛰어나더라도, 초보자가 아직 시도해보지 않은 새롭고 기묘한 기술을 발견했을 수 있습니다. 그랜드마스터는 초보자가 되지 않으면서도 그 기술을 채택할 수 있습니다.

2. 믿을 수 없을 정도로 저렴하고 빠릅니다.
작은 견습생을 훈련시키는 데는 몇 대의 컴퓨터로 몇 시간밖에 걸리지 않습니다. 그 "변화"를 큰 모델로 전이시키는 데도 몇 시간만 더 있으면 됩니다.

결과: 이 논문은 모델의 수학 점수를 단 4시간 동안 8대의 컴퓨터를 사용하여 48%에서 58%로 올렸음을 보여줍니다. 큰 모델에 직접 이 작업을 수행했다면 몇 주와 32대의 컴퓨터가 필요했을 것입니다.

3. 쌓아 올릴 수 있습니다 (Stacking).
하나의 작은 견습생을 훈련시켜 교훈을 전달한 다음, 다른 기술을 가진 또 다른 작은 견습생을 훈련시켜 그것 또한 전달할 수 있습니다. 이는 마치 스승 모델 위에 서로 다른 "기술 패치"를 층층이 쌓는 것과 같습니다.

요약

이 논문은 Direct-OPD라는 방법을 소개하며, 이는 작은 AI 모델의 훈련 과정을 단순히 복사해야 할 최종 결과물이 아니라, 개선의 지도로 취급합니다.

거대한 AI에게 작은 AI의 최종 답변을 흉내 내라고 강요하는 대신(이는 성능 저하를 불러옵니다), 이 방법은 작은 AI가 더 나아지기 위해 만든 구체적인 변화인 "델타(차이)"를 추출하여 거대 AI에 적용합니다. 이를 통해 우리는 작고 빠른 모델의 훈련을 활용하여 거대하고 비싼 모델을 업그레이드함으로써, 성능을 높이는 동시에 시간과 비용을 절약할 수 있습니다.

기술 요약: 직접 온-폴리시 증류(Direct On-Policy Distillation)를 통한 약한 모델에서 강한 모델로의 일반화

1. 문제 정의

검증 가능한 보상(Verifiable Rewards)을 활용한 강화학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 있어 지배적인 패러다임이 되었습니다. 그러나 RLVR은 매 학습 업데이트마다 타겟 모델이 롤아웃(rollout)을 생성하고, 검증 가능한 점수를 받고, 정책을 업데이트해야 하므로 계산 비용이 매우 높습니다. 모델 규모가 커짐에 따라 이러한 롤아웃을 생성하는 비용도 함께 증가하며, 이는 새로운 더 강력한 모델이 나올 때마다 RLVR을 처음부터 다시 실행해야 하는 심각한 병목 현상을 야기합니다.

본 논문은 약한 모델에서 강한 모델로의 일반화(Weak-to-Strong Generalization) 문제를 다룹니다: 더 작고 약한 "교사(teacher)" 모델을 통해 RL로 훈련된 모델이 더 크고 강한 "학생(student)" 모델을 개선하는 데 사용될 수 있는가?

나이브한 증류(Naive Distillation)의 한계: RL 이후의 최종 정책을 가진 약한 교사의 정책을 단순히 증류하는 것(온-폴리시 증류 또는 OPD)은 불충분합니다. 교사의 최종 정책은 RL을 통해 학습된 유용한 개선 사항과 작은 모델 자체의 내재적 용량 한계를 결합해 버립니다. 만약 학생 모델이 이미 교사보다 더 강력하다면, 교사의 분포를 모방하는 것은 학생의 우수한 행동을 덮어써서 성능을 저하시킬 수 있습니다.
핵심 질문: 어떻게 하면 약한 모델의 용량 한계를 물려받지 않으면서, 약한 모델에서 유도된 *RL 기반 개선 신호(RL-induced improvement signal)*를 강한 모델로 전달할 수 있는가?

2. 방법론: 직접 온-폴리시 증류 (Direct-OPD)

저자들은 교사의 최종 정책 자체가 아니라, 약한 모델에서 RL에 의해 유도된 *정책 변화(policy shift)*를 전달하는 패러다임인 Direct-OPD를 제안합니다.

2.1 핵심 신호: 암시적 보상으로서의 정책 변화

Direct-OPD는 학생이 교사의 출력 분포 $\pi_T$ 를 따르도록 훈련하는 대신, RL에 의한 변화를 격리하기 위해 RL 이후의 교사 $\pi_T$ 와 RL 이전의 참조 모델 $\pi_{Tref}$ 를 대조합니다.
정책 변화는 다음과 같이 정의됩니다:
$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$
KL-정규화된 RL 프레임워크 하에서, 이 로그 비율은 (스케일링 인자와 상수를 제외하면) 수학적으로 교사를 훈련시킨 암시적 보상 신호와 동일합니다. 따라서, 체크포인트 쌍 $(\pi_{Tref}, \pi_T)$ 은 정책 공간에 보상 신호를 직접 인코딩합니다.

2.2 목적 함수

Direct-OPD는 이 변화 신호를 학생 자신의 온-폴리시 상태에 적용합니다. $\pi_S$ 로부터 초기화된 학생 정책을 $\pi_\theta$ 라고 합시다. 목적 함수는 학생이 자신의 초기화 상태로부터 너무 멀어지는 것을 방지하면서 교사의 변화 방향을 따르도록 최적화합니다:
$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$

조밀한 암시적 보상(Dense Implicit Reward): $\Delta_T$ 항은 조밀한 토큰별 보상 역할을 합니다. 상태 $s_t$ 에서의 토큰 $v$ 에 대해 즉각적인 보상은 $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$ 입니다.
온-폴리시 샘플링: 학생은 자신의 궤적(trajectory)을 샘플링합니다. 그래전(gradient)은 학생이 실제로 방문한 접두사(prefix)에서 계산되어, 신호가 학생이 실제로 마주치는 상태에 적용되도록 보장합니다.
Top-K 근사: 훈련 효율성을 높이기 위해, 이 방법은 각 단계에서 학생의 상위 $k$ 개 토큰으로 보상 계산을 제한하며, 분산을 줄이기 위해 Rao-Blackwellized estimator를 사용합니다.

2.3 적응형 KL 제어

암시적 보상 $\Delta_T$ 의 크기는 교사의 훈련 하이퍼파라미터(특히 KL 예산 $\beta$ )에 따라 달라지며, 학생은 이를 알 수 없습니다. 고정된 KL 계수 $\alpha$ 는 서로 다른 교사-학생 쌍 간에 견고하게 스케일링되지 않을 수 있습니다.
저자들은 가중치가 적용된 변화 신호의 배치 수준 평균을 기반으로 $\alpha$ 를 조정하는 경량 적응형 KL 컨트롤러를 도입합니다. 평균 변화가 양수이면(교사의 RL이 유지된 토큰의 확률을 일반적으로 높였음을 의미), 과도한 증폭을 막기 위해 $\alpha$ 를 높입니다. 반대로 음수이면, 억제된 토큰으로부터 멀어질 수 있도록 $\alpha$ 를 낮춥니다.

3. 주요 기여

새로운 약한 모델-강한 모델 패러다임: 본 논문은 작은 모델의 RL을 단순히 모방할 최종 정책을 만드는 것이 아니라, 암시적 보상 신호를 생성하는 저렴한 도구로 재정의합니다. 학생의 상태에서 교사의 정책 변화를 평가함으로써, Direct-OPD는 교사의 용량이 아닌 개선 방향을 전달합니다.
규모 전반에 걸친 일관된 이득: 이 방법은 약한 교사를 사용하여 강한 학생을 일관되게 개선합니다. 특히, 표준적인 증류 방식이 실패하는 시나리오(예: 학생이 이미 RL 이후의 교사보다 성능이 높은 경우, R1-Distill-7B, Qwen3-4B 등)에서도 성능을 향상시킵니다.
계산 효율성: Direct-OPD는 대규모 모델에 직접 RL을 실행하는 것보다 훨씬 저렴합니다. 작은 모델의 RL이 가진 안정성과 속도를 활용하면서, 짧고 비용이 적게 드는 전이 단계를 추가할 뿐입니다.
순차적 구성(Sequential Composition): 이 방법은 서로 다른 교사 쌍으로부터 얻은 여러 정책 변화를 순차적으로 결합할 수 있게 하여, 단일 학생 모델에 다양한 추론 능력을 축적할 수 있게 합니다.

4. 실험 결과

저자들은 다양한 모델 제품군(Qwen3, R1-Distill, Nemotron)을 사용하여 수학적 추론 벤치마크(AIME 2024 및 AIME 2025)에서 Direct-OPD를 평가했습니다.

약한 모델-강한 모델 전이:
- Qwen3-1.7B: 1.5B 교사로부터의 변화를 전이하여, 단 4시간 동안 8개의 A100 GPU를 사용하여 AIME 2024 성능을 48.3%에서 58.3%로 향상시켰습니다.
- 더 강한 학생들: RL 이후의 교사(51.3%)보다 이미 높은 정확도(R1-Distill-7B: 56.7%, Qwen3-4B: 72.5%)를 가진 모델들도 성공적으로 개선했습니다. 표준 OPD는 이러한 경우 성능을 저하시켰습니다.
직접 RL과의 비교:
- 동일한 단계 예산 하에서, 1.5B 모델에 RL을 실행하고 Direct-OPD를 통해 전이하는 것이 7B 모델에서 직접 RL을 실행하는 것보다 정확도와 계산 시간 모두에서 우수했습니다.
- 전이 단계는 대규모 RL에 필요한 몇 주라는 시간에 비해 무시할 수 있는 수준의 시간(~4시간)만을 추가합니다.
순차적 구성:
- Qwen3-1.7B에 두 가지 서로 다른 정책 변화(JustRL 및 QuestA 교사로부터)를 순차적으로 적용한 결과, 누적된 이득을 얻어 AIME 2024 정확도를 48.3%에서 63.8%로 끌어올렸습니다.
일반화 특성:
- 토큰 중첩(Token Overlap): 표준 OPD와 달리, Direct-OPD는 교사와 학생 사이의 높은 top-k 토큰 중첩을 요구하지 않습니다. 학생의 사고 패턴이 교사와 크게 다르더라도 효과적으로 작동합니다.
- 호라이즌(Horizon): 단기 호라이즌 훈련(2k 토가인)은 긴 롤아웃에도 효과적으로 일반화되어, 매우 긴 시퀀스의 노이즈 없이 전이 가능한 신호를 포착합니다.

5. 의의 및 주장

본 논문은 RL의 결과물이 단순히 모방해야 할 최종 모델이 아니라, 암시적 보상 신호로서 모델 규모를 넘어 재사용될 수 있음을 주장합니다.

RL의 재정의: 이 연구는 RL 훈련의 관점을 "최종 모델"을 생성하는 것에서, 보상 지형(reward landscape)을 인코딩하는 "정책 변화"를 생성하는 것으로 전환합니다. 이러한 변화는 특정 모델의 용량에 독립적인, 전이 가능한 자산입니다.
확장성: 작은 모델에서 수행되는 비용이 많이 드는 RL 탐색과 최종 배포를 위한 훈련을 분리함으로써, Direct-OPD는 매번 새로운 더 큰 아키텍처에 대해 RL을 다시 실행해야 하는 과도한 비용 없이 추론 모델의 사후 훈련(post-training)을 위한 확장 가능한 경로를 제공합니다.
강건성: 모델 제품군이나 초기 능력이 다르더라도, 학생이 방문한 상태에서 RL에 의한 변화가 유의미하다면 Direct-OPD는 강건하게 작동합니다.

저자들은 Direct-OPD가 약한 모델에서 강한 모델로의 일반화를 위한 실용적이고 효율적이며 이론적으로 근거가 확실한 메커니즘을 제공하며, 이를 통해 서로 다른 모델 규모와 아키텍처 간에 RL 감독 신호를 재사용할 수 있게 한다고 결론짓습니다.