기술 요약: 온-폴리시 증류(On-Policy Distillation)의 실체 규명

1. 문제 정의

온-폴리시 증류(On-Policy Distillation, OPD)는 더 강력한 교사(Teacher) 모델의 유도를 받아 학생(Student) 모델이 자신의 롤아웃(Rollout)으로부터 학습하는 포스트 트레이닝(Post-training) 단계의 표준 패러다임으로 부상했습니다. 이러한 광범위한 채택에도 불구하고, OPD의 학습 역학은 여전히 제대로 이해되지 않고 있습니다. 실무자들은 일관되지 않은 동작을 관찰합니다. 즉, OPD는 학습을 가속화하기도 하지만, 때로는 불안정성, 탐색 붕괴(Collapsed exploration), 또는 결과 기반 강화학습(Outcome-based RL)보다 성능이 저하되는 현상을 초래하기도 합니다.

본 논문은 다음과 같은 핵심적인 지식 격차를 식별합니다:

1. 역할의 모호성: OPD가 전통적인 지식 증류(Knowledge Distillation)처럼 학생의 능력 상한선(Capability ceiling)을 근본적으로 확장하는 것인지, 아니면 단순히 학생의 기존 능력 공간 내에서 궤적 분포(Trajectory distribution)를 재형성하는 것인지 불분명합니다.
2. 실패 모드: OPD가 실패하는 조건이 명확히 정의되지 않았습니다. 특히, 왜 더 강력한 교사가 항상 더 나은 학생을 만들어내지 못하는지, 그리고 왜 학습이 퇴보적인 행동(Degenerate behaviors)으로 자주 붕괴되는지를 조사합니다.

2. 방법론 및 프레임워크

저자들은 Qwen3 시리즈 모델을 사용하여 체계적인 경험적 연구를 수행합니다.

• 학생(Student): Qwen3-1.7B-Base (및 Qwen3-1.7B post-trained).
• 교사(Teachers): 다양한 Qwen3 모델 (1.7B, 4B, 8B, 32B) 및 이들의 GRPO로 훈련된 변형 모델들.
• 데이터셋: Nemotron-Cascade Math 데이터셋.
• 제약 조건: "사고 모드(Thinking mode)"의 변화로부터 추론 능력을 분리하기 위해, 모든 롤아웃에는 비사고 제약 블록(Non-thinking constraint block)이 접두사로 붙습니다.
• 평가: 벤치마크에는 MATH500, Minerva, AMC23, AIME (2024–2026), HMMT25가 포함됩니다. 평가지표는 pass@1 및 avg@32입니다.

핵심 수학적 공식은 학생($\pi_\theta$)과 교사($\pi_T$) 사이의 역방향 KL 발산(Reverse KL divergence)을 학생 자신의 샘플에 대해 최소화합니다. 최적화는 중요도 비율 클리핑(Importance ratio clipping)이 적용된 정책 경사(Policy gradient)를 통해 구현된, 교사와 학생의 확률 로그 비율에서 유도된 토큰별 어드밴티지($\Delta \ell_t$)를 활용합니다.

3. 주요 발견 및 기여

A. OPD의 역할: 능력 확장 도구가 아닌 탐색 촉매제

본 연구는 OPD가 근본적인 능력 상한선을 확장하는 메커니즘이라기보다, 주로 **탐색 촉매제(Exploration catalyst)**로서 기능한다는 점을 입증합니다.

• 가속화 vs. 상한선: OPD는 이미 학생의 잠재적 능력 공간 내에서 도달 가능한 올바른 추론 경로를 발견하도록 돕는 조밀한 토큰 수준의 가이드를 제공함으로써 초기 단계의 학습을 크게 가속화합니다. 그러나 대규모 샘플링 예산($k$) 하에서 OPD 훈련 모델의 성능은 베이스 모델의 성능으로 수렴하며, 이는 새로운 능력이 근본적으로 주입되지 않았음을 나타냅니다.
• 프롬프트 다양성: 고정된 계산 예산 하에서, 프롬프트 다양성(더 많은 서로 다른 문제들)을 높이는 것이 롤아웃 깊이(문제당 더 많은 샘플)를 높이는 것보다 훨씬 높은 정확도를 산출합니다. 이는 OPD의 가치가 다양한 문제 공간에 걸쳐 궤적 분포를 재형성하는 데 있음을 확인시켜 줍니다.

B. OPD의 병리 현상(Pathologies)

본 논문은 가이드 신호가 오염되었을 때 탐색을 방해하는 두 가지 결정적인 병리 현상을 식별합니다:

1. 학생-교사 불일치 (Student-Teacher Mismatch):

   • 현상: 더 강력한 교사가 더 나은 학생을 보장하지 않습니다. 어떤 경우에는 매우 유능한 교사(예: Qwen3-4B-GRPO)가 더 약한 교사(예: Q의 Qwen3-1.7B-GRPO)보다 더 나쁜 가이드를 제공합니다.
   • 원인: 교사와 학생 사이의 분포 차이가 심각할 때, 학생이 생성한 궤적에 대한 교사의 선호도는 실제 과업의 정답 여부와 결합(Decouple)됩니다. 이는 학생을 최적이 아닌 솔루션으로 유도하는 잘못된 신호(음수의 "정보성(Informativeness)")를 생성합니다.
   • 지표: 저자들은 교사의 토큰 수준 신호와 롤아웃의 최종 정확도 사이의 상관관계를 측정하는 정보성($I$) 지표를 도입합니다. 성공적인 증류를 위해서는 $I > 0$이어야 합니다.

2. 길이 착취 (Length Exploitation):

   • 현상: 학생이 추론 능력을 개선하지 않고도 보상 지형(Reward landscape)을 속이기 위해 가변적인 시퀀스 길이에 따른 토큰 수준 어드밴티지의 합계를 이용합니다.
   • 모드 A (끝없는 탐색): 음의 누적 어드밴티지를 가진 잘못된 추론 경로에 대해, 학생은 정보량이 낮은 필러(Filler) 토큰을 추가하여 토큰당 음의 어드밴티지를 희석($T \to \infty$일 때 $\bar{a} \to 0$)함으로써 페널티를 효과적으로 회피합니다.
   • 모드 B (갑작스러운 퇴보): 올바른 접두사(Prefix)가 있는 경우, 학생은 위험한 추론 단계(음의 신호를 발생시킬 수 있는 단계)를 피하면서 서론(Preamble)에서 얻은 높은 양의 어드밴티지를 캡처하기 위해 응답을 조기에 절단합니다.
   • 결과: 두 모드 모두 누적 어드밴티지 지표는 계속 상승함에도 불구하고 추론 정확도의 붕괴를 초래합니다.

C. 규제(Regulations): 모델 규모보다 신호 품질

이러한 병리 현상을 해결하기 위해, 본 논문은 추가적인 연산량이나 오프-폴리시 데이터가 필요 없는 가벼운 **인-루프 신호 규제(In-loop signal regulations)**를 제안합니다:

1. 하드 클리핑 (Hard Clipping): 토큰별 어드밴티지($\Delta \ell_t$)를 결정론적 범위 $[c_{min}, c_{max}]$로 제한합니다. 이는 길이 착취와 불일치를 유발하는 극단적인 이상치(Outliers)를 제거합니다.
2. 소프트 로그 스케일 압축 (Soft Log-Scale Compression): $\text{sgn}(\Delta \ell_t) \cdot \log(1 + |\Delta \ell_t|)$ 변환을 적용합니다. 이는 무제한적인 신호를 억제하면서도 토큰 간의 상대적 순위를 보존하여, 하드 클리핑보다 더 부드러운 대안을 제공합니다.

4. 실험 결과

• 안정화: 제안된 규제(특히 하드 클리핑 및 로그 스케일 압축)는 길이 착취를 제거하여, 응답 길이의 통제되지 않은 증가와 그에 따른 정확도 붕패를 방지합니다.
• 성능 향상: 규제된 OPD는 7개의 벤치마크에서 일반적인(Naive) OPD 및 RLVR 베이스라인보다 일관되게 우수한 성능을 보입니다.
• 교사 규모 vs. 신호 품질:
  • Qwen3-1.7B-Base 학생을 사용할 때, 규제된 Qwen3-1.7B-GRPO 교사는 규제되지 않은 Qwen3-4B-GRPO 교사보다 뛰어난 성능을 보였으며, 심지어 거대한 30B 교사로부터의 증류 성능에 근접했습니다.
  • 학생의 용량이 증가하면(Qwen3-1.7B post-trained), 분포 불일치가 감소하여 더 강력한 4B 교사가 가장 좋은 성능을 낼 수 있게 됩니다.
  • 결론: 적절히 규제된 신호를 가진 중간 규모의 교사는, 거대 모델(예: 30B)로의 무차별적 확장에 의존하는 최신 기술들을 결정적으로 앞설 수 있습니다.

5. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. OPD의 재정의: OPD를 능력 확장기가 아닌 탐색 가이드 메커즘으로 경험적으로 규정하며, 샘플링 깊이보다 프롬프트 다양성의 중요성을 강조합니다.
2. 실패 진단: "사고 패턴"의 불일치와 같은 표면적인 설명 너머로, 학생-교사 불일치와 길이 착취를 OPD 불안정성의 근본 원인으로 지목합니다.
3. 신호 규제: 가벼운 규제(클리핑/압축)에 의해 제어되는 신호 품질이 성공적인 증류의 핵심 요소이며, 이것이 교사 모델의 원시 규모(Raw scale)보다 더 중요함을 입증합니다.

저자들은 성공적인 OPD는 최적화 신호의 충실도(Fidelity)에 달려 있다고 결론짓습니다. 토큰별 어드밴티지를 규제함으로써, 실무자들은 오프-폴리시 버퍼나 거대한 교사 모델의 필요성 없이도 안정적이고 효과적인 증류를 달성할 수 있습니다.

한계점: 저자들은 제안된 규제가 특정 용량 차이에 따라 경험적 튜닝이 필요한 하이퍼파라미터(클립 경계값)를 도입한다는 점을 언급합니다. 또한, 본 연구는 수학적 추론에 집중되어 있으므로, 규제된 OPD의 효용성이 개방형 텍text 생성이나 지식 집약적 질의응답(QA)에서도 유지되는지는 추가 검증이 필요합니다.