기술 요약: 온-폴리시 증류의 실체 규명

문제 제기

온-폴리시 증류 (OPD) 는 희소 보상 강화 학습 (RL) 을 보완하기 위해 밀집된 토큰별 감독을 제공하는 추론 모델의 핵심 사후 학습 기법으로 부상했습니다. 이 패러다임에서 "교사" 모델 (더 큰 외부 모델이거나 특권적 컨텍스트를 가진 학생 모델 자체) 은 학생의 토큰 생성을 안내합니다. 그러나 실무자들은 중요한 설계 선택에 대한 원칙적인 지침이 부족합니다:

• 교사 선택: 교사는 외부의 더 큰 모델이어야 할까요, 아니면 학생 모델 자체 (자기 증류) 여야 할까요?
• 컨텍스트 설계: 어떤 구체적인 컨텍스트 (예: 전체 해결 과정, 요약된 해결책, 또는 오답 예시) 가 감독 신호로 작용해야 할까요?
• 세분화: 최적의 구성은 작업, 학생의 용량, 또는 개별 토큰에 따라 달라질까요?

현재 평가는 개별 토큰 수준의 역동성을 흐리게 하는 고비용 학습 실행의 집계 성능 지표에 의존합니다. 어떤 조건에서 교사의 신호가 유익한지, 중립적인지, 아니면 해로운지는 여전히 불분명합니다.

방법론

저자들은 토큰별, 질문별, 그리고 교사 구성별로 최고 해상도로 작동하는 학습이 불필요한 진단 프레임워크를 소개합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 이상적인 노드별 기울기

교사 안내를 평가하기 위해 저자들은 올바른 답에 도달할 학생의 확률을 극대화하는 "이상적인" 기울기를 유도합니다.

• 생성 트리: 그들은 생성 과정을 토큰 위치를 나타내는 노드와 다음 토큰 선택을 나타내는 간선으로 구성된 트리로 분해합니다.
• 경험적 성공 확률 ($\hat{P}^k_{succ}$): 학생으로부터 롤아웃을 샘플링하여 노드 $u$에서 토큰 $k$를 선택했을 때 올바른 답에 도달할 확률을 추정합니다.
• 이상적 목적 함수: 이상적인 로컬 목적 함수는 기대 성공률을 극대화하는 것입니다: $L_{ideal}(u) = \sum_k P^k_\theta P^k_{succ}$.
• 이상적 기울기: 이 목적 함수에 대한 학생의 로짓의 기울기는 $g^{ideal}_j = P^j_\theta (P^j_{succ} - \bar{P}_{succ})$로 유도됩니다. 이 방향은 평균보다 성공으로 이어지는 토큰을 향해 학생을 밀어붙입니다.
• Dr. GRPO와의 연관성: 저자들은 길이 정규화가 없는 GRPO 변형인 Dr. GRPO가 기대값으로 이 이상적 기울기를 회복함을 보여줌으로써, 이를 보상 기반 신호의 편향되지 않은 추정치로 검증했습니다.

2. 증류 기울기 분석

이 프레임워크는 다양한 증류 알고리즘 (GKD, 단일 샘플 추정기, MiniLLM) 이 생성하는 기울기를 분석합니다. 이러한 방법들이 공통적인 로컬 구조 $\frac{\partial L}{\partial z_j} = P^j_\theta (f_j - \bar{f})$를 공유함을 보여줍니다. 여기서 $f_j$는 교사의 분포 (예: 로그 비율) 또는 궤적 수준의 보상에서 유도됩니다.

3. 기울기 정렬 점수

특정 교사 구성이 이상적 신호를 얼마나 잘 근사하는지 정량화하기 위해, 저자들은 기울기 정렬 점수를 정의합니다:
$$\text{Align}(u) = \cos(g^{ideal}_u, g^D_u)$$
각 토큰에서 이상적 기울기와 증류 기울기 사이의 코사인 유사도는 교사의 안내가 성공을 향해 밀어붙이는지 (양의 정렬), 실패를 향해 밀어붙이는지 (음의 정렬), 아니면 직교하거나 노이즈가 있는지 (거의 0 에 가까운 정렬) 를 측정합니다.

4. 표적 롤아웃을 통한 확장 가능한 추정

긴 추론 체인 내의 모든 토큰에 대해 $\hat{P}^k_{succ}$를 계산하는 것은 계산적으로 불가능합니다. 저자들은 표적 롤아웃 알고리즘을 제안합니다:

• 지수적 깊이 창: 생성 시퀀스는 크기가 증가하는 창으로 분할됩니다.
• 우선순위 지정: 각 창 내에서 롤아웃은 교사와 학생 간에 가장 강력하게 이견이 있는 토큰 (높은 GKD 기울기 크기 또는 확률 차이) 에 할당됩니다.
• 효율성: 이 접근법은 시퀀스 길이가 아닌 사용자가 선택한 예산에 따라 확장되므로, ~200 토큰 (BoolQ) 에서 ~30,000 토큰 (AIME) 에 이르는 궤적에 대해 실행 가능합니다.

주요 결과

이 프레임워크는 8 가지 다른 교사 구성을 사용하여 BoolQ, MMLU, AIME 2025 데이터셋에 걸쳐 Qwen3-0.6B 및 Qwen3-1.7B 모델에 적용되었습니다.

1. 증류는 잘못된 경로에서 더 도움이 됨

가장 일관된 발견은 증류 안내가 올바른 롤아웃보다 잘못된 롤아웃에서 현저히 더 높은 정렬을 보인다는 것입니다.

• 학생이 실패하는 경로에 있을 때, 교사는 성공으로 이어지는 토큰을 향해 신뢰성 있게 밀어붙입니다.
• 학생이 이미 올바른 경로에 있을 때, 학생이 이미 잘 수행하고 있기 때문에 교사의 신호는 노이즈가 많고 이상적 신호와 약하게 정렬됩니다.
• 이 패턴은 모든 설정, 모델 규모, 데이터셋에 걸쳐 유지됩니다.

2. 컨텍스트 설계와 학생 용량의 상호작용

최적의 증류 컨텍스트는 보편적이지 않으며, 학생의 용량과 작업 난이도에 공동으로 의존합니다:

• 작은 모델 (0.6B): 자신의 추론 스타일로 올바른 예시만을 포함한 자기 증류로부터 가장 큰 혜택을 봅니다. 그들은 훨씬 더 큰 외부 교사의 추론 패턴을 해석하는 데 어려움을 겪습니다. 요약된 컨텍스트는 학생이 전체 단계별 추적이 필요할 경우 성능을 저하시킬 수 있습니다.
• 더 큰 모델 (1.7B): 외부 교사 (예: Qwen3-8B) 와 요약된 컨텍스트를 효과적으로 활용할 수 있으며, 이는 원시 궤적에 비해 정렬을 거의 두 배로 높입니다.
• 오답 예시: 오답 예시 (Self-1C1W) 를 포함하는 것은 일반적으로 노이즈를 유발하여 짧은 추론 작업 (BoolQ, MMLU) 의 성능을 저하시킵니다. 그러나 어려운 수학 문제 (AIME) 에서는 오답 예시가 유용한 대비 신호를 제공하여 어려운 질문에서 최고의 교사 구성이 됩니다.

3. 보편적인 레시피는 없음

모든 작업에 걸쳐 정렬을 극대화하는 단일 교사 또는 컨텍스트 구성은 존재하지 않습니다.

• 작업 의존성: 외부 교사는 BoolQ 에서 1.7B 모델에 대해 자기 증류보다 우수하지만 MMLU 에서는 그렇지 않습니다.
• 난이도 의존성: 어려운 수학 문제에서는 오답 예시를 포함하는 것이 정렬을 개선하는 반면, 더 간단한 작업에서는 정렬을 저하시킵니다.
• 예측 한계: 학생과 교사 분포 간의 발산 (KL, JS) 은 정렬과 양의 상관관계를 보이지만, 상관관계는 약합니다 ($|\rho| < 0.05$). 발산은 저렴한 필수 조건 필터로 작용할 수 있지만, 특정 이견이 도움이 될지 여부를 예측하는 신뢰할 수 있는 지표는 아닙니다.

중요성과 주장

이 논문은 토큰 수준에서 교사 안내의 품질을 평가하기 위한 최초의 엄격하고 학습이 불필요한 방법론을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 진단 프레임워크: 오프라인으로 기울기 정렬을 계산할 수 있는 확장 가능한 파이프라인으로, 교사 신호가 유익한, 중립적인, 해로운 기여의 이질적인 혼합물임을 드러냅니다.
2. 기계론적 통찰: 증류가 실패하는 롤아웃에서 가장 효과적이라는 발견은, 모든 토큰을 동등하게 취급하는 현재의 학습 파이프라인이 학생이 이미 올바른 토큰에서 기울기 예산을 낭비하고 있을 수 있음을 시사합니다.
3. 문맥적 뉘앙스: "이해 가능성"이 핵심 요소임을 보여줍니다. 즉, 신호는 학생이 이를 해석할 수 있을 때만 유용합니다. 이는 작은 모델이 훨씬 더 큰 외부 교사로부터 학습하지 못하는 이유와 컨텍스트 설계 (요약 대 원시 궤적) 가 모델 용량에 맞춰져야 하는 이유를 설명합니다.
4. 향후 방향: 이 결과는 작업별, 토큰별 진단 분석을 장려하며, 정렬에 기반하여 증류 손실을 가중치로 두거나 (예: 실패하는 궤적을 강조) 발산을 게이트 메커니즘으로 사용하는 미래 학습 알고리즘을 제안합니다.

저자들은 온-폴리시 증류가 강력한 도구이지만, 그 효과는 매우 조건부적이며 "최적" 구성은 학생의 상태, 작업 난이도, 그리고 생성 중인 특정 토큰에 따라 역동적으로 변한다고 결론지었습니다.