기술 요약: 근접 정책 증류 (Near-Policy Distillation, NPD)

1. 문제 제기

자기회귀형 대규모 언어 모델 (LLM) 을 위한 표준 지식 증류 (KD) 는 근본적인 분포 불일치에 직면합니다. 학생 모델은 교사 강제 (teacher-forced) 시퀀스로 훈련되지만 추론 시에는 자기회귀 시퀀스를 생성하기 때문입니다. 온-정책 (on-policy) 방법 (예: GKD, DistiLLM) 은 학생이 생성한 출력 (SGO) 으로 훈련함으로써 이를 완화하지만, 계산 비용이 많이 드는 강화 학습 (RL) 과 유사한 프레임워크에 의존합니다. 이러한 프레임워크는 동기화된 교사 - 학생 추론을 요구하여 시퀀스 패킹 (sequence packing) 사용을 불가능하게 만들고, 결과적으로 토큰 활용률이 낮고 훈련 처리 속도가 느려집니다. 반면, 표준 지도 미세 조정 (SFT) 은 시퀀스 패킹을 지원하지만 추론 시 분포 변화를 교정하지 못해 노출 편향과 오류 누적을 초래합니다.

2. 방법론: 근접 정책 증류 (NPD)

저자들은 학생 생성과 훈련 루프를 분리하도록 설계된 비동기 프레임워크인 근접 정책 증류 (NPD) 를 제안합니다. 이 재구성은 온-정책 증류의 분포 일치 이점을 근사하면서도 오프-정책 SFT 의 높은 처리량을 유지할 수 있게 합니다.

핵심 아키텍처

NPD 파이프라인은 세 가지 비동기 단계로 구성됩니다:

1. 학생 주도 생성: 현재 학생 모델이 프롬프트 데이터셋에 대한 응답을 생성합니다. 이러한 시퀀스는 고처리량 배치 (예: vLLM 사용) 로 생성됩니다.
2. 패킹된 병렬 프리필 (Prefill) 을 통한 교사 주석: 동기화된 자기회귀 디코딩이 필요한 온-정책 방법과 달리, NPD 는 여러 학생 응답을 고정 길이 시퀀스로 연결합니다. 교사 모델은 로그 (logits) 를 생성하기 위해 병렬 프리필 단계를 통해 이를 처리합니다. 저장 공간과 감독 품질의 균형을 맞추기 위해 상위-$k$개 로그만 기록됩니다.
3. 복합 최적화: 학생은 복합 손실 함수를 가진 표준 SFT 아키텍처를 사용하여 업데이트됩니다:
   $$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$$
   여기서 $L_{KD}$는 교사의 고신뢰도 예측에 대해서만 계산된 상위-$k$ KL 발산입니다.

정책 지연 해결: $\Delta$-IFD 및 희소 업데이트

NPD 의 비동기 특성은 데이터 생성 정책이 현재 훈련 정책에서 벗어나 잠재적으로 노이즈를 유발할 수 있는 정책 지연을 도입합니다. NPD 는 두 가지 메커니즘으로 이에 대응합니다:

• $\Delta$-IFD 필터링: 지시 따르기 난이도 (IFD) 지표를 기반으로 한 휴리스틱 샘플 선택 메커니즘입니다. 차등 난이도를 계산합니다: $\Delta IFD = IFD_{Teacher} - IFD_{Student}$.
  • 퇴화 영역 ($\Delta IFD < 0$): 교사가 학생보다 더 확신하는 샘플 (대개 사소하거나 의미 없는 패턴) 은 거부됩니다.
  • 인지 단절 영역 ($\Delta IFD > \tau$): 학생은 확신하지만 교사가 매우 불확실한 (심각한 오류를 나타냄) 샘플은 거부됩니다.
  • 근접 학습 영역 ($0 \le \Delta IFD \le \tau$): 교사가 기본 품질을 확인하고 난이도 격차가 중간 정도인 샘플만 유지됩니다. 이는 업데이트가 "안전한 근접 학습 영역" 내에 머무르도록 보장합니다.
• 희소 학생 업데이트: 생성 정책이 크게 벗어나는 것을 방지하기 위해 학생 모델은 지속적으로 업데이트되는 대신 주기적으로 (예: 10 에포크당 한 번) 업데이트됩니다. 이는 정책 동기화의 계산 비용을 최소화하면서 "근접 정책" 상태를 유지합니다.

강화 학습 (RL) 과의 시너지

NPD 는 후속 RL (예: GRPO) 을 위한 우수한 초기화 역할을 합니다. 고품질 필터링 데이터만으로 훈련함으로써 학생의 확률 질량은 논리적으로 올바른 궤적의 매니폴드에 집중됩니다. 이는 후속 RL 단계의 탐색 공간을 효과적으로 축소하여 비효율적인 확률적 탐색을 우회하고 세밀한 최적화에 집중할 수 있게 합니다.

3. 주요 기여

1. NPD 프레임워크: 생성과 훈련을 분리하여 시퀀스 패킹을 가능하게 하고, 성능 이점을 유지하면서 온-정책 기준 대비 8.1$\times$ 속도 향상을 달성하는 비동기 증류 프레임워크입니다.
2. 안정화 메커니즘: 희소 업데이트와 $\Delta$-IFD 필터링 메커니즘의 통합은 정책 지연과 샘플 노이즈를 효과적으로 완화합니다. 이는 노이즈 우세 기울기를 방지하고 KL 발산을 0.10 미만으로 유지함으로써 경험적으로 최적화 궤적을 안정화합니다.
3. RL 초기화: 이 방법은 NPD 훈련 모델이 RL 을 위한 훨씬 더 나은 시작점을 제공하여 탐색 공간을 축소하고 더 높은 점근적 성능을 가능하게 함을 보여줍니다.

4. 실험 결과

실험은 openPangu-Embedded-7B를 교사, openPangu-Embedded-1B를 학생으로 사용했으며, Qwen2.5-Math 모델과 비교했습니다.

• 증류 성능: 대규모 산업용 데이터셋 (120 만 샘플) 에서 NPD 는 표준 SFT 보다 8.09% 더 우수했고, 표준 SeqKD 접근법보다 4.83% 더 우수했습니다.
• 효율성: 최첨단 온-정책 방법인 DistiLLM-2와 비교하여 NPD 는 GSM8K 및 MATH-500 벤치마크에서 우수한 정확도를 달성하면서 훈련 시간을 8.1$\times$ 단축했습니다 (에포크당 1.48 NPU 시간 vs 12.00 NPU 시간).
• RL 시너지: GRPO 의 초기화로 사용될 때, NPD 모델은 11 개 벤치마크에서 최종 평균 점수 **68.73%**를 달성했습니다.
• 최첨단 비교: 최종 openPangu-Embedded-1B-RL 모델 (1B 파라미터) 은 점수 **68.73%**로 훨씬 더 큰 Qwen3-1.7B(63.69%) 를 능가했습니다. 또한 GSM8K(87.60%) 와 MATH-500(84.76%) 에서 선도적인 점수를 기록했습니다.

5. 중요성 및 주장

이 논문은 NPD 가 고성능 AI 와 엣지 제약을 조화시킴으로써 보편적인 온디바이스 지능을 향한 확장 가능한 경로를 제공한다고 주장합니다. 후속 RL 을 위한 탐색 공간을 효과적으로 축소하고 효율적인 시퀀스 패킹을 가능하게 함으로써, 이 프레임워크는 모델 크기 확장 이상으로 고급 훈련 및 정렬 방법론이 더 큰 영향을 미칠 수 있음을 보여줍니다. 저자들은 그들의 접근 방식이 더 잘 정렬된 소형 모델의 훈련 및 배포 비용을 낮추어, 낮은 지연 시간과 개인정보 보호가 필요한 실제 배포 시나리오에 고기능 LLM 을 더 접근 가능하게 만든다고 강조합니다.

이 연구는 NPD 가 교사의 분포에 의해 제약받지만, $\Delta$-IFD 를 통한 체계적 오류 필터링과 희소 업데이트를 통한 훈련 안정화 능력이 자기회귀 모델에서 효율적인 지식 전달을 위한 견고한 해결책이 된다고 결론지었습니다.