기술 요약: 선호 기반 자기 증류 (PBSD)

문제 제기

온-폴리시 증류 (OPD) 는 밀집된 토큰 수준의 학습 신호를 제공함으로써 대규모 언어 모델 (LLM) 의 사후 학습을 위한 강화 학습 (RL) 의 효율적인 대안을 제시합니다. 그러나 표준 OPD 는 더 강력하고 외부적인 교사 모델에 의존하여, 별도의 아키텍처와 공유 어휘가 필요함으로써 계산 효율성과 확장성 측면에서 병목 현상을 초래합니다.

이를 해결하기 위해 온-폴리시 자기 증류가 등장했는데, 이는 동일한 모델이 교사와 학생 역할을 모두 수행하며, 교사는 추가적인 특권 컨텍스트 (예: 전문가 시연 또는 추론 흔적) 에 모델을 조건화하여 구현됩니다. 그럼에도 불구하고 기존 자기 증류 방법은 두 가지 중요한 한계를 겪고 있습니다:

1. 학습 불안정성 및 성능 저하: 현재 접근 방식은 컨텍스트가 확장된 교사 모델을 향한 직접적인 Kullback-Leibler (KL) 발산 매칭에 의존합니다. 최근 분석에 따르면 이는 시간이 지남에 따라 추론 성능을 적극적으로 저하시켜, 인식적 언어화 (불확실성, 자기 점검) 를 억제하고 과도하게 자신감 있으며 짧은 추론 흔적로 이어질 수 있습니다.
2. 탐색적 다양성 부족: 동일한 모델의 컨텍스트가 확장된 버전을 교사라고 간주하는 것은 교사가 강력한 오라클이라고 가정합니다. 그러나 교사와 학생이 동일한 매개변수를 공유하기 때문에, 감독은 진정한 외부 모델이 제공하는 다양성과 탐색적 가치를 종종 결여합니다.

본 논문은 단순히 KL 매칭을 통해 교사 분포를 복사하는 것이 응답의 잠재적 보상 구조를 무시하므로 최적이지 않다고 주장합니다.

방법론: 선호 기반 자기 증류 (PBSD)

저자들은 **선호 기반 자기 증류 (PBSD)**를 제안합니다. 이는 고정된 교사 KL 매칭이 아닌 보상 정규화 관점을 통해 온-폴리시 자기 증류를 재정의하는 프레임워크입니다.

1. 보상 정규화 목적 함수

학생 $\pi_\theta$와 교사 $\pi_{\text{teach}}$ 간의 역 KL 발산을 최소화하는 대신, PBSD 는 KL 매칭과 보상 최대화를 균형 있게 조정하는 공동 목적 함수를 최적화합니다:
$$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$$
여기서 $r(x, y)$는 잠재적 목표 보상이며 $\beta$는 정규화 강도를 제어합니다.

이론적 통찰: 저자들은 이 목적 함수의 분석적 최적해가 교사 분포 자체가 아니라 보수로 기울어진 교사 분포임을 유도합니다:
$$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$$
이 목표 정책은 보수가 교사 지원 응답 간에 변하는 한, 보상 정규화 목적 함수 하에서 원래 교사보다 증명적으로 우수합니다. 교사는 지지 분포 (유도적 편향) 로 작용하는 반면, 보상은 더 높은 가치의 행동으로 확률 질량을 재가중합니다.

2. 선호 학습을 통한 최적화

잠재적 보상 $r(x, y)$는 관측되지 않으므로, PBSD 는 선호 기반 학습 (DPO 에서 영감) 을 사용하여 목적 함수를 최적화합니다.

• 교사 구성: 교사 $\pi_{\text{teach}}(y|x)$는 특권 컨텍스트 $c$에 조건화된 동일한 기본 모델로 정의됩니다 (예: $\pi(y|x, c)$).
• 선호 쌍: 각 입력 $x$에 대해, 교사 (더 잘 조건화된) 가 양의 샘플 $y^+$를 생성하고, 현재 학생 (온-폴리시) 이 음의 샘플 $y^-$를 생성합니다.
• 손실 함수: 이 방법은 Bradley-Terry 모델을 사용하여 교사 응답이 학생 응답보다 선호될 확률을 최대화합니다:
  $$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$$
  이 공식은 명시적 보상 모델이 필요하지 않으면서 온-폴리시 샘플링을 유지하는 동시에 교사와 학생 샘플 간의 "선호 격차"를 효과적으로 최적화합니다.

3. 통계적 분석

본 논문은 유도된 선호 학습 문제에 대한 통계적 분석을 제공합니다. 컨텍스트 자기 증류가 외부 교사로부터 학습하는 것보다 이론적으로 선호되는 조건을 확립합니다:

• 교사 생성 양의 샘플이 다양한 스코어 격차 방향 (학생의 현재 분포를 넘어선 정보성 방향을 포괄) 을 제공합니다.
• 교사와 학생 간의 선호 마진이 적당하게 유지됩니다.
  분석에 따르면 국소 샘플 복잡성은 경험적 정보 행렬의 가장 작은 고유값에 의해 지배됩니다. 컨텍스트 자기 증류는 순수 자기 복제보다 더 풍부한 방향을 제공하면서 마진을 적당하게 유지 (포화 방지) 하여 더 엄격한 추정 한계를 이끌어냅니다.

주요 기여

1. 보상 정규화 목적 함수: 교사와의 근접성과 보상 최대화를 균형 있게 조정하는 자기 증류 목적 함수를 도입하여, 최적 목표가 교사 자체가 아닌 보수로 재가중된 교사 분포임을 증명했습니다.
2. PBSD 프레임워크: 외부 교사나 보상 모델이 필요 없이 교사와 학생 샘플 간의 선호 격차를 최적화하는 새로운 선호 기반 온-폴리시 자기 증류 프레임워크를 제안했습니다.
3. 이론적 정당화: 점수 격차 다양성과 마진 적정성 간의 트레이드오프와 관련하여 컨텍스트 자기 증류가 외부 교사 증류보다 우월한 조건을 확립하는 통계적 분석을 제공했습니다.
4. 실증적 검증: 수학적 추론 및 도구 사용 벤치마크에서 여러 모델 규모 (1.7B, 4B, 8B) 에 걸쳐 일관된 개선을 입증했습니다.

실험 결과

저자들은 Qwen3 모델을 사용하여 수학적 추론 (OpenThoughts 데이터셋, AIME 2024/2025, HMMT 2025 에서 평가) 과 도구 사용 (ToolAlpaca 기반 설정) 에서 PBSD 를 평가했습니다.

• 성능: PBSD 는 모든 모델 규모와 작업에서 가장 강력한 평균 성능을 일관되게 달성했습니다.
  • Qwen3-8B에서 PBSD 는 수학 평균 65.2를 기록하여 기본 모델 (+3.7) 과 가장 강력한 베이스라인 OPSD (+1.0) 를 능가했습니다.
  • Qwen3-4B 및 1.7B에서도 PBSD 는 GRPO, DAPO, OPSD 와 같은 베이스라인을 상회하는 최고 평균을 달성했습니다.
  • 도구 사용에서 PBSD 는 모든 규모에서 최고의 top-1 정확도를 달성했습니다 (예: 8B 기준 72.0%).
• 안정성: OPSD 는 종종 초기에 정점을 찍고 저하되는 반면, PBSD 는 500 단계 예산 전체에 걸쳐 안정적인 학습 진행을 보여주었습니다.
• 토큰 효율성: PBSD 는 RL 기반 방법 (GRPO 등) 이 막대한 토큰 예산을 요구하는 반면, 자기 증류의 토큰 효율성 (프롬프트당 단일 롤아웃) 을 유지하면서 동등하거나 더 나은 성능을 달성했습니다.
• 절대 실험 (Ablations):
  • 고정 교사: 초기화 시 교사를 고정하는 것이 충분하고 효과적이었으며, 5 단계마다 교사를 업데이트하는 것은 명확한 이점을 제공하지 않았습니다.
  • 탐색: PBSD 는 직접 KL 매칭 방법보다 탐색적 추론 행동 (적당한 완료 길이) 을 더 잘 보존하여 과도하게 짧고 자신감 있는 흔적로 붕괴되는 것을 방지했습니다.

중요성과 주장

본 논문은 PBSD 가 자기 증류의 토큰 효율성과 선호 최적화의 안정성 및 보상 인식을 결합함으로써 사후 학습 패러다임의 근본적인 격차를 해소한다고 주장합니다.

• KL 매칭을 넘어: 이 연구는 자기 증류가 직접 분포 매칭 문제여야 한다는 가정에 도전합니다. 교사는 유용한 행동의 *지지 (support)*를 정의해야 하며, 최적화는 보상 재가중을 통해 더 높은 가치의 응답을 선택적으로 증폭해야 한다고 제시합니다.
• 확장성: 외부 교사 모델이나 보상 모델에 대한 의존성을 제거함으로써 PBSD 는 특히 다중 턴 추론 및 도구 사용 시나리오에서 유능한 오픈소스 에이전트의 민주화를 위한 확장 가능한 경로를 제공합니다.
• 강건성: 이 프레임워크는 이전 자기 증류 베이스라인에 비해 탐색적 추론을 보존하고 더 안정적인 최적화를 허용하는 더 강건한 목표 분포를 제공합니다.

저자들은 보상 인식 자기 증류가 외부 의존성 없이 밀집 감독과 보상 최적화 간의 격차를 효과적으로 연결하여 추론 중심 LLM 의 안정적이고 확장 가능한 사후 학습을 위한 유망한 패러다임을 대표한다고 결론지었습니다.