기술 요약: 비대칭 온-정책 증류 (AOPD)

1. 문제 제기

온-정책 증류 (OPD) 는 학생 생성 궤적에 대한 교사 모델의 토큰 수준 피드백을 활용하여 학생 대규모 언어 모델 (LLM) 을 학습시키는 강력한 기법으로 부상했습니다. 노출 편향으로 고통받는 오프-정책 증류와 달리, OPD 는 추론 시간 롤아웃 동안 학생을 교사의 분포와 정렬시킵니다. 그러나 저자들은 이득 (advantage) 가중 정책 경사에 의존하는 표준 OPD 가 비양수 이득 영역에서 세 가지 치명적인 구조적 약점을 지니고 있음을 규명했습니다.

1. 높은 분산 업데이트: 학생의 확률이 교사의 확률보다 현저히 낮은 영역 (음수 이득) 에서, 이득 공식의 로그 특성은 무제한 스칼라 값을 생성합니다. 이는 무거운 꼬리를 가진 경사 분포와 불안정한 최적화를 초래합니다.
2. 소실되는 경사: 생성된 토큰의 압도적 다수가 종종 제로 이득 주변에 군집합니다. 이러한 '중립' 영역에서 표준 이득 가중 업데이트는 소실되어, 교사로부터 제공된 대안적 추론 경로에 관한 풍부한 조건부 분포 정보를 폐기합니다.
3. 탐색 병목 현상 (블랙홀): 학생이 오류를 범할 때 (음수 이득), 표준 업데이트는 샘플링된 토큰을 억제하지만 확률 질량을 학생의 현재 사전 확률에 따라 엄격하게 재분배합니다. 올바른 토큰이 학생 모델에서 거의 제로에 가까운 사전 확률을 가질 경우, 교정 업데이트는 미미합니다. 이는 모델을 '탐색 블랙홀'에 가두어 외부 지도 없이 올바른 대안을 발견하는 것을 방해합니다.

2. 방법론: 비대칭 온-정책 증류 (AOPD)

이러한 한계를 해결하기 위해 저자들은 **비대칭 온-정책 증류 (AOPD)**를 제안합니다. 이 프레임워크는 토큰 수준에서 이득 신호에 기반하여 학습 모드를 동적으로 전환함으로써 강화 학습 (착취) 과 지도 학습 (모방) 을 연결합니다.

핵심 메커니즘

AOPD 는 학습 목적 함수를 두 가지 명확한 영역으로 분해합니다.

• 양수 이득 영역 (착취): 학생 토큰이 양수 이득 ($A_t > 0$) 을 받을 때, 이 방법은 표준 정책 경사 업데이트를 유지합니다. 이는 학생의 추론이 교사의 선호도와 일치하거나 이를 초과하는 성공적인 탐색을 강화합니다.
• 비양수 이득 영역 (모방): 이득이 제로이거나 음수 ($A_t \le 0$) 일 때, AOPD 는 비효율적인 정책 경사를 국소적 발산 최소화로 대체합니다.

개입 목적 함수

스칼라 이득에 의존하는 대신, AOPD 는 **교사 정의 지지 (Teacher-Defined Support)**로 제한된 교사 및 학생 분포 간의 **순방향 KL 발산 (Forward KL Divergence)**을 최소화합니다.

• 교사 지지 ($S_t$): 교사 분포 $P_T(\cdot | c_t)$ 하에서 가장 높은 확률을 가진 상위-$K$개 토큰으로 정의됩니다.
• 손실 함수: 이 지지 위에서 손실은 다음과 같이 공식화됩니다:
  $$L_{FKL}^t = \frac{1}{K} \sum_{v \in S_t} P_T(v | c_t) (\log P_T(v | c_t) - \log P_S(v | c_t))$$
• 일반화된 목적 함수: 전체 AOPD 손실은 양수 강화 항 ($L_{Pos}$) 과 비양수 영역에 대한 순방향 KL 가이드를 결합합니다. 개입을 트리거하는 임계값 매개변수 $\tau$를 사용할 수 있으며, $\tau=0$은 정확히 비양수 영역을 대상으로 하는 기본 설정입니다.

이론적 정당성

• 유계 업데이트: 유계 지지에서 순방향 KL 로 전환함으로써 업데이트 크기는 확률 심플렉스 ($P_T - P_S$) 에 의해 제한되어 무제한 로그 확률 차이로 인한 무거운 꼬리 분산을 제거합니다.
• 경사 복구: 제로 이득 영역에서 순방향 KL 항은 교사의 전체 조건부 분포를 활용하여 스칼라 이득이 제로일 때에도 의미 있는 교정 신호를 제공합니다.
• 블랙홀 탈출: 지지 위에서 교사의 분포를 명시적으로 일치시킴으로써, AOPD 는 교사가 선호하지만 학생이 과소평가한 토큰을 향한 방향성 신호를 주입하여 탐색 병목 현상을 효과적으로 돌파합니다.

3. 주요 기여

1. OPD 한계 분석: 이 논문은 높은 분산, 소실되는 경사, 그리고 탐색 병목 현상으로 인해 음수 및 제로 이득 영역에서 표준 이득 기반 업데이트가 실패함을 이론적 및 경험적 분석을 통해 입증합니다.
2. AOPD 프레임워크: 이득 가중 정책 경사에서 국소적 교사 분포 일치로 적응적으로 전환하는 비대칭 학습 프레임워크를 제안합니다. 이 설계는 RL 기반 착취의 이점을 유지하면서 최적화 병목 지점에서 강력하고 방향성이 있는 지도를 적용합니다.
3. 경험적 검증: 여러 모델 규모 및 초기화 설정에 걸친 포괄적인 실험은 AOPD 가 표준 OPD 및 기타 기준 (SeqKD, GKD, ExOPD) 보다 일관되게 우월한 성능을 보임을 입증합니다.

4. 실험 결과

저자들은 Qwen3 모델 (4B 및 8B) 을 다양한 SFT 웜업 단계와 함께 사용하여 경쟁 수준의 수학 추론 벤치마크 (AIME 2024, AIME 2025, HMMT 2025) 에서 AOPD 를 평가했습니다.

• 성능 향상: AOPD 는 일관되게 최고의 전체 성능을 달성했습니다.
  • 강력한 초기화 (3K SFT 웜업) 하에서 AOPD 는 표준 OPD 대비 평균 Pass@1 을 4.09% 향상시켰습니다.
  • 약한 초기화 (1K SFT 웜업) 하에서는 **8.34%**로 더 큰 향상을 보였는데, 이는 학생 모델이 약한 기초 능력을 가지고 시작할 때 AOPD 의 견고함을 입증합니다.
• 학습 역학: AOPD 는 OPD 와 ExOPD 에서 관찰된 초기 성능 저하 없이 안정적인 학습 곡선을 보였습니다. 이는 덜 집중된 정책 공간을 나타내는 더 높은 정책 엔트로피를 학습 전반에 걸쳐 유지했습니다.
• 연속 학습: 순차적 도구 사용 적응 작업에서 AOPD 는 우수한 능력 유지 능력을 보여주었습니다. 다른 방법들이 새로운 도구를 학습한 후 수학 추론 성능이 저하되는 반면, AOPD 는 경쟁력 있는 도구 사용 성공률을 달성하는 동시에 수학 유지 능력 (Pass@4 기준 67.43 에서 68.04 로) 을 실제로 향상시켰습니다.

5. 중요성 및 주장

이 논문은 AOPD 가 표준 온-정책 증류의 구조적 비효율성을 해결함으로써 추론 능력 증류에서 중요한 진전을 이루었다고 주장합니다. 저자들은 다음과 같이 논합니다.

• 비대칭성이 핵심: 양수 및 비양수 이득 영역을 다르게 처리하는 것이 중요합니다. 양수 영역은 RL 스타일 탐색의 혜택을 받는 반면, 비양수 영역은 최적화 정체를 피하기 위해 지도 모방의 직접적이고 고신뢰도 가이드가 필요합니다.
• 초기화에 대한 견고성: 이 방법은 초기 능력이 약한 모델에서 특히 효과적이며, 표준 OPD 가 초기 최적화 저하에서 회복하지 못하는 경우를 해결합니다.
• 능력 보존: 전체 정책을 재구성하는 대신 어려운 위치로 교사 개입을 국소화함으로써, AOPD 는 연속 학습 중에 이전에 획득한 추론 기술을 더 잘 보존합니다.

저자들은 토큰 수준에서 착취 (RL) 와 모방 (지도 학습) 을 결합하는 것이 복잡한 추론 작업에서 학생 모델의 학습 효율성과 최종 능력을 모두 향상시키기 위한 원칙적인 길이라고 결론지었습니다.