기술 요약: LLM 추론을 위한 자기 증류의 적응형 교사 노출 (ATESD)

1. 문제 정의: 교사 측 노출 불일치

온-정책 자기 증류 (OPSD) 는 학생 모델의 자체 롤아웃과 감독을 정렬함으로써 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 주류 방법으로 부상했으나, 본 논문은 이전에 조사되지 않았던 치명적인 병목 현상인 교사 측 노출 불일치를 식별합니다.

표준 OPSD 에서 "교사" (모델의 고정된 복사본) 는 토큰 수준의 감독을 제공할 때 전체 참조 솔루션 (특권적 사고의 사슬) 을 조건으로 합니다. 저자들은 "더 많은 특권 정보는 항상 더 나은 감독이다"라는 기본 가정이 결함이 있다고 주장합니다.

• 불일치: 전체 참조 추론이 학생의 현재 능력 (어려운 문제에서 흔함) 을 크게 초과할 때, 결과적으로 생성된 토큰 목표는 흡수하기에 너무 강해집니다. 교사의 예측 분포는 학생이 아직 생성할 수 없는 토큰에 지나치게 날카롭고 집중되게 되어, 정보는 풍부하지만 학습 불가능한 감독 신호를 생성합니다.
• 실증적 증거: AIME 2024 에서 고정된 노출 수준 ($\alpha \in [0, 1]$) 에 대한 통제된 스윕 (sweeps) 은 두 가지 주요 패턴을 드러냅니다:
  1. 전체 노출의 비최적성: 중간 노출 수준 (예: $\alpha=0.5$) 이 종종 전체 노출 ($\alpha=1.0$) 보다 우수한 성능을 보입니다.
  2. 단조로운 불일치 증가: 교사 - 학생 분포 불일치 (온-정책 KL 발산 및 상위 1 위 불일치로 측정) 는 교사가 더 많은 특권적 추론을 볼수록 단조롭게 증가합니다.
  3. 영역 의존성: 최적의 노출 수준은 문제 난이도에 따라 달라집니다 (쉬운 문제는 전체 노출을 선호하고, 어려운 문제는 낮은 노출을 선호함). 이는 단일 고정 기본값만으로는 부족함을 시사합니다.

2. 방법론: ATESD

이를 해결하기 위해 저자들은 **자기 증류를 위한 적응형 교사 노출 (ATESD)**을 제안합니다. 이 프레임워크는 교사 노출을 고정된 하이퍼파라미터가 아닌 학습 상태에 조건부인 학습 가능한 제어 변수로 취급합니다.

핵심 구성 요소

1. 노출 변조 교사:

   • 전체 참조 $y^*$ 를 조건으로 하는 대신, 교사는 $truncate(y^*, \alpha_t)$로 잘린 접두사를 조건으로 합니다. 여기서 $\alpha_t \in [0, 1]$은 노출 비율입니다.
   • 잘림은 추론 접두사에만 적용되며, 최종 박스형 답안은 항상 유지되어 작업 제약 조건을 유지합니다.
   • 학생 롤아웃 프로토콜은 변경되지 않습니다 (문제만 포함된 프롬프트에서 온-정책 샘플링). 이는 교사의 컨텍스트 효과를 분리하여 비교합니다.

2. 베타 노출 컨트롤러 ($\pi_\phi$):

   • 경량 멀티 레이어 퍼셉트론 (MLP) 은 압축된 학습 상태 통계(예: 최근 손실, 불일치 지수 이동 평균, 학생의 자기 자신감) 를 베타 분포의 농도 매개변수 $(a_t, b_t)$에 매핑합니다.
   • 컨트롤러는 $H$개의 학생 업데이트에 해당하는 홀드 윈도우에 대한 글로벌 노출 비율 $\alpha_t$를 샘플링합니다. 이는 단일 결정이 짧은 에피소드를 지배하도록 하여 안정적인 신용 할당을 가능하게 합니다.
   • 베타 분포는 단봉형 ($a, b > 1$) 으로 제한되어 정책이 다양한 신뢰도로 선호하는 노출 수준을 학습할 수 있게 합니다.

3. 지연된 신용을 통한 폐루프 학습:

   • 과제: 노출 결정은 즉각적인 손실뿐만 아니라 학생의 미래 학습 진보에도 영향을 미칩니다. 고노출 결정이 일시적인 손실 급증을 유발하더라도 장기적으로는 유익할 수 있습니다.
   • 해결책: 컨트롤러는 감가 학습 진보 보상을 사용하여 REINFORCE를 통해 학습됩니다.
   • 보상 신호 ($R$): 두 부분으로 구성됩니다:
     • $G_{lp}$: 전방 시야 윈도우 ($L$단계) 에 걸친 긍정적 손실 개선의 감가 합계.
     • $G_{gt}$: 검증된 참조 토큰의 로그 확률에 기반한 교사 기반 신용 점수로, 선택된 노출이 여전히 정답과 정렬되도록 보장합니다.
   • 이 접근법은 온-정책 증류에 내재된 지연된 신용 할당 문제를 해결하여, 1 단계 손실 대리 변수의 근시안적 편향을 피합니다.

3. 주요 기여

1. 교사 측 노출 불일치 식별: 본 논문은 전체 특권적 추론이 보편적으로 최적이지 않으며 불일치가 노출과 함께 증가한다는 관찰을 공식화하여, 고정된 기본값에서 적응형 제어로의 전환을 동기화합니다.
2. ATESD 프레임워크: 베타 정책 컨트롤러를 통해 노출을 연속적이고 학습 가능한 변수로 모델링하는 새로운 방법이며, 2 시간 스케일 일정 (빠른 학생 업데이트, 느린 컨트롤러 업데이트) 과 지연된 보상 신호로 학습됩니다.
3. 실증적 검증: 다양한 모델 규모와 추론 벤치마크에서 적응형 노출이 고정 노출 및 표준 베이스라인을 일관되게 능가함을 보여주는 포괄적인 실험.

4. 실험 결과

이 방법은 Qwen3 모델 (1.7B, 4B, 8B) 을 사용하여 AIME 2024, AIME 2025, HMMT 2025에서 평가되었습니다.

• 성능 향상: ATESD 는 OPSD 베이스라인 및 기타 RL/증류 베이스라인 (SFT, GRPO) 을 일관되게 능가했습니다.
  • Qwen3-1.7B: OPSD 대비 평균@12 점수 +0.95.
  • Qwen3-4B: OPSD 대비 평균@12 점수 +2.05 (65.65 평균@12 도달).
  • Qwen3-8B: OPSD 대비 평균@12 점수 +2.33.
• 절차 분석 (Ablation) 결과:
  • 지연된 신용: 지연된 전방 시야 보상을 제거하고 (즉각적인 1 단계 피드백 사용) 성능이 크게 저하되었습니다 (52.22 대 59.17). 이는 장기적 신용 할당의 필요성을 확인합니다.
  • 학습된 대 고정: 학습된 정책 (59.17) 은 최상의 고정 노출 설정 (57.44) 과 통제되지 않은 확률적 노출 (54.94) 보다 우수하여, 컨트롤러가 단순히 정적 최적 상수를 선택하는 것이 아니라 동적 전략을 학습함을 증명합니다.
  • 불일치 감소: 고정된 긍정적 궤적에서 적응형 노출은 토큰 수준의 교사 - 학생 KL 발산을 (0.0136 에서 0.0061 로) 감소시켜, 교사가 학생을 과도하게 제약하는 것을 방지함을 보여줍니다.

5. 중요성 및 주장

본 논문은 적응형 교사 노출이 추론 자기 증류를 위한 효과적인 새로운 축임을 주장합니다. 교사의 특권 정보 접근을 고정된 가정이 아닌 제어 가능한 변수로 취급함으로써, ATESD 는 롤아웃 불일치의 감독 측 유사체를 해결합니다.

저자들은 그들의 기여가 단순히 새로운 커리큘럼이나 다른 학생 훈련 분포가 아니라, 교사가 참조 솔루션에 조건부를 부여하는 방식의 근본적인 전환임을 강조합니다. 이 방법은 다음을 확립합니다:

• 전체 노출은 비최적의 기본값입니다.
• 노출은 학생의 현재 학습 영역에 맞춰져야 합니다.
• 이 노출을 학습하려면 강화 학습에서 사용되는 것과 유사한 지연된 신용 할당 메커니즘이 필요합니다.

본 논문은 ATESD 가 특히 모델 용량이 증가함에 따라 사후 훈련 추론 모델을 위한 견고하고 확장 가능한 개선을 제공한다고 결론지으며, 향후 작업은 샘플별 난이도 조건부 및 수학 경연 대회 너머의 더 넓은 추론 영역에 대한 적용을 탐구할 수 있음을 지적합니다.