기술 요약: LLM 추론을 위한 방향 적응형 자기 증류

1. 문제 제기

이 논문은 대규모 언어 모델 (LLM) 의 후속 훈련 패러다임인 **온-정책 자기 증류 (On-Policy Self-Distillation, OPSD)**의 치명적인 실패 모드를 다룹니다. OPSD 에서 모델은 학생이자 교사 역할을 동시에 수행합니다. 즉, "학생"이 롤아웃 (rollouts) 을 생성하는 동안, 동일한 모델의 "특권" 버전 (참고 추적, 힌트, 또는 피드백에 조건부) 이 교사로 작용하여 밀도 있는 토큰 수준의 감독을 제공합니다.

OPSD 는 검증 가능한 보상에 의한 강화 학습 (RLVR) 의 결과 감독과 세밀한 지침을 결합하려는 목표를 가지고 있지만, 최근 연구들은 이것이 복잡한 추론을 저하시킨다고 지적합니다. 저자들은 이러한 저하를 방향 불일치로 진단합니다:

• 균일한 인력: 표준 OPSD 는 학생을 특권 교사의 분포 쪽으로 끌어당기는 균일한 "인력"을 적용합니다.
• 결과: 이는 탐색, 가설 수정, 자기 수정에 필수적인 예측 불확실성( "기다려", "흠", "또는" 과 같은 인식적 마커) 을 억제합니다.
• 패러독스: 불확실성을 회복하기 위해 방향을 반전시켜 (학생을 교사로부터 밀어냄) 단순히 역방향으로 적용하는 것은 저엔트로피 발판 토큰(일상적 실행 단계) 을 손상시켜 실행 오류를 초래하기 때문에 실패합니다.

핵심 문제는 단일 감독 방향 (인력 또는 반발력 중 하나) 이 고엔트로피 의사결정 지점에서의 탐색을 유지함과 동시에 저엔트로피 일상적 단계에서의 실행을 안정화할 수 없다는 점입니다.

2. 방법론: 방향 적응형 자기 증류 (DASD)

저자들은 균일한 모방에서 엔트로피 라우팅 방향 감독으로 특권 자기 증류를 재정의하는 **방향 적응형 자기 증류 (Direction-Adaptive Self-Distillation, DASD)**를 제안합니다. 이 방법은 각 토큰에서 학생의 예측 엔트로피 ($H_t$) 에 기반하여 교사의 압력 방향을 동적으로 전환합니다.

핵심 메커니즘

DASD 는 자기 증류 목적 함수에 부호를 가진 계수 $\omega_t \in [-1, 1]$를 도입합니다. 이 계수는 학생이 특권 교사 쪽으로 당겨지는지 (인력), 아니면 밀려나는지 (반발력) 를 결정합니다.

1. 엔트로피 라우팅:

   • 고엔트로피 토큰 (분기점): 학생이 불확실한 ($H_t$가 높은) 의사결정 지점에서 특권 교사의 지침은 대안적 추론 경로를 조기에 붕괴시킬 수 있는 제약으로 간주됩니다. DASD 는 학생을 교사로부터 밀어내기 위해 반발 압력(음수 $\omega_t$) 을 적용하여 탐색과 가설 수정 능력을 보존합니다.
   • 저엔트로피 토큰 (발판): 학생이 확신하는 ($H_t$가 낮은) 일상적 실행 단계에서 특권 교사는 안정적이고 정확한 지침을 제공합니다. DASD 는 학생을 교사 쪽으로 끌어당기기 위해 인력 압력(양수 $\omega_t$) 을 적용하여 단계별 실행을 안정화하고 국소적 오류를 방지합니다.

2. 수학적 공식화:
   목적 함수는 글로벌 검증자 앵커와 지역적 부호 증류 항을 결합합니다. 토큰 $t$에 대한 부호 손실은 다음과 같습니다:
   $$\tilde{D}_t^{(i)}(\theta) = \omega_t^{(i)} \cdot \text{KL}\left( \pi_\theta(\cdot | x, o_{<t}^{(i)}) \parallel \text{sg}[\pi_\theta(\cdot | x, r, o_{<t}^{(i)})] \right)$$
   여기서:

   • $\omega_t^{(i)}$는 현재 토큰의 엔트로피가 궤적의 엔트로피 분위수에서 벗어난 정도를 기반으로 tanh 라우터를 사용하여 계산됩니다.
   • 갭 게이트(시그모이드 함수) 는 학생과 특권 교사 간의 로그 증거 갭에 기반하여 크기를 조절하여, 신뢰할 수 있는 불일치만이 업데이트에 영향을 미치도록 보장합니다.
   • 글로벌 검증자 (예: 프로그래밍 가능한 보상) 는 궤적 수준의 정확성을 위한 앵커로 남는 반면, 자기 교사는 지역적 방향 신호를 제공합니다.

3. 훈련 역학:
   이 방법은 그룹 상대 정책 최적화 (GRPO) 를 백본으로 사용합니다. 이점 항은 방향 보정을 포함하도록 조정됩니다: $\hat{A}_t = A_G + \beta \omega_t \bar{\delta}_t$. 이를 통해 모델은 추론 시 해당 추적이 필요하지 않은 상태에서 훈련 중 특권 추적으로부터 학습할 수 있습니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 토큰 수준 방향 불일치 진단: 저자들은 OPSD 저하가 이질적인 토큰 군집에 균일한 감독 방향을 적용함으로써 발생함을 식별합니다. 프로브를 통해 동조성이 고엔트로피 분기점을 해친다는 것 (탐색 억제) 과 이탈이 저엔트로피 발판을 해친다는 것 (실행 손상) 을 입증합니다.
2. DASD 제안: 그들은 특권 자기 교사 신호를 동적으로 라우팅하는 엔트로피 라우팅 목적 함수를 도입합니다. 이는 탐색을 보존하기 위해 고엔트로피 분기점에서는 반발적이고, 안정성을 보장하기 위해 저엔트로피 발판에서는 인력적입니다.
3. 실증적 검증: 광범위한 실험을 통해 DASD 가 엄격한 단계 실행과 유연한 자기 수정을 동시에 달성함으로써 추론 과정의 "건강"을 유지하며 추론 성능을 향상시킴을 보여줍니다.

4. 실험 결과

저자들은 세 가지 모델 규모(Qwen3-1.7B, 4B, 8B) 에 걸쳐 여섯 가지 수학 추론 벤치마크(MATH500, Minerva, HMMT25, OlympiadBench, AIME24, AIME25) 에서 DASD 를 평가했습니다.

• 성능: DASD 는 모든 규모와 벤치마크에서 최고의 매크로 Avg@16을 달성했습니다. 성장은 여러 개의 타당한 해결 경로를 유지해야 하는 더 어렵고 경쟁 스타일의 벤치마크 (예: HMMT25, AIME25) 에서 가장 두드러졌습니다.
• 베이스라인 비교: DASD 는 GRPO, HEPO, 그리고 다양한 자기 증류 방법 (OPSD, SDPO, RLSD, SRPO) 을 포함한 강력한 베이스라인을 능가했습니다. 특히 표준 OPSD 는 종종 기본 모델과 비슷하거나 더 낮은 성능을 보인 반면, DASD 는 RLVR 베이스라인을 일관되게 개선했습니다.
• Pass@k 스케일링: DASD 는 단일 결정론적 예측을 단순히 선명하게 하는 것이 아니라 도달 가능한 해결 경로 집합 (다양성) 을 확장함을 나타내는 우수한 Pass@k 스케일링을 보여주었습니다.
• 추론 건강: 진단 지표는 DASD 가 단계 정확도(실행 품질) 와 탐색 밀도(인식적 마커 및 수정률의 빈도) 모두를 보존하는 반면, OPSD 는 탐색을 붕괴시키고 GRPO 는 종종 충분한 자기 수정이 부족함을 확인했습니다.
• 일반화: 이 방법은 Qwen3 아키텍처나 수학 도메인에만 국한되지 않는 것으로 보이며, 크로스 도메인 (코드, 과학적 추론, 도구 사용) 및 크로스 패밀리 (Olmo, Llama) 평가에서 일관된 개선을 보여주었습니다.

5. 중요성과 주장

이 논문은 자기 증류된 추론의 생산적인 레버는 단순히 그 강도나 크기가 아닌 감독의 방향이라고 주장합니다.

• 메커니즘 통찰: 이 연구는 엔트로피가 이전의 엔트로피 유도 방법에서와 같이 업데이트 가중치를 위한 크기 조절 노브가 아니라, 특권 교사 압력에 대한 부호 선택기임을 확립합니다.
• 패러다임 전환: 자기 증류는 순수하게 인력적이어야 한다는 가정에 도전합니다. DASD 는 중요한 의사결정 지점에서 모델이 특권 교사로부터 "밀어낼" 수 있게 함으로써, 모델이 특권 정보가 부재할 때 실패하는 해결 조건화된 스타일을 학습하는 훈련 - 추론 불일치를 해결합니다.
• 실질적 영향: DASD 는 외부 교사가 필요하거나 복잡한 문제를 해결하는 데 필요한 탐색 행동을 희생하지 않고도 훈련 중 검증된 추적과 같은 특권 정보를 활용하여 추론 견고성을 개선할 수 있는 방법을 제공합니다.

저자들은 이 방법이 특권 자기 증류 패러다임의 속성인 훈련 중 검증된 추적에 대한 요구 사항을 계승하지만, 추론 시 특권 컨텍스트의 필요성을 성공적으로 분리하면서도 추론 능력을 크게 향상시킨다고 결론지었습니다.