기술 요약: 자기 증류를 통한 전문가 추론의 학습 가능성 제고

문제 정의

대규모 추론 모델(LRM)은 일반적으로 검증 가능한 보상을 활용한 강화 학습(RLVR)을 통해 능력을 향상시킵니다. 그러나 이 방식은 매우 어려운 문제에 직면했을 때 결정적인 병목 현상에 부딪힙니다. 모델이 롤아웃(rollout) 단계에서 정답을 샘플링하는 데 실패하면, 보상, 어드밴티지(advantage), 그래디언트(gradient) 신호가 모두 0이 되어 가장 도전적인 사례들로부터 학습할 수 없게 됩니다.

대안으로는 고품질의 전문가 해법(expert human solutions)을 활용하는 방법이 있습니다. 하지만 전문가 해법에 대한 단순 모방 학습(지도 미세 조정, SFT)은 실패합니다. 전문가 해법은 모델의 포스트 트레이닝 추론 과정과 비교했을 때 근본적으로 분포 외(OOD) 데이터이기 때문입니다. 전문가 해법은 종종 인간 독자에게는 암시되어 있지만 계산 모델에는 필수적인 세밀한 중간 단계를 생략하는 "교과서적(didactic)"인 특성을 가집니다. 또한, 전문가 해법은 RLVR로 학습된 모델의 특징인 명시적인 탐색 역학(예: 백트래킹, 자기 수정)이 결여되어 있습니다. 이러한 데이터로 직접 미세 조정을 수행하면 모델이 내부 추론 과정을 건너뛰도록 강제하여 심각한 성능 저하를 초닥합니다. 또한, 고품질 전문가 데이터는 희소하고 비용이 많이 들기 때문에 샘플 효율적인 학습 방법이 필요합니다.

방법론: 분포 정렬 모방 학습 (DAIL)

저자들은 전문가 해법과 학생 모델의 추론 과정 사이의 분포 격차를 메우기 위해 설계된 2단계 자기 증류 프레임워크인 **분포 정렬 모방 학습(DAIL)**을 제안합니다.

1. 분포 내 학습 가능한 추론 생성

첫 번째 단계는 압축된 OOD 전문가 해법을 상세한 분포 내(in-distribution) 추론 궤적으로 변환하는 것입니다. 이는 "교사"(전문가 해법에 조건화된 고정된 학생 모델의 인스턴스)와 "학생"(최적화 중인 모델)이 참여하는 혼합 정책 롤아웃(mixed policy rollout) 과정을 통해 달성됩니다.

• 메커니즘: 생성되는 각 토큰에 대해, 학생은 토큰을 샘플링합니다. 교사는 이 토큰을 전문가 해법의 문맥과 대조하여 검증합니다. 만약 교사의 해당 토큰에 대한 확률이 임계값 $\tau$를 초과하면 학생의 토큰이 수용되고, 그렇지 않으면 교사가 토큰을 샘플링합니다.
• 목표: 이 과정은 전문가 해법을 상세한 추론 체인으로 확장하여, 직접적인 샘플링 시 발생할 수 있는 전문가 해법에 대한 직접적인 참조를 피하면서도 "교과서적 지름길"(생략된 단계)을 채워 넣고 학생의 자연스러운 추론 흐름을 보존합니다.

2. 대조 학습 목적 함수

두 번째 단계는 생성된 궤적이 "합리화 지름길(rationalization shortcuts)"—즉, 모델이 알려진 중간 결과에 맞추기 위해 논리적 연결을 억지로 끼워 맞추는 결함 있는 논리적 가교—을 포함할 위험을 해결합니다. 표준 부정 로그 우도(NLL) 손실은 모델이 이러한 결함 있는 지름길을 흉내 내지 않는 것에 대해 무차별적으로 벌점을 부여합니다.

이를 완화하기 위해 DAIL은 **대조 목적 함수(contrastive objective)**를 사용합니다:

• 부정 참조(Negative Reference): 동일한 파라미터를 사용하되 "부분 해법"($\tilde{s}$)에만 조건화된 모델 $M_{NR}$을 구축합니다. 이 부분 해법은 중간 추론이 제거된 거친 입도(coarse-grained)의 웨이포인트(주요 수치적/기호적 결과)로 구성됩니다.
• 손실 함수: 목적 함수는 학생 모델과 전체 정보가 포함된 교사 모델 사이의 KL 발산을 최소화하는 동시에, 학생 모델과 부정 참조 모델 사이의 발산을 최대화합니다.
  $$L(\theta) = \mathbb{E} \left[ \sum_{t} \left( D_{KL}(M_\theta \parallel M_T) - \gamma D_{KL}(M_\theta \parallel M_{NR}) \right) \right]$$
• 효과: 이는 모델이 지름길 행동(웨이포인트 사이를 논리적 도출 없이 건너뛰는 행위)을 흉내 내는 것에 대해 벌점을 부여하는 한편, 교사의 상세하고 단계적인 논리를 따르도록 장려합니다.

주요 기여

1. DAIL 프레임워크: 전문가 해법을 분포 내 궤적으로 변환하고 대조 목적 함수를 적용하여 지름길 학습을 방지함으로써, 모델이 고품질 전문가 해법으로부터 학습할 수 있게 하는 새로운 포스트 트레이닝 방법론을 제시했습니다.
2. 샘플 효율성: RLVR이 보상 희소성으로 인해 실패하기 쉬운 환경에서도 1,000개 미만의 고품질 전문가 해법만으로 상당한 추론 능력 향상을 달 수 있음을 입증했습니다.
3. 비검증 문제 처리: 표준적인 정답 기반 RLVR을 적용할 수 없는 비검증 증명 문제(예: 올림피아드 증명)에도 성공적으로 적용되었습니다.
4. 효율성 및 일반화: DAIL이 추론 효율성을 개선하며(2배 적은 토큰으로 유사한 성능 달성), 파괴적 망각 없이 도메인 외 작업(예: GPQA-Diamond)으로 일반화됨을 보여주었습니다.

실험 결과

저자들은 경시 수학 및 올림피아드 증명 데이터셋을 사용하여 Qwen2.5-Instruct(비추론 모델)와 Qwen3(추론 모델)를 대상으로 DAIL을 평가했습니다.

• 성능 향상: Qwen2.5-Instruct에서 DAIL은 AIME 2024/2025, BeyondAIME, IMO-AnswerBench와 같은 벤치마크에서 베이스 모델 대비 최대 31%의 pass@128 향상을 달성했습니다. 이는 기존 RLVR 방식(GRPO, NuRL) 및 단순 모방 베이스라인(Direct SFT, STaR)보다 뛰어난 성능입니다.
• RLVR와의 비교: RLVR 방식은 확률적 성공에 과적합되거나 보상 신호가 없는 어려운 문제에서 성능이 저하되는 경우가 많은 반면, DAIL은 $k$ 값 전반에 걸쳐 일관된 개선을 제공했습니다.
• 추론 효율성: DAIL로 학습된 모델은 2배 적은 토큰을 사용하면서도 학습되지 않은 모델의 성능을 능가하거나 대등한 수준을 유지하여, 더 효율적인 추론 경로를 보여주었습니다.
• 일반화: DAIL은 도메인 외 벤치마크인 GPQA-Diamond에서 성능을 유지하거나 향상시켰으며, 이는 학습된 추론 전략이 견고하고 특정 도메인에 과적합되지 않았음을 시사합니다.
• 절제 연구(Ablation Studies):
  • 대조 vs NLL: 대조 목적 함수가 표준 NLL보다 일관되게 우수한 성능을 보였으며, 이는 합리화 지름길 학습을 방지하는 데 있어 대조 목적 함수의 필요성을 확인시켜 줍니다.
  • 혼합 정책 vs 직접 샘플링: 추론 모델(Qwen3)의 경우, 모델이 전문가 해법을 직접 참조하는 것을 방지하기 위해 혼합 정책 롤아웃이 필수적이었던 반면, 비추론 모델의 경우 직접 샘플링만으로도 충분했습니다.

의의 및 주장

본 논문은 전문가 해법으로부터 직접 학습함으로써 CoT(Chain-of-Thought) 모델의 추론 능력을 향상시킨 첫 번째 사례라고 주장합니다. 모델이 부분적으로라도 올바른 경로를 생성할 수 없는 극도로 어려운 문제의 경우, 전문가 해법을 구성적인 분포 내 궤적으로 확장하는 것이 효과적인 학습의 필수 선행 조건이라고 논합니다.

저자들은 DAIL을 RLVR의 "탐색 병목(exploration bottleneck)"에 대한 해결책으로 제시하며, 보상 신호가 희소하거나 정의되지 않은 영역에서 고가치의 비검증 데이터를 활용할 수 있는 경로를 제공합니다. 이 접근 방식은 아직 존재하지 않는 더 강력한 "교사" 모델을 요구하지 않고도 현재의 모델이 인간의 전문성을 학습할 수 있게 함으로써, 효율적이고 샘플 효율적인 자기 증류를 통해 모델의 역량을 확장할 수 있음을 강조합니다.