기술 요약: SimpleOPD

문제 정의

온-폴리시 증류(On-policy Distillation, OPD)는 학생 모델이 생성한 궤적(trajectory)을 기반으로 밀도 높은 토큰 수준의 감독을 제공함으로써, 강력한 교사 모델로부터 추론 능력을 전이하는 강력한 패러다임으로 부상했습니다. 그러나 긴 문맥(100K+ 토큰 추론 가능 모델)을 가진 교사 모델로부터 짧은 문맥의 학생 모델로 긴 문맥 추론 능력을 전이할 때, 서로 다른 모델 패밀리 간에는 다음과 같은 실질적인 어려움이 존재합니다:

1. 토크나이저 불일치(Tokenizer Mismatch): 교사와 학생은 종종 서로 호환되지 않는 토크나이저와 어휘(vocabulary)를 사용하므로, 확률 분포의 직접적인 토큰 수준 정렬이 불가능합니다.
2. 분포 불일치 및 길이 폭발(Distribution Mismatch & Length Explosion): 긴 문맥을 가진 교사는 종종 학생의 컨텍스트 예산을 초과하는 응답을 생성합니다. 직접적인 OPD 학습은 급격한 응답 길이 증가, 빈번한 절단(truncation), 그리고 불완전한 추론 궤적을 초래하여 궁극적으로 학습 불안정성을 유발합니다.
3. 종료 토큰 억제(Termination Token Suppression): 교사의 감독은 학생이 종료 토큰(예: </think>, <|im_end|>)을 사용하는 것을 저해하는 경우가 많습니다. 이는 교사의 긴 문맥 추론 패턴이 확장된 생성을 선호하기 때문이며, 이로 인해 학생은 적절하게 생성을 종료하는 데 실패하게 됩니다.

방법론: SimpleOPce

저자들은 긴 문맥 모델인 SU-01로부터 다양한 짧은 문맥 학생 모델로 추론 능력을 전이하기 위해 설계된 토크나이저 불가지론적(tokenizer-agnostic) 온-폴리시 증류 프레임워크인 SimpleOPD를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어집니다:

1. 공유 텍스트 공간에서의 교차 토크나이저 정렬 (Cross-Tokenizer Alignment in Shared Text Space)

호환되지 않는 토큰 어휘 간의 매핑을 강요하는 대신, SimpleOPD는 공유 텍스트 공간에서 증류를 수행합니다.

• 과정: 학생은 자신의 토크나이저를 사용하여 응답 시퀀스 $y_{1:n}$을 생성하고, 이는 표면 문자열(surface string) $s$로 디코딩됩니다. 그 후 교사는 이 동일한 문자열 $s$를 자신의 고유한 토크나이저와 채팅 템플릿을 사용하여 평가합니다.
• 정렬: 토큰은 공유 응답 문자열 내에서 **동일한 텍스트 범위(text span)**를 차지하는 경우에만 정렬됩니다. 저자들은 교사 토큰 $z_i$의 누적 텍스트 접두사와 증분 텍스트 범위가 학생 토큰 $y_t$와 일치하는 정렬된 쌍의 집합 $\mathcal{M}$을 정의합니다.
• 손실 함수 구성: 정렬된 위치에 대해 학생은 교사의 로그 확률(log-probability)에 의해 감독됩니다. 정렬되지 않은 위치(토큰 경계가 일치하지 않는 경우)에서는 학생 자신의 로그 확률이 폴백(fallback)으로 사용됩니다. 이는 역 KL 발산(reverse KL divergence)에 대한 토큰 정렬된 대리 함수를 생성합니다.

2. 종료 토큰 이점 마스킹 (Termination Token Advantage Masking)

학생이 종료 토큰을 억제하는 법을 배우는 것(직접적인 OPD에서 흔히 발생하는 실패 모드)을 방지하기 위해, 저자들은 특정 구조적 토큰의 이점(advantage)을 마스킹합니다.

• 메커니나즘: < /think> 및 < |im end| >와 같은 토큰에 대해 OPD 손실을 마스킹(0으로 설정)합니다.
• 근거: 이러한 토큰은 추론 내용이 아닌 출력 형식과 종료 동작을 제어합니다. 이러한 특정 토큰들에 대해 학생이 교사의 분포를 따르도록 강제하지 않음으로써, 학생은 적절하게 생성을 종료하는 능력을 유지하여 무한 루프나 과도한 길이 성장을 방지할 수 있습니다.

3. 학생-참조 KL 손실 (Student-Reference KL Loss)

분포 불일치를 완화하고 학생의 정책이 초기 능력으로부터 너무 멀어져서 발생하는 불안정성 및 절단 문제를 방지하기 위해, 학생-참조 KL 발산 손실이 도입되었습니다.

• 메커니즘: 현재 학생 정책과 초기 학생 정책(참조) 사이의 KL 페널티가 추가됩니다.
• 효과: 이는 학생이 과도하게 이탈하는 것을 제한하여 학습 역학을 안정화하고, 학생의 컨텍스트 예산 내에서 응답 길이의 꾸준한 성장을 보장합니다. 이 손실의 계수는 교사와 학생 간의 격차(예: 동일 패밀리는 0.5, 교차 패밀리는 1.0)에 따라 조정됩니다.

주요 기여

1. 토크나이저 불가지론적 정렬: 동일한 어휘를 요구하는 대신 공유 텍스트 범위를 기준으로 토큰을 정렬함으로써, 서로 다른 모델 패밀리 간에도 효과적인 OPD가 달성될 수 있음을 입증했습니다.
2. 안정화 기술: 직접적인 OPD가 길이 폭발과 절단을 유발함을 식별했습니다. 두 가지 단순하지만 효과적인 안정화 기술인 종료 토큰 마스킹과 학생-참조 KL 정규화를 제안하고 검증했습니다.
3. 교차 패밀리 전이: 교사의 궤적에 대한 지도 미세 조정(SFT) 없이도 30B 긴 문맥 교사(SU-01)로부터 다양한 짧은 문맥 학생(Qwen, Intern-S2, GLM, Gemma)으로 증명 추론(proof-reasoning) 능력을 성공적으로 전이했습니다.

실험 결과

저자들은 수학적 추론 벤치마크인 ProofBench(자연어 증명), AnswerBench, AIME25, AMOBench에서 SimpleOPD를 평가했습니다.

• 동일 패밀리 및 교차 패밀리 이득: SimpleOPD는 테스트된 모든 학생 모델에서 일관되게 성능을 향상시켰습니다.
  • Intern-S2-Preview: ProofBench에서 막대한 21.2포인트 향상(Gemini-2.5-Pro가 심사할 때 34.0에서 55.2로, 기본 평가 시 21.7에서 44.5로)을 달랐으며, Gemini-2.5-Pro 및 GPT-5와 같은 강력한 프런티어 모델을 능가했습니다.
  • Qwen3-30B-A3B: ProofBench 점수를 22.67포인트 향상시켰습니다 (13.80 $\to$ 36.47).
  • GLM-4.7 & Gemma-4: ProofBench에서 일관된 이득을 보여주었으며, 이는 서로 매우 다른 토크나이저(예: SentencePiece vs BPE)를 가진 모델에도 이 방법이 적용 가능함을 입증합니다.
• 안정성: 토큰 마스킹과 KL 손실의 결 сочета은 절단율을 거의 제로에 가깝게 줄였으며, 기존 OPD 학습에서 관찰되었던 "길이 폭발" 현상을 방지했습니다.
• 도메인 외 일반화: 수학적 증명 데이터로만 학습되었음에도 불구하고, 증류된 모델들은 과학적 추론 벤치마크(HLE, HiPhO)에서 개선을 보여주었으며, 이는 전이된 추론 능력이 훈련 도메인을 넘어 일반화될 수 있음을 시사합니다.
• 증류 길이: 더 긴 증류 시퀀스(32k vs 6k)가 복잡한 증명 작업에서 더 나은 성능을 보였으며, 이는 긴 추론 궤적을 보존하는 것이 다단계 추론 행동을 전이하는 데 매우 중요하다는 것을 나타냅니다.

의의 및 주장

본 논문은 SimpleOPD가 서로 다른 아키텍처와 토크나이저를 사용하는 환경에서도 긴 문맥 추론 능력을 짧은 문맥 모델로 전이하기 위한 견고하고 일반화 가능한 솔루션을 제공한다고 주장합니다.

• 효율성: 긴 문맥 모델을 처음부터 학습시키거나 복잡한 RL 파이프라인을 사용하는 대신, 기존의 강력한 교사를 활용하여 더 작고 빠른 모델을 강화하는 비용 효율적인 대안을 제공합니다.
• 안정성: 제안된 안정화 기술(마스킹 및 KL 정규화)은 이질적인 환경에서 OPD를 실행 가능하게 만드는 데 필수적이며, 이전의 전이를 방해했던 결정적인 문제인 학습 불안정성과 절단 문제를 해결합니다.
• 일반화: 결과는 이 방법을 통해 증류된 추론 능력이 특정 훈련 도메인(수학 증명)에 국한되지 않고, 더 넓은 과학적 추론 작업의 성능을 높일 수 있음을 시사합니다.

저자들은 자신들의 접근 방식이 긴 문맥 교사와 짧은 문맥 학생 사이의 간극을 효과적으로 메워, 모델 생태계 전반에 걸쳐 고급 추론 능력을 민주화할 수 있다고 결론짓습니다.