기술 요약: 토크나이저 장벽의 돌파: 모델 패밀리 간의 온-폴리시 증류(On-Policy Distillation)

1. 문제 정의

온-폴리시 증류(On-Policy Distillation, OPD)는 사후 학습(post-training) 단계에서 대규모 언어 모델(LLM)을 위한 매우 효율적인 기법으로 부상했습니다. 이는 학생(student) 모델이 생성한 자신의 궤적(trajectory)에 대해 전문가인 교사(teacher) 모델의 밀도 높은 토큰 수준 감독 신호(로그 확률)를 활용하여 지식을 전이할 수 있게 합니다. 그러나 기존의 OPD 방식은 교사와 학생이 동일한 토크나이저를 공유해야 하는 **동일 패밀리 내 증류(same-family distillation)**에 엄격히 국한되어 있습니다.

교차 토크나이저 증류(예: Qwen과 Llama 같은 서로 다른 모델 패밀리 간)를 시도할 때, 어휘 사전(vocabulary)의 불일치라는 근본적인 장벽이 발생합니다. 어휘 크기, 인코딩 선호도, 특수 문자의 처리 방식의 차이로 인해 교사의 로그 확률을 학생의 토큰으로 직접 매핑할 수 없습니다. 교사가 생성한 응답에 대한 지도 미세 조정(SFT)에 의존하는 현재의 주류 관행은 이러한 교차 토크나이저 시나리오의 한계를 가집니다. 이 방식은 교사의 출력을 단순한 정적 텍스트로 취급할 뿐, 교사의 확률 분포에 내재된 풍부하고 밀도 높은 지식을 포착하지 못합니다. 또한, 기존의 교차 토크나이저 정렬 방법은 주로 오프라인(off-policy) 증류를 위해 설계되었으며, OPD 고유의 토큰 수준 신호 전파 문제를 효과적으로 해결할 수 없습니다.

2. 방법론

저자들은 공유된 토크나이저를 요구하거나 모델의 내부 구조를 수정하지 않고도 어휘 격차를 메우는 교차 토크나이저 온-폴리시 증류 프레임워크를 제안합니다. 이 방법은 두 가지 핵심 구성 요소로 이루어져 있습니다.

A. 적응형 청크 정렬 (Dual-Pointer Chunk Alignment - DPCA)

서로 다른 토크나이저에 의해 생성된 시퀀스를 정렬하기 위해, 저자들은 **최소 동기화 청크(minimal synchronized chunks)**를 식별하는 결정론적 알고리즘을 도입합니다.

• 메커니즘: 이 알고리즘은 디토크나이제이션 함수($D$)의 결정론적 및 단조적 성질을 활용합니다. 데코딩된 텍스트 접두사가 일치하는($D(y^S_{1:i}) = D(y^T_{1:j})$) 가장 작은 토큰 증분을 찾기 위해 듀얼 포인터 전략($p_S$는 학생, $p_T$는 교사)을 사용합니다.
• 탐욕적 전략 (Greedy Strategy): 포인터는 데코딩된 문자열의 길이에 따라 전진합니다. 학생의 데코딩된 파편이 교사보다 짧으면 학생 포인터가 전진하고, 그 반대의 경우도 마찬가지입니다.
• 이론적 보장: 이 알고리즘은 완전성(모든 동기화 지점 식별)과 최소성(청크가 더 이상 세분화될 수 없음을 보장)을 보장합니다. 이를 통해 밀도 높은 감독 신호가 가장 작은 가능한 토큰 클러스터에 국한되도록 하여, 거대하게 집계된 블록에서 발생하는 신호 모호성을 방지합니다.

B. 시맨틱 프라이어를 통한 청크 수준 크레딧 할당 (Chunk-Level Credit Assignment via Semantic Prior)

시퀀스가 동기화된 청크로 분할되면, 교사의 감독 신호를 학생의 토큰에 투영해야 합니다.

• 결합 확률 매칭 (Joint Probability Matching): 이 방법은 하나의 동기화된 청크(동일한 기저 텍스트를 나타냄)를 생성하는 결합 확률이 두 분포 하에서 동일해야 한다고 가정합니다. 이는 청크 내의 로그 확률 합이 같아야 함을 의미합니다.
• 시맨틱 프라이어를 이용한 최적화: 학생의 내부 시맨틱 구조를 유지하면서 교사의 타겟 로그 가능도($L^{(c)}_T$)를 학생의 토큰($s_c$)에 배분하기 위해, 저자들은 제약 조건이 있는 최적화 문제를 해결합니다. 이들은 학생의 사전 분포($p$)와 최대 방향 정렬을 유지하는 타겟 분포를 찾습니다.
• 폐쇄형 해 (Closed-Form Solution): 결과적인 타겟 로그 확률($\log q_i$)은 학생의 사전 로그 확률($\log p_i$)을 청크 수준 로그 가능도 비율에 따라 선형적으로 스케일링한 버전입니다.
  $$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$$
  이는 학생이 처음에 "놀라워했던"(낮은 확률을 가졌던) 토큰들이 이득 신호(advantage signal)를 비례적으로 더 많이 받게 하여, 청크 내의 상대적인 시맨틱 구조를 보존하도록 합니다.

C. 훈련 목적 함수 (Training Objective)

계산된 토큰별 이득(advantages)은 RL 중요도 샘플링 손실 함수(역 KL 발산)를 사용하는 표준 OPD 프레임워크에 통합되어, 학생이 교사의 가이드에 따르면서 자신의 롤아웃(rollout)을 바탕으로 정책을 업데이트할 수 있게 합니다.

3. 주요 기여

1. 최초의 고충실도 교차 토크나이저 OPD: 본 연구는 서로 다른 토크나이저를 가진 서로 다른 모델 패밀리 간의 고충실도 토큰별 온-폴리시 증류를 가능하게 한 최초의 작업입니다.
2. 적응형 정렬 알고리즘: 이질적인 토크나이징 체계 사이에서 최소 동기화 청크 식별을 수학적으로 보장하는 Dual-Pointer Chunk Alignment (DPCA) 알고리즘을 제안했습니다.
3. 시맨틱 프라이어 기반 크레딧 할당: 상대적인 토큰 확률의 왜곡을 피하면서 교사의 로그 확률을 학생의 토큰에 투영하는 새로운 메커니즘을 제시했습니다.
4. 연산 효율성: 교차 토크나이저 OPD가 전통적인 SFT 또는 오프-폴리시 증류 베이스라인보다 훨씬 더 연산 효율적임을 입증했습니다.

4. 실험 결과

저자들은 두 가지 뚜렷한 교사-학생 쌍을 사용하여 추론 벤치마크(AIME, MATH, GPQA-Diamond, LiveCodeBench)에서 이 방법을 평가했습니다.

• 설정 1: Qwen3-8B (교사) $\to$ Llama-3.1-8B-SFT (학생).
• 설정 2: DeepSeek-R1 (교사) $\to$ DeepSeek-R1-Distill-Qwen-7B (학생).

성능:

• Qwen $\to$ Llama 설정에서, OPD는 평균 점수 40.7을 달성하여 SFT (35.1), ALM (35.7), CDM (35.9)를 상당한 차이(최대 +5.6 포인트)로 앞질렀습니다.
• DeepSeek-R1 설정에서, OPD는 52.0에 도달하여 베이스라인보다 평균 2.4~2.7 포인트 높았습니다.
• 성능 향상은 수학, 과학, 코드 벤치마크 전반에서 일관되게 나타났으며, 특히 AIME25 (+11.6 포인트)와 GPQA-Diamond (+6.1 포인트)에서 눈에 띄는 개선을 보였습니다.

연산 효율성:

• SFT로 초기화된 모델에서 동일한 AIME24 정확도(44.4%)를 달성하기 위해, 저자들은 SFT를 확장할 경우 482K의 추가 훈련 샘플과 약 1.17 $\times$ 10$^{21}$ FLOPs가 필요할 것으로 추정했습니다.
• 반면, OPD 방법은 단 20K의 추가 샘플과 약 4.8 $\times$ 10$^{19}$ FLOPs만으로 동일한 성능을 달성했습니다.
• 이는 SFT 외삽(extrapolation) 방식 대비 훈련 데이터 사용량을 **4.1%**로, 총 연산 비용을 **4%**로 줄인 것을 의미합니다.

동일 토크나이저 OPD와의 비교:

• 본 논문은 교차 토크나이저 OPD의 성능 향상(평균 +5.6)이 동일 토크나이저 OPD(평균 +5.5)와 대등하다는 점을 언급하며, 이는 투영 메커니즘이 감독 신호의 품질을 크게 저하시키지 않음을 나타냅니다.

5. 의의 및 주장

본 논문은 이 연구가 온-폴리시 증류를 위한 더 넓은 범위의 교사-학생 쌍을 열어준다고 주장합니다. 토크나이저 공유 요구 사항을 제거함으로써, 이 방법은 다양한 모델 패밀리 간의 유연한 지식 전이를 가능하게 합니다. 저자들은 로그 확률을 보존하는 방식으로 교사의 피드백을 학생의 토큰에 투영할 수 있다면, 공유된 어휘 사전이 효과적인 OPD를 위한 전제 조건은 아니라고 주장합니다.

이 연구는 LLM 간의 상호작용을 적응시키고 강화하는 새로운 길을 열어주며, "밀도 높은 감독" 패러다임이 단일 모델 시리즈의 사후 학습을 넘어 확장될 수 있음을 시사합니다. 저자들은 계산상의 제약으로 인해 테스트된 모델의 규모(8B 파라미터 미만)에 대한 한계를 인정하며, 더 큰 규모의 모델(예: 70B)에 대한 검증을 향후 과제로 꼽았습니다.