기술 요약: SimCT - 크로스-토크나이저 온-폴리시 증류에서 손실된 감독 신호 복원

1. 문제 제기

온-폴리시 증류 (OPD) 는 대형 교사 모델의 행동을 소형 학생 모델로 전이하는 표준 패러다임이다. 오프라인 증류와 달리 OPD 는 학생의 현재 정책이 생성한 접두어에 대해 교사 모델을 쿼리함으로써 훈련 분포를 추론 분포와 정렬시키고 오류 누적 (error compounding) 을 완화한다.

그러나 표준 OPD 는 교사 모델과 학생 모델이 동일한 토크나이저를 공유한다고 암묵적으로 가정하며, 이를 통해 다음 토큰 예측을 토큰 단위로 비교할 수 있게 한다. 하지만 현실적인 배포 시나리오에서는 교사와 학생 모델이 종종 이질적인 토크나이저를 가진 서로 다른 계열에 속한다. 이러한 불일치는 두 가지 근본적인 장애물을 만든다:

1. 어휘 불일치: 토큰 집합 ($\mathcal{V}_T$ 및 $\mathcal{V}_S$) 은 부분적으로만 겹친다. 공유된 토큰으로만 감독을 제한하면 교사 모델의 출력 분포 상당 부분이 폐기된다.
2. 시퀀스 불일치: 기본 텍스트가 동일하더라도 서로 다른 토크나이저는 이를 서로 다른 토큰 시퀀스로 분할한다 (예: "happy" 대 "hap" + "py" 대 "ha" + "pp" + "y"). 결과적으로 특정 접두어에서 교사의 다음 토큰 분포는 학생의 분포와 동일한 텍스트 단위에 대응되지 않아, 표준 토큰 수준의 KL 발산이 정의되지 않게 된다.

기존의 크로스-토크나이저 솔루션들은 최적 수송 (계산 비용이 높음), 학습된 투영 레이어 (추가 파라미터 필요), 또는 조립 단위의 청크 매칭 (세부 신호 손실) 을 통해 이 격차를 해소하려 시도했다. 이러한 방법들은 종종 교사의 전체 신호를 복원하지 못하거나 상당한 오버헤드를 초래한다.

2. 방법론: 단순 크로스-토크나이저 OPD (SimCT)

저자들은 OPD 목적 함수 자체를 수정하는 대신 **감독 공간 (supervision space)**을 확장함으로써 손실된 감독을 복원하는 SimCT를 제안한다.

핵심 개념: 최소 정렬 단위

단순히 동일한 토큰에서만 예측을 일치시키도록 강제하는 대신, SimCT 는 **최소 정렬 단위 (Minimal Aligned Units, MAUs)**를 식별한다. MAU 는 토크나이저들이 이를 서로 다른 토큰 시퀀스로 분해하더라도 두 토크나이저가 모두 실현할 수 있는 가장 미세한 텍스트 연속체로 정의된다.

• 공유 토큰: 두 어휘에 모두 존재하는 토큰 ($\mathcal{V}_T \cap \mathcal{V}_S$) 은 1:1 정렬 단위로 간주된다.
• MAU: 토크나이저 간 이견이 있는 텍스트 영역의 경우, 각 단위가 교사 토큰 시퀀스와 학생 토큰 시퀀스로 표현될 수 있는 경계 일관성 파티션을 구성한다.

감독 공간 구성

SimCT 는 공통 감독 공간 $\mathcal{U}_{SimCT}$를 정의한다:
$$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$$
여기서 $\mathcal{A}$는 모든 최소 정렬 단위의 집합이다.

점수 매김 및 손실

이 공간에 대한 분포를 비교하기 위해 SimCT 는 점수 매핑 $\Pi_T$와 $\Pi_S$를 도입한다:

1. 공유 토큰: 점수는 원래 로그 확률이다.
2. MAU(멀티 토큰): 점수는 구성 토큰의 길이 정규화 평균 로그 가능도이다. 모델 $M$이 단위 $u$를 $k$개의 토큰 $(v_1, \dots, v_k)$로 실현할 때:
   $$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$$
   이 정규화는 특정 토크나이저 하에서 더 많은 토큰을 필요로 하는 단위에 대한 패널티를 방지한다.

$\mathcal{U}_{SimCT}$에 대한 최종 분포 $q_T$와 $q_S$는 이러한 점수를 정규화하여 얻는다. 증류 손실은 표준 역 KL 발산으로 유지된다:
$$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$$

이론적 특성

• 정리 1: MAU 는 두 토크나이저가 공동으로 표현할 수 있는 가장 미세한 경계 일관성 인터페이스를 구성한다. 더 엄격한 분해는 공동 토크나이저 가능성을 보존하지 못한다.
• 명제 1: 이러한 단위를 조대화 (MAU 를 더 큰 범위로 병합) 하는 것은 교사 및 학생 분포 간의 KL 발산을 엄격히 감소시켜, 유효한 범위 내 구분을 효과적으로 지운다. 따라서 신호를 유지하기 위해 최소 세분성을 보존하는 것이 이론적으로 최적이다.

3. 주요 기여

1. 신호 손실 식별: 본 논문은 표준 크로스-토크나이저 OPD 가 어휘 및 시퀀스 불일치로 인해 교사 신호의 상당 부분을 조용히 폐기함을 입증한다.
2. 감독 공간 확장: SimCT 는 추가 학습 가능한 파라미터나 복잡한 수송 계산 없이 비공유 어휘 및 1:1 정렬되지 않은 텍스트 세그먼트에서 신호를 복원하는 새로운 감독 인터페이스를 도입한다.
3. 이론적 정당화: 저자들은 MAU 가 가능한 가장 미세한 감독 세분성을 나타내며, 이를 조대화하는 것이 필연적으로 유용한 교사 - 학생 구분을 제거함을 증명한다.
4. 실증적 검증: 광범위한 실험을 통해 SimCT 가 수학 추론 및 코드 생성 작업 전반에 걸쳐 공유 어휘 베이스라인 및 기타 크로스-토크나이저 방법보다 일관되게 우수한 성능을 발휘함을 보였다.

4. 실험 결과

저자들은 Qwen2.5, Phi-4, Gemma-2 의 세 가지 이질적인 교사 - 학생 쌍을 GSM8K, MATH-500, MBPP, LiveCodeBench-v6 네 가지 벤치마크에 대해 평가했다.

• 성능 향상: SimCT 는 SFT 웜스타트 및 모든 베이스라인 (SimpleOPD, DSKD, ALM, GOLD) 보다 일관된 개선을 달성했다. 이는 SFT 대비 평균 **6.0%**의 상대적 개선을 가져왔으며, 최상의 크로스-토크나이저 베이스라인을 유의미한 차이로 능가했다.
• 신호 복원 분석: 제거 연구 (ablation studies) 는 성취된 개선이 폐기된 두 가지 유형의 신호를 복원함으로써 비롯되었음을 확인했다:
  • 공유 어휘 외 (OoSV): 공유 어휘 밖의 고확률 교사 예측.
  • 정렬되지 않은 단위: 1:1 로 정렬할 수 없는 텍스트 세그먼트.
    통합된 MAU 공간을 통해 두 출처 모두를 복원하는 것이 최상의 성능을 보였다.
• 세분성 제거 연구: MAU 를 더 조대한 단위로 병합하면 성능이 저하되었으며, 이는 조대화가 미세한 교사 - 학생 선호도를 나타내는 KL 신호를 제거한다는 이론적 예측과 상관관계가 있었다.
• 효율성: SimCT 는 SimpleOPD 대비 마진적인 계산 오버헤드만 추가한다 (8x H20 GPU 에서 실행당 약 0.16 시간) 고, 학습된 투영이나 최적 수송이 필요한 방법보다 훨씬 빠르다.

5. 중요성 및 주장

본 논문은 크로스-토크나이저 OPD 의 주요 병목 현상이 훈련 패러다임 자체가 아니라 감독 공간의 구성이라고 주장한다. "토큰 매칭"에서 "텍스트 연속체 매칭"으로 초점을 이동시킴으로써 SimCT 는 이전에 접근 불가능했던 감독을 복원한다.

저자들은 SimCT 가 서로 다른 토크나이저를 가진 모델 간 증류를 위한 간단하고, 파라미터가 없으며, 견고한 솔루션을 제공한다고 주장한다. 결과는 가능한 가장 미세한 공동 토크나이저 단위를 보존하는 것이 온-폴리시 학습 신호의 품질을 유지하는 데 중요함을 시사한다. 이 연구는 손실 함수를 수정하거나 복잡한 정렬 장치를 추가하는 것보다 최소 정렬 단위를 포함하도록 감독 공간을 확장하는 것이 더 효과적인 전략임을 확립한다.

저자가 지적한 한계:

• 현재 평가는 수학 및 코드 도메인으로 제한되어 있다.
• 이 방법은 표준 BPE 스타일 토크나이저에 의존하며, 근본적으로 다른 분할 행동을 가진 토크나이저의 경우 적응이 필요할 수 있다.
• 현재 구현은 교사 다음 토큰 분포에 대한 화이트박스 접근을 가정하며, 블랙박스 설정으로의 확장은 향후 과제로 남겨두었다.