Cross-Tokenizer LLM Distillation through a Byte-Level Interface

이 논문은 서로 다른 토크나이저를 사용하는 교사와 학생 모델 간 지식 증류를 위해 공통 인터페이스인 바이트 레벨에서 작동하는 단순하지만 효과적인 '바이트 레벨 증류 (BLD)' 방법을 제안하며, 이는 기존 복잡한 방법들과 경쟁력 있거나 더 나은 성능을 보여줍니다.

핵심

이 논문은 인공지능 (LLM) 을 더 작고 가볍게 만드는 '지식 증류 (Distillation)' 기술에서 겪고 있던 큰 난관을 해결하기 위한 새로운 방법을 소개합니다.

핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "서로 다른 언어를 쓰는 두 명의 선생님"

지금까지 인공지능을 가르칠 때, 큰 선생님 모델 (Teacher) 이 작은 제자 모델 (Student) 에게 지식을 전달하려면 두 사람이 사용하는 '단어장 (토크나이저)'이 완전히 같아야 했습니다.

• 비유: 선생님이 "사과"라는 단어로 설명을 하는데, 제자는 "사과" 대신 "빨간 과일"이라는 단어로만 이해할 수 있다면, 선생님이 아무리 잘 설명해도 제자는 내용을 온전히 받아들이기 어렵습니다.
• 기존의 어려움: 서로 다른 회사나 목적을 위해 만들어진 AI 모델들은 단어장이 다릅니다. 이를 맞추기 위해 복잡한 규칙이나 임시방편적인 방법들을 써왔는데, 이는 마치 서로 다른 언어를 번역기 없이 대화하려는 것처럼 비효율적이고 지식이 많이 손실되었습니다.

2. 새로운 해결책: "모든 사람이 공유하는 '자음과 모음' (바이트 레벨)"

이 논문은 **"단어장 (토큰) 을 맞추려고 애쓰지 말고, 그보다 더 기초적인 '글자 (바이트)' 수준에서 대화하자"**고 제안합니다.

• 비유 (BLD 방법):
  • 모든 AI 모델은 결국 컴퓨터가 이해하는 0 과 1, 혹은 '자음과 모음' 같은 아주 작은 단위 (바이트) 로 이루어져 있습니다.
  • 이 연구는 선생님이 말한 내용을 단어가 아니라 자음과 모음의 조합으로 바꾸어 제자에게 전달합니다.
  • 제자는 이 '자음/모음' 정보를 받아서 다시 자신의 방식 (단어장) 으로 이해하면 됩니다.
  • 핵심: "사과"든 "빨간 과일"이든, 그걸 구성하는 한글 자음과 모음은 모두 같기 때문에, 이 공통된 언어 (바이트) 를 통해 지식을 전달하면 단어장이 달라도 자연스럽게 이해할 수 있습니다.

3. 실험 결과: "간단하지만 강력한 방법"

연구진은 이 방법을 실제로 적용해 보았습니다.

• 성공: 복잡한 규칙을 만들지 않아도, 이 간단한 '바이트' 방식을 통해 기존에 존재하던 복잡한 방법들보다 훨씬 좋은 결과를 내거나 비슷하게 잘 수행했습니다.
• 한계: 하지만 모든 문제에서 100% 완벽한 것은 아니었습니다. 어떤 시험에서는 이 방법이 최고였지만, 또 다른 시험에서는 다른 방법이 더 나을 때도 있었습니다.
• 결론: 이는 "서로 다른 AI 모델끼리 지식을 완벽하게 공유하는 문제"가 아직 완전히 해결되지 않았다는 뜻이기도 합니다. 하지만 이 연구는 그 문제를 풀기 위한 매우 유망하고 단순한 첫걸음을 제시했습니다.

요약하자면?

이 논문은 **"서로 다른 AI 모델끼리 지식을 전달할 때, 복잡한 단어장을 맞추려고 애쓰지 말고, 그보다 더 기본이 되는 '글자 (바이트)' 수준에서 대화하게 하면 훨씬 쉽고 효과적이다"**라는 것을 증명했습니다.

마치 서로 다른 방언을 쓰는 두 사람이 대화할 때, 복잡한 사투리를 맞추려 하지 말고 **모두가 아는 표준어 (또는 알파벳)**로 대화하면 오해 없이 소통할 수 있는 것과 같은 원리입니다.

기술 요약

1. 문제 정의 (Problem Statement)

교차 토크나이저 증류 (Cross-Tokenizer Distillation, CTD) 의 난제
대형 언어 모델 (LLM) 의 성능을 소형 모델에 전이하는 지식 증류 (Knowledge Distillation) 기술은 널리 사용되지만, 기존 방법론은 교사와 학생 모델이 동일한 토크나이저와 어휘 (Vocabulary) 를 공유해야 한다는 전제 조건에 의존합니다.

• 근본적인 한계: 교사와 학생의 토크나이저가 다르면 (예: BPE vs Byte, 또는 서로 다른 BPE 사전), 출력 공간 (Logit vector) 의 차원과 의미가 달라 직접적인 확률 분포 비교 (KL 발산 등) 가 불가능합니다.
• 기존 해결책의 결함: 현재 존재하는 CTD 방법들은 어휘를 매핑하거나 히든 상태를 정렬하기 위한 휴리스틱 (heuristic) 전략이나 근사적 방법을 사용합니다. 이는 계산 비용이 높거나, 정보 손실이 크거나, 이론적 근거가 부족하다는 단점이 있습니다.

이 논문은 서로 다른 토크나이저를 가진 모델 간에 지식 전이가 가능하면서도 복잡하지 않은 새로운 접근법을 제시합니다.

---

2. 방법론 (Methodology)

저자들은 바이트 레벨 증류 (Byte-Level Distillation, BLD) 라는 새로운 방법을 제안합니다. 모든 토크나이저가 공통적으로 공유하는 바이트 (Byte) 레벨을 인터페이스로 활용하여 어휘 불일치 문제를 우회합니다.

핵심 프로세스

1. 교사 모델의 바이트 확률 변환:

   • 토큰 기반의 교사 모델이 출력하는 토큰 확률 분포를 바이트 레벨 확률로 변환합니다.
   • 이를 위해 Vieira et al. (2025) 의 빠른 근사 알고리즘을 사용하여, 토큰 시퀀스를 덮는 (covering) 모든 바이트 시퀀스의 확률을 합산하여 조건부 바이트 확률 $P(b_i | b_{<i})$을 계산합니다.

2. 학생 모델의 바이트 인터페이스 추가:

   • 기존 토큰 레벨의 출력 헤드를 유지하면서, 병렬로 가벼운 학습 가능한 바이트 레벨 디코더 헤드 (Byte-level Decoder Head) 를 추가합니다.
   • 이 헤드는 모델의 은닉 표현 (Hidden representation) 을 입력받아 바이트 어휘 (256 바이트 + 특수 토큰) 에 대한 확률을 출력합니다.

3. 증류 손실 함수 (Distillation Loss):

   • 증류 과정은 다음 세 가지 손실의 조합으로 이루어집니다:
     1. Next-Token Cross-Entropy: 표준적인 다음 토큰 예측 손실.
     2. Next-Byte Cross-Entropy: 학생 모델이 바이트를 예측하는 능력 학습.
     3. KL Divergence (Byte-Level): 교사 모델이 생성한 바이트 확률 분포와 학생 모델의 바이트 예측 분포 간의 거리 최소화.
   • 증류가 완료된 후, 추가된 바이트 레벨 헤드는 제거되고 표준 토큰 기반 모델만 남습니다.

---

3. 주요 기여 (Key Contributions)

1. BLD (Byte-Level Distillation) 제안:
   • 복잡한 어휘 정렬 (Alignment) 이나 휴리스틱 매핑 없이, 공통된 바이트 레벨 인터페이스를 통해 교차 토크나이저 증류를 가능하게 하는 간단하고 효과적인 베이스라인을 제시했습니다.
2. 경쟁력 있는 성능 입증:
   • 1B 에서 8B 파라미터 규모의 다양한 모델 (Llama, Qwen, Gemma 등) 을 대상으로 한 실험에서, BLD 는 훨씬 더 복잡한 최신 CTD 방법들 (MinED, ALM 등) 과 경쟁하거나, 일부 벤치마크에서 이를 능가하는 성능을 보였습니다.
3. CTD 의 개방적 문제 (Open Problem) 재조명:
   • BLD 가 우수한 성능을 보임에도 불구하고, 어떤 단일 방법도 모든 벤치마크와 작업에서 일관된 개선을 보이지 않는다는 사실을 발견했습니다. 이는 교차 토크나이저 증류가 여전히 해결되지 않은 난제임을 시사합니다.

---

4. 실험 결과 (Results)

논문은 세 가지 주요 시나리오에서 실험을 수행했습니다.

A. BPE 토크나이저 간 전이 (BPE-to-BPE Transfer)

• 설정: Llama 3.2 3B (원래 토크나이저) $\rightarrow$ Qwen 2 토크나이저 적용.
• 결과: BLD 는 PiQA(75.68) 와 AGI-ZH(35.97) 에서 최고 점수를 기록했으며, MMLU 등에서도 원본 모델에 가까운 성능을 회복했습니다.
• 한계: 지시 따르기 (Instruction Following, IFEval) 작업에서는 MinED 나 ALM + SFT 에 비해 성능이 크게 떨어졌습니다 (30.58 vs 62.83). 이는 바이트 레벨 증류가 구조화된 출력 행동을 보존하는 데 한계가 있음을 시사합니다.

B. BPE 에서 바이트 레벨로 전이 (BPE-to-Byte Transfer)

• 설정: Llama 3.2 3B $\rightarrow$ 바이트 레벨 토크나이저 적용.
• 결과: 모든 방법에서 성능이 크게 저하되었습니다 (예: MMLU -21 점, ARC-C -13 점). 이는 서브워드 토큰으로 훈련된 모델을 미세한 바이트 단위로 적응시키는 것이 매우 어렵다는 것을 보여줍니다.
• 비교: BLD 는 PiQA 에서 1 위를 차지했으나, 다른 벤치마크에서는 다른 방법들이 우세하거나 성능 차이가 미미했습니다.

C. 교차 모델 증류 (Cross-Tokenizer Distillation)

• 설정: 수학 특화 모델 (OpenMath2-Llama3.1-8B) $\rightarrow$ Gemma2 2B.
• 결과:
  • GSM8K: BLD 가 62.55 점으로 ALM + SFT(61.56) 와 SFT(59.29) 를 능가했습니다.
  • MATH: SFT(22.40) 가 BLD(20.08) 보다 우세했습니다.
  • 의미: BLD 는 특정 작업 (GSM8K) 에서 우위를 점하지만, 수학 추론 전반 (MATH) 에서 일관된 우위를 보이지는 않았습니다. 또한, 교사 모델 (OpenMath2) 과의 성능 격차는 여전히 큽니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 자연스러운 공통 접점: 바이트 레벨은 모든 토크나이저가 공유하는 자연스러운 공통 언어 (Common Ground) 로서, 복잡한 어휘 정렬 없이 지식 전이를 가능하게 합니다.
• 간단함의 힘: 복잡한 신경망 구조나 휴리스틱 매핑 없이, 간단한 바이트 헤드를 추가하는 것만으로도 경쟁력 있는 결과를 얻을 수 있음을 증명했습니다.
• 미해결 과제: BLD 는 강력한 베이스라인을 제공하지만, 모든 작업에서 일관된 성능 향상을 보장하지는 못합니다. 이는 교차 토크나이저 증류가 여전히 연구가 필요한 개방된 문제 (Open Problem) 이며, 향후 더 정교한 아키텍처 (예: 바이트 레벨 트랜스포머) 나 손실 함수 설계가 필요함을 시사합니다.

이 연구는 이질적인 토크나이저를 가진 모델 간의 지식 공유를 위한 새로운 패러다임을 제시하며, 향후 경량화 및 전문화 모델 개발에 중요한 통찰을 제공합니다.