MUTANT: A Recipe for Multilingual Tokenizer Design

논문 요약: MUTANT - 다국어 토크나이저 설계 레시피

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 성능, 학습 효율성 및 추론 비용은 토크나이저 (Tokenizer) 의 설계에 크게 의존합니다. 특히 다국어 LLM 을 설계할 때는 다양한 문자 체계 (Script) 와 풍부한 형태소 변형 (Morphological Variation) 으로 인해 효과적인 토크나이징이 매우 어렵습니다.

• 기존 방법의 한계: 현재 널리 사용되는 Byte Pair Encoding (BPE) 과 같은 서브워드 (Subword) 방법은 영어와 같은 고자원 언어에는 효과적이지만, 인도어 (Indic) 와 같이 형태소가 풍부한 저자원 언어에서는 비효율적입니다.
• 주요 문제점:
  • 높은 비옥도 점수 (Fertility Score): 단어당 토큰 수 비율이 높아져 시퀀스 길이가 길어지고, 이는 추론 지연 (Latency) 과 비용 증가로 이어집니다. 예를 들어, LLaMA-4 토크나이저는 오디아 (Oriya) 언어에서 비옥도 점수가 10.5 에 달해 매우 비효율적입니다.
  • 불공정성: 영어 중심의 설계로 인해 비영어권 언어, 특히 인도어족 언어의 토큰 분할이 과도하게 이루어져 모델의 표현력과 효율성이 저하됩니다.
  • 언어 단위 불일치: 토큰이 언어학적 단위 (단어, 구) 와 잘 맞지 않아 의미론적 일관성이 떨어집니다.

2. 방법론 (Methodology: MUTANT)

저자들은 다국어 토크나이저를 구축하기 위한 체계적인 레시피인 MUTANT (MUltilingual Tokenizer optimization ANd Training) 를 제안합니다. 이는 데이터 선별, 전처리 (Pre-tokenization), 그리고 2 단계 학습 전략을 포함합니다.

• 데이터 구성 및 어휘 할당 (Training Data & Vocabulary):

  • 고품질 데이터: 웹, 위키백과, 코드, 수학 데이터 등 다양한 고품질 소스를 통합하고, 언어/문자 혼입, 정규화, 짧은 문서 제거 등을 통해 필터링합니다.
  • 문자별 어휘 할당 (Script-aware Allocation): 고자원 언어와 저자원 언어 간의 균형을 맞추기 위해 각 문자 (Script) 에 대한 어휘 예산을 명시적으로 할당합니다. 이를 위해 개별 토크나이저를 병합하는 방식보다는 코퍼스 기반 정렬 (Corpus-driven alignment) 방식을 사용하여 학습된 어휘가 데이터 분포에 자연스럽게 수렴하도록 합니다.

• 언어 인식 전처리 (Language-aware Pre-tokenization):

  • 정규화: NFKC 정규화를 사용하여 시각적으로 동일한 문자를 통일하여 어휘의 희소성을 줄입니다.
  • Regex 기반 분할: GPT-2 규칙 대신 LLaMA-4 스타일의 정규 표현식을 사용하여 인도어 문자에 대한 토큰 분할을 최적화합니다. 이는 형태소 분해 (Morphology-aware) 를 고려하되, 추론 지연을 피하기 위해 복잡한 형태소 분석기를 실시간 파이프라인에 통합하지는 않습니다.

• 2 단계 커리큘럼 학습 (Two-Stage Curriculum Training):

  • 1 단계 (서브워드 학습): 공백 (Whitespace) 기준 전처리를 적용하여 단어 내부에서만 병합 (Merge) 이 일어나도록 합니다. 이를 통해 어근, 접사, 공통 형태소와 같은 미세한 서브워드 단위를 학습합니다.
  • 2 단계 (다단어 학습): 특정 전이 지점 (Transition Point, 예: 어휘 크기의 90%) 에 도달하면 공백 제약 없이 병합을 허용합니다. 이를 통해 "in the morning"과 같은 빈번한 다단어 표현 (Multi-word expressions) 을 단일 토큰으로 학습하여 압축 효율을 높입니다.

3. 주요 기여 (Key Contributions)

1. MUTANT 레시피 제안: 어휘 크기, 데이터 분포, 언어별 전처리, 2 단계 학습 등 다국어 토크나이저 성능에 영향을 미치는 핵심 요소들을 체계적으로 연구한 일반화된 레시피를 제시했습니다.
2. MUTANT-Indic 개발: 인도어족 (22 개 언어) 과 영어, 코드를 대상으로 한 상태-of-the-art (SOTA) 토크나이저를 훈련시켰습니다.
3. 포괄적인 벤치마킹: 사전 학습 (Pretraining) 과 지속적 사전 학습 (Continual Pretraining) 환경에서 내재적 지표 (Intrinsic metrics) 와 외부 작업 (Downstream tasks) 성능을 모두 평가하는 프레임워크를 구축하고 공개했습니다.

4. 실험 결과 (Results)

MUTANT-Indic 은 22 개 인도어, 영어, 코드 데이터에 대해 기존 9 개 토크나이저 (Gemma-3, GPT-OSS, LLaMA-4, Sutra 등) 와 비교 평가되었습니다.

• 내재적 성능 (Intrinsic Metrics):

  • 비옥도 점수 (Fertility Score): 평균적으로 LLaMA-4 대비 39.5%, 현재 최상위 모델인 Sutra 대비 18% 개선되었습니다. 이는 단어당 토큰 수가 크게 줄어듦을 의미합니다.
  • 압축 효율: Normalized Sequence Length (NSL) 와 Bytes-per-Token 지표에서 모든 언어에서 최상위 성능을 기록했습니다.
  • 어휘 활용도: Rényi 효율성 지표에서 더 균형 잡힌 어휘 활용을 보였습니다.

• 외부 성능 (Extrinsic Performance):

  • 다운스트림 태스크: 1B 파라미터 LLaMA-3.2 모델을 MUTANT-Indic 으로 재학습 (Continual Pretraining) 시켰을 때, 영어 및 인도어 벤치마크 (MMLU, Indic COPA 등) 에서 기존 LLaMA-4 토크나이저와 동등하거나 더 나은 성능을 보였습니다.
  • 추론 효율성: 토큰 시퀀스 길이가 짧아짐에 따라 추론 처리량 (Throughput) 이 LLaMA-4 대비 44% 향상되었고, 지연 시간 (TTFT) 은 개선되었습니다.

• Ablation Study:

  • 2 단계 vs 1 단계: 2 단계 학습이 단일 단계 학습 (BoundlessBPE 등) 보다 형태소 커버리지를 유지하면서 다단어 학습을 더 효과적으로 수행함을 증명했습니다.
  • 데이터 크기: 학습 데이터가 10GB 이상으로 증가할 때 성능 향상이 체감되지만, 10GB 이후에는 체감 수익이 감소하는 경향이 있었습니다.
  • 전이 지점 (Transition Point): 어휘 크기의 85~90% 지점에서 서브워드에서 다단어 학습으로 전환하는 것이 최적의 균형을 제공했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다국어 LLM 의 핵심 구성 요소인 토크나이저 설계가 단순히 기술적 세부 사항이 아니라, 모델의 효율성, 비용, 공정성을 결정하는 핵심 요소임을 강조합니다.

• 실용적 가치: MUTANT-Indic 은 인도어와 같은 형태소가 풍부한 언어에서 토큰 분할을 최적화하여 추론 비용을 획기적으로 줄이고, 실제 배포 환경에서의 처리 속도를 높였습니다.
• 재현성: 연구진은 평가 프레임워크와 데이터를 공개하여 커뮤니티의 벤치마킹과 후속 연구를 장려합니다.
• 미래 방향: 형태소 기반 토크나이징의 잠재력을 보여주었으나, 추론 지연 문제로 인해 최종 모델에는 포함하지 않았습니다. 향후 효율적인 형태소 분석기 개발과 결합이 중요한 과제로 남았습니다.

결론적으로, MUTANT 는 다국어 LLM 의 효율성과 성능을 동시에 달성하기 위한 체계적이고 재현 가능한 토크나이저 설계 가이드라인을 제시하며, 특히 저자원 및 형태소가 풍부한 언어 처리 분야에서 중요한 진전을 이루었습니다.