MUTANT: 多言語トークナイザ設計のためのレシピ

技術的概要（日本語訳）

本論文は、大規模言語モデル（LLM）の性能、トレーニング効率、推論コストに決定的な役割を果たす「トークナイザ」の設計、特に多言語環境における課題に焦点を当てています。著者らは、多様な文字体系と豊富な形態論的変化を持つ言語（特にインドの言語）において、既存のサブワード手法が抱える非効率性を解決するため、MUTANT（Multilingual Tokenizer optimization ANd Training）と呼ばれる体系的な設計レシピを提案し、その実装であるMUTANT-Indicを提示しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

LLM のトークナイザ設計において、既存のByte Pair Encoding (BPE) などのサブワード手法は英語中心に最適化されており、多言語環境、特にインドの 22 の公式言語（複数の文字体系と複雑な形態論を持つ）においては重大な課題を抱えています。

• 肥沃度スコア（Fertility Score）の偏り: 「1 単語あたりのトークン数」を示す肥沃度スコアが、英語では理想的な値に近い一方、インド言語では極端に高くなる傾向があります（例：LLaMA-4 のオリヤ語用トークナイザでは 10.5 に達する）。
• コストと遅延: 高い肥沃度スコアは、シーケンス長の増加、計算オーバーヘッドの増大、推論レイテンシの悪化、およびコンテキストウィンドウの非効率な使用を招きます。
• 既存手法の限界: 既存の多言語モデルは、低リソース言語や形態論的に豊かな言語を過度に断片化（fragmentation）しており、公平性と効率性の両面で改善が求められています。

2. 提案手法：MUTANT レシピ

MUTANT は、公平で効率的かつ言語学的に根拠のある多言語トークナイザを構築するための実践的なレシピです。主な構成要素は以下の通りです。

A. トレーニングデータと語彙の設計

• 高品質データのキュレーション: ウェブ、Wikipedia、コード、数学データなど多様な高品質ソースから構成され、言語/スクリプトの混合や正規化を厳格にフィルタリングします。
• スクリプト意識的な語彙配分: 高リソース言語と低リソース言語の両方で、サブワードと多単語の粒度を維持するため、スクリプトごとの語彙予算を明示的に設計します。
  • コーパス駆動のアライメント: 個別のスクリプト用トークナイザを訓練して結合する「明示的マージ」ではなく、多言語コーパス上でデータ比率を調整して単一のトークナイザを訓練する「コーパス駆動のアライメント」を採用しました。これにより、語彙配分がデータ分布に自然に収束し、肥沃度スコアを全スクリプトで低く抑えることができました。

B. 2 段階のトレーニング・カリキュラム

MUTANT は、サブワード学習と多単語学習を分離した 2 段階のトレーニングを採用しています。

1. ステージ 1（サブワード学習）: 標準的な BPE を適用しますが、空白文字（whitespace）による境界を維持します。これにより、語根、接辞、共通の形態素などの微細なサブワード単位を学習します。
2. ステージ 2（多単語学習）: 特定の転換点（Transition point）に達した後、空白文字の制約を解除し、単語境界を越えて BPE マージを許可します。これにより、「in the morning」のような頻出する多単語表現（collocations）を単一トークンとして学習し、圧縮効率を向上させます。

C. 事前トークナイゼーション（Pre-tokenization）

• 正規化と正規表現: Unicode 正規化（NFKC）とスクリプト固有の構造を捉えるための正規表現（Regex）ベースのアプローチを採用しました。特に、インドの言語に対しては、GPT-2 ではなく LLaMA-4 風のルールを適用することで、トークンの断片化を大幅に削減し、単語対トークン比を 38-40% 改善しました。
• 形態論的考慮: 形態論的解析による分割も検討されましたが、推論時のレイテンシ増大を避けるため、最終的なパイプラインには含めず、正規表現ベースの効率的なアプローチを選択しました。

3. 主要な貢献

1. MUTANT レシピの提案: 語彙サイズ、データ分布、言語固有の事前トークナイゼーション、多段階トレーニングの効果を体系的に研究し、再現可能な多言語トークナイザ訓練のレシピを確立しました。
2. MUTANT-Indic の開発: 上記レシピに基づき、インド言語向けに最適化された SOTA（State-of-the-Art）トークナイザ「MUTANT-Indic」を訓練しました。
3. 包括的なベンチマーク: 0 から学習（pretraining from scratch）と継続的学習（continual pretraining）の両方の設定において、複数の内在的指標と外部タスク性能を評価する包括的なベンチマークを実施しました。評価フレームワークは公開され、コミュニティでの再現性を保証します。

4. 実験結果

MUTANT-Indic は、9 つの既存トークナイザ（Gemma-3, LLaMA-4, Sutra, Sarvam など）と比較評価されました。

• 内在的評価（Intrinsic Evaluation）:
  • 肥沃度スコア: 24 言語中 20 言語で最良の結果を達成し、平均で LLaMA-4 より 39.5%、Sutra より 18% 改善されました。
  • 推論スループット: 肥沃度スコアの改善により、推論スループットが LLaMA-4 より 44% 向上しました（TTFT や OTPT の改善）。
  • 圧縮効率: Normalized Sequence Length (NSL) や Bytes-per-token などの指標でも、より短いシーケンス長と高密度なトークン表現を実現しました。
• 外在的評価（Extrinsic Evaluation）:
  • ベンチマーク性能: 英語およびインド言語のベンチマーク（MMLU, HellaSwag, Indic COPA など）において、LLaMA-4 トークナイザを使用した場合と同等かそれ以上の性能を維持しました。
  • 継続的学習（CPT）: 既存のオープンソースモデル（LLaMA-3.2-1B）のトークナイザを MUTANT-Indic に置き換えて継続学習を行ったところ、性能を維持しつつスループットを大幅に向上させることができました。
• アブレーション研究:
  • 2 段階学習は、1 段階学習（BoundlessBPE など）と比較して、形態論的カバレッジと多単語の効率性のバランスが優れていることが示されました。
  • トレーニングデータサイズは 10GB 程度で性能が頭打ちになる傾向があり、転換点（Transition point）は語彙サイズの 85-90% 程度が最適であることが判明しました。

5. 意義と結論

本論文は、トークナイザ設計が単なる前処理ステップではなく、LLM のトレーニング効率、推論コスト、そして低リソース言語における公平性に直接影響を与える重要な設計決定であることを実証しました。

• 実用的価値: MUTANT-Indic は、インドの多様な言語を扱う実用的な LLM において、計算コストを削減しつつ言語学的な整合性を保つことを可能にします。
• 将来の展望: 形態論的解析を直接統合することによるさらなる効率化や、他の低リソース言語への拡張が今後の課題として残されていますが、MUTANT レシピは多言語 LLM 開発における新しい標準的なアプローチとして確立されました。

著者らは、評価フレームワークとトレーニング詳細を公開することで、研究コミュニティにおける再現性と公平なベンチマークを促進することを目指しています。