論文の技術的サマリー：「Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion」

この論文は、大規模言語モデル（LLM）における**トークン過分割（Token Over-fragmentation）**という深刻な問題に焦点を当て、特に非ラテン文字体系の言語において顕著な「トークン効率の偏り」を解消するための、解釈可能性（Interpretability）に基づく語彙拡張アプローチを提案しています。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

1. 背景と問題定義：トークン過分割（Token Over-fragmentation）

• 問題の核心: 現代の LLM は Byte-Pair Encoding (BPE) や Unigram などのデータ駆動型トークナイザを使用していますが、これらは学習データに偏り（特にラテン文字や高リソース言語への偏り）を持っています。その結果、非ラテン文字（ヒンディー語、オディア語、ビルマ語など）や低リソース言語では、同じ情報量を表現するために英語に比べて何倍ものトークン数が必要になります。
• 実害: トークン数は API コスト、推論レイテンシ、および下流タスクのパフォーマンスに直接影響します。非ラテン文字のユーザーは、英語ユーザーに比べて 10 倍近いコスト（プレミアム）を支払うことになり、これは「沈黙する税」として機能しています。
• 既存手法の限界: 従来の語彙拡張（Vocabulary Expansion）では、頻度ベースのヒューリスティック（例：BPE による新しいトークンの追加）が主流でした。しかし、本研究では、**「どの語彙項目を追加するか（Item Selection）」と「その埋め込みをどう初期化するか（Embedding Initialization）」**という 2 つの決定において、頻度ベースのアプローチが最適ではないことを示しました。

2. 提案手法：FragMend と解釈可能性に基づくアプローチ

本研究は、モデルの内部状態（アクティベーション）を利用する「解釈可能性ベース」の手法を強化し、新しい手法FragMendを提案しています。

2.1 既存手法の分析：Tokens2Words

先行研究である Tokens2Words (Kaplan et al., 2025) は、モデルが「デトークン化（Detokenization）」を通じて、単一のトークンとして存在しない単語を内部で再構成できる現象を利用します。

• Item Selection: 訓練コーパス内の単語が、モデルの内部表現（隠れ層のアクティベーション）において成功裏に「デトークン化」されるかを確認し、その単語を語彙に追加します。
• Embedding Initialization: 成功したデトークン化の時点での隠れ層アクティベーションを、新しい埋め込みベクトルに変換して初期化します。

2.2 新発見：サブワード・デトークン化（Subword Detokenization）

本研究は、LLM が完全な単語を再構成する前に、部分語（サブワード）の段階でデトークン化を行うという現象を発見しました。

• 例：「Layla」が「L」「ay」「la」と分割されている場合、モデルは「Lay」という部分語を「la」よりも早い層で認識・統合している。
• この現象は、LLM の内部語彙が単語レベルだけでなく、構成的（Compositional）なサブワードレベルでも豊かに維持されていることを示唆しています。

2.3 FragMend の仕組み

上記の知見に基づき、FragMend は以下のように動作します。

1. 候補の拡張: 単なる「完全な単語」だけでなく、訓練コーパスから抽出された**接頭辞・接尾辞などのサブワード（Affixes）**も候補語彙として含めます。
2. デトークン化の検証: 完全な単語と同様に、これらのサブワードがモデルの内部で成功裏にデトークン化されるかを確認します。
3. 埋め込みの統合（Reduction Strategy）: 1 つのサブワードが複数の単語の文脈で出現する場合、複数の候補初期化ベクトルが生成されます。これらを単一の埋め込みベクトルに統合するために、以下の戦略を採用します。
   • 最早期層の選択（Earliest Layer）: 最も早い層でデトークン化が成功したインスタンスのアクティベーションを選択する（構成性が早期層で現れるという知見に基づく）。
   • 平均化（Averaging）: 複数の候補を平均する。
4. フィルタリング: 3 UTF-8 バイト未満の短い項目は、語彙拡張による逆効果（Vocabulary Expansion Perversity）を防ぐために除外します。

3. 主要な貢献

1. 頻度ベース手法の限界の解明: 語彙追加の選択において、頻度ベース（BPE）ではなく解釈可能性ベースの方が、パフォーマンスとトークン効率のトレードオフ（パレートフロンティア）において優れていることを実証しました。
2. 解釈可能性に基づく初期化の優位性: 新規語彙の埋め込み初期化において、ランダム初期化や FVT（Frequency-based）などの既存手法よりも、Tokens2Words 方式（アクティベーションに基づく初期化）が、特に非ラテン文字の低リソース言語で大幅な性能向上（約 20 ポイント）をもたらすことを示しました。
3. 「サブワード・デトークン化」の発見と FragMend の提案: モデルがサブワードレベルでも意味を再構成できることを発見し、これを活用した FragMend を提案しました。これにより、Tokens2Words の効率の天井を突破し、低リソース言語で最大 3 倍のトークン削減を実現しました。
4. 実用性の証明: わずか 1,000 件の訓練シーケンス（数時間で作成可能）と、モデルの再学習なし（埋め込みの微調整のみ）で、オディア語などの言語において英語に対する 10 倍のコストプレミアムを半減させることに成功しました。

4. 実験結果

• 評価指標: SIB200（トピック分類）、Belebele（読解力）、Glot-500c（BPB: Bytes Per Byte）。
• モデル: Qwen3-30B-A3B、Qwen3.5 シリーズ、TinyAya-Global などを対象に検証。
• 結果の要点:
  • 効率と性能のトレードオフ: FragMend は、既存の BPE 拡張や Tokens2Words と比較して、トークン削減率（Token Reduction）を大幅に向上させつつ、下流タスクの性能（F1 スコアや精度）をほとんど低下させない（場合によっては向上させる）ことを示しました。
  • 言語別効果: 非ラテン文字の低リソース言語（ビルマ語、オディア語、グジャラート語など）で最も大きな効果が得られました。例えば、ビルマ語では大幅なトークン削減が達成されました。
  • モデルスケール: 大規模モデル（9B パラメータなど）ほど、デトークン化の成功率が高く、FragMend の効果が顕著に現れることが確認されました。
  • 初期化手法の比較: 非ラテン言語において、Tokens2Words/FragMend による初期化は、FVT やランダム初期化を大きく上回りました。

5. 意義と結論

この研究は、LLM のトークナイザ設計における構造的な不平等（非ラテン文字への偏り）に対処するための、低コストかつ高効率な解決策を提供します。

• 技術的意義: 「モデルの内部表現（アクティベーション）を語彙拡張の指針とする」という解釈可能性ベースのアプローチの有効性を、低リソース言語の文脈で初めて包括的に証明しました。また、LLM がサブワードレベルで意味を再構成する「サブワード・デトークン化」という新しい現象を明らかにしました。
• 社会的意義: 非ラテン文字を話すコミュニティに対する「トークン課税」を軽減し、LLM のアクセスコストと遅延を削減することで、AI の民主化と公平性を促進します。
• 実用性: 大規模な再学習を必要とせず、少量のデータと既存のモデルを基に迅速に適用可能なため、実際の産業応用や多言語対応 LLM の開発において即座に価値を発揮します。

総じて、FragMend は、LLM の多言語対応における「効率」と「性能」の両立を実現する、画期的な語彙拡張手法として位置づけられます。