技術要約：LiteToken：BPEトークナイザーからの中間マージ残渣の除去

1. 問題提起

大規模言語モデル（LLM）はパラメータ数や学習データの劇的な増加を遂げてきた一方で、そのトークナイザー（特に広く使用されているByte Pair Encoding: BPE）の設計については、比較的検討が進んでいない。本論文は、標準的なBPE語彙における「中間マージ残渣（intermediate merge residues）」（「スキャフォールド・トークン（scaffold tokens）」とも呼ばれる）と呼ばれる特定の非効率性を特定している。

BPEの学習プロセスにおいて、アルゴリズムは最も頻度の高い隣接するトークンペアを反復的にマージしていく。この過程で生成されるトークンの多くは、生成された瞬間には非常に頻度が高いものの、その後のさらなるマージによって吸収されてしまう。その結果、これらのトークンは最終的なコーパス内では低頻度となるが、語彙には残り続ける。著者らは、これらの残渣によって引き起こされる3つの主要な問題を特定している：

1. トークンの無駄（Token Waste）: これらのトークンは、効果的に利用されることなくトークン埋め込み（embedding）やデコーディング層の容量を占有しており、パラメータとFLOPsの浪費を招いている（8Bパラメータ以下のモデルにおいて推定1〜3%）。
2. 性能の低下（Performance Degradation）: これらのトークンは最終的なコーパスにおいて出現頻度が低いため、十分に学習されていない。モデルは、これらのトークンを誘発する入力（特に非定型的または分布外のシナリオ）を処理する際に、高いエラー率を示す。
3. 脆弱性（Vulnerability）: 低頻度であること、およびノイズの多いテキストパターンと関連していることから、これらのトークンは敵対的攻撃や、綴りミスやジェイルブレイク型の摂動に対する堅牢性の低下の要因となる。

2. 手法：LiteToken

著者らは、既存のBPEトークナイザーを再学習することなく、中間マージ残渣を特定して除去するために設計された、軽量でプラグアンドプレイなアルゴリズムであるLiteTokenを提案している。このプロセスは、主に3つの段階で構成される：

A. 特定アルゴリズム

この手法は、コーパス駆動の統計分析を用いて、真の残渣と、言語学的に意味のある低頻度トークン（例：語根、接頭辞、接尾辞など）を区別する。これには2つの指標を用いる：

1. 最終/中間（FI）比率: これは、最終コーパスにおけるトークンの頻度（$F_1$）を、マージプロセス中の総出現回数（$F_1 + F_2$）に対する割合として測定する。比率が低いことは、そのトークンがより大きな単位へとほとんどマージされたことを示している。
   $$R = \frac{F_1}{F_1 + F_2}$$
2. 隣接エントロピー・フィルタリング: 有効な形態素単位（例：「rewrite」における「re」や、単独の単語としての「import」）を除去することを避けるため、アルゴリズムは左および右の隣接トークンのエントロピーを計算する。中間マージ残渣は通常、固定された低エントロピーのコンテキストを持つ（例：「includ」はほぼ常に「e」、「ing」などで終わる）。一方、有効な語根や単独の単語は、より多様な隣接関係を示す。
   $$S(t) = \min \{S_{left}(t), S_{right}(t)\}$$

トークンは、FI比率が閾値（$r$）を下回り、かつエントロピー・スコアが閾値（$s$）を下回る場合に、残渣として分類される。

B. 除去と再マージ

残渣が特定されると、トークナイザーは**分割（Split）と再マージ（Re-Merge）**のプロセスを通じて修正される：

• 分割（Split）: 残渣セットに属するトークンに遭遇した場合、アルゴリズムはそのトークンを生成したマージ操作を再帰的に逆転させ、非残渣（または基本）トークンのみが残るまで、その前身となるトークンへと分割する。これにより、未知のトークンが発生しないようにする。
• 再マージ（Re-Merge）: 過度なシーケンスの断片化を防ぐため、アルゴリズムは「アンマスクされた（unmasked）」学習済みマージを使用して再マージステップを適用する。これにより、分割されたトークンを、除去された残渣トークンを再導入することなく、よりコンパクトで言語学的に整合した単位（例：「corruption」を分割されたパーツから再形成する）へと再結合する。

C. 出力層のマスキング

オートレグレッシブなデコーディング中に残渣トークンが生成されるのを防ぐため、対応する出力投影行列（$O \in \mathbb{R}^{d_h \times N_{vocab}}$）の列をマスクする。著者らは、KVキャッシュとの互換性を維持するため、生成時には再マージは適用されないと述べている。

D. Tiktokenへの適合性

この手法は、厳密なマージツリーを持たないtiktoken（Llama-3、GPT、Gemmaファミリーで使用）にも適応されている。これらのトークナイザーの場合、アルゴリズムは特定のトークンをもたらすすべての許可されたマージパスを考慮し、エンコーディング中に使用される実際のマージテーブルに基づいて頻度統計を行う。

3. 主な貢献

• 体系的な特性評価: 本論文は、広く使用されているLLMのBPEトークナイザー（Qwen、DeepSeek、Llama-3、GPTファミリーを含む）において、約5%から10%のトークンが中間マージ残渣であることを示す経験的な分析を提供している。
• LiteTokenアルゴリズム: トークナイザーやモデルを再学習することなく、これらの残渣を削減し、語彙サイズとモデルパラメータを削減する、新しい学習フリーの手法。
• プラグアンドプレイの展開: このアプローチにより、事前学習済みモデルは、全体的な性能を維持したまま、修正されたトークナイザーを即座に利用できる。

4. 実験結果

著者らは、Qwen、Llama-3、DeepSeekなどのモデルを用い、0.6Bから70Bパラメータの範囲で、C4-en、RedPajama、およびSQuADデータセットを用いてLiteTokenを評価した。

• パラメータと計算量の削減: 残渣を除去することで語彙サイズが5〜10%減少し、それに比例して埋め込み層および出力層のパラメータが減少する（0.6Bモデルで最大約2.6%）。
• 言語モデリング性能: 修正されたトークナイザー（「Lite」）は、パープレキシティ（PPL）への影響が無視できる程度であった。例えば、C4-enにおいて、Qwen-3-8BおよびLlama-3.1-70BのオリジナルとLiteトークナイザー間のPPLの差は0.5未満であった。
• 堅牢性（Robustness）: 最も顕著な改善は、堅牢性において観察された。摂動テスト（綴りミスや敵対的なトークン境界）において、LiteTokenモデルは、オリジナルモデルと比較して、エラー訂正および質問回答における高い精度を示した。例えば、摂動下でのQwen-3-8Bの性能低下は、1.78%から0なる0.82%に減少した。
• 全般的な性能: SQuADのような標準的なベンチマークにおいて、残渣の除去は、一般的なNLP能力を損なうことなく、F1スコアを無視できる範囲内に維持した（例：Qwen-3-8Bにおいて0.833対0.829）。

5. 重要性と主張

本論文は、トークナイザーの設計が、LLMアーキテクチャにおける重要でありながら、しばしば見落とされている要素であることを主張している。著者らは、中間マージ残渣は、計算リソースを浪費し、ノイズの多い入力に対する脆弱性を生み出す具体的な非効率性であると述べている。

LiteTokenを導入することで、著者らは以下のことを実証した：

1. 現代のBPEトークナイザーにおける語彙の大部分は冗長である。
2. これらの残渣を除去することで、再学習のコストをかけることなく、モデルの堅牢性を向上させ、タイポグラフィカルなエラーや敵対的な摂動に対する耐性を高めることができる。
3. 「プラグアンドプレイ」の性質により、メモリ節約と推論効率の面で、即時の展開メリットが得られる。

著者らは、現在の研究は英語およびラテン文字のスクリプトに焦点を当てているものの、中間マージ残査の現象は他の言語でも普及している可能性が高く、多様な言語構造にわたるトークナイザー最適化のさらなる調査の必要性を示唆している。また、彼らの研究はトークナイザー層に焦点を当てた控えめな範囲のものであり、モデルの再学習との相互作用については今後の研究課題として残していることを強調している。