技術要約：大規模言語モデルにおける創発的な再トークン化対称性

問題提起

大規模言語モデル（LLM）におけるトークン化は、表現上の冗長性を導入する。すなわち、単一のバイト列が、同じ表面テキストにデコードされる複数の有効なトークンシーケンス（セグメンテーション）へと分解され得るということである。標準的なトークナイザー（BPE、WordPieceなど）は、通常、貪欲法や動的計画法アルゴリズムを用いて、単一の「標準的な」セグメンテーションを選択する。これらの標準的な形式で学習することは一般的であるが、モデルが意味的に等価な非標準的なセグメンテーションを、不変な入力として扱う方法を学習しているかどうかは明らかになっていない。

先行研究では、トークン化がモデルの脆弱性の源（文字レベルのタスクや綴りに敏感な操作において失敗する原因）であることが強調されてきた。一方で、近年の研究は、モデルがサブワードのシーケンスから完全な単語表現を復元するなど、創発的な構成理解（compositional understanding）を備えている可能性を示唆している。しかし、セグメンテーション不変性（同じ文字列の異なるセグメンテーションを同一のものとして扱うこと）と、セグメンテーション感受性（異なるセグメンテーションが異なる内部状態や出力を誘発すること）の間のトレードオフについての理解には、まだ空白が存在する。従来の入力摂動研究（パラフレーズやタイポなど）の多くは、表面的な文字列を変更してしまうため、意味の変化と頑健性の変化を混同させてしまう。したがって、基礎となるバイト列、構文、または意味を変更することなく、トークン化の効果のみを単離して検証できる制御されたプローブが必要である。

メソドロジー

著者らは、制御された推論時介入として**再トークン化（retokenization）**を導入する。固定された語彙とバイト列 $s$ が与えられたとき、以下のように定義する：

• $E_0(s)$: 標準的なトークンエンコーディング。
• $E_\mu(s)$: 同一の語彙における $s$ の他のあらゆる有効なセグメンテーション。

コアとなる実験設定は、**再トークン化サンプリング（Retokenization Sampling）**である：

1. 確率的再トークン化: 与えられたプロンプトに対し、トークンをランダムに再セグメント化（有効な分解から一様にサンプリングするアルゴリズムを使用）することで、$k$ 個の有効な非標準的セグメンテーションを生成する。この際、確率は $p_{retok}$ とする。
2. 貪欲デコーディング: モデルを各セグメント化されたプロンプトに対して実行し、貪欲デコーディング（temperature = 0）を用いる。これにより、出力の多様性が、出力側のサンプリングのランダム性ではなく、入力表現のみに由来することを保証する。
3. 指標: 著者らは、$k$ 個の再トークン化されたプロンプトのうち、少なくとも1つが正解を導き出す確率を pass@retok(k) と定義する。これは、標準的な pass@k 指標の直接的なアナロジーであるが、多様性の源泉が出力の確率性ではなく、入力のセグメンテーションにある。

本研究では、以下のモデルおよびベンチマークを用いてこのメソドロジーを採用している：

• モデル: OLMo-2 ファミリー（7B パラメータ）の様々な訓練段階（事前学習、SFT、DPO、Instruct）、およびその他のモデルファミリー（Qwen3、Llama-3.1、Gemma、Pythia）。
• ベンチマーク: HumanEval（コード生成）、GSM8K（数学的推論）、GSM8K Python（コードを介した数学）、MMLU（知識検索）。
• 比較対象: 著者らは再トークン化を以下と比較している：
  • 標準的な温度サンプリング（Canonical Temperature Sampling）: 標準的な出力側の多様性。
  • タイポ・サンプリング（Typo Sampling）: 表面的な文字列を変更する入力摂動（制御性は低いが、より強力な探索軸となる）。
  • 隠れ状態解析（Hidden State Analysis）: レイヤー間での潜在表現の変位と分散の測定。

主要な貢献

1. 制御されたプローブとしての再トークン化: 著者らは、再トークン化を意味保存的な介入として定式化した。これは、固定されたバイト列のトークンレベルの分解のみを変更するため、セグメンテーションの効果を意味や構文の変化から明確に分離できる。
2. 創発的な対称性と残留感受性: 隠れ状態解析を通じて、著者らは、非標準的なセグメンテーションの内部表現が互いにクラスター化している（創発的な対称性を示す）一方で、標準的な状態へと完全に崩壊（collapse）することはないことを示した。特にモデルの最終層において、「残留感受性（residual sensitivity）」が持続している。この感受性は、事前学習および事後学習を通じて段階的に学習される。
3. 再トークン化サンプリング・プロトコル: 著者らは、入力表現の多様性がタスクの成功にどのように影響するかを定量化するために pass@retok(k) を導入した。この指標は、標準的な pass@k と同様に、収穫逓減を伴う上昇曲線を示すことを示しており、これは異なるセグメンテーションが異なる有用な軌跡を露出させることを示唆している。
4. タスク依存の利得と頑健性の傾向:
   • 失われた解の回収: HumanEval および GSM8K において、再トークン化サンプリングは標準的なデコーディングが見逃した正解を回収する。
   • 構造的多様性: HumanEval における AST ベースの解析により、正解となる再トークン化された生成物は、単一の標準的なテンプレートではなく、広範なプログラム構造をカバーしていることが明らかになった。
   • モデルのスケーリング: 強力なモデルは、再トークン化に対しても一般に強力であり続け、セグメンテーションへの頑健性は全体的なモデル能力と連動している。
5. 計算効率の分析: 著者らは、プロンプトのトークン予算を一致させた条件下で、再トークン化を温度サンプリングおよびタイポ・サンプリングと比較した。その結果、再トークン化は独自の多様性を提供するものの、非標準的なセグメンテーションによってプロンプト長が増加することが多いため、温度サンプリングよりも計算効率が低いことが判明した。

結果

• 表現空間: 事前学習中、再トークン化による潜在表現の変位（バイアス）と分散は減少するが、消失はしない。最終層がセグメンテーションの変化に対する最大の感受性を示す。
• 行動パフォーマンス:
  • HumanEval: 再トークン化サンプリングは、標準的な pass@k との間に最大のギャップを示し、構造的に多様な正解プログラムを回収する。一部のタスクは、再トークン化サンプリングによってのみ解決される。
  • GSM8K & GSM8K Python: 再トークン化は性能を向上させるが、コード生成と比較すると、標準的なサンプリングとの差は小さい。
  • MMLU: 離散的な回答空間が小さいため、繰り返しサンプリング（標準サンプリングおよび再トークン化の両方）はすぐに飽和し、このドメインでは pass@retok の差異は顕著ではない。
• 学習ダイナミクス: pass@k と pass@retok(k) は共に事前学習中に改善し、事後学習（SFT、DPO、Instruct）において急激な上昇を示す。これは、セグメンテーション不変性が、モデルの能力とともにスケールする学習特性であることを示唆している。
• タイポとの比較: タイポ・サンプリングは、可視的なテキストを変更するため制御性は低いものの、純粋な精度向上の観点では再トークン化を上回る傾向がある。再トークン化は、セグメンテーション特有の効果を調べるための「最もクリーンな」プローブであり続けている。
• 多様性: 再トークン化された生成物は、単一のテンプレートに収束することはない。それらは、温度サンプリングされた生成物と同等の範囲のプログラム構造を探索する。

意義と主張

本論文は、再トークン化を大規模言語モデルの単純かつ強力なプローブとして位置づけ、主に2つの洞察を提供している：

1. 科学的洞察: これは、トークン化されたモデルが創発的かつ部分的なセグメンテーション対称性を備えていることを明らかにしている。モデルは標準的なトークン化に厳格に縛られているわけではなく、等価な入力を多様な方法で処理できるが、計算に影響を与える残留感受性を保持している。これは、トークン化が単なる圧縮ステップであるという見方に異を唱え、それがモデルの計算インターフェースの根本的な一部であることを示唆している。
2. 実用的応用: 再トークン化は、意味的に等価な入力を通じてモデルの内部計算から多様性を生成する、新しいサンプリング戦略（再トークン化サンプリング）を提供する。現在のところ、プロンプト長が増加するという計算コストの問題があるため、温度サンプリングの即時の置き換えにはならないが、探索のための補完的な軸として機能する。それは、コード生成のようなオープンエンドな領域において、複数の有効なアルゴリズム・ファミリーが存在する場合に、従来のメソッドが見逃す解を回収することができる。

著者らは、本研究が構成的理解とプロンプト感受性に光を当て、トークン化の有効なセグメンテーションの多様性が、展開されたトークン化LLMにおいて無視できない「メカニスティックに意味のある自由度」であることを示したと控えめに主張している。彼らは、再トークン化が他のサンプリング手法よりも普遍的に優れていると主張しているのではなく、それが多様性のユニークな、かつ意味保存的なソースを提供することを主張している。