技術的概要：SimCT - 異種トークナイザー間の方策内蒸留における失われた教師信号の回復

1. 問題定義

方策内蒸留（OPD）は、大規模な教師モデルの振る舞いを小規模な学生モデルへ転移するための標準的なパラダイムである。オフライン蒸留とは異なり、OPD は学生モデルの現在の方策によって生成された接頭辞に対して教師モデルをクエリするため、訓練分布と推論分布を整合させ、誤差の蓄積を軽減する。

しかし、標準的な OPD は、教師モデルと学生モデルが同一のトークナイザーを共有し、次のトークンの予測をトークン単位で比較可能であるという暗黙の仮定に基づいている。現実的な展開シナリオでは、教師モデルと学生モデルは異なるファミリーに属し、異種トークナイザーを持つことが頻繁にある。この不一致は、2 つの根本的な障壁を生み出す：

1. 語彙の不一致：トークン集合（$\mathcal{V}_T$ および $\mathcal{V}_S$）は部分的にしか重ならない。共有トークンのみに教師信号を制限すると、教師の出力分布の重要な部分が失われる。
2. シーケンスの不一致：基盤となるテキストが同一であっても、異なるトークナイザーはそれを異なるトークン列に分割する（例："happy" 対 "hap" + "py" 対 "ha" + "pp" + "y"）。その結果、特定の接頭辞における教師の次のトークン分布は、学生モデルの分布と同じテキスト単位に対応しないため、標準的なトークンレベルの KL 発散は定義不可能となる。

既存の異種トークナイザー向け解決策は、最適輸送（計算コストが高い）、学習済み投影層（追加パラメータが必要）、または粗粒度のチャンクマッチング（微細な信号の損失）を通じてこのギャップを埋めようとする。これらの手法は、教師信号の完全な回復に失敗するか、あるいは大きなオーバーヘッドを導入する傾向がある。

2. 手法：簡易異種トークナイザー OPD（SimCT）

著者は、OPD 目的関数そのものを修正するのではなく、教師空間を拡張することで失われた教師信号を回復する手法、SimCT を提案する。

中核概念：最小整合単位

予測を同一トークンのみで一致させることを強制するのではなく、SimCT は最小整合単位（MAU）を特定する。MAU とは、トークナイザーが異なるトークン列に分解するとしても、両方のトークナイザーで実現可能な最細のテキスト継続として定義される。

• 共有トークン：両方の語彙に含まれるトークン（$\mathcal{V}_T \cap \mathcal{V}_S$）は、1 対 1 の整合単位として扱われる。
• MAU：トークナイザーが一致しないテキスト領域については、各単位が教師トークンの列と学生トークンの列として表現可能な、境界整合性を保つ最細の分割が構築される。

教師空間の構築

SimCT は、共通の教師空間 $\mathcal{U}_{SimCT}$ を定義する：
$$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$$
ここで、$\mathcal{A}$ はすべての最小整合単位の集合である。

スコアリングと損失

この空間上の分布を比較するために、SimCT はスコアリングマップ $\Pi_T$ および $\Pi_S$ を導入する：

1. 共有トークン：スコアは元の対数確率である。
2. MAU（マルチトークン）：スコアは、構成トークンの長さ正規化された平均対数尤度である。モデル $M$ によって $k$ トークン $(v_1, \dots, v_k)$ として実現される単位 $u$ に対して：
   $$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$$
   この正規化は、特定のトークナイザー下でより多くのトークンを必要とする単位に対するペナルティを防止する。

$\mathcal{U}_{SimCT}$ 上の最終的な分布 $q_T$ および $q_S$ は、これらのスコアを正規化することで得られる。蒸留損失は、標準的な逆 KL 発散のままである：
$$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$$

理論的性質

• 定理 1：MAU は、両方のトークナイザーによって共同で表現可能な最細の境界整合インターフェースを構成する。これより厳密に細分化した分解は、共同トークナイザー性を保持しない。
• 命題 1：これらの単位を粗大化すること（MAU をより大きなスパンにマージすること）は、教師と学生分布間の KL 発散を厳密に減少させ、実質的にスパン内の有用な区別を消去する。したがって、最小粒度を保持することは、信号を保持する上で理論的に最適である。

3. 主要な貢献

1. 信号損失の特定：本論文は、標準的な異種トークナイザー OPD が、語彙とシーケンスの不一致の両方により、教師信号の大部分を黙って破棄していることを実証する。
2. 教師空間の拡張：SimCT は、追加の学習可能パラメータや複雑な輸送計算を必要とせず、共有語彙外の信号および 1 対 1 整合しないテキストセグメントからの信号を回復する、新規の教師インターフェースを導入する。
3. 理論的正当性：著者は、MAU が可能な限り最細の教師粒度を表し、それらを粗大化することは必然的に有用な教師 - 学生の区別を除去することを証明する。
4. 実証的検証：広範な実験により、SimCT が数学的推論およびコード生成タスクにおいて、共有語彙ベースラインおよび他の異種トークナイザー手法を常に上回ることを示した。

4. 実験結果

著者は、Qwen2.5、Phi-4、Gemma-2 の 3 つの異種教師 - 学生ペアを、GSM8K、MATH-500、MBPP、LiveCodeBench-v6 の 4 つのベンチマークで評価した。

• 性能向上：SimCT は、SFT ウォームスタートおよびすべてのベースライン（SimpleOPD、DSKD、ALM、GOLD）に対して一貫した改善を達成した。SFT に対して平均相対的に**6.0%**の向上をもたらし、最良の異種トークナイザーベースラインを大幅に上回った。
• 信号回復分析：アブレーション研究により、向上が失われた 2 種類の信号の回復に起因することが確認された：
  • 共有語彙外（OoSV）：共有語彙外の高確率教師予測。
  • 未整合単位：1 対 1 で整合できないテキストセグメント。
    統合された MAU 空間を通じて両方のソースを回復することが、最良の性能をもたらした。
• 粒度アブレーション：MAU をより粗い単位にマージすると性能が低下し、これは粗大化が微細な教師 - 学生の好みを表す KL 信号を除去するという理論的予測と相関していた。
• 効率性：SimCT は SimpleOPD に比べて計算オーバーヘッドがわずかなのみ（8x H20 GPU での実行あたり約 0.16 時間）であり、学習済み投影や最適輸送を必要とする手法よりも著しく高速である。

5. 意義と主張

本論文は、異種トークナイザー OPD における主要なボトルネックは訓練パラダイムそのものではなく、教師空間の構築であると主張する。「トークンの一致」から「テキスト継続の一致」へと焦点を移すことで、SimCT は以前はアクセス不可能だった教師信号を回復する。

著者は、SimCT が異なるトークナイザーを持つモデル間の蒸留に対するシンプルでパラメータフリーかつ堅牢な解決策を提供すると主張する。結果は、共同でトークナイズ可能な最細単位を保持することが、方策内学習信号の品質を維持する上で重要であることを示唆している。この研究は、損失関数を修正したり複雑な整合機構を追加したりするよりも、最小整合単位を含むように教師空間を拡張する方がより効果的な戦略であることを確立している。

著者が指摘する限界：

• 評価は現在、数学およびコードのドメインに限定されている。
• この手法は標準的な BPE 風トークナイザーに依存しており、根本的に異なる分割挙動を持つトークナイザーへの適応が必要となる可能性がある。
• 現在の実装は、教師の次のトークン分布へのホワイトボックスアクセスを前提としている；ブラックボックス設定への拡張は将来の課題として残されている。