技術要約：トークナイザーの壁を打破する：モデルファミリーを跨ぐオンポリシー蒸留

1. 問題提起

オンポリシー蒸留（On-Policy Distillation: OPD）は、大規模言語モデル（LLM）のポストトレーニングにおいて非常に効率的な手法として台頭しており、エキスパートである「教師」モデルから「生徒」モデルへと、生徒自身の生成した軌跡（trajectory）に基づく密なトークンレベルの監督信号（対数確率）を利用して知識を転送することを可能にします。しかし、既存のOPD手法は、教師と生徒が同一のトークナイザーを共有しなければならない同一ファミリー内での蒸留に厳格に限定されています。

クロス・トークナイザー蒸留（例：QwenとLlamaのような異なるモデルファミリー間）を試みる際、語彙の不一致という根本的な障壁が生じます。語彙サイズ、エンコーディングの好み、および特殊文字の処理の違いにより、教師の対数確率は生徒のトークンに直接マッピングすることができません。現在の主流なクロス・トークナイザー・シナリオにおける慣行は、教師が生成したレスポンスを用いた教師あり微調整（SFT）に依存しています。このアプローチは、教師の出力を生のテキストとしてのみ扱い、教師の確率分布に埋め込まれた豊かな密な知識を捉えることができません。既存のクロス・トークナイザー・アライメント手法は主にオフポリシー（off-policy）蒸留向けに設計されており、OPDに固有のトークンレベルの信号伝播問題を効果的に解決することはできません。

2. 手法

著者らは、共通のトークナイザーを必要とせず、モデルの内部アーキテクチャを変更することなく、語彙のギャップを埋めるクロス・トークナイザー・オンポリシー蒸留のためのフレームワークを提案しています。この手法は、以下の2つのコアコンポーネントで構成されています。

A. 適応型チャンク・アライメント（Dual-Pointer Chunk Alignment - DPCA）

異なるトークナイザーによって生成されたシーケンスを整列させるため、著者らは最小同期チャンクを特定する決定論的なアルゴリズムを導入しています。

• メカニズム: アルゴリズムは、デトケナイズ関数（$D$）の決定論的かつ単調増加の特性を利用します。二つのポインタ（生徒用 $p_S$ と教師用 $p_T$）を用いる戦略を採用し、デコードされたテキストの接頭辞が一致する（$D(y^S_{1:i}) = D(y^T_{1:j})$）最小のトークン増分を見つけ出します。
• 貪欲戦略（Greedy Strategy）: ポインタはデコードされた文字列の長さに基づいて進みます。生徒のデコードされた断片が教師よりも短い場合は生徒のポインタを進め、逆の場合も同様です。
• 理論的保証: このアルゴリズムは、完全性（すべての同期ポイントを特定すること）と最小性（チャンクがこれ以上分割できないことを保証すること）を保証します。これにより、密な監督信号が最小のトークンクラスターに局在化され、大きな集約ブロックにおける信号の曖昧性を回避することを保証します。

B. セマンティック・プライアによるチャンクレベルのクレジット割り当て

シーケンスが同期されたチャンクに分割された後、教師の監督信号を生徒のトークンに投影する必要があります。

• 結合確率のマッチング: この手法は、同期されたチャンク（同じ基礎となるテキストを表す）を生成する結合確率は、両方の分布において等価であるべきであると仮定しています。これは、チャンク内の対数確率の総和が等しくなければならないことを意味します。
• セマンティック・プライアを用いた最適化: 生徒の内部的なセマンティック構造を維持しながら、教師のターゲット対数尤度（$L^{(c)}_T$）を生徒のトークン（$s_c$）に分配するために、著者らは制約付き最適化問題を解きます。彼らは、生徒の事前分布（$p$）との方向的一致を最大に維持するターゲット分布を求めます。
• 閉形式解（Closed-Form Solution）: 結果として得られるターゲット対数確率（$\log q_i$）は、生徒の事前対数確率（$\log p_i$）を、チャンクレベルの対数尤度の比率によって線形にスケールさせたものになります。
  $$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$$
  これにより、生徒が当初「驚き」（低い確率）を感じていたトークンに対して、比例して大きなアドバンテージ信号が分配され、チャンク内の相対的なセマンティック構造が保持されます。

C. 学習目的関数

計算されたトークンごとのアドバンテージは、RL重要度サンプリング損失（逆KLダイバージェンス）を用いた標準的なOPDフレームワークに統合され、生徒が教師のガイダンスに従いつつ、自身のロールアウトに基づいてポリシーを更新できるようにします。

3. 主な貢献

1. 初の高精度クロス・トークナイザーOPD: 本研究は、異なるトークナイザーを持つ異なるモデルファミリー間での、高精度なトークンレベルのオンポリシー蒸留を初めて実現しました。
2. 適応型アライメント・アルゴリズム: 異種トークナイズ・スキーム間における最小同期チャンクの特定を数学的に保証する、Dual-Pointer Chunk Alignment (DPCA) アルゴリズムの提案。
3. セマンティック・プライアによるクレジット割り当て: 相対的なトークン確率の歪みを避けつつ、生徒の内部セマンティック構造を保持するように教師の対数確率を生徒のトークンに投影する新しいメカニズム。
4. 計算効率: クロス・トークナイザーOPDが、従来のSFTやオフポリシー蒸留のベースラインよりも大幅に計算効率が高いことを実証。

4. 実験結果

著者らは、2つの異なる教師・生徒のペアリングを用いて、推論ベンチマーク（AIME, MATH, GPQA-Diamond, LiveCodeBench）で手法を評価しました。

• 設定 1: Qwen3-8B (教師) $\to$ Llama-3.1-8B-SFT (生徒)。
• 設定 2: DeepSeek-R1 (教師) $\to$ DeepSeek-R1-Distill-Qwen-7B (生徒)。

パフォーマンス:

• Qwen $\to$ Llamaの設定において、OPDは平均スコア40.7を達成し、SFT (35.1)、ALM (35.7)、CDM (35.9) を大幅に上回りました（最大+5.6ポイント）。
• DeepSeek-R1の設定において、OPDは52.0に達し、ベースラインを平均2.4〜2.7ポイント上回りました。
• 改善は数学、科学、コードのベンチマーク全体で一貫しており、特にAIME25 (+11.6ポイント) や GPQA-Diamond (+6.1ポイント) で顕著な向上が見られました。

計算効率:

• SFTで初期化されたモデルから同じAIME24の精度（44.4%）を達成するために、著者らはSFTを拡張する場合、追加で482Kの学習サンプルと約1.17 $\times$ 10$^{21}$ FLOPsが必要になると推定しました。
• 対照的に、OPD手法はわずか20Kの追加サンプルと約4.8 $\times$ 10$^{19}$ FLOPsで同じパフォーマンスを達成しました。
• これは、SFT外挿スキームと比較して、学習データ使用量を**約4.1%に、総計算コストを約4%**に削減することを意味します。

同一トークナイザーOPDとの比較:

• 本論文では、クロス・トークナイザーOPDのパフォーマンス向上（平均+5.6）が、同一トークナイザーOPD（平均+5.5）と同等であることを指摘しており、これは投影メカニズムが監督信号の質を著しく低下させないことを示しています。

5. 意義と主張

本論文は、この研究がオンポリシー蒸留におけるより広範な教師・生徒ペアの選択肢を切り拓くものであると主張しています。トークナイザーの共有要件を取り除くことで、多様なモデルファミリー間での柔軟な知識転送が可能になります。著者らは、教師のフィードバックが対数確率を保存する形で生徒のトークンに投影できる限り、共有の語彙は効果的なOPDの前提条件ではないと述べています。

この研究は、LLM間の相互作用を適応・強化するための新しい道を切り開き、「密な監督」というパラダイムが単一のモデルシリーズのポストトレーニングを超えて拡張可能であることを示唆しています。著者らは、計算上の制約によりテストされたモデルの規模（8Bパラメータ未満）に関する限界を認め、より大規模なモデル（例：70B）での検証を今後の課題として挙げています。