技術要約：ターゲット分布設計を通じた教師あり微調整（SFT）の統一的視点

問題提起

教師あり微調整（SFT）は、エキスパートによるデモンストレーションを模倣することで、大規模言語モデル（LLM）を特定のタスクに適応させるための重要な段階である。しかし、標準的なSFTは、観測されたトークン $y_t$ の確率を最大化する一方で、他のすべてのトークンの確率をゼロに割り当てる、硬直したワンホット・ターゲット分布に依存している。

著者らは、この定式化が以下の理由から最適ではないと主張している：

1. 非一意性： 現実的なデータセットでは、単一のプロンプトに対して複数の妥当な推論パス、言い回し、あるいは中間ステップが存在することが多い。単一の観測されたトークンが、唯一正しい継続であることは稀である。
2. ノイズと不整合： 観測されたトークンは、事前学習済みモデルにエンコードされた豊かな知識の事前分布と、ノイズを含んでいたり、あるいは乖離していたりする場合がある。
3. 過学習的な自信（Overconfidence）： ワンホット・ターゲットに厳密に適合させることは、ノイズを増幅させ、過度な自信を誘発し、事前学習された事前分布を阻害し、汎化性能を低下させる可能性がある。

既存の研究は、トークンレベルの再重み付け（例：DFT, ProFit）や分布の正則化（例：ラベルスムージング、KL制約）を通じてこれらの問題の軽減を試みている。しかし、これらの手法は個別のアルゴリズム的選択肢として提示されることが多く、それらの関連性を説明したり、より優れた目的関数を構築するための指針を与えたりするための統一的な理論的枠組みを欠いている。

手法：Q-ターゲット・フレームワーク

本論文は、SFTを損失最小化問題としてではなく、ターゲット分布設計問題として再解釈している。核心となる洞察は、あらゆるトークンレベルの損失関数は、暗黙的に特定のターゲット分布 $Q_t$ への適合を駆動しているという点である。

Q-ターゲット定式化

著者らは、Q-ターゲット・フレームワークを提案し、訓練における教師信号を以下の2つの明示的な設計選択肢に分解する：
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
ここで：

• $\delta_{y_t}$ は、観測されたトークンのワンホット分布である。
• $\gamma_t \in [0, 1]$ は、観測されたトークンに対する**信頼（trust）**を表す。これは、ラベルに割り当てられる確率質量を制御する。
• $\tilde{\pi}_t$ は、妥当な代替案に対する**残差分布（residual distribution）**であり、残りの確率質量 $(1 - \gamma_t)$ を受け取る。

このフレームワークは、既存のSFTバリアントを統合する：

• トークン重み付けバリアント（例：DFT, ProFit）： 主にモデルの確信度やトークンの質に基づいて $\gamma_t$ を調整するが、暗黙的に残差 $\tilde{\pi}_t$ をモデル自身の事前分布（自己一致）に設定しており、代替案に対する修正信号を提供しない。
• 分布バリアント（例：ラベルスムージング、KL制約）： 主に $\tilde{\pi}_t$（例：一様分布、参照モデル）を指定するが、多くの場合 $\gamma_t$ は固定されている。

TARGET-SFT：具体的な実装

このフレームワークに基づき、著者らは両方のコンポーネントを明示的に設計するTARGET-SFTを提案する：

1. 適応的信頼（Adaptive Trust, $\gamma_t$）： 固定された重みの代わりに、$\gamma_t$ はモデル自身の予測確率 $p_y = \pi_\theta(y_t | x_t)$ から導出される。

   • モデルが確信している場合（$p_y \approx 1$）、$\gamma_t \approx 1$ となり、目的関数は標準的なSFTに近づく。
   • モデルが不確実な場合（$p_y \approx 0$）、$\gamma_t \approx 0$ となり、潜在的にノイズを含むラベルの厳密な模倣を弱める。
   • これは、トークンへの「信頼」をベータ分布に従う潜在変数としてモデル化することに動機づけられており、その事後平均はモデルの確率に近似される。

2. 教師ガイド付き残差（Teacher-Guided Residual, $\tilde{\pi}_t$）： 残差を（新たな情報を提供しない）学生自身の事前分布にデフォルト設定するのではなく、教師ガイド付き分布に割り当てる。

   • 残差は、KL正則化された報酬シェーピングを用いて構成される：$\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$。ここで $\pi_T$ は教師分布（例：指示チューニングされたモデル）であり、$\eta$ は教師信号の強度を制御する。
   • これにより、観測されたラベルが不確実な場合に、教師が示唆する「妥当な代替案」へとモデルを導くためのフォールバック（代替）的な監督メカニズムとして機能する。

最終的な目的関数は、モデルの分布と構築された $Q_t^{TARGET}$ との間のクロスエントロピー損失である：
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

主な貢献

1. ターゲット分布の視点： 本論文は、SFTの捉え方に根本的な転換をもたらし、誘導されるターゲット分布こそが設計すべき主要な対象であると主張している。
2. Q-ターゲット・フレームワーク： SFTの目的関数を、ラベルの信頼度（$\gamma_t$）と残差の割り当て（$\tilde{\pi}_t$）という2つの明示的な選択肢に分解する統一的なレンズを提供する。このフレームワークは、既存のバリアントがいかにしてこの空間内の暗黙的な選択肢であるかを説明する。
3. TARGET-SFT アルゴリズム： ラベルの模倣と教師ガイド付きの残差監督を適応的にバランスさせる具体的な手法を提案する。これにより、不確実なラベルへの過学習を避けつつ、教師の知識を活用してモデルを妥当な代替案へと導く。

実験結果

著者らは、数学的推論（NuminaMath-CoT, OpenR1-15k）および医学的推論（m23k）をカバーする10のデータセット-モデル設定（1.5Bから8BパラメータのQwen2.5, Qwen3, LLaMAを含む）にわたって、TARGET-SFTを評価した。

• パフォーマンス： TARGET-SFTは、すべての設定において、標準的なSFT、確率重み付けSFT（p-loss）、および知識蒸留のベースラインを上回り、一貫して最高の Average@16 正解率を達成した。
• 数学的推論： 標準的なSFTは、硬直したワンホット適合のために、しばしばわずかな改善にとどまるか、あるいは性能を低下させた（例：Qwen3-1.7B）。TARGET-SFTはp-lossを有意に改善しており、残差分布を明示的に設計することが、単にラベルの重みを下げることよりも優れていることを示している。
• 医学的推論： 標準的なSFTが良好な結果を示すケース（厳密な模倣が有効な場合を示唆）もあったが、TARGET-SFTは依然として最高の平均パフォーマンスを達成した。これは、教師ガイド付きの残差ブランチが、単純な再重み付けが効果的でない場合でも価値を提供することを示している。
• アブレーション研究：
  • 教師信号の強度（$\eta$）を変化させても適応的な重み付けは頑健であった。
  • 適応的な重み $(1-\gamma_t)$ を固定定数 $c$ に置き換えると性能が低下し、不確実性に依存した重み付けの必要性が確認された。
  • 蒸留ベースラインは混合重み $c$ に対して非常に敏感であり、TARGET-SFTの性能には及ばなかった。これは、教師を固定されたフルターゲットとして使用することが、適応的なフォールバック監督と比較して最適ではないことを示唆している。

意義と主張

本論文は、その定式化がSFT訓練におけるより根本的な設計原則を明らかにしていると主張している。SFTを損失関数から誘導されるターゲット分布へと焦点を移すことで、著者らは以下を実現している：

• 散在するSFTバリアントを単一の理論的枠組みの下に統合した。
• データへの模倣、事前分布の保持、あるいは外部ガイダンスの取り込みを明示的に制御することを可能にする、より広いSFT目的関数の探索空間を提示した。
• 効果的なSFTとは、硬直したワンホット・ターゲットや静的な正則化に頼るのではなく、模倣の強さと残りの確率質量の割り当てを注意深く設計することから生まれることを実証した。

著者らは、TARGET-SFTがSFTに対する新しい、より完全な視点を提供し、データセットの模倣、事前分布の保持、および代替的な監督をより良くバランスさせる将来の目的関数設計への新たな道を切り開くと結論付けている。