技術的概要：ベクトル誘導方策最適化（VSPO）

問題定義

現代の大規模言語モデル（LLM）は、主たる精度目的の最適化を必要とする一方で、冗長性、自信の表現、専門性のレベル、あるいは誤った文脈に対する頑健性といった二次的な行動選好にも同時に適合することが求められます。実際には、ベースモデルはこれらの望ましい行動を稀にしか、あるいは全く示さないことが多く、これにより希薄な行動報酬のボトルネックが生じます。

既存のアプローチは、この多目的設定において重大な限界に直面しています：

• 報酬設計（Reward Shaping）: グループ相対方策最適化（GRPO）に補助的な報酬を追加することは、サンプリングされたロールアウトにおいて目標行動が稀な場合、非効率的です。スカラー報酬は軌跡を評価しますが、ロールアウト分布そのものの多様性や質を向上させるわけではありません。GRPO グループに高品質または行動的に多様な候補が存在しない場合、相対的優位性の正規化は弱い学習信号しか提供しません。
• 教師追跡蒸留（SFT）: 目標行動を持つ軌跡を生成または書き換えるために、より強力な教師モデルを使用することは、オフポリシーの不一致をもたらします。学生モデルは、自身のサンプリング出力ではなく、他のモデルによって生成された軌跡から学習するため、蒸留された行動と学生モデルが到達可能な分布との間に乖離が生じる可能性があります。
• オンライン AI フィードバック（RLAIF）: RL ループ中に強力な教師モデルを注釈付けや書き換えに使用する手法は、繰り返される API 呼び出しにより計算コストが高く、書き換えられた軌跡で学習する際に依然としてオフポリシーの欠点に悩まされます。

手法：ベクトル誘導方策最適化（VSPO）

VSPO は、目標行動に関連する誘導ベクトルを用いて生成されるロールアウトの強度を制御することで、これらのボトルネックに対処します。この手法は、モデルが自身の誘導ベクトルを内部化させるオンポリシー潜在自己蒸留手順として枠組み化されています。

VSPO のワークフローは 2 つの段階で構成されます：

段階 1：誘導ベクトルの構築

目標行動をモデルの潜在活性化空間で表現する誘導ベクトルが構築されます。

1. 対照的書き換え（Contrastive Rewriting）: 教師モデルが、目標モデルからのベース応答を、正と負の行動バリエーション（例：専門家対初級者の説明）に書き換えます。
2. ベクトル抽出: これらの正と負のバリエーション間の活性化の差分を層ごとに計算します。最も強い層ごとの方向が選択され、正規化されて誘導ベクトル $v$ を形成します。このベクトルは、目標行動の潜在方向を捉えます。

段階 2：自己蒸留方策最適化

現在の方策は GRPO を用いて最適化されますが、修正されたロールアウト生成プロセスが採用されます：

1. 誘導されたロールアウト（Steered Rollouts）: 各プロンプトに対して、$G$ 個のロールアウトが、変化する誘導強度 $\beta \in \{\beta_1, \dots, \beta_G\}$ でサンプリングされます。これらの強度は、デコーディング中に残差ストリームに誘導ベクトルを注入することで適用されます：$\tilde{h}_t = h_t + \beta v$。
2. 報酬計算: 各ロールアウトは、$r = r_0 + \alpha \beta$ という報酬を受け取ります。ここで、$r_0$ は主タスク報酬（例：正解性）であり、$\alpha \beta$ は誘導強度に比例する代理行動報酬です。
3. 方策更新: 方策は、グループ相対的優位性を用いた標準的な GRPO 目的関数で更新されます。重要なのは、更新が誘導されていない方策（$\pi_\theta$）に適用される一方で、優位性は誘導された軌跡に基づいて計算される点です。これにより、モデルは誘導ベクトルで方策の推論時行動を永続的に変更することなく、自身の誘導バリエーションから有用な行動を蒸留できます。

主要な貢献

1. アルゴリズム的革新: 行動を制御しつつタスク精度を維持する多目的方策最適化手法である VSPO の導入。従来の GRPO や報酬設計とは異なり、VSPO は目標潜在ベクトルに沿って軌跡を明示的にサンプリングすることで、ロールアウトの多様性を積極的に向上させます。教師追跡 SFT とは異なり、オフポリシーの教師軌跡での学習を回避します。教師はベクトル構築のみを支援します。
2. 理論的保証: 本論文は、バンドット抽象化の下で、VSPO が報酬設計された GRPO よりも証明可能に優れた反復複雑性を実現することを示しています。具体的には、誘導による分布が目標行動と十分に整合している場合（"$\gamma$-good"条件を満たす場合）、VSPO は希薄だが望ましい行動パターンを過剰サンプリングし、収束を加速します。
3. 実証的検証: MATH および MMLU-Pro ベンチマークにおける広範な評価により、VSPO が報酬設計、教師追跡 SFT、SDFT、SDPO、および RLAIF 風のベースラインを一貫して上回ることが示されました。これは、専門性のレベル、自信の表現、誤った文脈に対する頑健性、および冗長性という 4 つの目標行動に対する強力な制御を達成しつつ、タスク精度を維持または向上させます。
4. 好ましい特性: VSPO は、行動軸に沿った自然な学習カリキュラムを誘発し、ベースモデルに対する低い NLL（負の対数尤度）を維持する方策近接分布を保持します。これにより、オフポリシー手法でよく見られる深刻な分布のシフトを回避します。

実験結果

著者は、MMLU-Pro と MATH の 2 つのベンチマークにおいて、4 つの目標行動に対して VSPO を評価しました：

• 専門性のレベル: VSPO は、高い精度を維持しながら（MMLU-Pro における 64.3% の専門家レベル制御対 SFT の 45.0%）、専門家と初級者のスタイル間をシフトさせる最強の双方向制御を達成しました。
• 自信の表現: VSPO は、精度を低下させることなく、自信に満ちたまたは慎重なトーンへと応答を誘導することに成功し、スタイルと正解性のトレードオフに陥りがちなベースラインを上回りました。
• 誤った文脈に対する頑健性: 誤った注入された答えに同意するようにバイアスされた設定において、VSPO はロールアウト生成中により多くの独立した推論軌跡を露出させることで、精度を大幅に向上させました（元のモデルの 23.6% 対 64.2%）。
• 簡潔な推論: VSPO は、長さペナルティによる報酬設計と比較して、精度と長さのトレードオフを改善し、より短い応答で高い精度を達成しました。

意義と主張

本論文は、VSPO が制御可能な多目的アライメントにおける重要な前進を表すと主張しています。行動制御を報酬設計やオフポリシー蒸留の問題ではなく、潜在誘導の問題として扱うことで、VSPO は以下を実現します：

• 現在の方策から直接、多様で行動に整合した候補を生成することで、希薄な報酬のボトルネックを緩和します。
• 繰り返し行われる教師呼び出しを必要とする手法とは異なり、最適化全体で単一の誘導ベクトルを再利用することで、高価な外部フィードバックへの依存を軽減します。
• 教師追跡蒸留に固有の分布の不一致を回避し、トレーニングプロセスをオンポリシーかつ方策近接に保つことで、安定した最適化を可能にします。

著者は、VSPO が主要タスクのパフォーマンスを犠牲にすることなく制御可能な二次的行動を獲得するための堅牢な枠組みを提供し、既存の RL および蒸留手法に対する、よりサンプル効率的かつ理論的に裏付けられた代替案を提供すると結論付けています。