技術要約: SAGE-OPD

問題提起

オンポリシー蒸留（OPD）は、学生の自身の振る舞いによって誘発される軌道上で、教師の分布に学生のポリシーを整合させることにより、オフラインの教師あり微調整（SFT）に内在する露出バイアスを軽減し、オープンウェイトの推論モデルを訓練するための主要なアプローチとして台頭しています。しかし、既存のOPD研究は主にシングルターンの生成タスクに焦点を当てています。これを現実的なマルチターンLLMエージェントに適用した場合、標準的なOPDは重大な限界に直面します。

1. 誤差の累積（Compounding Errors）: マルチターンの相互作用において、初期の誤ったアクションは環境状態を変化させ、その後の観測を歪め、回復をますます困難にします。これにより、後の学生が誘発した履歴が教師にとって分布外（off-distribution）となる分布シフトが生じます。
2. トークンレベルの整合性の脆弱性（Brittleness of Token-Level Alignment）: 標準的なOPDは、高密度なトークンレベルの整合性を一様に適用します。これは、教師の特定の言い回しや局所的な分解とは異なる、意味的に妥当な学生の代替案を過度に罰してしまう可能性があります。
3. 退化の強化（Reinforcement of Degeneracies）: 高密度な勾配は、もしこれらのパターンが偶然に好ましい教師の尤度を得た場合、繰り返しの思考や行動といった局所的な退化を強化してしまう可能性があります。
4. 信頼できない監督（Unreliable Supervision）: 学生の誤差が累積するにつれ、破損した履歴に対する教師の予測分布は不確実になる可能性があります。このようなシナリオでOPDを一様に適用することは、信頼できない監督を伝播させることになります。

解決すべき中心的な問いは、「マルチターンOPDは、介入が必要かつ信頼できるターンに対してのみ選択的に適用することで、オンポリシー・スーパービジョンの利点を維持できるか」という点です。

手法: SAGE-OPD

著者らは、教師による監督を選択的に割り当てるために設計された、検証器（verifier）を必要としないフレームワークである SAGE-OPD（Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation）を提案しています。この手法は、以下の3つの主要コンポーネントで構成されています。

1. ターンレベルの介入（Turn-Level Intervention）

軌道をフラットなトークンのシーケンスとして扱うのではなく、SAGE-OPDは環境からのフィードバックに基づいて軌道をターンごとに分割します。各ターン $t$ において、監督の強度を調節するための離散的な介入変数 $z_t \in \{\text{Skip, Weak, Strong}\}$ が決定されます。

• Skip: 学生の応答が許容可能、または意味的に柔軟である場合。教師による監督は適用されません（$w_t = 0$）。
• Weak: 応答が潜在的に最適ではない可能性があるが、不確実である場合。部分的な監督が適用されます（$w_t = \alpha$）。
• Strong: 応答に明確なエラー（例：失敗したツールコール、欠落したアクション）が含まれる場合。完全な監督が適用されます（$w_t = 1$）。

$z_t$ の割り当ては、検証器を必要としない2段階の手順に従います。

1. 決定的チェック（Deterministic Check）: 環境フィードバックが明確な実行失敗（例：不正な形式のアクション）を示している場合、そのターンは即座に Strong に割り当てられます。
2. 教師による判断（Teacher Judgment）: 実行可能ではあるが曖昧なターンについては、履歴とフィードバックに基づいてターンを3つのカテゴリのいずれかに分類するために、プロアクティブなプロンプトを用いて教師に照会されます。

2. 教師の確信度重み付け（Teacher Confidence Weighting）

分布外の履歴における教師の監督の信頼性に、SAGE-OPDは確信度スコア $c_t$ を導入することで対処します。このスコアは、学生の応答トークンにおける平均トップ1確率として計算される、現在のターンの教師の予測確信度を測定します。
$$c_t = \frac{1}{|a_t|} \sum_{i=1}^{|a_t|} \max_{v} \pi_\phi(v | h_t, a_{t,<i})$$
ターン $t$ に対する最終的な選択的重み $s_t$ は、介入重み $i_t$ と確信度スコア $c_t$ の積となります。
$$s_t = i_t \cdot c_t$$
これにより、介入が必要と判断され、かつ教師のシグナルが信頼できる場合にのみ、強力な監督が適用されるようになります。

3. 損失の正規化（Loss Normalization）

OPDの損失に直接 $s_t$ を乗じると、全体の勾配の大きさが減少し、最適化のスケールが変わってしまう可能性があります。選択的重み付けの効果を分離するために、SAGE-OPDは標準的なOPDの相対的なターンレベルの重みを保持しつつ、標準的なOPDの全体的な損失スケールを維持するための正規化係数 $Z$ を適用します。
$$L_{\text{SAGE-OPD}} = Z \sum_{t=0}^{T-1} s_t L_{\text{OPD}}(h_t, a_t)$$
ここで、$Z$ は重み付けされたトークン数の合計を標準的なOPDのスケールに一致するように正規化します。

主な貢献

1. フレームワークの提案: 全ての学生生成ターンに対して一様な高密度蒸留を行うことを避けつつ、オンポリシーの利点を維持する、検証器を必要としない選択的介入フレームワークであるSAGE-OPDを導入しました。
2. 3つのコンポーネント・メカニズム: 以下の3つの補完的なコンポーネントを特定し、統合しました。
   • ターンレベルの介入: 監督が必要かどうかを決定します。
   • 教師の確信度重み付け: トークンレベルのシグナルをどの程度信頼するかを決定します。
   • 損失の正規化: 学習シグナルのスケールを標準的なOPDと同等に保ちます。
3. 実証的検証: 身体的インタラクション（ALFWorld）、科学的タスク解決（ScienceWorld）、および検索ベースの質問回答（SearchQA）における有効性を実証しました。

実験結果

著者らは、複数の教師・学生ペアにわたってQwen3モデル（0.6B, 1.7B, 8B, 32B）を用いてSAGE-OPDを評価しました。

• ALFWorld: SAGE-OPDは、標準的なOPDと比較して、未知の成功率において最大 13.3%の相対的な改善 を達成しました。例えば、Qwen3-1.7Bの学生とQwen3-8Bの教師を用いた場合、未知の成功率は61.94%（標準OPD）から 70.15% に向上しました。また、タスク解決に必要な平均ターン数も一貫して減少させました。
• ScienceWorld: SAGE-OPDは、8Bおよび32Bの教師の両方を用いたQwen3-1.7Bの学生において最高の成功率を達成しました。特筆すべきは、Qwen3-0.6Bの学生の平均タスクスコアを -12.88（OPD）から +3.89 に向上させたことです。ただし、これには平均ターン数のわずかな増加が伴っており、より持続的な探索が行われたことを示唆しています。
• SearchQA: SAGE-OPDは、Qwen3-8Bから蒸留されたQwen3-1.7Bの学生において、最高の平均Exact Match (EM) を達成し、30.09から 30.77 へと向上しました。
• 学習ダイナミクス: 分析によれば、標準的なOPDは早期に飽和する（未知のスプリットに対して60-63%の成功率）一方で、SAGE-OPDは学習の後半段階でも改善が続いており、単なる初期収束の速さではなく、より優れた汎化性能を示しています。

意義と主張

本論文は、効果的なマルチターン・オンポリシー蒸留は、オンポリシーであるべきだが、トークンレベルの高密度な監督を必ずしも必要としない、と主張しています。SAGE-OPDの意義は、以下の能力にあります。

• 誤差の累積の軽減: 許容可能なターンを選択的にスキップし、必要な場合にのみ介入することで、破損した履歴に対する信頼できない教師のシグナルの伝播を防ぎます。
• 過剰修正の回避: 意味的に妥当な代替案と実際の誤りを区別することで、教師の特定の言い回しとは異なる柔軟な学生の振る舞いを罰することを避けます。
• 検証器なしでの動作: 検証可能な報酬を用いた強化学習（RLVR）とは異なり、SAGE-OPDは外部の検証器や環境定義の報酬シグナルを必要とせず、代わりに環境フィードバックと教師の判断を利用します。

著者らは、教師による監督は、全軌道に対して一様に適用されるのではなく、介入が必要かつ信頼できるターンに対して選択的に割り当てられるべきであると結論付けています。