技術概要：自己蒸留型エージェント強化学習（SDAR）

問題定義

強化学習（RL）は、特に長期的なマルチターン対話における大規模言語モデル（LLM）エージェントのポストトレーニングにおいて、中心的なパラダイムとなっています。しかし、標準的な RL は軌道レベルの報酬信号に依存しており、複雑な多段階タスクに対しては粗い監督しか提供しません。これを解決するため、特権コンテキスト（例：検索されたスキル）で拡張された「教師」ブランチから、高密度なトークンレベルのガイダンスを導入するオンポリシー自己蒸留（OPSD）が提案されました。

理論的な魅力にもかかわらず、OPSD をマルチターンエージェントへ転用する際には、本研究で特定された 2 つの重大な課題が存在します：

1. マルチターン不安定性: スチューデントエージェントが教師支援の軌道から逸脱するにつれて、トークンレベルの監督は次第に信頼性を失います。これにより、累積誤差、ターンごとの KL 発散の急増、およびタスク性能の壊滅的な劣化が生じます。
2. 特権ガイダンスへの非対称的な信頼: スキル条件付き OPSD において、教師は特権コンテキスト（検索されたスキルなど）で拡張された同一の方策であり、本質的に強力なモデルではありません。したがって、「ネガティブギャップ」（教師がトークンに対して学生よりも低い確率を割り当てる場合）は、常にそのトークンを抑制すべきことを意味するわけではありません。むしろ、不完全なスキル検索、無関係なスキル、または教師がスキルを信頼できる好みに定着させることの失敗に起因する可能性があります。すべての教師信号を均等に扱うことは不安定性を招き、特にネガティブギャップを持つトークンがトレーニングデータの重要な部分を占める場合（予備調査では 50% 超と観測）に顕著です。

既存のハイブリッドアプローチ（例：OPSD 損失を単に RL に追加する）や硬直的なカリキュラム手法は、これらの問題を解決できず、RL 信号を圧倒する無制限の蒸留勾配に悩まされたり、トークンレベルのダイナミクスに適応しない手作業のカリキュラムに依存したりする傾向があります。

手法：SDAR

著者は、自己蒸留型エージェント強化学習（SDAR） を提案します。これは、OPSD を慎重に制御された補助目的として扱いながら、RL を主要な最適化の背骨として維持するフレームワークです。中核的な革新は、教師のガイダンスの信頼性に基づいて蒸留信号を調節するトークンレベルの適応的ゲーティング機構です。

1. 最適化フレームワーク

総トレーニング目的関数は、標準的なグループ相対方策最適化（GRPO）損失と、ゲート付き自己蒸留損失を組み合わせます：
$$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$$

• $\mathcal{L}_{GRPO}$: 環境の報酬と検証フィードバックによって駆動される主要な RL 損失であり、偏りのない方策最適化を維持するために変更されません。
• $\mathcal{L}_{SDAR}$: 選択的に適用される補助的な蒸留損失です。

2. トークンレベルゲーティング機構

均一的に蒸留を適用するのではなく、SDAR は各トークン $t$ に対してゲート $g_t \in [0, 1]$ を計算し、教師の影響の強度を制御します。

• 教師 - スチューデントギャップ（$\Delta_t$）: 特権教師とスチューデント間の対数確率の差として定義されます：$\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$。
• シグモイドゲーティング: ギャップは、鋭さパラメータ $\beta$ を持つシグモイド関数に通されます：
  $$g_t = \sigma(\beta \cdot \Delta_t)$$
  これにより、以下の特性を持つ滑らかで微分可能な重みが生成されます：
  • ポジティブギャップトークン（教師が学生の選択を支持する場合）に対して蒸留を増幅し、高信頼度のガイダンスとして扱います。
  • ネガティブギャップトークン（教師が異議を唱える場合）に対して蒸留を減衰させ、モデルが潜在的にノイズの多いまたは無関係なスキルベースの拒絶を盲目的に追従することを防ぎます。
• 停止勾配: ゲート $g_t$ は勾配計算から切り離されます。これにより、ゲートが純粋に信頼度重みとして機能し、自己参照的な最適化ループを防止し、安定した 1 次更新を確保します。

3. スキル検索とコンテキスト

SDAR は、特権コンテキスト $c^+$（例：SkillBank から検索されたスキル）に条件付けられた「自己教師」ブランチを利用します。このフレームワークは、UCB（Upper Confidence Bound）、キーワードマッチング、フル検索、ランダム検索の 4 つの検索戦略に対して堅牢性を評価します。ゲーティング機構は、低品質または無関係な検索されたスキルからのノイズをフィルタリングするように設計されています。

主要な貢献

1. 非対称的信頼の特定: 本論文は、マルチターンエージェントトレーニングにおいて、特権ガイダンスは本質的に非対称であることを確立しています。特権コンテキストを持つ教師からの肯定的な支持は信頼できますが、否定的な拒絶はトークンの品質ではなく、コンテキストの不安定性に起因する可能性があります。
2. 適応的トークンレベルゲーティング: SDAR は、各トークンが自律的に蒸留強度を調節することを可能にする新しいゲーティング戦略を導入します。これにより、手作業の硬直的なスケジュールが、最も微細な粒度で動作する動的で自己ペースのカリキュラムに置き換えられます。
3. 安定性と堅牢性: 蒸留信号を主要な RL 目的から分離し、ネガティブ信号に対してソフトな減衰を適用することで、SDAR は、単純な GRPO+OPSD の組み合わせで観測された壊滅的な不安定性を回避します。
4. 知識の内在化: 推論時に外部スキルに依存する手法とは異なり、SDAR は特権知識を方策パラメータに成功裡に内在化し、テスト中に検索されたスキルがなくても強力な性能を発揮します。

実験結果

著者は、SDAR を 3 つの多様なベンチマークで評価しました：ALFWorld（具身 AI）、Search-QA（検索拡張推論）、WebShop（e コマース対話）。実験は、Qwen2.5（3B、7B）およびQwen3（1.7B）モデルファミリー全体で行われました。

• 性能向上: SDAR は、ベースラインの GRPO を大幅に上回ります。
  • ALFWorld: Qwen2.5-3B で +9.4% の改善。
  • Search-QA: +7.0% の改善。
  • WebShop: 精度で +10.2% の改善（Qwen2.5-7B）。
• ハイブリッド手法との比較: SDAR は、すべてのモデルスケールにわたり、Skill-SD や RLSD などのハイブリッドベースラインを一貫して上回ります。特に、単純な GRPO+OPSD（Qwen3-1.7B などの小規模モデルで性能が大幅に劣化する）で見られる性能の崩壊を回避しています。
• 検索品質への堅牢性: 重要な発見として、SDAR は検索品質に対して優雅に劣化します。たとえランダム検索（タスク認識ゼロ）であっても、SDAR は純粋な GRPO ベースラインを上回ります。これは、ゲーティング機構が低品質のスキルからのノイズを効果的にフィルタリングし、有益な信号のみを抽出していることを確認します。
• 推論の独立性: SDAR は、推論時にスキル検索を必要とせずに最先端の結果を達成し、真の知識の内在化を実証しています。例えば、Qwen2.5-3B による ALFWorld において、SDAR（84.4%）はテスト時にスキルに依存する Skill-GRPO*（80.5%）を上回ります。

意義と主張

本論文は、SDAR がマルチターンエージェント RL における自己蒸留の適用不安定性に対する原理的な解決策を提供すると主張しています。蒸留を主要な駆動力や硬直的な制約ではなく、ゲート付きの補助目的として扱うことで、SDAR は環境駆動型の粗い RL 最適化と、特権コンテキストによる高密度なトークンレベルガイダンスを調和させます。

著者は、アプローチが独立した強力な教師モデルを必要とせず、代わりに特権コンテキストで拡張された同一の方策を利用するため、スケーラブルで実用的であると強調しています。ゲーティング機構が、ポジティブ信号を信頼しつつネガティブ信号を保守的に減衰させることで非対称ガイダンスを処理する能力は、マルチターントレーニングを安定させ、異なるモデルサイズやタスクドメインにわたる堅牢な一般化を可能にする鍵として提示されています。この研究は、マルチターンエージェントにとって、RL が主要な背骨であり、蒸留は静的な監督者ではなく、動的なトークンレベルの調整役として機能すべきであることを示唆しています。