技術要約：エージェンティック強化学習のためのグループ反射型自己蒸留（Group-Reflective Self-Distillation）

問題提起

検証可能な報酬（RLVR）を伴う強化学習は、特にGroup Relative Policy Optimization (GRPO) のようなアウトカムベースの手法を通じて、大規模言語モデル（LLM）エージェントを訓練するための自然なパラダイムとして台頭している。これらの手法は、学習されたクリティック（評価器）を必要とせず、タスクの成功または失敗の信号から直接ポリシーを最適化する。しかし、終端報酬は粗い軌跡レベルの監督しか提供できないという根本的な限界が存在する。この信号は、成功した振る舞い、繰り返される間違い、そして付随的な軌跡の選択を、単一のアウトカムラベルへと絡み合わせてしまう。その結果、エージェントはどの特定の判断を強化または修正すべきかを特定することに苦慮する。

このような疎な監督を豊かにするためのオンポリシー自己蒸留に関する既存のアプローチは、自然言語によるスキルに依存していることが多い。しかし、これらの手法には以下のような重大なアソークメント（整合性）の問題がある：

1. 外部検索: 外部リポジトリから検索されたスキルは、現在のプロンプト、対話履歴、または環境の状態と一致しない可能性がある。
2. 外部抽出: より強力な外部モデルによって軌跡から抽出されたスキルは、現在のポリシーの能力境界を超えている可能性があり、エージェント自身が再利用可能なパターンを抽象化する能力を反映できていない。
3. 単一軌跡バイアス: 個々の軌跡から抽出されたスキルは、真に成功と失敗を分かつ行動パターンではなく、パス固有の詳細を捉えてしまうことが多い。例えば、成功した軌跡には不要な寄り道が含まれている可能性があり、失敗した軌跡には依然として有用な振る舞いが含まれている場合がある。

手法：グループ反射型自己蒸留 (GRSD)

著者らは、ポリシー自身の検証済みロールアウトから、能力に適合し、かつアウトカムを判別可能なガイダンスを導出するフレームワークであるGroup-Reflective Self-Distillation (GRSD) を提案する。この手法は、スキル生成のための外部モデルを使用せずに「特権的なガイダンス」を構築するために、2つの明確なステージで動作する。

ステージA：ポリシーネイティブな自己反射

ロールアウトグループ内の各検証済み軌跡 $\tau_i$ に対して、ポリシー（反射器として機能）は、タスクプロンプト、軌跡、およびバイナリのアウトカムラベル（成功/失敗）を条件として、構造化された反射 $s_i$ を生成する。

• メカニズム: ポリシーは、アウトカムに決定的なターンを特定し、それらが最終的なアウトカムにどのように寄与したかを説明し、強化または回避すべき具体的な振る舞いを要約する。
• 学習: 固定された外部ジャッジが、因果関係の正しさ、アウトカムとの一貫性、および実行可能性に基づいて、各反射にスカラー値を割り当てる。このスコアは反射アドバンテージへと正規化され、自身の経験から実行可能なスキルを抽出するポリシーの能力を最適化する。

ステージB：グループレベルのガイダンス構築

パスの特定性を解決するために、本手法は同一のプロンプトグループ内における成功したロールアウトと失敗したロールアウトの反射を対比させる。

• 対照的合成: ストップグラディエント・スナップショットとしてのポリシー ($\pi_{\bar{\theta}}$) が、成功した反射の集合 ($S^+_x$) と失敗した反射の集合 ($S^-_x$) を入力として受け取る。そして、これらをコンパクトでプロンプト固有のガイダンス $z_x$（「すべきこと/避けるべきこと」のリスト形式）へと合成する。
• 特権的コンテキスト: このガイダンス $z_x$ は特権的な情報として機能する。これは、デタッチされたスナップショットによって生成されるため、固定されたコンテキストとして機能し、ガイダンスが生成ターゲットではなく信号として扱われることを保証する。
• 活性化: このステージは、成功と失敗の両方のロールアウトを含むプロンプトグループに対してのみアクティブになり、ガイダンスがアウトカム判別的な対比から導出されることを確実にする。

ターンレベルのクレジット割り当て

核心となる革新は、このガイダンスがどのように学習信号を精緻化するかにある。バニラのGRPOのように、全トークンに同一の軌跡レベルのアドバンテージを割り当てるのではなく、GRSDは特権的なガイダンスを用いてターンレベルでアドバンテージを変調させる。

• 自己教師評価: デタッチされたポリシーは、サンプリングされたアクショントークンを、プレーンな学生コンテキスト（ガイダンスなし）と、ガイダンス拡張された教師コンテキスト（$z_x$ あり）の2つのコンテキスト下で評価する。
• 変調: 2つのコンテキスト間の対数尤度の差は、ガイダンスが特定のターンに対するポリシーの支持をどのように変化させるかを定量化する。この差は、アウトカム由来の更新方向（成功に対しては正、失敗に対しては負）と整合するように、変調スコアを生成するために調整される。
• 限定的な調整: 軌跡レベルのアドバンテージはこのスコアによってスケーリングされる。極めて重要な点として、この変調は、元の検証器によって決定されたアドバンテージの符号を決して反転させないように制限されている。これにより、学習の基本方向を維持しつつ、クレジット割り当ての粒度を精緻化することが可能となる。

最適化目的関数

総損失は、タスク実行の目的関数（変調されたターンレベルのアドバンテージを使用）と、反射学習の目的関数（ステージAで生成される反射の質を最適化する）を組み合わせたものである。

主な貢献

1. ポリシーネイティブな反射: GRSDは、自身の検証済み軌跡から直接反射を学習するため、エージェントの現在の能力と不一致が生じる可能性のある外部モデルやスキルリポジトリを排除する。
2. グループ反射型ガイダンス: グループ内の成功したロールアウトと失敗したロールアウトを対比させることで、パス固有のノイズをフィルタリングし、能力に適合し、かつアウトカムを判別可能なガイダンスを合成する。
3. ターンレベルのクレジット精緻化: 本フレームワークは、検証器が決定した学習方向を変えることなく、軌跡レベルのアドバンテージをターン固有のクレジットへと精緻化する自己蒸留メカニズムを導入する。

実験結果

著者らは、3つの多様なエージェント環境（ALFWorld（身体的推論）、Search-based QA（検索拡張型質問回答）、WebShop（ウェブナビゲーション））においてGRSDを評価した。実験は3つのモデルスケール（Qwen3-1.7B, Qwen2.5-3B, Qwen2.5-7B）で行われた。

• 総合的なパフォーマンス: GRSDは、バニラGRPO、オンポリシー蒸留（OPSD）、およびスキルベース自己蒸留（Skill-SD, SDAR）を含む競争力のあるベースラインを一貫して上回った。例えば、ALFWorldにおいて、GRSDはバックボーン全体でGRPOに対して平均成功率を5.5%向上させた。
• 汎化性能: GRSDは、未知のタスクに対する優れた汎化性能を示した。特にALFWorldの「Unseen」分割において、83.6%の成功率を達成し、GRPOを8.2%上回った。
• 学習ダイナミクス: 学習曲線は、GRPDがベースラインがプラトーに達した後も改善を継続したことを示しており、経験駆動型のループが持続的な後期学習を促進することを示唆している。
• アブレーション研究: グループ反射型ガイダンスを除去した場合、あるいは失敗の反射を対比させなかった場合は、大幅な性能低下を招いた。これは、グループレベルの合成と失敗モードの包含の両方が必要であることを裏付けている。

意義と主張

本論文は、GRSDがエージェンティックな自己進化のための経験駆動型ループを確立すると主張している。ポリシーが自身の検証済み経験から再利用可能で能力に適合したガイダンスを導出し、最適化中にそれを内部化することを可能にすることで、GRSDはRLVRに固有の粗い監督問題を解決する。

著者らは、彼らのアプローチが以下の特性を持つことを強調している：

• 外部依存の回避: ガイダンスがポリシーの能力境界内に留まることを保証するため、外部のスキルライブラリやより強力なモデルに依存しない。
• 学習方向の保持: 限定的な変調により、成功または失敗の決定は依然として学習の主要な推進力であり、自己蒸留コンポーネントはターンレベルでの更新の大きさを精緻化することにのみ関与する。
• 有利なトレードオフ: GRSDは、オンラインガイダンス構築のためにGRPOと比較してわずかなトレーニング時のオーバーヘッド（約17%の増加）を導入するが、推論時のオーバーヘッドはゼロである。これは、特権的なガイダンスが訓練中のみ使用されるためである。

本研究は、成功したロールアウトと失敗したロールアウトのポリシーネイティブな反射を対比させることが、エージェントが成功に不可欠な振る舞いと繰り返される失敗モードを特定するための堅牢なメカニズムを提供し、結果として、より転移性の高い意思決定原理と強力なパフォーマンスをもたらすことを示唆している。