技術的概要：Skill-R1：強化学習によるエージェントスキルの進化

問題定義

エージェント型大規模言語モデル（LLM）は、計画、ツール利用、行動検証を導く再利用可能な自然言語手順である「スキル」に依存する度合いが高まっています。しかし、これらのスキルを改善するための既存のアプローチには、以下の重大な限界が存在します：

1. コストと非現実性: スキルの最適化には、しばしばプロンプトエンジニアリングやタスク用 LLM 自体のファインチューニングが必要です。後者は計算コストが高く、モデル固有であり、クローズドソースまたはプロプライエタリなモデルでは頻繁に不可能です。
2. 既存手法の非効率性: 多くのシステムは、スキル最適化をワンショットのプロンプト編集問題として扱うか、単一ラウンドの自己洗練に依存しています。これらの戦略は、下流の報酬と整合性を欠くことが多く、スキル改善の反復的な性質を活用していません。
3. クレジット割り当ての複雑さ: 効果的なスキル最適化は、結合された二レベルの問題です。有用なスキルは、現在の条件付け下でのロールアウト（実行）の品質を向上させる必要があり、有用な修正は、観測された成功と失敗を次のラウンドのためのより良いスキルへ効果的に変換する必要があります。

既存の手法は、これを反復的な意思決定問題として扱うことに苦慮しており、複数の世代にわたる方向的な進化のための原理的な目的関数が欠如していることが多く見られます。

手法：Skill-R1

著者らは、検証可能な報酬からのインスタンスレベルの反復的スキル最適化のために設計された強化学習フレームワークSkill-R1を提案します。中核的な革新は、タスク実行とスキル改善の分離です。

中核アーキテクチャ

• 凍結されたタスク LLM: 主要なタスク解決モデル（$\pi_{task}$）は凍結されたままです。このモデルは、現在のスキルを条件としてロールアウト軌道を生成します。これにより、オープンソースおよびクローズドソースの両方のモデルとの互換性が保証され、タスクモデルを通じた勾配の必要性が排除されます。
• 軽量スキルジェネレーター: 別の学習可能な方策（$\pi_\theta$）がスキルエディタとして機能します。これは、タスクコンテキスト、以前のロールアウト、およびそれらの検証結果を入力として受け取り、修正されたスキルを生成します。
• マルチ世代ループ: このプロセスは複数の世代（$g$）にわたって動作します。各世代において、現在のスキルは凍結されたタスクモデルからロールアウトのグループを誘発します。検証器がこれらのロールアウトにスコアを付け、試行、エラー、報酬の履歴が追加され、次のスキル修正を導きます。

二レベルグループ相對方策最適化（GRPO）

スキルジェネレータを訓練するために、著者らは二つのレベルでクレジットを割り当てる二レベル GRPO 目的関数を導入します：

1. 世代内アドバンテージ（$A_{intra}$）: 単一の世代内で同一のスキル下でサンプリングされたロールアウトを比較します。これは、標準的な GRPO と同様に、ロールアウトの品質をスキルの品質から分離します。
2. 世代間アドバンテージ（$A_{inter}$）: 前の世代に対するロールアウト集団の平均検証パフォーマンスの改善を測定します。これは、報酬分布をより高い方へシフトさせる修正に報酬を与えます。

最終的なアドバンテージ信号は、重み付き組み合わせです：
$$A(y^{(i)}_g) = A_{intra}(y^{(i)}_g) + \lambda A_{inter}(g)$$
ここで、$\lambda$は、純粋な世代内最適化と世代間改善の間を補間します。スキルジェネレータはこの二レベルアドバンテージを最大化するように最適化され、即時的に良好に機能するだけでなく、時間とともに方向的に進化するスキルの生成を促します。

主要な貢献

1. 定式化: 本論文は、反復的なインスタンスレベルのスキル進化を二レベルグループ相對方策最適化問題として定式化し、世代内の実行品質と世代間のスキル改善を明示的に結合します。
2. フレームワーク: タスク LLM を凍結したまま軽量なスキルジェネレータを訓練するモデル非依存のフレームワークSkill-R1を提案し、プロプライエタリなモデルへの適用を可能にします。
3. アルゴリズム: 世代内および世代間のアドバンテージを組み合わせ、方向的な進化を導く反復的マルチ世代ロールアウトプロセスと二レベル GRPO 目的関数を導入します。
4. 実証的検証: 検証可能な報酬を伴うエージェントタスクにおいてフレームワークを評価し、スキルなしのベースラインおよび標準的な GRPO に対する優れた性能を実証しました。

実験結果

著者らは、多段階推論とツール利用を必要とする 2 つのベンチマーク、GAIA（多様なソース）およびWebWalker（マルチホップ Web ナビゲーション）において Skill-R1 を評価しました。

• GAIA ベンチマーク:

  • ベースライン: スキルなしの GPT-4o-mini は、わずか**6.1%**の精度しか達成できませんでした。
  • バニラ GRPO: 二レベル分解なしでエディタを訓練すると、精度は**29.7%**まで向上しました。
  • Skill-R1 (推論): エディタに対する勾配ベースの訓練なしでマルチ世代フレームワークを使用すると**30.9%**を達成し、ロールアウト構造自体が利益をもたらすことを示唆しています。
  • Skill-R1 (GRPO): 訓練されたエディタを備えた完全なシステムは41.8%の精度を達成し、バニラ GRPO より+12.1 ポイントの改善となりました。この改善は、複雑なレベル 3 のタスクで最も顕著でした（スキルなしベースラインの 0.0% に対し 38.5%）。

• WebWalker ベンチマーク:

  • ベースライン: 2.0% の精度。
  • バニラ GRPO: 22.0% の精度。
  • Skill-R1 (GRPO): **26.0%**の精度を達成し、中程度の難易度およびマルチソースタスクで顕著な改善が見られました（それぞれ 29.4% および 28.6%）。

• 進化の分析:

  • 世代ごとの進歩: 性能向上はほぼ単調であり、最も大きな飛躍は世代 1 から 3 の間で発生しました。後の世代（4 および 5）は、全く新しい能力を発見するよりも、主にロールアウトの一貫性と信頼性を向上させました。
  • 訓練対推論: 訓練されたエディタ（GRPO）は、特に WebWalker において、推論のみのエディタを常に上回りました。定性的分析により、訓練されたエディタは中核的な実行可能構造を維持し、安全策を追加したのに対し、推論のみのエディタは偶発的な詳細に過剰適合し、脆いアーティファクトを生み出す傾向があることが示されました。

意義と主張

本論文は、Skill-R1がモデルレベルの適応に対する実用的かつ効率的な代替手段を提供すると主張しています。スキル最適化を反復的かつ二レベルの問題として扱うことで、このフレームワークは以下を可能にします：

• ブラックボックス互換性: ファインチューニングが不可能なクローズドソースモデルでも機能します。
• 方向的進化: ヒューリスティックな自己洗練を超え、時間とともにスキルを改善する原理的かつ報酬駆動型のプロセスへと移行します。
• 堅牢性: 反復的な構造により、システムは孤立した試行ではなく、集約的な証拠（成功と失敗）に基づいてスキルを洗練できます。

著者らは、スキル進化が、単一パスの洗練手法が苦慮する複雑な多段階タスクにおいて、エージェントの行動を改善するための実行可能なメカニズムであると結論付けています。結果は、少数の編集ラウンドで能力改善の大部分を捉えることができ、その後の反復が信頼性を向上させることを示唆しています。