Reinforcement Learning for Self-Improving Agent with Skill Library

本論文は、大規模言語モデルエージェントの継続的な自己改善を可能にするため、タスク連鎖を通じてスキルを蓄積・活用し、報酬設計を強化する強化学習フレームワーク「SAGE」を提案し、AppWorld における実験で既存手法を上回る精度と効率を達成したことを報告しています。

要約

この論文は、**「AI 助手が、失敗や成功から学び、自分専用の『スキル集（レシピ本）』を作りながら、どんどん賢くなっていく仕組み」**について書かれたものです。

従来の AI は、新しい環境に放り込まれると「前と同じようにやればいい」という記憶がなくて、毎回ゼロから考え直して失敗したり、無駄な動きをしたりすることがありました。この論文では、それを解決するために**「SAGE（セージ）」**という新しいトレーニング方法を提案しています。

まるで**「料理の修行」や「職人の徒弟制度」**のようなイメージで説明してみましょう。

---

🍳 料理人の修行：SAGE の仕組み

1. 従来の AI の問題点：「その場限りの天才」

これまでの AI は、料理人（エージェント）に「パスタを作って」と言われると、その場ですべての工程（麺を茹でる、ソースを作る、盛り付ける）をゼロから考えます。
もし「パスタ」の次に「リゾット」を頼まれたら、また最初から全部考え直さなければなりません。
さらに、もし「パスタ」を作る過程で「お湯を沸かす」のが上手だったとしても、そのノウハウは次の「リゾット」には引き継がれません。毎回、同じ失敗を繰り返したり、無駄な動きをしたりするのです。

2. SAGE のアイデア：「自分だけのレシピ本（スキルライブラリ）」

SAGE は、AI に**「スキル（得意技）」という形でお宝を蓄えさせることを目指します。
例えば、「お湯を沸かす」「野菜を切る」といった基本的な動作を、AI 自身が「関数（レシピ）」として書き留め、「スキル集（レシピ本）」**に保存します。
次に似たような料理（タスク）を頼まれたとき、AI はゼロから考えずに、この「スキル集」から必要なレシピを呼び出して使えばいいのです。

3. 魔法のトレーニング方法：「連続クエスト（Sequential Rollout）」

ここで重要なのが、AI をどうやって訓練するかという点です。
普通のトレーニングは、「1 問解いて、正解か不正解か」で評価します。でも、SAGE は**「連続した 2 つのクエスト」**をセットで与えます。

• 第 1 問（パスタ）： AI は「お湯を沸かす」スキルを自分で作って、パスタを作ります。
• 第 2 問（リゾット）： すぐに次のリゾットを作らされます。ここで AI は、**「さっき作った『お湯を沸かす』スキルを使えるか？」**を試されます。

もし第 2 問で「さっきのスキル」を使って成功したら、AI は**「あ、あのスキルを作ったおかげで成功したんだ！」と学びます。
逆に、もしスキルを作らなかったり、間違った使い方をしたりすると、その失敗が第 2 問の結果に響いて、AI は「次はちゃんとスキルを作ろう」と学習します。
このように、「前の行動が、後の結果にどう影響するか」**を直接学習させることで、AI は「スキルを作る重要性」を深く理解するようになります。

4. 報酬の工夫：「スキルそのものへのボーナス」

ただ「料理が完成したか（正解）」だけでなく、**「上手なレシピ（スキル）を作ったか」「そのレシピをうまく使えたか」**にもポイントを与えます。

• スキル生成ボーナス： 前回のタスクで良いレシピを作ったことへのご褒美。
• スキル活用ボーナス： 今回のタスクで、そのレシピをうまく使って成功したことへのご褒美。

これにより、AI は「とりあえず正解すればいい」ではなく、「将来使える便利なスキルを蓄えて、効率よく正解しよう」という動機付けを得ます。

---

🚀 どれくらいすごいのか？（実験結果）

この「SAGE」を使って、AI（Qwen2.5 というモデル）を AppWorld という複雑なアプリ操作のテストで訓練したところ、驚くべき結果が出ました。

• 成功率の向上： 従来の方法より約 9% 高い成功率を達成。
• 効率化： 必要な手順（ステップ数）が26% 減、生成したテキスト量（トークン数）が59% 減。
  • 例えるなら、**「同じ料理を、材料を半分以下で、半分以下の時間で、より美味しく作れるようになった」**ということです。
• スキル活用の妙： 学習したスキルを使うと、成功する確率が2 倍以上に跳ね上がりました。

💡 まとめ

この論文が伝えているのは、**「AI に『経験』を『スキル』として変換させ、それを次の課題で使えるようにする」**ことが、AI を真に賢くする鍵だということです。

SAGE は、AI が単に「正解を覚える」のではなく、**「どうすれば次も楽に正解できるか（スキルを作る）」**を考えさせることで、人間のように「経験則」を身につけ、新しい環境でも柔軟に活躍できる「自己進化型 AI」への道を開いたのです。

まるで、**「料理人（AI）が、毎日新しいレシピ本（スキル集）を書き足しながら、段々とお店の看板料理人になっていく」**ようなイメージです。

技術概要

論文「Reinforcement Learning for Self-Improving Agent with Skill Library」の技術的サマリー

本論文は、大規模言語モデル（LLM）に基づくエージェントが、新しい環境で展開された際に継続的に学習・適応する能力を強化するための手法を提案しています。既存の手法がプロンプトエンジニアリングに依存している限界を克服し、強化学習（RL）とスキルライブラリを統合した新しいフレームワーク「SAGE」を開発しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

LLM ベースのエージェントは複雑な推論や多ターン対話において優れた能力を示していますが、以下の課題に直面しています。

• 継続的な適応性の欠如: 特定のトレーニングシナリオで訓練されたエージェントは、新しい環境や未見のタスクに展開された際、その経験から継続的に学習し、適応することが困難です。
• スキルライブラリ手法の限界: 既存の「スキルライブラリ」アプローチ（過去の成功体験を再利用可能なスキルとして保存・活用する手法）は、主に LLM のプロンプトに依存しています。このため、ベースモデルの指示追従能力に制約され、スキルの生成品質や適応性が不安定になります。
• 効率性: 複雑なタスクを解決するために、エージェントは多くのインタラクションステップとトークン数を要することが多く、コスト効率が悪化します。

2. 提案手法：SAGE (Methodology)

著者らは、スキルライブラリを備えた自己改善型エージェントを訓練するための新しい強化学習フレームワーク SAGE (Skill Augmented GRPO for self-Evolution) を提案しました。これは、Group Relative Policy Optimization (GRPO) を拡張したものです。

主要な構成要素

1. スキルライブラリエージェントの統一フォーマット:

   • 従来の手法ではタスク完了後にスキルを定義していましたが、SAGE ではタスク解決とスキル生成を統一された形式で行います。
   • エージェントは API を直接呼び出すのではなく、まずタスクを解決するためのプログラム関数（スキル）を定義し、それを呼び出して実行します。成功した関数はライブラリに保存され、将来のタスクで再利用されます。

2. Sequential Rollout（逐次ロールアウト）:

   • 単一のタスクではなく、類似したタスクの「チェーン（例：同じシナリオ内の 2 つのタスク）」に対してエージェントを訓練します。
   • 最初のタスク（$q_1$）で生成されたスキルは、次のタスク（$q_2$）のライブラリに蓄積され、利用可能になります。
   • これにより、後続のタスクでの成功が、先行するタスクでの「高品質なスキル生成」に対する報酬信号として逆伝播し、スキル生成能力を向上させます。

3. Skill-integrated Reward（スキル統合報酬）:

   • 従来の結果ベースの報酬に加え、スキルライブラリとの相互作用を促進する追加報酬を導入します。
   • 報酬の構成:
     • $R_1$ (1 つ目のタスク): タスク成功報酬 + 生成したスキルが 2 つ目のタスクで利用され、かつ 2 つ目のタスクも成功した場合のボーナス。
     • $R_2$ (2 つ目のタスク): タスク成功報酬 + 1 つ目のタスクで生成されたスキルを利用した場合のボーナス。
   • この設計により、エージェントは「スキルを生成すること」と「生成されたスキルを正しく利用すること」の両方を最適化するように学習します。

4. 事前学習（SFT）の重要性:

   • オープンソースモデルを直接 RL に投入すると、スキルライブラリの形式に従うことが困難でした。そのため、まずClaude 3.5 Sonnet V2 などの高度なモデルが生成した高品質なExpert Experience（専門家の経験データ）を用いて**教師あり微調整（SFT）**を行い、そのモデルを RL の初期状態として使用します。

3. 主要な貢献 (Key Contributions)

• SAGE フレームワークの提案: スキルライブラリを RL 訓練プロセスにシステマティックに統合し、エージェントの自己改善能力を飛躍的に向上させる新しいアプローチ。
• Sequential Rollout と Skill-integrated Reward: タスクチェーン全体を通じてスキル生成と利用の連鎖を強化する、効果的な RL 戦略の設計。
• 効率性と精度の両立: 既存の RL 手法やプロンプトベースの手法と比較して、タスク成功率を高めつつ、インタラクションステップ数と生成トークン数を大幅に削減することに成功。

4. 実験結果 (Results)

評価は、複雑な API 操作タスクを含む AppWorld データセットで行われました。ベースモデルは Qwen2.5-32B-Instruct です。

• 性能向上:
  • Scenario Goal Completion (SGC): ベースラインの GRPO（スキルライブラリなし）と比較して、8.9% 向上（51.8% → 60.7%）。これは、類似タスク間でのスキル転移・再利用が効果的に行われていることを示しています。
  • Task Goal Completion (TGC): 72.0% を達成し、既存の RL 手法（LOOP など）を上回る最高性能を記録しました。
• 効率性の劇的な改善:
  • インタラクションステップ: 平均 16.4 ステップから 12.1 ステップへ（約 26% 削減）。
  • 生成トークン数: 平均 3,613 トークンから 1,475 トークンへ（59% 削減）。
  • スキルの再利用により、複雑なタスクをより少ないリソースで解決可能になりました。
• アブレーション研究:
  • SFT 初期化なしの RL では性能が低下し、SFT が必須であることを示しました。
  • 報酬設計において、単なる結果報酬やチェーン全体報酬よりも、スキル生成・利用に特化した「Skill-integrated Reward」が最も効果的でした。
  • 検索方法（Same Scenario）が最も効果的でしたが、クエリ N-gram などの実用的な検索手法でも高い性能を維持できることを示しました。

5. 意義と結論 (Significance)

本論文は、LLM エージェントが「経験から学び、再利用可能なスキルとして蓄積し、将来的に効率化・高度化する」という自律的な自己改善のサイクルを、強化学習によって実現可能にした画期的な研究です。

• 実用性: 生成トークン数とステップ数の大幅な削減は、実際のアプリケーションにおけるコスト削減と応答速度の向上に直結します。
• 一般化: 特定のタスクに特化するのではなく、スキルライブラリを通じて類似タスクへの適応力を高めることで、エージェントの汎用性と堅牢性を向上させます。
• 将来展望: 本アプローチは、コード生成、Web ブラウジング、複雑なツール操作など、多様なドメインにおける自律エージェントの進化への道筋を示しています。

要約すると、SAGE は「スキルライブラリ」と「強化学習」を組み合わせることで、エージェントが単なるタスク実行者から、経験を通じて自らを改善し、効率化する「学習するエージェント」へと進化させるための強力な基盤を提供しています。