🤖 machine learning

SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

SkillRiseは、大規模言語モデルエージェントが、スキルを漸進的なシーケンスとして整理し、タスクの解決と進化するスキルドキュメントのキュレーションを単一のポリシーで同時に行うことで、異なるタスク間で転移可能なスキルを進化させ再利用することを可能にする統合された強化学習フレームワークであり、既存のマルチステージ型または独立タスク型のアプローチと比較して優れた性能と効率性を実現します。

原著者： Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットにビデオゲームの遊び方を教えているところを想像してみてください。昔は、もしロボットがレベル1で失敗したら、すべてを忘れてレベル2をゼロからやり直し、ただ運に任せるしかありませんでした。それはまるで、自転車から転んだ後、どうやって転んだかを全く覚えていないまま、すぐに別の自転車に乗ろうとするようなものでした。多くの「AIエージェント」と呼ばれるコンピュータプログラムは、かつてこのように機能していました。彼らはあらゆる新しい挑戦を、全く新しい、孤立したイベントとして扱っており、以前の挑戦で学んだすべての教訓を無駄にしていたのです。

しかし、もしロボットが、プレイするたびに賢くなる「カンニングペーパー」や「日記」を持てるとしたらどうでしょう？これこそが、強化学習と呼ばれる分野の核心です。強化学習では、AIは試行錯誤し、成功に対して報酬を受け取り、失敗から学ぶことで学習します。最近、科学者たちは、エージェントに単一のパズルを解くだけでなく、多くの異なるパズルを解くのに役立つ一般的な「スキル」を学ばせようとしています。大きな疑問は、「AIが、最初のパズルの具体的な詳細に惑わされることなく、後で実際に役立つような形で、自分自身の教訓を書き留めるようにするには、どうすればよいのか？」ということです。

そこで登場するのが、AIエージェントのための超スマートな家庭教師のような新手法、「SkillRise」です。SkillRiseは、エージェントに過去を忘れさせるのではなく、タスクを簡単なものから難しいものへと「レベルアップ」していくシーケンスとして整理します。エージェントはプレイしながら、2つのことを同時に行います。現在のレベルを解こうとすること、そして「キュレーター」として自分自身のスキル日記を更新することです。これは、ビデオゲームのキャラクターがボスを倒した後、単に次のレベルに進むのではなく、すぐにジャーナルに新しい記述をするようなものです。「おい、あのボスは君が左側にいる時にだけ攻撃してきたのを覚えておけ。次は右側にいろ。」

SkillRiseの魔法は、AIへの報酬の与え方にあります。現在のタスクを解決したときにもポイントを与えますが、「日記の記述」が将来のタスクを解決するのにどれほど役立つかに対してもポイントを与えます。これにより、AIは具体的な詳細（例：「ボスの名前はボブだった」）ではなく、一般的なルール（例：「右側にいろ」）を書き留めるよう促されるのです。研究者たちは、これを3つの異なる「世界」でテストしました。掃除や整理を行う家（ALFWorld）、特定のアイテムを購入するオンラインショップ（WebShop）、そして実験を行う科学研究所（ScienceWorld）です。

結果は目覚ましいものでした。SkillRiseは、訓練された特定のタスクにおいて向上しただけでなく、「学び方」そのものを学習しました。研究者が、関連するタスクのより長いシーケンスで練習させたところ、エージェントはさらに優れた成績を収めました。これは、エージェントが単に答えを暗記しているのではなく、真にスキルを再利用していることを示唆しています。実際、SkillRiseは他のトップクラスの手法を大幅に上回り、成功率を最大8.5パーセントポイント向上させました。さらに驚くべきことに、異なるタスクで訓練されていたにもかかわらず、特定のタスクを何度も繰り返すことに対しても、そのために設計された手法より優れた成績を収めました。しかも、メモリ管理のために複雑な多段階のパイプラインを必要とする古い手法よりも、はるかに速く、少ない計算能力でこれらすべてを実現しました。

要するに、SkillRiseは、もしAIをより賢くしたいのであれば、ただ練習させるだけでなく、進化し続ける自分自身の知恵のノートを持たせるべきであることを示唆しています。「実行すること」と「学んだことを書き留めること」を分離し、その書き込みがいかに有用であるかに報酬を与えることで、私たちは単に問題を解決するだけでなく、より優れた問題解決者になるために自らの戦略を進化させることができるエージェントを構築できるのです。

技術要約: SkillRise

問題提起

大規模言語モデル（LLM）エージェントは、基礎となる規則性や再利用可能な解決パターンを共有する、関連しているが異なるタスクのストリームに頻繁に遭遇します。しかし、標準的なエージェント型強化学習（RL）は、通常、各タスクを独立したエピソードとして扱うため、獲得した経験を破棄し、エージェントにゼロからの再探索を強いることになります。既存のスキル学習のアプローチには、以下の特定の限界があります：

インスタンス特異性（Instance-Specificity）: 同じタスクを繰り返し試行する手法は、そのインスタンスに特化した知識を生み出すことが多く、異なるタスクインスタンス間での汎化に失敗します。
パイプラインの絡み合い（Pipeline Entanglement）: 外部のスキルバンクやマルチステージ・パイプライン（抽出、検索、実行の各独立したモジュールを含む）を使用するアプローチは、クレジット割り当て（credit assignment）に苦慮します。ダウンストリームのパフォーマンスはこれらすべてのステージの相互作用に依存するため、抽出されたスキルの質に対して成功や失敗を具体的に帰属させることが困難です。
エンドツーエンド最適化の欠如: 複雑な外部管理パイプラインを必要とせずに、タスクの解決と転移可能なスキルのキュレーションを共同で学習できる統一されたフレームワークが必要です。

メソドロジー: SkillRise

著者らは、クロスタスクのスキル進化のために設計された、統一されたエンドツーエンドの強化学習フレームワークである SkillRise を導入します。このフレームワークは、単純なものから困難なものへと整理された、関連しているが異なるタスクのシーケンス上で動作します。

1. クロスタスク・シーケンスの構築

タスクは、環境が提供するファミリー・メタデータ（例：WebShopにおける製品カテゴリ、ALFWorldにおけるオブジェクトタイプ）によってグループ化され、難易度順に並べられます。これにより、以前のタスクからの経験が後のタスクをサポートすることを意図したシーケンス $x = (x_1, \dots, x_K)$ が作成されます。

2. シングルポリシーによるロールアウトとスキル進化

単一のポリシー $\pi_\theta$ が、シーケンス内で2つの役割を交互に担います：

タスク解決（Task Solving）: エージェントは、進化するテキスト形式のスキル文書 $S_{i-1}$ （以前のタスクからのスキルを要約したもの）をコンテキストとして使用して、現在のタスク $x_i$ を解決します。
スキルキュレーション（Skill Curation）: タスク完了時、同じポリシーがスキル文書 $S_{i-1}$ $S_{i - 1}$ を新しいバージョン $S_i$ $S_{i}$ へと書き換えます。このプロセスには以下が含まれます：
- 前の文書から有用なスキルを保持する。
- 現在の軌跡（trajectory）で明らかになった成功した手順や失敗モードを統合する。
- 再利用性を確保するために、インスタンス固有の詳細を削除する（抽象化）。
- 改訂された文書 $S_i$ は、次のタスク $x_{i+1}$ のための唯一の情報チャネルとなります。

3. 分離されたクレジット割り当て

両方の役割を効果的に最適化するために、SkillRiseは、時間的に整合し、分離されたクレジット割り当てメカニズムを採用しています：

タスク解決: 現在のタスクの即時報酬 $r_i$ のみによって監督されます。
スキルキュレーション: 後続のタスクからの割引報酬の合計 ( $\sum_{j=i+1}^K \gamma^{j-i} r_j$ ) によって監督されます。これにより、キュレーション・ポリシーは、現在のタスクだけでなく、将来のタスクに価値を転移させる能力に対して最適化されます。
最適化: フレームワークは、同じタスク位置とフェーズ（解決 vs キュレーション）を共有する独立した試行間でリターンを比較するグループ相対アドバンテージ・アプローチを使用し、計算されたアドバンテージを、ポリシーを更新するためのクリップされた目的関数（PPOと同様）に使用します。

主な貢献

定式化: 本論文は、異なるタスクインスタンスの順序付けられたシーケンスにおけるクロスタスク・スキル学習を定式化しており、そこでは、後のタスクの結果が、以前のインタラクションからキュレートされたスキルの転移可能性を直接評価します。
フレームワーク: 解決とキュレーションの両方に単一のポリシーを使用し、分離されたクロスタスク・クレジット割り当てとロール認識型のグループ相対最適化を組み合わせた、エンドツーエンドのRLフレームワークであるSkillRiseを開発しました。
効率性: 外部のスキル管理パイプライン（例：個別の検索モジュールや教師モデル）を必要としないため、コンパクトな学習パラダイムを提供し、設計上の効率性を実現しています。

実験結果

著者らは、Qwen3-1.7BおよびQwen3-4Bモデルを用い、3つのインタラクティブなテキストベースのベンチマーク（ALFWorld、WebShop、ScienceWorld）でSkillRiseを評価しました。

全体的なパフォーマンス: SkillRiseは、すべてのベンチマークにおいて最も強力なベースライン（GiGPO）を2.3〜8.5パーセントポイント上回る、最も強力なPass@1パフォーマンスを達成しました。
- ALFWorld: 85.9% (GiGPOの83.6%に対し)
- WebShop: 84.4% (GiGPOの77.3%に対し)
- ScienceWorld: 54.6% (GiGPOの46.1%に対し)
タスク内汎化: 異なるタスクのシーケンスで学習されているにもかかわらず、SkillRiseは、保持されたタスク（held-out tasks）に対するPass@2およびPass@3の評価において、同じタスクの反復試行に対して明示的に訓練された手法（例：LaMer）を上回りました。これは、学習されたキュレーション・ポリシーが、インタラクションの結果を実行可能なスキルへと変換するための一般的な戦略を捉えていることを示唆しています。
テスト時のクロスタスク・スケーリング: テスト時における関連タスクシーケンスの長さ（ $K$ ）が増加するにつれて、パフォーマンスは単調に向上しました（例：ALFWorldにおいて、 $K=2$ で83.6%から $K=6$ で87.5%へ）。競合する手法ではこのような成長は見られず、SkillRiseがタスク間で転移可能なスキルを効果的に再利用・洗練していることを示しています。
効率性: RetroAgentやSkillRLのようなマルチステージ・パイプラインと比較して、SkillRiseは、外部メモリの維持や検索のオーバーヘッドを排除することで、実行時間をわずか 1/6 に抑えつつ、同等または優れた成功率を達成しました。

意義と主張

本論文は、SkillRiseが、LLMエージェントがタスク間で転移可能なスキルを抽出、洗練、再利用するためのシンプルかつ効率的な学習パラダイムを提供すると主張しています。その主な意義は、以下のことを実証した点にあります：

複雑な外部パイプラインなしに、統一されたエンドツーエンドのポリシーを通じてクロスタスク・スキル学習が可能であること。
解決（現在の結果）とキュレーション（ダウンストリームの結果）の監督信号を分離することが、転移可能な規則性を学習するために極めて重要であること。
エージェントは、各タスクが一度しか試行されない場合でも、関連するタスクのシーケンスが長くなるにつれてパフォーマンスが向上するという「テスト時スケーリング」を示すことができ、これは経験の蓄積を通じた自己改善の堅牢なメカニズムを示唆しています。

著者らは、現在の制限事項として、シーケンス構築におけるタスク・ファミリー・メタデータへの依存、および実験が4Bパラメータまでのモデルとテキストベースのベンチマークに限定されていることを挙げています。