🤖 AI

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkillは、アサーション駆動型のスキル修正、グループ内ロールアウトサンプリング、およびトンプソンサンプリングをGRPOアルゴリズムに組み込むことで、スキルの生成と方策の最適化を両立させ、再利用可能な戦略と方策の自動的な共進化を可能にし、未知のタスクに対する優れた汎化性能を実現する、新しいエージェンティックな強化学習フレームワークである。

原著者： Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

RESKILL論文の解説：学習しながら「学び方」を学ぶロボット

ビッグアイデア：学習しながら「学び方」を教える

あなたは、ロボットに複雑なビデオゲームの遊び方を教えていると想像してください。

従来の方法： あなたはロボットにルールを教え、プレイさせます。そして、失敗したときに、次に従うべき新しいルール（「スキル」）を手動で書き込みます。しかし、ここに問題があります。ロボットは上手くなるにつれて、自分自身のプレイスタイルを常に変化させているのです。もし、昨日どのようにプレイしていたかに基づいて新しいルールを書いたとしても、そのルールは今日ではかえって混乱を招くかもしれません。なぜなら、ロボットはすでに進化しているからです。それは、大人向けの取扱説明書を使って、幼児に靴の紐の結び方を教えているようなものです。幼児はすでに古い指示には追いついていないのに、新しい指示はまだテストもされていないのです。
RESKILLの方法： ルールを別のノートに書き留める代わりに、RESKILLは「ルール作成プロセス」自体をゲームの一部に変えてしまいます。これは、トレーニングのループ内で動作する「ルール作成工場」を作り出します。ロボットは学習を進めながら新しいルールを試し、それが役立つかどうかを確認し、良いものは保持し、悪いものは即座に破棄します。これをリアルタイムで行います。

コアとなる問題：「ミスマッチ」

この論文は、既存の手法が**スキルとポリシーの衝突（Skill-Policy Conflict）**に苦しんでいると主張しています。

ポリシー（Policy）： これはロボットの脳（戦略）です。学習が進むにつれて絶えず変化します。
スキル（Skills）： これらは再利用可能なテクニックやショートカットです（例：「まず冷蔵庫をチェックする」「推測する前に検索する」など）。
衝突： 既存の手法では、スキルの作成と脳のトレーニングが切り離されています。そのため、古い「脳」には機能したが、新しい「脳」とは衝突してしまうようなスキルが作られてしまうことがあります。これは、コーチが選手のプレーの最中に、その選手が本当に新しい動きを理解しているかを確認せずに、新しいプレイブックを渡しているようなものです。

RESKILLの仕組み：「味見」キッチン

RESKILLは、著者たちが**「スキル作成とポリシー最適化の調和（Reconciling Skill Creation with Policy Optimization）」**と呼ぶ3つの主要なメカニズムを用いて、スキル作成をトレーニングプロセスに直接統合することで、この問題を解決します。

1. 「グループ味見」（Within-Group Sampling）

シェフ（AI）が料理を作らなければならない料理コンテストを想像してください。

標準的な方法： シェフは同じレシピを使って10品作ります。その後、批評家が新しいレシピを書きます。シェフは後でその新しいレシピを試します。
RESKILLの方法： シェフには10件の注文が与えられます。5件については古いレシピを使い、残りの5件については（その場で作成された）新しいレシピを使います。
なぜ機能するか： シェフは10件すべての注文に対して全く同じ気分と状態にあるため、違いはレシピのみとなります。システムは即座に判断できます。「今の状態で、新しいレシピはスコアを上げるのに役立ったか？」これにより、追加の時間やリソースを必要とせずに、公平で制御された比較が可能になります。

2. 「自己修復型」ルールブック（Assertion-Driven Creator）

シェフが料理に失敗したとき、通常は人間が介入して「スープに塩を入れ忘れたよ」と言います。RESKILLはこのプロセスを自動化します。

システムは、シェフが成功した時と失敗した時のすべてを記録する**リザーバー（貯蔵庫）**を保持します。
システムは「探偵」（LLM）を使用して、そのバケツの中身を調べ、「何が間違っていたのか？オーブンをチェックするのを忘れたのか？それとも違う材料を探していたのか？」と問いかけます。
これらのパターンに基づき、システムは自動的に新しい「スキル」（例：「鍋を見つけたら、かき混ぜる前に温度を確認する」というルール）を書き込みます。
重要な点： 単に推測するだけではありません。システムは上述の「グループ味見」を用いて、即座に新しいルールを古いルールと比較テストします。

3. 「賢いギャンブラー」（Thompson Sampling）

システムは、新しいレシピと古いレシピをそれぞれ何回試すべきかをどのように決定するのでしょうか？

新しいレシピが有望に見える場合、システムはそれをより頻繁に試します。
新しいレシピが良くないと思われる場合、試す回数を減らします。
ひねり： ロボットの脳は一秒ごとに進化しています。10分前にうまくいったルールは、今では時代遅れかもしれません。RESKILLは、**「適応型ディスカントを用いたトンプソン・サンプリング（Thompson Sampling with Adaptive Discounting）」**という数学的なトリックを使用します。
- これは、昨日の当たり番号は今日には役に立たないと知っているギャンブラーのようなものです。
- もしロボットが最近、新しいレシピを何度も試しているなら、システムは最新のデータを信頼し、古いデータを忘れます（ディスカウント）。
- もしロボットがそれをあまり試していないなら、一度の失敗で軽率な判断を下さないよう、古いデータを保持します。
- これにより、システムは過去の脳ではなく、ロボットの「現在の」脳に最も適したスキルに常に賭けることができるようになります。

結果：なぜ重要なのか

論文では、RESKILLをいくつかの「ゲーム（タスク）」でテストしました：

家事（ALFWorld）： 仮想の家の中で物体を動かす。
検索エンジン： ウェブ検索を通じて複雑な質問に答える。
科学とコーディング： 物理の問題を解いたり、SQLコードを書いたりする。

判明したこと：

困難なタスクに強い： RESKILLは単に少し優れた結果を出しただけでなく、未知のタスク（見たことがないタスク）において競合を圧倒しました。これは、学習されたスキルが、単なる暗記された答えではなく、柔軟で汎用的なものだったためです。
追加コストなし： ロボットにゲームを2倍長くプレイさせる必要はありませんでした。通常のトレーニングステップの中でスキルテストを行いました。
自己修正： システムは、ロボットが賢くなるにつれて機能しなくなったスキルを自動的に「プルーニング（剪定・削除）」しました。これは、必要に応じて成長し、縮小する「生きたスキルのライブラリ」です。

要約の比喩

サッカーチームを想像してください：

従来の方法： コーチは試合を観察し、ホワイトボードに新しいプレーを書き込み、来週チームに試すよう伝えます。しかしその間に選手のフォーメーションが変わっているため、新しいプレーは適合しません。
RESKILL： コーチは試合中にフィールドにいます。チームが攻撃するたびに、半数の選手は古いプレーを試し、残りの半数は直前のミスに基づいてその場で発明された新しいプレーを試します。コーチはどちらが「今」ゴールを決めるかを即座に判断し、チームにそれを継続するよう指示します。チームは戦略とプレイブックの両方を同時に進化させ、完璧に調和します。

要するに、 RESKILLは「遊び方を学ぶこと」と「ルールを学ぶこと」を別々の仕事として扱うのをやめます。これらを統合することで、AIがより優れた脳とより優れたルールブックを同時に構築することを可能にします。

技術要約: RESKILL – エージェンティックRLにおけるスキル生成とポリシー最適化の調和

問題提起

エージェンティック強化学習（Agentic RL）は、大規模言語モデル（LLM）エージェントが環境報酬を通じて継続的に改善することを可能にします。しかし、決定的な限界が存在します。それは、生成されたポリシーが、タスク間で汎用可能な「再利用可能な戦略」を体系的に蓄積できていないという点です。モジュール化されたスキル（タスク固有の戦略をエンコードした再利用可能なスニペット）は解決策となりますが、既存のスキル拡張型RL手法は、通常、スキルの生成とポリシーの最適化を切り離して（デカップルして）扱っています。

この切り離しは、「スキルとポリシーの衝突」を引き起こします。外部（人間によるループ内テストや静的な蒸留など）からスキルを進化させる手法は、エージェントの進化するポリシーと整合しないスキルを採用してしまうリスクがあります。逆に、原理的なテストなしにスキルを学習する手法は、効果のない知識を蓄積してしまう可能性があります。核心となる課題は、スキルの進化とポリシー学習を**調和（リコンサイル）**させ、スキルの生成・テスト・洗練が、現在のポリシーの学習状態に直接反応して動的に行われるようにするフレームワークを構築することです。

手法: RESKILL フレームワーク

RESKILL（Reconciling Skill Creation with Policy Optimization）は、**グループ相対方策最適化（GRPO）**のグループ単位の構造を活用することで、スキルの生成サイクルをRLのトレーニングループ内に直接組み込むことで、この問題に対処します。本フレームワークは、以下の3つの統合されたメカニズムによって動作します。

1. グループ内スキル・テスティング

専用のコストのかかるテスト用のロールアウトを行う代わりに、RESKILLは、GRPOが同一のタスクに対して同一のポリシーの下で $G$ 個の軌跡（trajectory）をサンプリングするという事実を利用します。

メカニズム: 単一のトレーニングステップ内で、異なるスキルのバージョン（例：既存のバンク $S_{old}$ vs 候補となる $S_{new}$ ）を、トンプソン・サンプリングを介して同じグループ内の異なるロールアウトに割り当てます。
利点: これにより、コストをかけずにスキルのバージョンを制御・比較できます。タスクとポリシーはグループ全体で同一であるため、性能の違いをスキルのバージョンのみに直接帰属させることができ、直接的な比較が可能になります。
三役をこなすロールアウト: 各ロールアウトは、(i) GRPO勾配によるポリシー最適化、(ii) スキル作成者への失敗診断、(iii) スキルバージョン選択のためのバンディット評価、という3つの役割を同時に果たします。

2. RLイン・ザ・ループのスキル生成

RESKILLはAnthropicの「スキル・クリエイター」パイプラインを適応させていますが、ここでは人間によるフィードバックを、RLループからの自動化された報酬駆動型シグナルに置き換えています。

経験リザーバー: 継続的に更新されるリザーバー $R$ は、成功・失敗の軌跡ペアを、それらに付随するスキルバージョンと報酬とともに収集します。
アサーション駆動の診断: 単一の軌跡を分析するのではなく、システムはリザーバー全体に対して動的なルールベースのアサーション（述語）を適用し、蔓延している失敗モードを特定します。
条件付き改訂: LLMベースのエージェントが、これらの失敗プロファイルに基づき、候補となるスキルバージョン（ADD、MODIFY、DELETE操作）を提案します。重要な点は、提案されたトリガーが、テストフェーズに入る前に十分な活性化カバレッジ（activation coverage）を持っていることを、リザーバーを用いて検証することです。

3. スキル進化のための適応型トンプソン・サンプリング

新しいスキルバージョンの探索と、既知の有効なスキルの活用とのトレードオフを管理するために、RESKILLは適応型ディスカウンティングを伴うトンプソン・サンプリングを採用しています。

割り当て: 各ステップにおいて、新しいスキルバージョンにロールアウトを割り当てる確率は、新しいバージョンが優れているという事後確率（ $Pr(p_{new} > p_{old})$ ）によって決定されます。
適応型ディスカウンティング: ポリシーは評価ウィンドウ中に進化するため、古い観測値は陳腐化します。RESKILLは、過去の証拠を減衰させるためのメモリパラメータ $M$ を導入します。割引率 $w_t$ は、新しいエピソード数 $n_t$ に基づいて調整されます。 $n_t$ が小さい場合は過去の証拠を保持し、 $n_t$ が大きい場合は、現在のポリシーの能力を反映するために過去の証拠を積極的に減衰させます。
採択/拒絶: 進化サイクルの終了時、新しいスキルバージョンは、減衰後の事後確率に基づく期待性能が旧バージョンを上回った場合にのみ採択されます。

主な貢献

調和された共進化: RESKILLは、スキルの生成をポリシー最適化ループに直接統合した初のフレームワークであり、デカップルされた手法に見られるスキルとポリシーの不整合のリスクを排除します。
ゼロオーバーヘッド・テスティング: GRPOのグループ構造を利用することで、追加のロールアウト予算や専用のテストフェーズを必要とせずに、スキルのバージョンを制御・比較することを可能にします。
適応的なスキルのライフサイクル: リアルタイムのポリシー性能と報酬シグナルに基づき、スキルの生成、テスト、洗練、および削減（pruning）の全ライフサイクルを自動化します。
ポリシー・ドリフトへの堅牢性: トンプソン・サンプリングにおける適応型ディスカウンティングの導入により、進化するポリシーの非定常性を扱うことができ、スキルの評価が常に最新の状態に保たれることを保証します。

実験結果

RESKILLは、身体的推論（ALFWorld）、エージェンティック検索（NQ, HotpotQA, および5つの未学習データセット）、科学的発見（ScienceWorld）、コーディング（InterCode-SQL）、およびウェブショッピング（WANDS）の5つのドメインで評価されました。

性能向上: RESKILLは、バニラGRPO、メモリベースRL（MEMRL）、および既存のスキルベース手法（SKILLRL, INSPO）を含むベースラインを一貫して上回りました。
- ALFWorldにおいて、RESKILLは4Bモデルで90.0%、8Bモデルで92.7%の成功率を達成し、最強のベースラインであるSKILLRLを大幅に上回りました。
- エージェンティック検索において、RESKILLは既知の分割データセットでSKILLRLに対し2.5～2.3%の改善を示し、未学習の分割データセットではさらに大きな利得を達成しました。
未知のタスクへの汎化: 最も顕著な改善は、未知のタスクや困難なタスクで見られました。例えば、ALFWorldの未知のタスクにおいて、RESKILL (8B) は95.3%を達成し、SKILLRL (82.6%) との間に12.7%の差をつけました。これは、調和された進化が、より汎用性の高いスキルバージョンのみを保持していることを示唆しています。
クロスドメイン適応: テスト時適応実験において、ALFWorldで訓練されたポリシーを凍結してScienceWorldに適用したところ、RESKILLはポリシーの更新なしに新しいドメインへのスキルバンクの迅速な適応を実現しましたが、ベースラインモデルは進化に失敗しました。
効率性: RESKILLは、GRPOと比較して競争力のあるトレーニングおよび推論速度を維持しました。条件付きトリガーメカニズムにより、関連するスキルのみがロードされることが保証され、すべてのスキルを無条件にロードする手法と比較してコンテキスト長をコンパクトに保つことができます。

意義と主張

本論文は、スキル生成とポリシー学習は別個のプロセスとして扱うべきではないことをRESKILLが示していると主張しています。これら2つのプロセスを調和させることで、システムは新しいスキルに従い、そこから利益を得るための一般的な能力を発達させ、複雑、未知、および領域外のタスクにおける優れた性能へとつながります。

著者らは、これらの利得が、特定のスキル生成用LLMによるものではなく、主に調和された共進化メカニズムに由来することを強調しています（アブレーション研究により、スキルクリエイターとしてベースモデル自体を使用した場合でも高い性能が維持されることが示されました）。本フレームワークは、スキルが静的な指示ではなく、エージェントのポリシーと共適応する動的な構成要素であるという、エージェンティックRLの新しいパラダイムを確立しています。