🤖 AI

ToolVerse: Unlocking Massive Environments and Long-Horizon Tasks for Agentic Reinforcement Learning

本論文は、約400種類の現実世界のプロトコルから大規模な訓練環境を自動的に構築し、ツール依存グラフを通じて長期的なタスクを生成し、さらにTurn-Aware Relative Advantageアルゴリズムを採用することで、複雑で動的なツール統合シナリオにおけるLLMの堅牢性と推論能力を大幅に向上させる、エージェンティック強化学習をスケールアップさせるための包括的なフレームワークであるToolVerseを導入するものである。

原著者： Shuaiyu Zhou, Fengpeng Yue, Zengjie Hu, Yuanzhe Shen, Chenyang Zhang, feng hong, Cao Liu, Ke Zeng

公開日 2026-07-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shuaiyu Zhou, Fengpeng Yue, Zengjie Hu, Yuanzhe Shen, Chenyang Zhang, feng hong, Cao Liu, Ke Zeng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、賢くて動作の速いロボットに、巨大で混沌とした都市のナビゲーションを教えていると想像してみてください。いきなり何百万ものショップや交通信号、見知らぬ人々が行き交う賑やかな大都市にロボットを放り込むことはしないでしょう。すぐに迷子になってしまいます。代わりに、パンを買ったり道を尋ねたりすることを学ぶような、小さくて静かな村から始めるはずです。これは、科学者が「AIエージェント」を訓練する際に行っていることの本質です。AIエージェントとは、人間のように振る舞い、意思決定を行い、ツールを使って問題を解決するように設計されたコンピュータプログラムのことです。これらのエージェントは、インターネット上のほぼすべての情報を読み込んだ「超スマートな脳」である大規模言語モデル（LLM）によって動いています。彼らはチャットや単純なパズルを解くことには長けていますが、複雑で多段階のミッションを、乱雑で現実世界の環境の中で処理しようとすると、しばしばつまずいてしまいます。研究者たちが問い続けている大きな疑問は、「これらのデジタルな脳に、混乱したり諦めたりすることなく、長く複雑な旅路をこなす方法をどうやって教えるか？」ということです。

そこで登場するのが、これらAIエジェントのための究極の「訓練都市」となるべく設計された新しいフレームワーク、ToolVerseです。これは、約422種類の現実世界のツールキット（約4,438種類のツールを含む）からなる、広大でインタラクティブな遊び場を構築する、大規模で自動化された建設作業員のようなものだと考えてください。AIをただ目的もなく彷徨わせるのではなく、ToolVerseは「ツール依存グラフ（Tool Dependency Graph）」と呼ばれる特定の地図を作成します。これは、まるで宝探しのようなものです。最後にある宝箱を開けるためには、まず鍵を見つけなければならず、鍵を見つけるためには、まず謎解きを解かなければならない、というルールがある世界です。このシステムは、巧妙な「ダイナミック・アンロッキング（動的解放）」手法を用いて、多段階のクエストを生成し、AIが異なるツール間のつながりを論理的な順序で理解できるように確実に学習を進めます。

しかし、問題があります。AIが問題を解くのに長い時間がかかると、どのステップが天才的な一手であり、どのステップが間違いだったのかを特定するのが難しくなります。これは、生徒がホワイトボードで数学の問題を解いているのを見ているようなものです。もし最終的な答えが正しかったとしても、それはステップ3でのラッキーな推測によるものなのか、それともステップ7での素晴らしい洞察によるものなのか？これを解決するために、研究者たちは「ターン・アウェア・リラティブ・アドバンテージ（Turn-Aware Relative Advantage）」と呼ばれる新しいスコアリング・システムを導入しました。単に最後に成績をつけるのではなく、このシステムは、その瞬間に他のAIエージェントが何をしたかと比較しながら、ステップごとにAIに対して小さな「ハイタッチ」を与えたり、優しい「もう一度やってみて」というフィードバックを与えたりします。これにより、AIはより速く、より正確に学習できます。結果として、このアプローチは、複雑で長期的なタスクをこなす能力を大幅に向上させ、不器用な初心者を、デジタル上の賑やかな都市をナビゲートできる自信に満ちた探検家へと変貌させることを示唆しています。

問題点：なぜAIは「大都市」で迷ってしまうのか

しばらくの間、AIエージェントは小さく制御された環境では優れた成果を出してきました。ルールが単純で経路が短ければ、コードを書いたりウェブ検索を行ったりすることができます。しかし、現実世界は静かな村ではありません。それは混沌としたメトロポリスです。研究者が、多くの異なるツールを特定の順序で使用する必要がある大規模で複雑なタスクを扱わせようとすると、事態は崩壊してしまいます。

論文では、AIがこれらの「大規模な環境」で苦戦する主な理由を3つ挙げています。

遊び場が小さすぎる： ほとんどの訓練環境は、電卓や検索エンジンなど、1つか2つのツールしか使わせません。現実生活では、数十のツールを同時に操る必要があります。
クエストのデザインが困難： 長い推論の連鎖（例：「旅行を計画し、ホテルを予約し、次にチケットを購入する」）を必要とするタスクを作成することは非常に困難です。AIが1つのステップを間違えると、計画全体が崩れてしまい、どのようにリカバリーするかを教えるのが難しくなります。
「誰がやったのか？」問題： 長期的なタスクにおいて、どの具体的なアクションが成功や失敗につながったのかを特定するのは困難です。AIが20ステップの後に失敗した場合、それはステップ1のせいなのか、それともステップ19のせいなのか？従来の訓練方法では、単に最後に報酬を与えるだけであることが多く、これは学生に対して「どの問題が間違っていたか」を示さずに「テストに落ちました」と告げるようなものです。

解決策：究極の訓練場の構築

これらの問題を解決するために、研究者たちはToolVerseを構築しました。これは単一の環境ではなく、環境を「作る」ための工場です。

1. ツールの工場
チームは、約422種類の現実世界のツールの定義（オープンソースプロジェクトや他のリポジトリから取得）という膨大なコレクションからスタートしました。彼らは、これらの静的な定義を、実際に動作する実行可能なツールへと変換するための自動パイプラインを作成しました。指示内容を整理し、模擬データベース（架空の在庫やユーザープロフィールなど）を構築し、すべてのツールが実際に機能するようにコードを記述しました。その結果、AIが実際に使用し、相互作用できる約4,438個のツールを持つ、多様で大規模な世界が誕生しました。

2. 宝探しの地図（GUSTデータセット）
ツールがあるだけでは不十分です。AIにはそれを使う理由が必要です。研究者たちは、「ツール依存グラフ」を用いてタスクを作成する新しい方法を設計しました。すべてのツールをノードとし、矢印がどのツールを先に使う必要があるかを示すグラフを想像してください。

ダイナミック・アンロッキング（動的解放）： 彼らは、ツールを一つずつ「解放」していく特別なアルゴリズムを使用しました。「ホテルを予約する」ツールを使うには、先に「航空便を検索する」ツールを使っていなければなりません。これにより、AIは論理的なシーケンスを学ぶことを強制されます。
GUSTデータセット： このプロセスにより、GUST（Graph Unlocking Sampling Tasks）と呼ばれるデータセットが生成されました。これらはランダムな質問ではなく、複数のステップを繋ぎ合わせ、一つのツールから次のツールへと情報を渡していくことを要求する、入念に設計された長期的なタスクです。

3. 「ターン・アウェア」なコーチ（TARA）
これが最も巧妙な部分かもしれません。標準的な訓練では、AIは長いタスクの最後に一度だけスコアを受け取ります。ToolVerseは、**ターン・アウェア・リラティブ・アドバンテージ（TARA）**を導入しました。

仕組み： 最後まで待つのではなく、システムは「毎ターン（すべてのステップ）」ごとにAIのパフォーマンスをチェックします。
比較： システムは、AIの動きを、同じタスクに同時に挑戦している他のAIエージェントの動きと比較します。もしあなたのAIが他よりも良い動きをしたなら、ブースト（加点）を与え、悪い動きをしたなら、ペナルティを与えます。
門番（ゲートキーパー）： 彼らは「一貫性のゲート（consistency gate）」を追加しました。もしAIがステップ1でミスをした場合、システムはステップ2からステップ10までの間で行われた「ラッキーな成功」に対して、一切のクレジット（評価）を与えないようにします。これにより、AIが「今は失敗しておいて、後で修正すればいい」と学習してしまうのを防ぎます。これは、成功するためにはすべてのステップを正しく行うことを強制します。

研究結果

研究者たちは、このフレームワークをいくつかのAIモデル（Qwen3やQwen2.5を含む）でテストし、他の手法と比較しました。

長期タスクに強い： ToolVerseとTARAアルゴリズムで訓練されたモデルは、標準的な手法で訓練されたモデルよりも、複雑な多段階ベンチマークにおいて大幅に高いパフォーマンスを示しました。例えば、ACEBench-Agentと呼ばれるテストでは、新しい訓練手法を使用するだけで、モデルのスコアが13ポイント以上向上しました。
「ターン・アウェア」なコーチの威力： 新しいTARA手法を標準的な「Group Relative Policy Optimization (GRPO)」と比較したところ、TARAが常に勝利しました。これは、報酬を細かなステップごとのフィードバックに分解することが、最終的な成績を待つよりもはるかに効果的であることを示唆しています。
ツールが多いほど、脳は賢くなる： 彼らは、より多様な環境（100から422の異なるツールセットへとスケールアップ）で訓練することで、AIがより堅牢になり、未知のタスクに対しても汎用性が高まることを発見しました。

結論

ToolVerseは、AIエージェントを真に現実世界で通用するものにするためには、小さな、単純な部屋で訓練するのをやめ、明確な地図と即時のフィードバックを備えた、大規模で複雑な都市を構築する必要があることを示唆しています。環境の作成を自動化し、すべての動きを見守る「コーチ」を与えることで、研究者たちは、AIが道に迷うことなく、長く複雑なタスクを推論してこなせるようになるための有望な道筋を示しました。この研究はまだ研究段階であり、シミュレーションや特定のベンチマークに基づいたものですが、その結果は、このアプローチが次世代の真に自律的なAIアシスタントを実現するための重要な要素となり得ることを示しています。

技術要約: ToolVerse

問題提起

大規模言語モデル（LLM）は、コンパクトで定義の明確なシナリオにおいては強力な推論能力を示しますが、シームレスなツール統合を必要とする大規模、多様、かつ動的な実世界の環境において、堅牢性と有効性を維持することには苦慮しています。本論文は、この領域の進展を阻害している現在のエージェンティック強化学習（Agentic RL）における3つの主要な限界を特定しています。

限定的な環境スコープ: 既存のエージェンティックRL環境は、通常、単一のツールまたは少数のツールセット（例：コードインタープリタ、検索エンジン）に限定されており、長期的な（long-horizon）マルチターンでのツール統合に求められる複雑さと多様性が欠けています。
タスク設計の複雑さ: 複数の統合されたツールにわたるマルチターンかつ長期的な推論を必要とするタスクを設計することは、本質的に困難です。これらのタスクは、アクションが先行するステップに基づいていることを要求するため、拡張されたインタラクションシーケンスにわたる高度なプランニングを必要とします。
クレジット割り当て（Credit Assignment）の課題: マルチターンのエージェンティックRLにおいて、精密なクレジット割り当ては困難です。疎な終端報酬（sparse terminal rewards）は、長期的な軌道内の個々のアクションに対して意味のあるアドバンテージ推定を提供できず、結果として方差の増大、サンプル効率の低下、および学習の不安定化を招きます。

メソドロジー: ToolVerse フレームワーク

これらのギャップに対処するため、著者らは、実行可能なエージェンティックRL環境をスケールアップし、ツール統合型推論（TIR）タスクにおける複雑な長期的推論を可能にするために設計された包括的なフレームワーク、ToolVerseを導入します。このフレームワークは、以下の3つのコアコンポーネントで構成されています。

1. 実行可能なエージェンティックRL環境のスケーリング

著者らは、静的なツール定義を堅牢で実行可能な環境へと変換するための、自動化されたクローズドループ合成パイプラインを提案しています。

スキーマのリファクタリング（Schema Refactoring）: 生のツールスキーマは構造化された形式に洗練され、関数シグネチャを意図した機能に適合させ、テキストノイズを排除することで、LLMベースのPythonコード生成を容易にします。
ステートフルな環境構築（Stateful Environment Construction）: 各ツールに対してドメイン固有の辞書データベースを構築し、不可欠な状態変数（例：インベントリ、プロファイル）をモデル化することで、ステートフルなインタラクションを可能にします。
実行可能生成と検証（Executable Generation & Verification）: Model Context Protocol (MCP) ライブラリを使用し、データベースをクエリまたは更新する実行可能な関数を生成します。決定的なのは、パイプラインがユニットテストを自動生成し、すべての構文およびユニットテストに合格したツールセットのみを保持する点です。このプロセスにより、トレーニングのランドスケープは、約4,438個のツールを含む約422個の実世界のMCP環境へとスケールします。

2. グラフ誘導型長期タスク合成 (GUST データセット)

一貫性のある長期タスクを生成するために、著者らは**ツール依存グラフ（Tool Dependency Graph: TDG）と動的アンロックサンプリング（Dynamic Unlocking Sampling: DUS）**アルゴリズムに基づくタスク設計戦略を提案しています。

TDGの構築: ノードがツールを表し、エッジが依存関係（例：ツールAの出力がツールBの入力として必要）を捉えるグラフ $G=(V, E)$ を構築します。
動的アンロックサンプリング (DUS): このアルゴリズムは、入次数がゼロ（未充足の依存関係がない）のツールの「準備完了キュー」を維持します。準備完了状態のツールのサブセットを反復的にサンプリングして、軌道のステージを形成します。ツールが実行されるにつれ、後続ノードの入次数が減算され、すべての前提条件が満たされたときにのみ、それらのツールがアンロックされます。これにより、因果関係の接地（causal grounding）と論理的一貫性が保証されます。
逆コンテキスト再構築（Inverse Context Reconstruction）: サンプリングされたツールのスケルトンは、モックデータベースに接地され、「ゴールントレース（Golden Trace）」を作成します。引数はトポロジカル順序でインスタンス化され、依存関係に基づく引数は前の出力から、コンテキスト固有の引数はデータベースの状態から取得されます。
データセットのキュレーション: 得られたGUST (Graph Unlocking Sampling Tasks) データセットは、厳格な検証パイプライン（LangGraph）とティーチャーエージェントによるフィルタリング（Pass@8）を用いてキュレーションされ、タスクの妥当性と多様性を確保しています。

3. ターン単位の相対的アドバンテージ (Turn-Aware Relative Advantage: TARA) 推定

長期タスクにおけるクレジット割り当て問題に対処するため、著者らは、標準的なGroup Relative Policy Optimization (GRPO) の粗い軌道レベルの正規化に代わり、きめ細かな**ターン単位の相対的アドバンテージ（Turn-Aware Relative Advantage: TARA）**アルゴリズムを導入しています。

分解: アドバンテージは、ローカル（現在のターンの即時的な正当性）とフューチャー（ダウンストリームへの影響）のコンポーネントに分解されます。
バイナリ報酬: エージェントのツール呼び出しが、そのターンで要求される「ゴールントレース」のツールをカバーしているかどうかに基づいて、各ターンに対してバイナリ報酬が計算されます。
コンシステンシー・ゲート（Consistency Gate）: 「ラッキーな推測」がクレジットを受け取るのを防ぐため、コンシステンシー・ゲート（ $\delta_{i,t}$ ）が適用されます。現在のステップが有効（ $r_{i,t}=1$ ）である場合にのみ、将来の報酬がクレジットされます。現在のステップが失敗した場合、将来の報酬はゼロになります。
融合: 合計アドバンテージは、正規化されたローカルアドバンテージと、ゲート処理されたフューチャーアドバンテージの加重融合であり、ポリシー更新に対してより高密度で精密な教師信号を提供します。

主な貢献

自動化された環境スケーリング: 生のツール定義を実行可能なMCP環境へと変換することを自動化することにより、エージェンティックRLを狭いドメインから多様な実世界のツール統合型推論シナリオへとスケールさせるパイプラインの開発。
TDGベースのタスク生成: ツール依存グラフと動的アンロックサンプリングアルゴリズムを用いたタスク生成パラダイムの提案、および、一貫性のある長期的なマルチターンタスクでエージェントを訓練するためのGUSTデータセットの構築。
きめ細かなクレジット割り当て: ターン単位のコンシステンシー・ゲート付きフィードバックを通じて、疎な報酬の問題に対処し、トレーニングの安定性と推論性能を向上させる、**ターン単位の相対的アドバンテージ（TARA）**推定法の導入。

実験結果

著者らは、ToolVerseを用いた広範なエージェンティックRLトレーニングを実施し、いくつかのベンチマーク（BFCL-v3 Multi-Turn、 $\tau^2$ -Bench、ACEBench-Agent）でフレームワークを評価しました。

性能向上: ToolVerseは、評価されたすべてのモデルスケール（Qwen2.5-14B, Qwen3-4B, Qwen3-8B）およびベンチマークにおいて、一貫して大幅な性能向上を示しました。例えば、ACEBench-Agentにおいて、Qwen3-8B (Thinking) モデルは+15.15ポイントの増加を達成し、非思考型のQwen2.5-14B-Instructは+13.88の増加を見せました。
TARAの有効性: TARAアルゴリズムは、ナイーブなGRPOベースラインを大幅に上回りました。アブレーション研究において、TARAはローカルクレジットのみ、あるいはコンシステンシー・ゲートなしのフューチャークレジットのみを使用するバリアントよりも優れた性能を示し、両方のコンポーネントの重要性を検証しました。
環境のスケーリング: 実験は、トレーニング環境の数（100から422へ）を増やすことが一般的に汎化性能を向上させることを示しており、堅牢なエージェンティックなツール使用のための環境の多様性の重要性を浮き彫りにしました。
比較: ToolVerseは、BFCL-v3および $\tau^2$ -Benchにおいて、公開されている再現可能なベースライン（ToolRL, AgentFlow, SimpleTIR）を上回りました。

意義と主張

本論文は、ToolVerseが、複雑で動的な環境におけるエージェントを訓練するためのスケーラブルなインフラストラクチャを提供することで、エージェンティックRLのギャップを効果的に埋めるものであると主張しています。多様な実世界のシナリオを、新しいターン単位のクレジット割り当てポリシーと統合することで、このフレームワークは、疎な報酬と多段階推論という決定的な課題に対処します。著者らは、彼らのアプローチがLLMの長期的ツール使用能力を大幅に強化し、動的な環境内での堅牢な推論を実現すると断言しています。

著者らは、タスク生成が利用可能なプロトコル内の定義された依存関係に依存していることを認め、これは、新しいツール間の相互作用を自律的に発見できる環境と比較して、創発的な行動の多様性を制限する可能性があるとしています。また、TARAアルゴリズムは、粒度を向上させる一方で、依然として各ターンで定義された報酬信号に依存しており、極めて疎な、あるいは曖昧な報酬設定においては苦慮する可能性があることも述べています。