💬 NLP

ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution

ToolOmni は、能動的な検索と実行を統合した自律エージェント学習フレームワークを提案し、大規模で変化するツール環境において、LLM のツール検索精度と実行成功率を大幅に向上させることを実証しています。

原著者： Shouzheng Huang, Meishan Zhang, Baotian Hu, Min Zhang

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

原著者： Shouzheng Huang, Meishan Zhang, Baotian Hu, Min Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「ToolOmni（ツール・オムニ）」**という新しい AI の仕組みについて紹介しています。

一言で言うと、**「AI が、世界中に散らばる膨大な数の『道具（ツール）』の中から、必要なものを探し出し、正しく使って問題を解決する能力を、まるで人間のように自ら学習して身につける方法」**です。

これを、日常の生活に例えてわかりやすく説明しますね。

🏠 例え話：巨大な工具倉庫と職人さん

想像してください。あなたの家には、**「1 万個以上の工具が入った巨大な倉庫」**があります。
ハンマー、ドライバー、レンチ、そして見たこともない不思議な道具まで、すべてそこにあります。

❌ 従来の AI のやり方（失敗するパターン）

これまでの AI は、この倉庫を使うときに 2 つの大きな弱点を持っていました。

「辞書」で探すだけ（静的な検索）：
「ネジを締めたい」と言うと、AI は「ネジ締め」に関連しそうな名前を辞書で探します。でも、倉庫が広すぎて、「ネジ締め」ではなく「ネジ切り」の道具を選んでしまったり、本当に必要な「特殊ドライバー」を見つけられなかったりします。
「記憶」に頼りすぎる（パラメータ記憶）：
「あの工具の名前は〇〇だ」と丸暗記させようとします。でも、新しい工具が倉庫に追加されると、AI は「それ？知らないよ」と言ってしまうのです。

✅ ToolOmni のやり方（成功するパターン）

ToolOmni は、ただの「道具使い」ではなく、**「賢い職人見習い」**として育てます。

ステップ 1：まずは「見習い」から始める（SFT）
最初は、熟練の職人（人間）がどうやって道具を選び、どう使うかという**「お手本」**を大量に見せます。「ねじを締める時は、まずこの道具を探し、こう回すんだよ」という手順を教えます。これで基礎体力をつけます。

ステップ 2：失敗から学ぶ「試行錯誤」のトレーニング（RL）
ここが最大の特徴です。AI には**「自分で考えて、間違えても直して、正解を目指す」**練習をさせます。

能動的な検索（Proactive Retrieval）：
「ネジを締めたい」と言われたら、ただ辞書を引くのではなく、**「あ、ネジの種類によって道具が違うかも？まずは『ネジの種類』について調べて、それから道具を選ぼう」**と、AI 自身が「検索クエリ（検索言葉）」を工夫して、倉庫の奥深くまで探します。
- 例え： 単に「工具」を探すのではなく、「太いネジ用のドライバー」を探しにいくように、AI が自ら「何を検索すればいいか」を考えます。
地面に足をつけた実行（Grounded Execution）：
道具を見つけたら、実際に使ってみます。もし「工具が壊れた（エラーが出た）」ら、AI は**「あ、この道具じゃダメだ。じゃあ、別の方法でやってみよう」**と、その場で戦略を変えます。
- 例え： 壁に穴が開かないからといって「もっと強く叩く」のではなく、「ドリルを変えよう」とか「壁の材質を確認しよう」と、失敗から学んで次の行動を決めます。

ステップ 3：2 つの能力を同時に鍛える（デカップルド学習）
ここが技術的なすごいところです。
「道具を探す力（検索）」と「道具を使う力（実行）」は、別々の課題として扱います。

「検索が上手くなったか？」→ 検索の点数を上げる。
「実行が上手くなったか？」→ 実行の点数を上げる。
この 2 つを同時に、でも互いに干渉させずに鍛えることで、**「どんな新しい道具が倉庫に追加されても、見つけ出して使いこなせる」**という、驚くほど柔軟な能力が身につきます。

🌟 ToolOmni がすごい点（まとめ）

どんな道具でも見つけられる：
倉庫に 1 万個以上の道具があっても、必要なものだけをピンポイントで見つけ出します（従来の AI より 10% 以上も正確）。
失敗しても諦めない：
道具が壊れたり、使い方が間違ったりしても、**「じゃあ、こうしよう」**と自分で考え直して、問題を解決します。
新しい世界でも活躍できる：
見たこともない新しい道具や、全く新しい分野（例えば、未来の新しい家電など）が登場しても、その場で学習して使いこなせます。

🎯 結論

この論文は、AI に「与えられた指示をこなす」だけでなく、**「必要な道具を自ら探し出し、失敗しながらも正解にたどり着く」という、人間のような「探求心と適応力」**を持たせることに成功したことを示しています。

これにより、AI は単なる「質問に答える機械」から、**「複雑な問題を解決してくれる、頼れるパートナー」**へと進化しようとしています。

ToolOmni: 能動的な検索と接地された実行によるオープンワールドツール利用の実現

本論文は、大規模言語モデル（LLM）がオープンワールド（大規模かつ動的に変化するツール群）において、高精度にツールを検索・実行するための統合的なエージェントフレームワーク**「ToolOmni」**を提案するものです。既存の手法が抱える課題を克服し、推論ループ内で能動的な検索（Proactive Retrieval）と接地された実行（Grounded Execution）を統合することで、SOTA（State-of-the-Art）性能を達成しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と課題 (Problem)

LLM は外部ツールを利用することで問題解決能力を向上させますが、オープンワールド環境（16,000 以上の API を含む大規模で絶えず更新されるツールリポジトリ）においては、以下の 2 つの主要な課題が存在します。

意図とツールの不一致（検索精度の低下）:
- 既存の手法は、静的な埋め込み検索（Embedding Retrieval）やパラメータ記憶に依存しています。
- 埋め込み検索は「浅い一致」に留まり、複雑なユーザー意図と機能的に必要なツールの一致が困難です。
- パラメータ記憶は、ツールが更新されるたびに再学習が必要であり、動的環境への汎化性が低いです。
受動的なパイプライン構造:
- 従来のアプローチは「検索→実行」という受動的なパイプラインを採用しており、エージェントが検索プロセスに能動的に関与したり、タスク固有のニーズに基づいて検索を微調整したりすることができません。
- これにより、実行モデルは適切なツール選択の機会を失い、最終的なタスク成功率が低下します。

2. 手法 (Methodology)

ToolOmni は、推論ループ内で能動的な検索と接地された実行を統合したエンドツーエンドのフレームワークです。学習プロセスは以下の 2 段階で構成されます。

2.1 コールドスタート段階 (Cold-start Phase)

モデルに基礎的なツール利用能力を付与するため、高品質なハイブリッドデータセットを用いた**教師あり微調整（SFT）**を行います。

データ構築: ToolBench ベンチマークから、検索と実行の両方の軌跡（Trajectory）を抽出・精選しました。
- 検索用：約 28,000 件の高品質な検索軌跡。
- 実行用：約 33,000 件の実行軌跡（正解・誤答を含む）。
目的: モデルがツール検索と実行の基本的な形式と論理を習得し、RL 学習の安定した初期状態を確保します。

2.2 オープンワールドツール学習段階 (Open-world Tool Learning)

SFT 後のモデルを、**脱離型多目的 GRPO（Decoupled Multi-Objective GRPO）**アルゴリズムを用いて最適化します。これは、従来の単一報酬 GRPO を改良したもので、検索と実行を独立したサブタスクとして扱います。

能動的ツール検索 (Proactive Tool Retrieval):
- エージェントはユーザーの意図を分析し、能動的に検索クエリを生成します（<search> タグ使用）。
- 埋め込みモデルを用いてツールを検索し、タスク完了に必要なツールセットが揃うまで反復的に検索を行います。
- 最終的に最適なツールセットを <final_tools> タグで出力します。
接地されたツール実行 (Grounded Tool Execution):
- 検索されたツールセットに基づき、推論（<reasoning>）とツール呼び出し（<tool_call>）を交互に行います。
- 実行結果（<information>）を文脈に追加し、エラー回復や戦略変更を行います。
脱離型報酬設計と最適化:
- 検索報酬 ( $R_{ret}$ ): フォーマット正しさ、真のツール（Ground-truth）の網羅性（Recall）、および最終選択への有効性を評価。
- 実行報酬 ( $R_{exec}$ ): 推論パスの構造的妥当性と、最終回答の正しさを評価。
- 分離更新 (Separated Update): 検索と実行の勾配を直接足し合わせるのではなく、単一ステップ内で逐次的に更新します。これにより、両者の学習信号が干渉し合うことを防ぎ、安定した最適化を実現します。
- トラジェクトリフィルタリング: 検索段階で真のツールが網羅された場合のみ実行フェーズを開始し、無効な文脈での学習を排除します。

3. 主要な貢献 (Key Contributions)

ToolOmni フレームワークの提案:
- 能動的なツール検索と接地された実行を統合した単一の推論ループを実現し、オープンワールド環境でのツール利用を可能にしました。
2 段階学習戦略と脱離型 GRPO:
- SFT によるコールドスタートと、検索・実行を独立して最適化する GRPO ベースの RL を組み合わせた新しい学習戦略を提案しました。
SOTA 性能と高い汎化性:
- 大規模なツールリポジトリにおける検索精度と、エンドツーエンドの実行成功率において既存の最良の手法を大幅に上回る結果を示しました。
- 未見のツールやドメインに対する高いロバスト性を証明しました。

4. 実験結果 (Results)

ToolBench ベンチマークを用いた広範な実験により、以下の結果が得られました。

ツール検索性能 (RQ1):
- Multi-Domain（16,000 以上の API から選択）設定において、平均 NDCG@5 が 78.29% を記録。
- 既存の最良手法（ToolRetriever, ToolGen など）を大きく上回り、特に Top-1 精度で顕著な改善が見られました。
- 能動的な検索停止判断により、不要なノイズを含めず、必要なツールに集中する効率的な動作が確認されました。
ツール実行性能 (RQ2):
- エンドツーエンド設定（検索から実行まで）において、解決率（SoPR）が 54.13%。
- 既存の強固なベースライン（GPT-3.5 パイプラインなど）を +10.8% 上回りました。
- 回答の質（Solvable Win Rate）も大幅に向上し、より正確で一貫性のある回答を生成することが示されました。
ロバスト性と汎化性 (RQ3):
- 未見のツール/カテゴリ: 未知のツールやドメインに対する一般化性能が極めて高く、Category Generalization 設定で +13.85% の改善を示しました。
- ノイズ耐性: 検索結果に敵対的なノイズ（誤ったツール）が含まれていても、ToolOmni は適応的に代替ツールを見出し、精度を回復させる能力（Adaptive Resilience）を有していました。
アブレーション研究:
- SFT 段階の欠落は実行性能を大幅に低下させ、RL 段階の欠落は検索性能を低下させることが確認され、両段階の重要性が実証されました。
- 検索戦略として「反復検索」を採用することで、静的なワンショット検索より精度が向上しました。

5. 意義と結論 (Significance)

ToolOmni は、LLM が大規模で動的なツール環境において、単なるツール呼び出し器ではなく、**「推論しながらツールを選択・実行する自律的なエージェント」**として機能することを示しました。

技術的意義: 検索と実行を分離して最適化する「脱離型多目的 GRPO」は、スパースな報酬環境における複雑なタスク学習の有効なアプローチであることを証明しました。
実用性: 現実世界の API 環境において、ツールが頻繁に更新されたり、膨大な数から選択が必要な状況でも、高い成功率とエラー回復能力を発揮します。
将来展望: このフレームワークは、マルチモーダルツールやより複雑な長期的計画タスクへの拡張可能性を秘めています。

要約すると、ToolOmni は、オープンワールドにおけるツール利用の課題に対し、能動的な検索と堅牢な実行を統合した新しいパラダイムを提供し、LLM の実世界応用における重要な一歩を踏み出した研究です。