SkillCraft: Can LLM Agents Learn to Use Tools Skillfully?

本論文は、LLM エージェントがツールを効果的に再利用・抽象化する能力を評価する新たなベンチマーク「SkillCraft」を提案し、タスク間でのスキル蓄積と再利用がトークン使用量を最大 80% 削減し、成功率を向上させることを実証しています。

要約

SkillCraft：AI が「道具」を賢く使いこなすための新しい実験場

この論文は、**「AI（大規模言語モデル）が、単に道具を一つずつ使うだけでなく、複数の道具を組み合わせて『スキル（得意技）』を作り、それを繰り返し使えるようになるか？」**という問いに答えるための研究です。

タイトルは**「SkillCraft（スキルクラフト）」**です。まるでゲームで新しい武器や呪文を「クラフト（作成）」するように、AI が道具を組み合わせる技術を習得する実験場です。

---

🧐 従来の AI と、この研究の「SkillCraft」の違い

1. 従来の AI：「毎回、ゼロから考える新人」

これまでの AI 評価では、AI に「検索して、分析して、要約して」という指示を出すと、AI は毎回**「検索ボタンを押す→結果を読む→分析ボタンを押す→結果を読む」**という作業を、一つ一つ手作業で繰り返していました。

• アナロジー： 料理をするとき、毎回「包丁を手に取り、野菜を切り、鍋に放り込み、火をつける」という動作を、料理のたびにゼロから思い出して行っているようなものです。
• 問題点： 非常に時間がかかり、計算コスト（トークン数）が膨大になります。

### 2. SkillCraft の AI：「レシピを覚えて、料理人になる」

SkillCraft では、AI に**「同じような作業を繰り返すときは、それを一つの『スキル（レシピ）』として保存し、次回からはそのレシピを呼び出して実行しなさい」**というルールを与えます。

• アナロジー： 最初の数回で「野菜炒めのレシピ（スキル）」をノートに書き留めます。次に同じ料理を頼まれたら、レシピを見ながら「野菜炒めスキル」を呼び出すだけで、一瞬で完成します。
• メリット： 毎回ゼロから考えなくて済むため、処理速度が劇的に上がり、コスト（お金や時間）が最大 80% 削減されました。

---

🛠️ SkillCraft の仕組み：3 つのステップ

この実験は、AI がどうやって「スキル」を身につけるかを見るための 3 つの段階で構成されています。

1. 探索と発見（試行錯誤）：
   AI はまず、道具（API）を一つずつ使ってタスクをこなします。ここで「あ、この 3 つの作業は毎回同じだな」と気づきます。
2. スキル化（レシピ作成）：
   AI はその「同じ作業の流れ」をコード（レシピ）として書き出し、「保存（Save Skill）」ボタンを押します。これで、その作業は「スキル」としてライブラリに格納されます。
3. 再利用（レシピの呼び出し）：
   次回のタスクで似たような作業が出ると、AI は「あ、これは前に作った『野菜炒めスキル』だ！」と認識し、新しいレシピを作るのではなく、保存されたスキルを呼び出して実行します。

---

🔍 何がわかったのか？（重要な発見）

① 賢い AI は「スキル」を上手に使う

最も賢い AI（GPT-5.2 や Claude 4.5 など）は、**「いつスキルを作るべきか」**を自分で判断できました。

• 簡単なタスク： スキルを作る手間の方が無駄なので、素直に一つずつ処理します。
• 難しいタスク： 何度も繰り返す作業があれば、積極的にスキル化して効率化します。
  その結果、成功率は上がり、コストは激減しました。

② 「複雑すぎるレシピ」は失敗しやすい（階層化の罠）

研究者は、「スキルの中にさらにスキルを入れる（ネスト化）」という実験もしました。

• アナロジー： 「メインの料理」の中に「副菜のレシピ」を入れ、さらにその中に「調味料のレシピ」を入れるようなものです。
• 結果： 一見効率的に見えますが、**「下位のレシピに小さなミス（野菜が焦げているなど）があると、それが上層に伝染して、最終的にメイン料理が全滅する」**という現象が起きました。
• 結論： 複雑に絡み合うスキルよりも、「シンプルで確実なスキル」の方が、実際に使うと安定して効率的であることがわかりました。

③ スキルは「誰が作ったか」が重要

ある AI が作った高品質なスキルは、他の AI が使っても非常に効率的でした。逆に、質の低いスキルは、どんなに賢い AI が使っても失敗したり、逆にコストがかさんだりしました。

• 教訓： 「スキルを作る人（AI）」の能力が、全体の性能を左右します。

---

🌟 まとめ：なぜこれが重要なのか？

この研究は、AI が単に「指示に従う機械」から、**「経験から学び、効率化を図る賢いパートナー」**へと進化するための重要な一歩を示しています。

• 現実世界： 私たちは毎日、同じような作業（メールの返信、資料の整理など）を繰り返しています。
• SkillCraft の未来： AI がこれらの作業を「スキル」として自動で習得し、私たちが「あの作業、AI にお任せして」と言うだけで、瞬時に高品質な結果を返してくれる日が来るかもしれません。

つまり、SkillCraft は、**「AI に『道具の使い方』を教えるだけでなく、『道具の組み合わせ方（スキル）』を自ら発見・共有させる」**という、新しい AI の可能性を切り開いた実験だったのです。

技術概要

SkillCraft: LLM エージェントはツールを巧みに使えるようになるか？

技術的サマリー（日本語）

本論文は、現実世界のツール利用エージェントが、単発的なツール呼び出しを超えて、**「スキル（Skill）」**と呼ばれる高レベルなツール構成を抽象化し、再利用する能力を評価・促進するための新しいベンチマーク「SkillCraft」と、その評価プロトコルを提案する研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

現在のツール利用エージェントのベンチマーク（Toolathlon, WebArena など）は、主に静的なツールセットを用いて、単一のタスクを解決できるかどうか（インスタンスレベルの成功）を測定する傾向があります。しかし、現実世界のワークフローは以下の特徴を持ちます。

• 長期的な実行（Long-horizon）: 検索→分析→要約などのパターンが文書やサービス間で繰り返される。
• 構造的な反復: 異なるタスク間で共通するサブ構造が存在する。
• 効率性の欠如: 毎回原子ツール（Atomic Tools）をゼロから呼び出すと、トークン消費やコンテキストウィンドウの飽和、状態の冗長な受け渡しが発生し、非効率になる。

既存のベンチマークでは、エージェントが**「経験から高レベルなツール構成（スキル）を学習し、それを再利用する能力」**を測定する指標が不足していました。

2. 手法とアプローチ (Methodology)

2.1 SkillCraft ベンチマークの構築

SkillCraft は、スキルの抽象化と再利用を強制するために設計されたタスク群です。

• タスク設計の原則:
  • 反復構造: 単一タスク内で同じツールチェーンが複数回必要となる。
  • 多段階・多ツール: 単一の原子ツールでは解決できず、ツール構成が必須。
  • スケーリング: 難易度を「量的（エンティティ数）」と「構造的（サブタスクの複雑さ）」の 2 軸でスケーリングし、スキル再利用の必要性を高める（例：リポジトリ 1 つの分析から 5 つ、100 個へ）。
• データセット: 既存ベンチマークからの選定、手作業による Web API タスク、ローカルデータ処理タスクの 3 つのソースから 21 のタスクファミリーを構築し、難易度レベル（Easy/Medium/Hard）を調整して合計 126 タスクを作成。

2.2 評価プロトコル：Skill Mode

エージェントがツールを構成し、再利用するための軽量プロトコル「Skill Mode」を導入しました。

• MCP primitives (4 つの最小ツール):
  1. save_skill: 成功したツールシーケンスをコードベースのスキルとして保存。
  2. execute_skill: 保存されたスキルを実行。
  3. list_skills: 利用可能なスキルの一覧取得。
  4. get_skill: スキルの詳細（コード、メタデータ）取得。
• コーディング・バリデーター: スキル保存前に構文検証、ランタイムエラー報告、出力品質検出（Unknown/None/0 が過剰でないか）を行い、低品質なスキルの蓄積を防ぎます。
• プロセス:
  1. 再利用試行: 既存スキルを検索・実行。
  2. 探索: 該当なしまたは失敗の場合、原子ツールで解決し成功シーケンスを記録。
  3. 構成: 成功シーケンスをパラメータ化されたスキルとして抽象化。
  4. 検証・保存: 検証環境で実行し、成功すればライブラリに保存。

3. 主要な貢献 (Key Contributions)

1. SkillCraft ベンチマークの提案: ツール構成能力と再利用性を明示的に評価するための、構造的に反復する長期的タスクセット。
2. Skill Mode プロトコル: エージェントがテスト時に自律的にスキルを発見、キャッシュ、再利用し、行動空間を進化させるメカニズム。
3. 階層化スキルの限界と一般化の発見:
   • 深い階層化（再帰的スキル呼び出し）はエラー伝播により成功率を低下させる傾向がある。
   • 浅く検証済みのスキルライブラリの方が、ロバストでコスト効果が高い。
   • 学習されたスキルは、難易度レベル間やモデル間での高い一般化能力を持つ。

4. 実験結果 (Results)

主要なモデル（GPT-5.2, Claude-4.5-Sonnet, Gemini-3-Pro, DeepSeek など）を対象に評価を行いました。

• 効率性の劇的な向上:
  • スキルの保存と再利用により、トークン使用量が最大 80% 削減されました（例：GPT-5.2 で 1.23M → 0.26M）。
  • コストも同様に大幅に削減（GPT-5.2 で 75% 削減）。
  • 成功率は維持または向上（GPT-5.2 で 87% → 90%）。
• モデル能力との相関:
  • スキル実行成功率とタスク成功率は強く相関（r=0.65）。
  • 高性能なモデルほど、スキルの発見・再利用による効率化の恩恵を大きく受けます（Claude, GPT-5.2 はトークン削減率が 70% 超）。
  • 低性能モデルは、不要なスキルの作成や誤った抽象化により、逆に効率が悪化することがあります。
• 階層化スキルの課題:
  • 再帰的なスキル呼び出し（Hierarchical Mode）は、理論的には効率的ですが、実際には低レベルスキルのエラーが上位に伝播し、全体の成功率を低下させます（例：GPT-5.2 で 90% → 79%）。
  • 浅い（Flat）スキルライブラリの方が信頼性が高いことが示されました。
• クロスタスク・クロスモデル一般化:
  • 学習したスキルは、異なる難易度のタスクや、異なるモデル間でも高い実行成功率（95-100%）で再利用可能でした。
  • 重要な発見: スキルの作成者（Source Model）の品質が、実行効率を決定します。高品質なモデルが作成したスキルは、他のモデルでも大幅な効率化をもたらしますが、低品質なスキルはコストを増大させます。

5. 意義と結論 (Significance & Conclusion)

• 知能の新たな指標: 本論文は、エージェントの知能を「単発タスクの解決」ではなく、「経験からのスキル獲得効率（Skill-acquisition efficiency）」で測るべきであることを示唆しています。
• 実用性: 長期的なツール利用において、スキルの抽象化と再利用は、トークンコスト削減とタスク成功率の向上に不可欠です。
• 将来展望: 現在の LLM は、単一のタスクを解くだけでなく、反復パターンを認識し、コードとして構成化して再利用する能力を備えつつあります。しかし、エラー伝播を避けるための堅牢な検証メカニズムや、適切な抽象化レベルの判断（いつスキルの作成が必要か）が、より高度な自律エージェントの実現には不可欠です。

総じて、SkillCraft は、LLM エージェントが「ツールを巧みに使う（Skillfully use）」能力を評価するための重要な基盤を提供し、効率的でロバストな長期的タスク実行への道筋を示しました。