EvoSkill: マルチエージェントシステムのための自動化されたスキル発見

技術的サマリー（日本語）

本論文は、汎用コーディングエージェント（例：Claude Code, OpenHands など）の柔軟性だけでは、専門的なタスクに必要なドメイン固有の専門知識が不足しているという課題を解決するため、EvoSkill という新しいフレームワークを提案しています。EvoSkill は、プロンプトやコードといった低レベルのアーティファクトを直接最適化するのではなく、「エージェントスキル（再利用可能なワークフロー）」のレベルで自律的に発見・洗練を行う自己進化型フレームワークです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年、コードを中間表現として使用するコーディングエージェントは、さまざまな分野のタスク解決において支配的なパラダイムとなっています。しかし、その柔軟性は、特定の専門タスクを一貫して高いレベルで実行するために必要な「ドメイン固有の専門知識」を自動的に付与するものではありません。

現在の解決策である「エージェントスキル」は、再利用可能なワークフローやコードとしてエージェントにドメイン能力を追加するものですが、以下の課題があります：

• 手作業依存: 現在のスキルの多くは、ドメイン知識と多大な手作業を要してアドホックに作成されています。
• スケーラビリティの欠如: タスク数が増えるにつれて、手動作成プロセスは拡張性が低くなります。
• 既存の進化手法の限界: AlphaEvolve や GEPA などの既存の進化手法は、プロンプトやコードといった低レベルのアーティファクトを最適化しますが、これらは特定のモデルやタスク設定に密接に結合しており、他の設定へ転用可能な再利用可能なコンポーネントを自然に生成しません。

2. 手法 (Methodology)

EvoSkill は、失敗駆動型のテキストフィードバック降下（Textual Feedback Descent） を用いて、エージェントのスキルを反復的に発見・洗練します。基盤となるモデルは凍結されたまま、スキルリポジトリとエージェントメタデータのみが進化します。

2.1 フレームワークの構成

EvoSkill は、3 つの協調するエージェントで構成されます：

1. Executor Agent (A): 現在のエージェントプログラム（スキルを含む）の下でタスクを実行します。
2. Proposer Agent (P): Executor の実行トレース、予測回答、正解（Ground Truth）を分析し、失敗の原因を特定します。これに基づき、新しいスキルの作成または既存スキルの修正という高レベルな提案を行います。
   • 注: 正解は失敗の根本原因分析のために使用されますが、生成されるスキル自体には伝播されません。
3. Skill-Builder Agent (S): Proposer の高レベルな提案を、具体的な「スキルフォルダ」に具現化します。これには、トリガーメタデータ、手順指示（SKILL.md）、およびヘルパースクリプト（Python/TypeScript）が含まれます。

2.2 進化ループ (EvoSkill Loop)

アルゴリズムは以下のステップで反復実行されます：

1. 失敗の収集: 現在のプログラム（親）をトレーニングデータで評価し、スコアが閾値以下の失敗事例（Failure Set）を収集します。
2. 提案: Proposer が失敗履歴と現在の失敗セットを分析し、新しいスキルまたは修正の提案（$\pi$）を生成します。
3. 具現化: Skill-Builder が提案を具体的なスキルフォルダとして実装し、候補プログラム（$\tilde{p}$）を作成します。
4. 評価と選択: 候補プログラムを保持された検証セット（Validation Set）で評価します。
   • パレートフロントの維持: 候補のスコアが現在のフロント（上位 $k$ 個のプログラム）の最下位メンバーを超えた場合、フロントに追加され、最下位が除外されます。
   • 失敗した候補は破棄されますが、その提案と結果はフィードバック履歴（$H$）に記録され、将来の提案の文脈を豊かにします。

このプロセスにより、モデル自体を変更することなく、スキルが蓄積・進化し、エージェントの能力が拡張されます。

3. 主要な貢献 (Key Contributions)

1. EvoSkill フレームワークの提案: プロンプトやコードベースではなく、「スキル」の抽象レベルで動作し、反復的な失敗分析を通じて再利用可能なエージェントスキルを自動発見・洗練するフレームワーク。
2. ベンチマークでの大幅な改善: 2 つの異なるベンチマークで、少量のトレーニングデータのみを用いて顕著な性能向上を実現しました。
   • OfficeQA: 正確一致精度が +7.3% 向上。
   • SealQA: 検索強化型 QA で +12.1% 向上。
3. ゼロショット転移能力の証明: 1 つのタスク（SealQA）で進化させたスキルが、修正なしで別のタスク（BrowseComp）に転移し、精度を +5.3% 向上させました。これは、スキルレベルの最適化が、プロンプトやコードレベルの最適化よりも優れた転移性を持つことを示しています。

4. 実験結果 (Results)

4.1 OfficeQA (米国財務省データに基づく推論)

• 設定: Claude Code (Opus 4.5) を使用。トレーニングデータの 5%〜15% を使用。
• 結果: ベースライン（60.6%）から、10% のデータで 65.8%、独立した実行から発見されたユニークなスキルをマージした構成では 67.9% まで向上（+7.3%）。
• 発見されたスキル: 「データ抽出検証（Data Extraction Verification）」や「定量的分析手法（Quantitative Analysis Methodology）」など、表からの数値抽出ミスや統計的誤りを防ぐ具体的なプロトコルが自動生成されました。

4.2 SealQA (ノイズのある検索を伴う QA)

• 設定: 検索結果が矛盾したりノイズを含んだりする状況でのファクト検索タスク。
• 結果: ベースライン（26.6%）から 38.7% へ大幅に改善（+12.1%）。
• 発見されたスキル: 「検索持続性プロトコル（Search Persistence Protocol）」が生成されました。これは、初期の検索結果が不十分でも、用語の解釈拡張、3 以上のソース検証、完全性チェックを行うまで回答を確定しないよう強制するスキルです。

4.3 ゼロショット転移 (Zero-Shot Transfer)

• 実験: SealQA で進化させた「検索持続性プロトコル」を、全く異なるベンチマーク BrowseComp に適用（修正なし）。
• 結果: 精度が 43.5% から 48.8% へ向上（+5.3%）。
• 意義: 発見されたスキルが特定のタスクに過学習しておらず、事実に基づく検索タスク全般に適用可能な汎用的な能力（exhaustive search）を捉えていることを実証しました。

5. 意義と結論 (Significance)

EvoSkill は、エージェントの能力拡張において、手動作成や低レベルな最適化（プロンプト/コード）を超えた新しいパラダイムを提供します。

• 構造化された再利用性: 生成されたスキルは、SKILL.md やスクリプトを含む構造化されたフォルダとして保存され、人間が解釈可能で、他のエージェントやタスクでも再利用可能です。
• 転移学習の新たな単位: 従来のプロンプト最適化はモデルやタスク分布の変化に弱かったのに対し、EvoSkill は「スキル」という単位で最適化を行うことで、タスク間での転移を可能にしました。
• 将来の展望: 将来的には、マルチモーダルタスクへの拡張、共有スキルライブラリの構築、およびより多様なタスク間での転移性の解明が期待されます。

本論文は、コーディングエージェントが自律的に専門知識を獲得し、複雑なドメインタスクを解決するための基盤技術として、EvoSkill の有効性を示しました。