Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents

本論文は、多様なエージェントデータ形式を統一する軽量な「エージェントデータプロトコル（ADP）」を提案し、13 のデータセットを統合して大規模ファインチューニングを行うことで、ドメイン固有の調整なしに標準ベンチマークで最先端またはそれに準ずる性能を達成したことを示しています。

要約

🤖 エージェントデータプロトコル（ADP）：AI 助手を育てるための「共通言語」の誕生

この論文は、**「AI エージェント（人間のように行動する AI）」をより賢く育てるための、画期的な「共通のルール」**を紹介するものです。

まるで、世界中の異なる国から集まった子供たちを、同じ学校で勉強させるために「共通言語」を決めたような話です。

---

🌍 背景：バラバラな「教育資料」の悩み

以前から、AI に「ウェブを閲覧する」「コードを書く」「ツールを使う」といった複雑な仕事を教えるデータ（トレーニングデータ）はたくさんありました。

しかし、問題は**「データの形式がバラバラ」**だったことです。

• A 社のデータは「日本語の日記」形式。
• B 社のデータは「英語の Excel」形式。
• C 社のデータは「特殊なプログラミング言語」形式。

これでは、AI を育てる先生（研究者）は、**「A 社のデータなら A 社の教科書、B 社のデータなら B 社の教科書」**と、データごとに専用の変換作業をしなければなりません。
「100 種類のデータがあれば、100 種類の教科書を作る必要があり、とても大変だ！」というのが現状でした。そのため、せっかくの素晴らしいデータがあっても、AI 教育に活かせていないケースが多かったのです。

💡 解決策：「エージェントデータプロトコル（ADP）」という「共通言語」

この論文の著者たちは、**「ADP（Agent Data Protocol）」**という新しい「共通言語」を作りました。

🏗️ 比喩：レゴブロックの「標準化」

想像してみてください。

• ADP がない世界： 赤いブロック、青いブロック、黄色いブロックが、それぞれ「A 社製」「B 社製」で形が微妙に違います。これらを組み合わせて大きな城（AI）を作るには、一つ一つ手作業で形を整える必要があります。
• ADP がある世界： すべてのブロックを**「標準的なレゴブロック」**に変換するルールを決めました。
  • 赤いブロックも、青いブロックも、黄色いブロックも、すべて「標準レゴ」に変換されます。
  • すると、「標準レゴ」さえあれば、どんな城（AI）も簡単に作れるようになります。

ADP は、**「行動（Action）」と「観察（Observation）」**という 2 つの基本的な要素にデータを分解し、それを統一された形（Pydantic という形式）で表現するルールです。

🔄 ADP がどう働くか？（3 ステップ）

1. 変換（Raw → ADP）：
   世界中のバラバラなデータ（SWE-Gym や Mind2Web など 13 種類）を、ADP という「標準レゴ」に変換します。これは**「1 回だけ」**行えば OK です。
2. 統一（ADP → SFT）：
   変換された「標準レゴ」を、特定の AI 先生（OpenHands や SWE-Agent など）が読みやすい形にします。これも**「1 回だけ」**行えば OK です。
3. 学習：
   準備されたデータで AI をトレーニングします。

✨ すごいところ：
以前は「データ数 × AI の種類」の作業が必要でしたが、ADP を使えば「データ数 ＋ AI の種類」の作業で済みます。まるで、**「100 人の生徒に 100 種類の教科書を配る」のではなく、「1 冊の教科書を配るだけで、100 人の先生がそれぞれ授業ができる」**ようになったようなものです。

📈 実験結果：驚異的な成果

著者たちは、この ADP を使って 13 種類のデータをまとめ、130 万もの学習データ（ADP Dataset V1）を作成しました。そして、これを AI に学習させたところ、以下のような素晴らしい結果が出ました。

• 平均 20% 以上の性能向上： 元々の AI よりも、はるかに賢くなりました。
• トップクラスの成績： コーディング、ウェブ閲覧、ツール操作などのテストで、世界最高レベル（SOTA）の成績を叩き出しました。
• 専門特化なしでも強い： 「コーディング用 AI」や「検索用 AI」のように、特定の分野に特化して作らなくても、**「何でもできる万能 AI」**として活躍できました。

🚀 今後の展望：コミュニティの成長

この論文は、単に「すごい AI」を作っただけではなく、**「誰でも簡単に AI を育てられる土台」**を作った点に大きな意義があります。

• オープンソース化： すべてのコードとデータは公開されています。
• 誰でも参加可能： 新しいデータが出たら、ADP に変換するだけで、すぐに世界中の AI 教育に貢献できます。

🎯 まとめ

この論文は、「AI エージェントの教育」を、バラバラな個人作業から、効率的でスケール可能な「共通のプロジェクト」へと変えたという画期的な成果です。

ADP は、AI 開発者にとっての**「共通の言語」**となり、これからの AI 時代において、より賢く、多様なことができる AI 助手が、爆発的に増えるきっかけを作ってくれるでしょう。

一言で言うと：
「バラバラな言語で話していた AI の先生たちを、ADP という『共通言語』で繋ぎ合わせ、全員が協力して最強の AI 助手を育てることに成功しました！」

技術概要

Agent Data Protocol (ADP): 論文の技術的サマリー

この論文は、大規模言語モデル（LLM）をベースとした AI エージェントの分野における、大規模な教師あり微調整（SFT）のボトルネックを解決するための新しい標準化プロトコル「Agent Data Protocol (ADP)」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、そしてその意義について詳細にまとめます。

---

1. 問題定義 (Problem)

AI エージェントの研究において、大規模な教師あり微調整（SFT）を行うためのデータは存在するものの、その効果的な活用は限定的です。その主な原因は「データ不足」ではなく、データの断片化と非標準化にあります。

• フォーマットの多様性: 既存のエージェント学習データセット（コーディング、Web ブラウジング、ツール使用など）は、それぞれ独自の表現形式、アクション空間、観測構造を持っています。
• 統合の困難さ: 異なるデータセットを組み合わせたり、異なるエージェントフレームワーク（OpenHands, SWE-Agent, AgentLab など）で再利用したりする場合、データセットごとにカスタムの変換ロジック（エンジニアリング）が必要となり、コストと手間が膨大になります（Many-to-Many の問題）。
• 分析の難しさ: 構造が異なるため、異なるデータセット間の性能比較や、データ品質の体系的な分析が困難です。

2. 手法：Agent Data Protocol (ADP) (Methodology)

ADP は、多様なソースからのエージェントデータを統一された形式に変換するための軽量な表現言語（「インターリンガ」）として設計されています。

2.1 設計原則

• 単純性 (Simplicity): 各データセット固有のエンジニアリングを不要にし、大規模なデータ利用を容易にします。
• 標準化 (Standardization): 多様なフォーマットを単一の標準スキーマに統一します。
• 表現力 (Expressiveness): 複雑なエージェントの軌跡（Action と Observation の交互）を、重要な情報を失うことなく正確に表現できます。

2.2 技術的アーキテクチャ

ADP は Pydantic スキーマとして実装されており、以下の構成要素でエージェントの軌跡（Trajectory）を定義します。

• Trajectory Object: 軌跡 ID と、アクションと観測の交互シーケンス（content）、メタデータ（details）から構成されます。
• Action (エージェントの行動):
  • APIAction: ツール呼び出し（関数名、引数、説明）。
  • CodeAction: コード生成と実行（言語、コード内容、説明）。
  • MessageAction: 自然言語によるコミュニケーション（内容）。
• Observation (環境からの知覚):
  • TextObservation: ユーザー指示や環境からのテキストフィードバック（ソース、内容）。
  • WebObservation: Web ページの状態（HTML、アクセシビリティツリー、URL、スクリーンショットなど）。

2.3 変換パイプライン

ADP は「ハブ・アンド・スポーク」型のパイプラインを実現し、変換コストを線形（O(D+A)）に削減します（従来の二次関数的 O(D×A) に対して）。

1. Raw → ADP (データセット固有): 各データセットを一度だけ ADP 標準形式に変換します。
2. ADP → SFT (エージェント固有): 変換された ADP データを、ターゲットとなる各エージェントフレームワーク（OpenHands, SWE-Agent 等）の学習用形式に変換します。
3. 品質保証: 自動化されたバリデーションにより、ツール呼び出しの形式や思考プロセスの整合性を確認します。

3. 主要な貢献 (Key Contributions)

1. ADP の提案と実装: エージェントデータを統一的に表現するための標準スキーマと、それを扱うための Pydantic ベースの実装。
2. 大規模データセットの構築: 既存の 13 のエージェント学習データセット（AgentInstruct, SWE-Gym, Mind2Web など）を ADP 形式に変換し、130 万のトレーニング軌跡からなる「ADP Dataset V1」を公開しました。
3. 変換パイプラインの公開: 13 のデータセットから ADP へ、および ADP から 3 つの主要なエージェントフレームワークへの変換コードをオープンソース化しました。
4. クロスドメイン分析: 標準化されたデータを用いた分析により、タスクごとのアクション分布や推論（Function Thought）の存在率などの傾向を明らかにしました。

4. 実験結果 (Results)

Qwen2.5-Coder-Instruct モデルファミリー（7B, 14B, 32B）を用いて、OpenHands, SWE-Agent, AgentLab の 3 つのフレームワークで評価を行いました。

• 性能の大幅な向上:
  • ベースモデルと比較して、平均で約 20% の性能向上を達成しました。
  • SWE-Bench (Verified): 7B モデルで 0.4% → 20.2%、14B モデルで 2.0% → 34.4%、32B モデルで 2.2% → 40.3% へ向上。Claude 3.5 Sonnet と同等以上の性能を達成しました。
  • WebArena: 7B モデルで 4.5% → 21.0% へ向上。
  • AgentBench OS: 7B モデルで 3.5% → 27.1% へ劇的な向上。
  • GAIA: 7B モデルで 7.3% → 9.1% へ向上。
• クロスタスク転移 (Cross-Task Transfer):
  • 単一のドメイン（例：コーディングのみ）で微調整した場合と比較し、ADP による多様なデータ混合学習の方が、ターゲットタスクだけでなく、他のタスクへの汎化性能も優れていることが示されました（例：SWE-Bench において、SWE-smith 単独学習 1.0% vs ADP 10.4%）。
• スケーラビリティ:
  • モデルサイズが大きくなるにつれて性能が単調に向上し、ADP による学習がすべてのスケールで有効であることを確認しました。

5. 意義と将来展望 (Significance)

• 研究の民主化と標準化: ADP は、エージェント学習における「データ統合」の障壁を下げ、研究者が異なるデータソースを容易に組み合わせ、大規模な SFT を実施できるようにします。
• 再現性と効率性: 変換コストを劇的に削減し、新しいデータセットやエージェントフレームワークの追加を容易にします。
• コミュニティへの貢献: すべてのコードとデータ（130 万軌跡）を公開し、エージェント学習の次の波を加速させる基盤を提供しました。
• 将来の方向性:
  • マルチモーダル化: 画像やスクリーンレコーディングなどの対応拡張。
  • 標準化された評価: 評価環境やプロトコルの標準化への応用。
  • データ品質の向上: 自動化された検証や変換の強化。

この論文は、AI エージェントの分野において、データの標準化がモデル性能の飛躍的な向上と研究の加速に不可欠であることを実証的に示した重要な成果です。