EigenData: A Self-Evolving Multi-Agent Platform for Function-Calling Data Synthesis, Auditing, and Repair

本論文は、大規模言語モデルの関数呼び出し能力を向上させるために、データベース構築、実行可能環境生成、多ターン軌道合成を自律的に協調するマルチエージェントプラットフォーム「EigenData」を提案し、BFCL-V3 ベンチマークの自動修復と結果重視の評価手法を通じて、人間の機能正しさの判断と高い相関を持つモデル評価を実現したことを報告しています。

要約

この論文は、**「EigenData（アイゲン・データ）」**という、AI が自分でデータを生成・修正・管理する「魔法の工場」について紹介しています。

AI（特にツールを使う AI）を賢くするには、大量の「練習用データ」が必要ですが、これまでそれは人間が手作業で作る必要があり、時間がかかり、ミスも多かったです。この論文は、その問題を解決する新しいシステムを提案しています。

わかりやすく、**「完璧なレストランを開くためのプロジェクト」**に例えて説明しましょう。

---

🏗️ 1. 問題：なぜ AI は失敗するの？

AI を料理人（エージェント）に例えると、彼らが上手に料理をするためには、以下の 3 つのものが完璧である必要があります。

1. 冷蔵庫（データベース）: 食材がちゃんと入っているか。
2. 調理器具とレシピ（コード）: 包丁やオーブンが壊れていないか。
3. 注文と料理の記録（データ）: 「客が何を食べたいか」から「料理人がどう対応したか」までの会話記録。

これまでの研究では、これらを人間が手で作っていましたが、**「冷蔵庫の食材名が間違っている」「レシピの書き方が曖昧」「客の注文と料理がズレている」**といったミスが大量に含まれていました。そのため、AI が「すごい！」と評価されても、実際には料理が焦げている（失敗している）ことがよくありました。

🏭 2. 解決策：EigenData（魔法の工場）

EigenData は、この 3 つを**「AI 自身で作り直し、チェックし、直す」ことができるシステムです。まるで、「自分自身で設計図を描き、材料を買い、調理し、味見までする、完璧な料理人チーム」**が働いている工場のようなものです。

この工場には、**「総指揮官（EigenCore）」**と、3 人の専門家の「AI 従業員」がいます。

👨‍💼 総指揮官：EigenCore（アイゲンコア）

• 役割: 人間の「ホテルの予約システムを作りたい」「既存のテストを直したい」という注文を受け取り、誰に何をさせるか指示を出します。
• アナロジー: レストランの支配人。客の注文を聞いて、調理長、仕入れ係、味見係に指示を出します。

🛒 従業員 1：DatabaseAgent（データベース・エージェント）

• 役割: 現実的な「冷蔵庫（データベース）」を作ります。
• アナロジー: 仕入れ係。
  • 「ホテルの予約システムなら、客の名前、部屋番号、日付、料金」など、現実的にありそうなデータ（例：満室の部屋やキャンセルされた予約）を、ルールに従って自動で作ります。
  • 「部屋番号が 0 番はないはずだ」といった矛盾がないか、自分でチェックします。

🔧 従業員 2：CodingAgent（コーディング・エージェント）

• 役割: 道具や調理法（実行可能なコード）を作ります。
• アナロジー: 調理長とテスト係。
  • 仕入れ係が作ったデータを使って、「予約を取る」「キャンセルする」というプログラムを作ります。
  • 重要: 作った直後に「テスト料理」を作り、失敗したら「なぜ失敗したか」を AI が判断し、「レシピのミスか、テストのミスか」を見極めて直します。これを繰り返して、完璧なプログラムにします。

🗣️ 従業員 3：DataAgent（データ・エージェント）

• 役割: 「客と料理人の会話（トレーニングデータ）」を作ります。
• アナロジー: シナリオライターと味見係。
  • 「忙しい朝、客が『急いで部屋を変えてほしい』と怒って注文する」といったシチュエーションを作り、AI 料理人がどう対応するかをシミュレーションします。
  • 自己進化: 最初は少し下手な会話でも、AI が「ここが変だ」と指摘し、プロンプト（指示書）を自分で改良しながら、より自然で高品質な会話データを量産します。

---

🔍 3. 実証実験：BFCL（有名テスト）の修理

この論文では、このシステムを使って、世界中で使われている有名なテスト「BFCL（バー클리・ファンクション・コール・リーダーボード）」を修理しました。

• 発見された問題: 200 問のテストのうち、71.5% に何らかのミスがありました！
  • 「予約 ID は数字なのに、文字列で書かれている」などの矛盾。
  • 「自動でライトをつける」という命令なのに、コードが「消す」ように動いているバグ。
  • 「正解の答え」自体が間違っているケース。
• EigenData の活躍:
  • 3 つの AI 従業員が協力して、**「仕入れ係がデータ直し」「調理長がコード直し」「シナリオライターが正解の会話直し」**を行いました。
  • 結果、「AI の実力順位」が劇的に変わりました。
    • 元のテストでは「すごい！」と評価されていた AI が、実は「料理が焦げていた」ことが判明し、順位が下がりました。
    • 逆に、元のテストで低評価だった AI が、実は「本当は上手だった」ことがわかり、順位が上がりました。

🌟 4. 結論：何がすごいのか？

EigenData の最大の特徴は、「結果（客が満足したか）」で評価する点です。

• 従来のテスト: 「レシピ通りに手順を踏んだか（文字通り一致するか）」をチェック。
• EigenData のテスト: 「最終的に客の要望（部屋変更など）が成功したか」をチェック。

これにより、**「手順は違うけど、結果は完璧な料理」**も正解として扱えるようになり、AI の本当の実力を測れるようになりました。

まとめ

EigenData は、**「AI が AI の練習用教材を、人間の手を借りずに、自分で作り直し、完璧にする」**という新しい時代のシステムです。

これまでは「人間が作った教材で AI を鍛える」のが普通でしたが、今後は**「AI が自分で教材を磨き上げ、より賢く成長する」という、まるで「自分自身を教育する天才」**のような仕組みが実現しつつあるのです。

技術概要

EigenData: 関数呼び出しデータ合成、監査、修復のための自己進化型マルチエージェントプラットフォーム

本論文は、大規模言語モデル（LLM）がツールや API を呼び出す「関数呼び出しエージェント」の訓練と評価に必要な高品質なデータ生成、監査、修復を自動化する統合プラットフォームEigenDataを提案しています。特に、既存のベンチマーク（BFCL-V3）に潜む体系的なエラーを特定し、修復することで、モデルの性能評価の信頼性を飛躍的に向上させることを実証しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

関数呼び出しエージェントの実用的な展開には、実行可能な環境、裏付けとなるデータベース、多様な多ターン対話経路を含む高品質なドメイン固有データが必要です。しかし、現状には以下の重大な課題が存在します。

• 人手によるアノテーションの限界: 高品質なデータは依然として人手に依存しており、コストが高く、スケーラビリティに欠けます。
• 合成データの脆さ: 既存のルールベースやスクリプトによる合成データ生成パイプラインは、構造的な欠陥（スキーマの不一致、実装のバグ、曖昧なユーザー意図）を含みやすく、評価指標も「ターンごとの関数呼び出しの一致」に偏っており、実際のタスク達成度（データベース状態の正しさなど）を反映していません。
• ベンチマークの信頼性低下: 広く使われているベンチマーク（例：BFCL）であっても、スキーマ、実装、参照経路に多くのエラーが含まれており、モデルのランキングを歪め、真の能力向上を見逃す原因となっています。

2. 手法：EigenData アーキテクチャ

EigenData は、トップレベルのオーケストレーターEigenCoreが、3 つの専門化されたサブシステムを協調させる自己進化型マルチエージェントプラットフォームです。

2.1 主要コンポーネント

1. DatabaseAgent（ドメインデータベース構築）:
   • ドメイン仕様から現実的で内部整合性の取れたデータベース（リレーショナルテーブル、JSON ストア等）を自動生成します。
   • 制約-aware なサンプリング、分布モデリング、エッジケースの注入を行い、検証エージェントによる一貫性チェックを経て、エージェント経路評価の「正解状態（Ground Truth）」を提供します。
2. CodingAgent（実行可能環境生成）:
   • 生成されたデータベースを裏付けとするツール実装（Python 環境、REST API、MCP サーバ等）を生成します。
   • 2 段階のテスト・デバッグループを採用：
     • ステージ 1（単体テスト）: 各関数に対してテストを生成し、実装を修正するループを実行。失敗時は「JudgeAgent」がバグがコード側かテスト側かを判定し、ターゲットを絞って再生成します。
     • ステージ 2（ワークフローテスト）: 関数間の依存関係に基づき統合テストを実行し、状態遷移の整合性を検証します。
3. DataAgent（多ターン経路合成）:
   • 生成された環境とデータベースを用いて、SFT（教師あり微調整）および RL（強化学習）用の高品質な多ターン経路を合成します。
   • 自己進化プロセスを採用：
     • フェーズ 1: 少量のサンプルでプロンプトとエージェントの挙動を反復的に最適化（Judge によるフィードバック）。
     • フェーズ 2: 最適化されたプロンプトを用いて大規模生成を行い、品質監視を継続。
   • 多様なワーカーエージェント（UserSimulator, TrajectoryAgent, VerificationAgent など）が階層的に連携し、対話の生成、検証、修正を行います。

2.2 オーケストレーションとフィードバック

EigenCoreは、ユーザーの要求（新規生成、既存データ監査、ベンチマーク修復など）を解析し、タスクグラフを構築して各サブシステムに割り当てます。重要な特徴として、サブシステム間のクロスコンポーネントフィードバックがあり、下流で不整合が発見された場合、上流のコンポーネントに修正を依頼し、パイプライン全体をリスタートさせることなくターゲットを絞った修復を可能にします。

3. 主要な貢献

1. エンドツーエンドの自己進化プラットフォーム: 環境構築から経路生成、品質保証までを自動化する初の統合プラットフォームの提案。
2. BFCL-V3 の体系的な監査と修復: 既存の主要ベンチマークである BFCL-V3 のマルチターンタスク subset（200 件）に対して、EigenData を適用し、以下のエラーを特定・修復しました。
   • 関数スキーマエラー (19.5%): 型不一致、必須パラメータの欠落、曖昧な記述など。
   • 関数実装エラー (45.5%): ロジックバグ、入力処理の不備、状態管理の欠陥など。
   • 経路・評価エラー (41.0%): 厳しすぎる評価基準、誤った正解ラベル、代替解決経路の欠落など。
   • 結果: 200 件中 143 件（71.5%）に何らかのエラーが存在することが判明しました。
3. 結果意識型（Outcome-Aware）評価プロトコルの導入:
   • 従来の「ターンごとの関数呼び出しの文字列一致」ではなく、データベースの状態変化が正解と一致するか、重要な関数が呼び出されたか、重要な情報が伝達されたかを評価する新しい指標を導入しました。
   • これにより、機能同等だが構文が異なる解決策も正解として扱えるようになり、モデルの真の能力を測ることを可能にしました。

4. 実験結果

修復された BFCL-V3（200 件）を用いて、5 つの最先端モデルを評価し、自動化指標と人間による評価を比較しました。

• モデルランキングの一致:
  • 修復前の BFCL 指標では、GPT-5.2 が 28.12%、GLM-4.6 が 68.00% でしたが、修復後の「All Three（構成・関数・LLM 判定のすべてを満たす）」指標では、それぞれ 32.5%、32.5% となり、ランキングが逆転しました。
  • 修復後の指標によるランキング（Gemini-3-Pro > Claude-4.5-Sonnet > GPT-5.2 ≥ GLM-4.6 > DeepSeek-V3.2）は、人間による評価（タスク達成の有無）と高い相関を示しました。
• 評価指標の洞察:
  • 単一の評価軸（関数呼び出しの一致など）だけではモデルの能力を過大評価または過小評価する傾向があり、多角的な評価（All Three）が真の機能正しさを反映することが示されました。
  • 人間評価では、GPT-5.2 の実質的な成功率（65.0%）が元のベンチマークスコア（28.12%）を大幅に上回っており、元のベンチマークが特定のモデルに不当なペナルティを与えていたことが浮き彫りになりました。

5. 意義と結論

EigenData は、単なるデータ生成ツールを超え、データと評価基準そのものを監査・修復・進化させるインフラとして機能します。

• 信頼性の向上: 既存のベンチマークに潜む体系的なバイアスやエラーを除去し、モデル開発者にとってより公平で正確な評価環境を提供します。
• 実用性の拡大: ドメインに依存しない設計により、旅行、カスタマーサポート、物流など、あらゆる分野のツール使用エージェントの訓練データを効率的に生成・改善できます。
• 評価パラダイムの転換: 「経路の一致」から「結果（状態）の正しさ」への評価シフトを促進し、LLM エージェントの実社会への展開における信頼性を高める基盤となります。

本論文は、AI エージェントの発展において、データと評価の質がボトルネックとなっている現状に対し、自律的なマルチエージェントシステムによる解決策を提示し、その有効性を実証した画期的な研究です。