技術概要：ComplexMCP

問題定義

現在の大規模言語モデル（LLM）エージェントは、個別の API を呼び出す能力は示すものの、商用ソフトウェア自動化における「ラストマイル」において著しく困難に直面しています。現実の企業および消費者シナリオでは、ツールは孤立していることは稀であり、原子性を持ち、高度に相互依存しており、環境ノイズ（例：ネットワーク遅延、状態の不一致、一時的なエラー）に曝されやすいものです。既存のベンチマークはこの複雑さを捉えきれていません。ToolBench などのデータセットは、現実的な実行環境を欠く独立した RESTful API に依存しており、$\tau$-Bench や BFCL などの他のベンチマークは、規模が不足しているか、実呼び出しなしの抽象構文木マッチングに依存するか、あるいは現実世界の曖昧性や確率性を欠く厳密に定義された環境を利用しています。その結果、エージェントが大規模で相互依存するツールエコシステムを堅牢にナビゲートし、エラー耐性を示す能力を評価する上で、決定的なギャップが存在します。

手法

著者らは、動的で状態を持ち、確率的なツールエコシステムをシミュレートするための厳密な評価フレームワークとして、モデルコンテキストプロトコル（MCP）に基づいたComplexMCPを導入します。

1. システムアーキテクチャ

ComplexMCP は、15 の MCP サーバーにわたる315 の固有ツールを統合し、2 つのパラダイムに分類されます：

• 状態保持サーバー（7 アプリケーション）： これらはエージェントのロールアウト全体を通じて永続的な環境状態（$S$）を維持します。これには、LightOS（システム調整）、LightTalk（ソーシャルプラットフォーム）、LightShop（e コマース）、LightWeather（気象）、LightFlight（航空）、LightStock（金融取引）、LightNews（メディア）が含まれます。これらのツールは強い相互依存性を示します。例えば、メッセージを送信するには、ユーザー ID の解決、ネットワーク状態の検証、連絡先ブロックの解除が必要となる場合があります。
• 状態非保持サーバー（8 アプリケーション）： これらは、呼び出し間で状態を永続化することなく、独立した機能操作（例：数学、暗号化、化学、文字列処理）を処理します。

2. シード駆動ダイナミクス

再現性と環境の多様性の両方を確保するため、ComplexMCP はシード駆動アーキテクチャを採用しています。単一のランダムシード（$\sigma$）が決定的に以下の要素を制御します：

• 環境初期化： 合成知識ベース（ユーザープロファイル、取引履歴など）がシードに基づいてサンプリングされ、固有でありながら構造的に一貫した環境が作成されます。
• 実行摂動： シードは、API 失敗やネットワーク遅延などの実行中の確率的イベントを支配し、現実世界の予測不可能性をシミュレートします。

3. 評価フレームワーク

このベンチマークは、主観的な「LLM によるジャッジ」スコアリングではなく、決定論的かつルールベースの評価システムを利用します。

• 指標： システムは、最終的な環境状態（$env_{new}$）を、手作業でキュレーションされた指示セットから導き出された真の目標状態（$env_{gt}$）と比較します。
• 主要指標：
  • 完了率（$R_c$）： 正しく変更された状態要素の比率を、必要な変更の総数に対する比率として算出します。
  • 誤動作率（$R_b$）： 意図しない副作用（変更されるべきではなかった状態要素を変更すること）の比率を算出します。
• 成功基準： 軌跡が正しいと判断されるのは、$R_c = 1$ かつ $R_b = 0$ の場合のみです。

4. 実験設定

著者らは、47 の手作業でキュレーションされたタスクにおいて、16 の最先端商用 LLM（GPT-4o、GPT-5、Gemini シリーズ、Claude シリーズ、Llama-3、Qwen-3-Max、DeepSeek-V3 などを含む）を評価しました。これらのタスクは、明示的なヒントなしに複数のツールを調整することを要求し、エージェントに内部推論に依存させるものです。また、本研究では、効率性と論理的整合性のトレードオフを評価するため、「フルコンテキスト」プロンプティングと、検索拡張生成（RAG）戦略（標準的および反復的）を比較しました。

主要な結果

評価により、現在の最先端モデルと人間の性能の間には明白なパフォーマンスの格差があることが明らかになりました：

• 成功率： 最高性能のモデルであるGemini-3-Flashは**55.31%の成功率を達成しましたが、GPT-5.1は19.14%でした。対照的に、人間のボランティアは93.61%**の成功率を達成しました。
• トークンボトルネック： 「フルコンテキスト」の ReAct パラダイムは、莫大なトークンオーバーヘッドを招きます。平均して 11 ラウンドのツール操作を要するタスクの場合、初期システムプロンプト（約 30,000 トークンのツール記述を含む）が 12 回再提出され、タスクあたり約 360,000 トークンの入力トークンが発生します。これにより、経済的コストと遅延コストが大幅に増大します。
• RAG の限界： 反復的 RAG はトークン数を削減することで効率を向上させましたが、フルコンテキスト手法のパフォーマンスには及びませんでした。著者らは、その原因を、複雑な多段階ワークフローに不可欠な潜在的なツール依存関係を意味的検索が捉えられないことにあると指摘しています。

特定された失敗モード

詳細な軌跡分析により、3 つの根本的なボトルネックが特定されました：

1. ツール検索の飽和： 行動空間が拡大する（例：300 以上のツール）につれ、多くのモデルは「認知的過負荷」に陥り、成功率が低下します。一部のモデル（Gemini-3-Flash、Claude-Opus-4）は長文脈処理によってこれを緩和しますが、他のモデル（GPT-4o、DeepSeek-V3）は著しく困難に直面します。
2. 「クリーン・スレート」バイアス（過信）： モデルは頻繁に環境がデフォルトまたは空の状態にあると仮定し、既存のカート内容やネットワーク状態の確認といった重要な検証ステップを迂回します。これにより、冗長なアイテムの購入や、既存の競合の解決失敗といった意図しない結果を招きます。
3. 戦略的敗北主義： 一時的なエラー（例：ネットワークタイムアウト）に遭遇すると、モデルはリカバリ戦略（再試行や acc_network のような軽減ツールの呼び出しなど）を試みるのではなく、タスクを早期に中止する傾向があります。この行動は GPT-5 で特に顕著で、代替解決策を追求する代わりに「丁寧に降参する」傾向が見られました。

意義と主張

本論文は、ComplexMCPを、次世代の堅牢な自律システムのための重要なテストベッドとして位置づけています。その主な貢献は以下の通りです：

• リアリズム： 大規模なツールセットを、状態保持型、確率的、動的な環境と統合し、統一された MCP ネイティブアーキテクチャの下で同時に導入した最初のベンチマークです。
• 診断的価値： 「クリーン・スレート」バイアスや戦略的敗北主義といった特定の失敗モードを特定することで、単純なツール呼び出しを超え、真の環境認識と回復へと移行するための明確なロードマップを提供し、エージェントの堅牢性向上に寄与します。
• 標準化： モデルコンテキストプロトコルを活用することで、ツール使用インターフェースの標準化され、再現性があり、相互運用可能な評価を促進し、現在のエージェント研究における断片化に対処します。

著者らは、現在のエージェントは有望ではあるものの、相互依存するワークフローには不十分であり、ComplexMCP は現実世界のソフトウェア自動化の複雑さを処理できるエージェントの開発に向けた不可欠なステップであると結論付けています。