LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries
本論文は、並列評価フレームワークを通じてMCP対応エージェントを厳密にテストするために設計された101の現実世界のクエリからなるベンチマーク「LiveMCP-101」を導入し、最先端のLLMでさえ複雑な多段階ツール編成に苦戦していることを明らかにするとともに、将来の改善を導く7つの具体的な失敗モードを特定する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
以下は、LiveMCP-101 という論文を、平易な言葉と創造的な比喩を用いて解説したものです。
全体像：「ライブ」テストドライブ
あなたが新しい自動運転車をテストしていると想像してください。これまでの大半のテストは、ビデオゲーム内や、信号が決して変わらない、常に空いている閉鎖された駐車場で行われていました。車はルートを暗記でき、完璧に見えるかもしれません。
しかし、現実世界では、信号が変わり、歩行者が予期せず飛び出し、道路状況は秒単位で変化します。
この論文は、AI エージェントに対する現実世界のライブ交通テストのようなLiveMCP-101 を導入します。研究者たちは、AI に教科書からの数学の問題を解くよう求めるのではなく、複雑で多段階の問題（AI が取り組んでいる間に変化する問題）を解決するために、フライト価格の確認、GitHub でのコード検索、天気予報の検索など、デジタルツールの「スイスアーミーナイフ」を使うよう求めています。
課題：「静的な地図」対「ライブ GPS」
- 旧来の方法（静的ツール）： AI エージェントに都市の印刷された地図が与えられていると想像してください。地図に書いてある通り、コーヒーショップの正確な場所を知っています。しかし、もしコーヒーショップが昨日移動していた場合、AI は見失ってしまいます。これが現在のほとんどの AI ツールの仕組みです。これらは固定的な指示に依存しています。
- 新しい方法（MCP）： この論文では、モデルコンテキストプロトコル（MCP） というものを使用します。これをライブ GPS と考えてください。AI には事前に印刷された地図はありません。代わりに、GPS に「今利用可能なツールは何ですか？」と尋ね、それらをどう使うか自分で見つける必要があります。問題は、この「ライブ GPS」のデータが秒単位で変化するということです。AI が考えている間に、フライト価格が上昇したり、ニュースの見出しが変わったりする可能性があります。
解決策：「並列レース」
答えがテスト中に変わるテストで、AI をどう評価すればよいでしょうか？
研究者たちは、並列レースシステムを構築しました：
- リファレンスランナー： 超賢い人間が指導するロボットが、テストされている AI と全く同じタスクを、全く同じタイミングで実行します。それは、その特定の瞬間における「正解」を得るための、厳格で承認済みの計画に従います。
- テストランナー： テストされている AI は、計画を自力で見つけ出そうとします。
- 審判： ゴールラインで、審判（別の AI）が、テストランナーの結果をリファレンスランナーの結果と比較します。
これにより、天候の変化や株価の変動によって AI が罰せられることはありません。AI が罰せられるのは、変化を正しく navigated（航行）できなかった場合のみです。
結果：「最も賢い」子供たちでさえ苦戦している
研究者たちは、GPT-5 や Claude といった非常に賢いモデルを含む、18 種類の異なる AI モデルをテストしました。
- スコア： 最高の AI モデルでさえ、タスクの約58% しか正しく完了できませんでした。
- 比喩： 博士課程の学生グループに、5 人の異なる人に電話をかけ、3 つの異なるウェブサイトをチェックし、その間に手がかりが変化している状態でレポートを書くという、複雑なスクラベンジャーハント（宝探し）を課したと想像してください。最も賢い学生でさえ、40% 以上で失敗しました。
「七つの大罪」（失敗モード）
この論文は、AI がなぜ失敗したかを分析し、3 つの主要なカテゴリに分類された 7 つの一般的な間違いを見つけました：
1. 計画の失敗（「迷子になったドライバー」）
- 地図の無視： AI が指示の一部を完全に見落としています（例：「2 番目に人気のある動画」を見つけるよう求められたのに、1 番目を見つける）。
- 過信： AI は自分の記憶から答えを知っていると信じ込み、ツールを使うことを拒否し、幻覚（事実無根の作り話）を引き起こします。
- 話して歩かない： AI は「思考」の中で完璧な計画を書き上げますが、実際に実行するためにボタンをクリックすることはありません。
- 間違ったツール： AI は正しいツールを選びますが、間違ったものを使います（例：「計算機」が必要な時に「検索」ツールを使う）。
2. パラメータエラー（「タイプミス」問題）
- 構文エラー： AI がツールの言語を拙く話します。ツールが
1（数値）を必要としている時に、「1」（単語）と言います。ツールは即座にリクエストを拒否します。 - 意味論的エラー： AI は言語を正しく話しますが、意味を誤解します。ユーザーが実際には「ニューヨーク市」の天気を意図していたのに、「ニューヨークの天気」と尋ねたり、存在しない日付を尋ねたりします。
3. 出力処理（「ラストマイル」問題）
- 解析エラー： ツールが AI に正しいデータ（数値を含む JSON ファイルなど）を提供しますが、AI がそれを正しく読み取れません。平均値を誤って計算したり、重要な数値を見落としたりして、最終的なレポートを台無しにしてしまいます。
結論
この論文は、AI がツールとの対話において向上している一方で、リアルタイムで変化する複雑な現実世界の業務にはまだ信頼性が不十分であると結論付けています。
- クローズドソースモデル（GPT-5 など）は計画には優れていますが、データを正しく読み取る「ラストマイル」の段階で依然として苦戦しています。
- オープンソースモデルは、しばしばループに陥り、進歩することなく時間とトークンを浪費します。
要約すると： 私たちは、AI をテストするための非常に厳格で現実的なジム（LiveMCP-101）を構築しました。その結果、最も強力な AI アスリートたちでさえ、ライブで変化する地図を持ってマラソンを走るよう求められた場合、自分の靴紐につまずいていることが示されました。現実世界で自律的に働けるようになるまで、まだ長い道のりがあります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。