The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task
本研究は、エージェントのスキャフォールディング（足場）の選択が、基盤となるツールインターフェース（MCP対CLI）よりもAIコーディングエージェントのコストと信頼性に遥かに大きな影響を与えることを示しており、MCPのサポートは多くの場合不要であり、直接的なCLI実行よりも大幅に高価になり得ることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
デジタル・ワークショップ：舞台の設定
想像してみてください。あなたは、非常に優秀ですが、極めて融通の利かないロボットの助手を持っています。このロボットは物語を書いたり、数学の問題を解いたり、あらゆることについてチャットしたりできますが、密閉された部屋の中に住んでいます。ロボットはあなたのコンピュータ画面を見ることも、ファイルを開くことも、ウェブサイトのボタンをクリックすることもできません。実際に仕事を進めるためには、ロボットと現実世界の間に立つ「現場監督」が必要です。この監督のことを**エージェント・スキャフォールディング（agent scaffolding）**と呼びます。その役割は、ロボットのアイデアを聞き取り、それを具体的なアクション（「このファイルを開く」や「このメールを送信する」など）に翻訳し、その結果を持ち帰ってロボットが思考を続けられるようにすることです。
長い間、人々はこの監督を構築する最善の方法について議論してきました。一つの人気のある手法である**MCP（Model Context Protocol）は、ロボットが将来必要とするかもしれないあらゆる道具の詳細な「巨大な百科事典」をロボットに与えるようなものです。ロボットが助けを求めるたびに、監督はその百科事典のすべてを、念のためにと再び手渡します。もう一つの手法であるCLI（コマンドライン・インターフェース）**はもっとシンプルです。監督は単に基本的なツールボックスを渡し、「ハンマーとドライバーの使い方は分かっているよね？ 必要な特定の道具については、自分で考えて使いなさい」と言うのです。
誰もが投げかけている大きな疑問は、どちらの手法の方がコストが低いのか？ ということです。ロボットがコンピュータとやり取りするたびに、送受信される言葉（トークン）に対して料金が発生するため、人々は「巨大な百科事典」を用いる手法（MCP）は、膨大な量のテキストを送るため、非常に高価になると予想しました。一部の専門家は、シンプルなツールボックスの手法よりも35倍も高くなるとさえ推測していました。しかし、誰もこれを公平に測定したことはなく、数字はバラバラでした。
ツールボックスの大対決
この研究において、研究チームは議論に決着をつけるため、大規模で制御された実験を行うことにしました。彼らは単に推測したのではなく、デジタルな障害物コースを構築しました。それは、コードのバグを見つけ、修正し、チームに送信するという6つのステップを含む特定のタスクです。そして、この同じタスクを**7つの異なる「監督（エージェント・スキャフォールディング）」と5つの異なる「ロボットの脳（AIモデル）」**に通し、作業を完了させるのに実際にどれだけのコストがかかったのかを調べました。
ここで驚きの展開があります。研究者たちは、7つの監督のうち2つは「巨大な百科事典（MCP）」の機能すら持っていなかったことを発見しました。それらは単にシンプルなツールボックス（CLI）のみを使用していました。しかし、それらの監督はすべてのタスクを完璧に完了させたのです。それどころか、彼らは豪華な監督（百科事典を持つもの）よりも5倍から28倍安価でした。実際、ある特定の小さなロボットの脳においては、監督が変わっただけで、ロボットとタスクが全く同じであるにもかかわらず、コストが139倍に跳ね上がりました。
では、「巨大な百科事典（MCP）」は高価だということなのでしょうか？
研究者たちは、同じ監督の中でこれら2つの手法を直接比較しようと試みましたが、結果は乱雑で一貫性のないものでした。百科事典の方が高くなることもあれば、安くなることもあり、あるいは同じであることもありました。データがあまりに不安定であったため、どちらが決定的に安いかを公平な戦いの中で断定することはできませんでした。しかし、一つの明確な違いは見出されました。物事がうまくいかなかったとき、百科事典の手法ははるかに高価でした。 MCPを用いた実行における費用の約**12.9%は、タスクが失敗したために「何も買えなかった（無駄になった）」ものですが、シンプルなツールボックスの実行ではわずか2.2%**でした。しかし、ロボットが失敗する頻度は両方の手法で同様であり、ただMCPのロボットが失敗したときは、より多くの金を無駄にしていたのです。
「監督」の魔法
この研究は、ある巧妙なトリックも明らかにしました。研究者はロボットにどのツールボックスを使うべきかを正確に指示していました。しかし、ログを確認すると、ロボットはしばしば指示を無視していることが分かりました。あるロボットは「巨大な百科事典」を与えられていましたが、密かにシンプルなツールボックスを使用していました。また、その逆を行うものもありました。これは、もしあなたがロボットに「これにはいくらかかった？」と尋ねるだけで、そのロボットが「実際に何をしたか」を確認しなければ、両方の手法が混ざり合ったものを測定することになり、数字が使い物にならなくなることを意味しています。
結論
主な教訓は、一つのツールが魔法のようで、もう一方がゴミだということではありません。むしろ、この研究は、ロボットの監督をどのように構築するかが、コストに最も重要な要素であることを示唆しています。
- 単純で繰り返しの多い仕事の場合： 基本的なツールボックス（CLI）のみを使用する、小さくカスタムメイドされた監督は、巨大で汎用的なアシスタントが膨大な百科事典を抱えている場合よりも、はるかに安価で信頼性が高いです。
- 小さなロボットの脳の場合： 自分のコンピュータ上で安価で小さなAIモデルを動かしている場合、「汎用的な」監督は、余計な荷物を持ちすぎて喋りすぎることで、タスクのコストを140倍近くまで跳ね上げることがあります。
研究者たちは、具体的で明確に定義されたタスクに対しては、重くて高価な「巨大な百科事典」のアプローチは必要ないと考えています。私たちは、余計な重荷を背負わずに仕事を完遂できる、より軽量で安価なシステムを構築できるのです。そして、もしあなたが豪華な百科事典の手法を使うのであれば、ロボットが実際にそれを使用するように徹底しなければなりません。さもなくば、一度も触れていないツールのために料金を支払うことになるかもしれません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。