From SQL Generation to Tool Selection: A Domain-Oriented Pattern for MCP Servers
本論文は、ドメイン指向型ツーリングパターンと、そのオープンソース実装であるMCP Blueprintを紹介するものであり、これは汎用的なSQL生成をドメイン固有のツール選択に置き換えることで、エンタープライズデータアクセスにおける小規模なLLMの精度を大幅に向上させ、コストを削減するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピュータが人間の言語を読み、理解できる世界を想像してみてください。これにより、人々は情報を格納するために使用される秘密のコードを学ぶ必要なく、膨大なデータライブラリに対して複雑な質問を投げかけることができるようになります。これが、現代の人工知能、特に大規模言語モデルに基づいたシステムの約束です。これらのモデルは、会話を行い、問題を推論することができるインテリジェントなアシスタントとして機能します。これらをビジネスにとって真に有用なものにするために、開発者は、顧客記録から在庫リストに至るまで、あらゆるものを含むデジタル倉庫であるデータベースにこれらを接続します。モデル・コンテキスト・プロトコル（Model Context Protocol）と呼ばれる新しい標準が登場し、これらAIアシスタントが外部ツールを見つけ、使用するのを助けています。これは、異なるブランドの家電製品と通信できるユニバーサルリモコンのようなものです。しかし、中心となる課題は、人間のようなAIと、硬直的で構造化されたデータベースとの間の接続をどのように設計するかです。もし接続が緩すぎれば、AIは混乱したり危険な間違いを犯したりする可能性があります。もし接続が硬直的すぎれば、人々が実際に尋ねる独特な質問に答えることができなくなります。
研究者たちは最近、ビジネスデータに対してこれらの接続を構築する最善の方法をテストすることで、まさにこの問題を調査しました。彼らは、2つの非常に異なるアプローチを比較しました。最初の一方は、最も一般的で強力な方法であり、AIにゼロから独自のコンピュータ・クエリを書かせる単一の強力なツールを与えるものです。これは、ゲストに白紙の紙とペンを渡し、銀行の特定の書式や正しい文法、正確な利息計算のルールを知っていることを期待して、銀行への手紙を書くよう頼むようなものです。第二のアプローチは、研究者が「ドメイン指向型ツーリング・パターン（Domain-Oriented Tooling Pattern）」と呼ぶもので、AIに、あらかじめ書かれた特定のボタンを押させるものです。手紙を書く代わりに、ゲストは単に「口座残高を確認する」や「最近の取引を表示する」といったラベルの付いたボタンを選択します。複雑なルールや計算は、システムの中に安全に隠され、すでにボタンの中に組み込まれています。
どちらの方法がより優れているかを判断するために、チームは映画レンタルデータベースのサンプルを用いたテスト環境を構築しました。これは、映画、顧客、レンタルに関する数千のレコードを持つ現実的な環境です。彼らは、AIがデータとやり取りするための3つの異なる設定を用意しました。第一の設定では、AIがデータベースの構造に関する自身の知識に頼って、ゼロから独自のクエリを書くことができました。第二の設定では、顧客の返却期限切れの映画を確認したり、現在在庫がある映画を見つけたりといった、特定のビジネス・タスクのために設計された専門的なツールのセットをAIに提供しました。第三の設定は、中間的な妥協案であり、AIが情報の組み合わせ方を考えるための重労働の大部分を依然として行わなければならない、あまりにも単純すぎるツールのセットを提供しました。その後、彼らはこれら4つの異なるAIモデル（非常に小さく高速なものから、より大きく強力なものまで）を使用して、17種類の現実世界のビジネス上の質問を解かせました。
結果は明確かつ驚くべきものでした。AIに専門化された、あらかじめ構築されたツールを与えたアプローチは、AIに独自のクエリを書かせたアプローチよりも大幅に優れたパフォーマンスを示しました。専門的なツールを使用した場合、AIは94%近い確率で正解しました。対照的に、独自のクエリを書くことを強制された場合、成功率は約67%に低下しました。さらに驚くべきは、最も単純なAIモデルの性能でした。独自のクエリを書く際に苦戦していた最も小さなモデルでも、専門的なツールを使用すると92%を超える成功率を達成しました。この発見は、AIがすべき仕事を簡素化すること、つまり複雑な記述タスクを単純な選択タスクに変えることで、開発者がより小さく、安価で、高速なコンピュータを使用して信頼できる結果を得られることを示唆しています。それはまるで、小さな効率的なエンジンが、ドライバーが前方の道を自ら作る必要があるハンドルではなく、回しやすいステアリングホイールを備えた車であれば、巨大なエンジンの車と同じくらい良く車を走らせることができるようなものです。
また、研究は、単にAIにツールを与えるだけでは不十分であり、それらのツールの設計が極めて重要であることも明らかにしました。データテーブルへの基本的なアクセスのみを提供し、明確な指示がない、設計の不十分なツールセットは、AIに独自のクエリを書かせるよりも成績が悪くなりました。これは、不適切なツールが、AIが成功するために必要な情報を与えることなく、AIが自らの間違いを修正する自由を奪ってしまったためです。成功したツールは、複雑なビジネスルールをシステムの中に隠すように注意深く作られていました。例えば、レンタルが「期限切れ」かどうかを判断するには、日付を確認し、時間の差を計算する必要がありますが、これはAIが独自のコードを書く際に間違いやすいルールでした。専門的なツールを使用する場合、このルールはすでに人間によって書かれ、テストされているため、AIは単にその結果を報告するだけで済みました。この転換は、システムを動かすために必要な知性が、AIモデル自体から、ツールを設計する人間のエンジニアへと移行することを意味しています。
研究者たちは、正確さだけでなく、プロセスにおけるコストと速度も測定しました。専門的なツールはAIの思考量を少なくする必要があったため、システムは正しい答えを得るために、はるかに少ないコンピュータ・リソースを使用しました。場合によっては、生のクエリ・メソッドと比較して、正しい答えを得るためのコストが10倍以上低下しました。システムはより高速になり、1分近くかかる代わりに、わずか数秒で応答しました。この効率性は、企業がこれらのインテリジェントなアシスタントを、高価なクラウド・サービスに支払う代わりに、自身のローカル・コンピュータ上で実行できる可能性を意味しており、テクノロジーをより身近で安全なものにします。研究は、日常的なビジネス上の質問に対しては、AIをより賢くすることではなく、それが使用するインターフェースをより単純で構造化されたものにすることが最善の道であると結論付けています。データへのアクセスを、生のデータベース・コマンドではなく、明確で人間にとって親しみやすいタスクを中心に整理することで、より正確で、より速く、より小型で手頃な価格のハードウェアで動作できるシステムを構築できるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。