あなたのスマートアシスタントが、ただチャットをするだけでなく、超能力を持っている世界を想像してみてください。その能力とは、問題を解決するために膨大なツールやデータベースを即座に呼び出すことができるというものです。これは、大規模言語モデル（LLM）がツールと連携する、エキサイティングな最前線の話です。LLMを、知識は豊富だが時には調べ物が必要な「優秀で好奇心旺盛な学生」だと考えてみてください。この学生を助けるために、私たちは**Model Context Protocol (MCP)**という新しい標準を導入しました。MCPは、学生の「ホスト」（学生を動かしているアプリ）が、特定のツール、データ、そしてそれらの使い方の指示を渡すための「ユニバーサルリモコン」のようなものだと考えてください。

研究者たちが抱いている大きな疑問は、「その学生は本当に指示を聞いているのか？」ということです。時には、「おい、答えはすでにこのページに書いてあるから、それを読みなさい！」という指示があります。しかしまたある時には、「ちなみに、もし必要なら検索ボタンを押すこともできるよ」とも言われます。判明したのは、たとえ最も賢い学生であっても、目の前にある答えを無視して、キラキラした検索ボタンに気を取られてしまうことがあるということです。この論文は、まさにこのシナリオを掘り下げ、 「検索癖」が指示を読む能力よりも強いのかどうか、そしてもしそうならどうやって修正できるのかを調査しています。

---

「メニューを読んで」vs「ウェイターを呼ぶ」の大実験

この研究において、研究者たちは韓国の法律を見つけるためのサーバーであるLexLinkというデジタルキッチンを用意しました。このサーバーはレストランのメニューだと想像してください。通常、特定の料理（法律）が欲しい場合は、ウェイター（検索ツール）にキッチンへ行ってレシピを見つけ、持ってきてもらうよう頼む必要があります。これには時間と労力がかかります。

しかし、レストランのオーナーは賢い判断を下しました。テーブルの上に「本日のスペシャル」リスト（サーバー指示）を印刷することにしたのです。そこには、最も人気のある20種類の料理とその正確な注文番号が記載されていました。ルールはシンプルです。「もしこのリストにある料理が欲しいなら、直接ウェイターに注文番号を伝えなさい。キッチンを検索するのはやめなさい！」というものです。これは、より速く、より安上がりであるはずです。

研究者たちは、このメニューから注文させるために、24種類の異なるAI学生（Claude、Gemini、GPTなどのファミリー）を招待しました。彼らは、AIの学生たちが「本日のスペシャル」リストを読んで直接注文するのか、それともリストを無視して結局「検索」ボタンを押してしまうのかを確認するため、54,000回の試行という大規模な実験を行いました。

衝撃的な発見：検索ボタンの誘惑が強すぎる

結果は、目覚めを促すようなものでした。検索ボタンを完全に取り除き、学生にテーブルのリストを使うよう強制したところ、24モデル中23のAIモデルが見事な働きを見せ、リストを読んで正しく注文することに**98%から100%**の成功率を収めました。これは、学生たちが指示を読む能力を持っていることを証明しています。ただ、検索ボタンがあるときには、そうしたくなかっただけなのです。

しかし、検索ボタンが存在すると、物語は劇的に変わりました。24モデル中9つのモデルが、成功率を15%未満にまで落としてしまいました。彼らは「本日のスペシャル」リストを完全に無視し、答えが目の前のテーブルにあるにもかかわらず、検索ボタンを押し続けました。研究者たちはこれを**「行動的嗜好（behavioral preference）」**と呼んでいます。AIが指示を読むのが下手なのではなく、たとえそれが非効率な選択であっても、自分が最もよく知っているツールに手を伸ばしてしまう「癖」があるのです。それは、答えが5ページ目にあると分かっているのに、先生に本を5ページ開いてもらうよう何度も頼み続ける子供のようなものです。

興味深いことに、「新しい」ことや「賢い」ことが、必ずしも良い振る舞いを保証するわけではありません。最新のモデルの中には、古い兄弟モデルよりもこの特定のルールに従うのが苦手なものもありました。研究では、モデルの「新しさ（recency）」は、このような状況において優れた聞き手になるかどうかを予測しないことが分かりました。

彼らに「聞く」ことを教えられるか？（魔法の公式）

研究者たちは、テーブルの指示を変更することで、この悪い癖を直そうと試みました。彼らは3つのテクニックをテストしました：

1. 威圧的なヘッダー (B): 「リストを必ず使用すること！検索してはいけない！」という大きく太い警告。
2. 例示 (C): 正しいやり方をしている人と、間違ったやり方をしている人の図解を示す。
3. ヒント (D): 検索ボタンの説明を「使用する前に、まずリストを確認してください」と変更する。

彼らはこれらすべての組み合わせをあらゆるパターンでテストしました。結果は、単一のテクニックがすべての人に効くわけではないことを示しました。実際、一部のAIモデルでは、「威圧的なヘッダー」だけを使うと、パフォーマンスが逆に悪化（あるケースでは0%に低下）しました。これは、大きな声での叱責が、ある生徒には注意を向けさせる一方で、別の生徒をフリーズさせてしまうのと似ています。

しかし、これら3つのテクニックをすべて組み合わせたとき、結果は驚くべきものでした。24モデル中20のモデルが、成功率86%以上へと跳ね上がりました。これは、AIに対して単に「叫ぶ」だけでは習慣を直せないものの、警告、例示、ヒントを組み合わせた包括的なアプローチをとれば、ほとんどのモデルを軌道に戻せることを示唆しています。

これが将来に意味すること

主な教訓は、AIにツールと指示を与えるだけでは不十分だということです。AIには、指示を上書きしてしまう「検索反射」があり、それが時間の浪費やリソースの無駄につながる可能性があります。論文は、これらのAIを動かしているアプリ（「ホスト」）が介入する必要があると主張しています。AIが指示を読むのを期待するのではなく、ツールを選択する前に、アプリ側で指示を確認することを強制すべきなのです。

それが実現するまでは、開発者は注意深くある必要があります。指示を一度書けば、あらゆるAIに対して機能すると期待してはいけません。指示を、使用する予定の「最も弱い」モデルに対してもテストする必要があります。そして、単なる命令ではなく、例示とヒントを組み合わせた手法を用いるべきです。この研究は、問題は存在するものの、適切な指示のレシピがあれば解決可能であることを示しています。