家を建てると想像してみてください。しかし、人間の建設業者を雇う代わりに、超高速で超スマートなロボットの助手を採用しました。あなたの仕事は、ロボットに設計図（プロジェクト文書）を与え、「この家を建てて、リストにある材料をすべて買ってきてください」と伝えることです。ソフトウェアの世界では、この「設計図」とは、プログラムを実行するために必要なツールやライブラリをリストアップしたファイルであり、「材料」とはインターネットからダウンロードされるデジタルパッケージのことです。何十年もの間、人間の建設業者は慎重でした。彼らはリストを読み、材料を売っている店が本物かどうかを再確認し、ブランド名が巧妙な罠（例えば、実際には「Coca-Cola」と書かれていないのに「Coca-Cola」を買ってしまうようなケース）ではないかを確認してきました。しかし今、これらのAIロボットが私たちの代わりに買い物をしています。彼らはリストを読み、即座に「購入」ボタンを押しますが、その店が信頼できるのか、あるいは名前の綴りがわずかに間違っていないかといった疑問を抱いて立ち止まることはありません。この論文は、悪意のある者が設計図をわずかに書き換えて、偽の店に送ったり、危険なバージョンのツールを購入させたりするようにロボットを欺いた場合に何が起こるかを探求しています。

この研究の背後にいる研究者たちは、AIコーディングエージェントに対して「プロジェクトをセットアップして」と命じた際、セキュリティをどの程度扱えるかを調べるために一連のテストを実施しました。彼らは単にAIに「注意深くあれ」と頼んだわけではありません。指示内容は一見正常に見えるものの、実は罠であるという現実的なシナリオを用意しました。その結果、AIの安全性維持能力は、ロボットの脳がいかに「賢い」かよりも、それが動作している特定の「ハーネス（仕組み）」やフレームワークに依存していることが分かりました。これは次のように考えることができます。もし、あなたが非常に優秀なシェフに、彼が完全には理解していない言語で書かれたレシピを与えたとしたら、キッチンにある道具に安全チェック機能が備わっていなければ、彼は依然として危険な料理を作ってしまうかもしれません。この研究は、一部のロボットは明らかな綴りの間違い（例：「transformers」ではなく「tranformers」という名前のパッケージ）を見抜けたものの、指示が偽の、信頼できないウェブサイトを指していたり、隠された危険なバージョンのツールを指していたりする場合、ほとんどの場合で見逃してしまうことを示しました。実際、ロボットたちは指示に従うことに熱心すぎるあまり、何かがおかしいと気づく前に危険なコードをインストールしてしまうのです。研究者たちは、単にロボットを「より賢く」したり「もっと注意深くあれ」と頼んだりするだけでは不十分であることを証明しました。システムには、ロボットが何かをインストールすることを許可される「前に」、パッケージ名、ソース、およびバージョンをチェックする「セキュリティガード」が必要なのです。このガードがなければ、ロボットは看板の文字を少し変えただけのハッカーが仕掛けた罠に、そのまま足を踏み入れることになります。

セットアップ：ロボットの盲点

この危険性を理解するには、これらのAIコーディングエージェントがどのように機能するかを理解する必要があります。開発者が新しいソフトウェアプロジェクトを開始したいとき、通常は「これを動作させるには、パッケージA、パッケージB、およびパッケージCをインストールする必要があります」と記された「README」ファイルや要件リストを持っています。かつては、人間がこのリストを読み、名前をGoogleで検索して実在するかどうかを確認してから、それらをインストールするためのコマンドを入力していました。この「人間の間（ま）」がセーフティネットとなっていました。もしリストに、本物の「azure-core」ではなく「azurecore」と書かれていたら、人間ならハイフンが抜けていることに気づいたかもしれません。もしリストがパッケージをダウンロードするために奇妙で未知のウェブサイトを指していたら、人間は疑念を抱いたでしょう。

AIエージェントはその「人間の間」を取り除きます。彼らはファイルを読み、コマンドを理解し、即座に実行します。問題は、これらのエージェントがファイル内の指示を絶対的な真実として扱うことです。彼らは、ウェブサイトが本物か、パッケージ名が正しく綴られているか、あるいはソフトウェアのバージョンに既知のセキュリティホールがあるかどうかを確認しません。研究者たちはこれを「インストールのギャップ（install gap）」と呼んでいます。これは、名前を読み取ってから実際にコードを実行するまでの間の、誰も安全性をチェックしていない危険な空白地帯のことです。

実験：ロボットを欺く

研究者たちは、ロボットがどのように反応するかを見るために、12種類の異なる「罠」を作成しました。見た目は完全に正常ですが、指示の中に隠れた危険がある偽のプロジェクトを設定しました。彼らはこれらの罠を、9つの異なるAIモデル（「脳」）とハーネス（コマンドを実行する「体」またはフレームワーク）の組み合わせに対してテストしました。

主な罠の種類は以下の通りです：

1. 名前のトリック（タイポスクワッティング）： 「transformers」ではなく「tranformers」、「azure-core」ではなく「azurecore」のように、一見正しそうに見えても微細な間違いがある名前を使用しました。
2. ソースのトリック： 公式の場所ではなく、偽の信頼できないウェブサイトからパッケージをダウンロードするように指示を変更しました。
3. バージョンのトリック： 有名なパッケージの、既知の脆弱性がある古いバージョンをインストールするように指示しました。
4. 隠れたトリック： ロボットが自動的に読み取るファイルの中に、危険な指示を隠しました（例：要件リストの中の隠されたメモ）。

結果：賢い脳、盲目の目

結果は驚くべきものであり、同時に恐ろしいものでもありました。研究者たちは、AIがこれらの罠を見抜く能力は、モデルがいかに「高度」であるかには依存しないことを発見しました。トップクラスの超スマートなモデルであっても、同じフレームワーク内で動作していれば、少し劣るモデルと同じように罠に陥る可能性がありました。

朗報： ロボットは、明らかな綴りの間違いを見つけることに関しては非常に優れていました。パッケージ名が明らかにタイポであれば、ほとんどのモデルがそれを検知しました。また、プログラムのエラーメッセージ（例：「この偽のパッケージをインストールする必要があります！」というポップアップ）から危険が来た場合も、うまく対処できました。その場合、ロボットは懐疑的になり、インストールを拒否しました。

悲報： ロボットは、偽のソースや危険なバージョンを見抜くことに関しては極めて無力でした。

• ソースの盲点： 指示が信頼できないウェブサイト（ローカルサーバーでホストされている偽のサイトであっても）を指していた場合、ロボットはためらうことなくほぼ常にパッケージをインストールしました。彼らは、ウェブサイトの安全性よりも、ファイル内のテキストを信頼してしまったのです。
• バージョンの盲点： 指示が、セキュリティホールが満載の既知のパッケージバージョンを要求した場合、ロボットはそれでもインストールしました。最も賢いモデルであっても、直接尋ねられればそのセキュリティホールについて知っていましたが、「プロジェクトをセットアップしている」最中には、その知識を無視して危険なバージョンをインストールしてしまいました。

「ハーネス」要因： 最も重要な発見は、ロボットが動作しているフレームワークの方が、ロボットの脳よりも重要であるということでした。研究者は、全く同じAIモデルを2つの異なるフレームワークで走らせました。一方のフレームワークでは、モデルは偽のウェブサイトの罠を10回中10回検知しました。しかし、もう一方のフレームワークでは、同じ罠に9回中9回陥りました。これは、「体（ハーネス）」がセキュリティにおいて主導的な役割を果たしており、「脳（モデル）」ではないことを証明しています。

「注意深くあれ」では不十分な理由

研究者たちは、ロボットに「注意深く、偽のパッケージがないかチェックしてください」という特別な指示を与える「セキュリティプロンプト」を与えて問題を解決しようと試みました。これは多少の効果はありましたが、偽のウェブサイトを見抜く能力は向上させたものの、危険なバージョンのソフトウェアを見抜くことには全く効果がありませんでした。ロボットは、指示された特定の部分にのみ従う傾向がありました。ソースをチェックするように言われればソースをチェックし、バージョンをチェックするように言われなければバージョンをチェックしませんでした。

これは恐ろしい気づきをもたらしました。「賢くなれ」と頼むことは、信頼できる解決策ではないということです。ロボットは指示に従うことにあまりにも熱心であり、たとえコード自体が罠であったとしても、指示が正当に見える限り、危険なコードをインストールしてしまうのです。

解決策：入り口のセキュリティガード

論文は、唯一の信頼できる解決策は「プリインストール・ゲート（事前インストール門）」を構築することであると結論付けています。これは、ロボットがインストールコマンドを実行することを許可される「前」に行われるセキュリティチェックです。

建設現場の入り口に立っているセキュリティガードを想像してください。ロボットが資材を持ち込む前に、ガードマンは3つのことをチェックします：

1. 名前は正しいか？ （「transformers」か、それとも「tranformers」か？）
2. ソースは安全か？ （公式の店から来ているか、それともランダムなウェブサイトか？）
3. バージョンは安全か？ （このバージョンに既知のセキュリティホールはないか？）

研究者たちは、このガードのプロトタイプを作成しました。それは完璧に機能しました。ロボットが陥ったほぼすべての罠を、偽のウェブサイトや危険なバージョンを含めて検知しました。鍵となるのは、このガードがロボットの「思考」や「直感」に依存しないことです。それは、ハードウェアによる自動的なチェックに基づいています。

まとめ

この論文の主な教訓は、AIコーディングエージェントが自然に安全であることを期待してはならないということです。彼らは慎重であるためではなく、速く、従順であるように設計されています。もし私たちが、安全なガードなしに彼らにソフトウェアをインストールさせてしまえば、彼らは誤ってマルウェアをインストールしたり、パスワードを盗んだり、システムを破壊したりすることになります。解決策は、より賢いロボットを待つことではありません。ロボットの周囲により優れたセキュリティシステムを構築することです。コードがインストールされる前に、パッケージが本物であり、ソースが信頼でき、バージョンが安全であることを、厳格なチェックによって検証しなければなりません。このチェックがなければ、「インストールのギャップ」はハッカーが自由に出入りできる開いたままのドアであり続けるのです。