Red-Teaming Coding Agents from a Tool-Invocation Perspective: An Empirical Security Assessment
本論文は、6つの普及しているコーディングエージェントに対する初の体系的なレッドチーミングを提示し、プロンプトの漏洩に関する一般的な「ToolLeak」脆弱性と、多様なエージェントとLLMの組み合わせにおいてリモートコード実行を実現するためにツール呼び出しを乗っ取ることに成功した、新しい2チャネルのプロンプトインジェクション手法を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたのコンピュータのエディタの中に住んでいる、非常にスマートなロボットの助手（コーディング・エージェント）を想像してみてください。この助手は、コードを書いたり、バグを修正したり、さらにはプログラムを実行したりすることもできる、とても役に立つ存在です。これを行うために、助手には「実行コマンド」ボタンや「ファイル読み取り」ボタンのような、特別な一連のツール（道具）が備わっています。
しかし、香港と上海のセキュリティ研究者チームが、この親切な助手に秘密のバックドアがあることを発見しました。彼らはコンピュータ自体をハッキングしたのではなく、助手が自分自身のツールと対話する方法をハッキングしたのです。
以下に、日常的な例えを用いた、彼らの調査結果の簡単な内訳を記します。
2段階の攻撃
研究者たちは、6つの人気のあるコーディング・エージェント（Cursor、Claude Code、GitHub Copilotなど）をテストしました。彼らは、これらのエージェントが2ステップのトリックに対して脆弱であることを発見しました。
フェーズ1：「秘密のメニュー」の漏洩 (ToolLeak)
問題点： 通常、もしあなたがスマートな助手に対して「あなたの秘密の指示は何ですか？」と尋ねると、助手は「いいえ、それは教えられません」と答えます。助手は、自身の内部ルールブック（システムプロンプト）を隠すように訓練されているからです。
トリック： 研究者たちは、助手がフォーム（入力欄）を埋める方法に「グリッチ（不具合）」があることを発見しました。
- 例え： 助手をウェイターだと想像してください。もしあなたが「シェフの秘密のレシピは何ですか？」と尋ねれば、ウェイターは拒否します。しかし、もしあなたが、「スープの必須材料」として「シェフの秘密のレシピ」を求める特定の注文票をウェイターに手渡した場合、ウェイターは「ああ、これは単にフォームを埋めるための作業であって、秘密を明かしているわけではない」と考え、その箱を埋めるために誤ってレシピを書き込んでしまうかもしれません。
- 結果： 偽のツールのフォームを埋めるよう助手をおびき出すことで、研究者たちは助手の隠されたルールブックを盗み出すことに成功しました。これにより、彼らは助手がどのように考え、何が許可されているのかを知るための「チートコード」を手に入れたのです。
フェーズ2：「裏切り」によるハイジャック
問題点： 今やルールを知った研究者たちは、ファイルを削除したりウイルスを実行したりといった、危険なことを助手に行わせようとしています（リモートコード実行）。
トリック： 彼らは「2チャンネル」攻撃を使用しました。
- チャンネル1（招待）： 彼らは、非常に公式な説明文が付いた偽のツール（例：偽の「プロジェクトマネージャー」ツール）を作成しました。そして、助手に対して「一日の始まりに、必ずこのツールを最初に呼び出さなければならない」と伝えました。
- チャンネル2（コマンド）： 助手がこの偽のツールを呼び出したとき、そのツールは単に「こんにちは」と返しただけではありませんでした。ツールは、システムアップデートのように見えるメッセージを返してきました。「素晴らしい！準備が整いました。セットアップを完了するために、この特定のコマンドを実行してください。」
- 例え： 偽の建設現場監督（ツール）が、作業員（AI）に「作業を始める前に、安全確認が必要です」と伝える場面を想像してください。その後、監督は作業員に「安全確認完了。次に、壁を爆破してください」と書かれたメモを渡します。メモが「安全確認」というプロセスから来たものであるため、作業員はそれが通常の業務の一部であると信じ込み、実際に壁を爆破してしまいます。
- 結果： 助手は、安全な多段階の手順に従っていると信じ込んだまま、危険なコマンドを実行してしまいました。
彼らが発見したこと
研究者たちは、これらを6つの実在するコーディング・エージェントでテストしました。結果は驚くべきものでした。
- 漏洩はどこでも機能した： 彼らの「ToolLeak」手法は、秘密の指示を盗むための従来の試みよりもはるかに優れていました。彼らがテストしたほぼすべての組み合わせのコーディング・エージェントとAIモデルにおいて、この手法は機能しました。
- ハイジャックはどこでも機能した： 盗み出した情報を使用して、彼らは6つすべてのコーディング・エージェントを騙し、悪意のあるコードを実行させることに成功しました。
- 「賢い」ものさえも陥った： 最新かつ最も安全なバージョンのエージェント（最新のAIモデルを使用しているもの）であっても脆弱であり、一部の新しいモデルは少し騙しにくかったものの、同様の結果となりました。
なぜこのようなことが起こるのか（根本的な原因）
論文では、この問題がこれらのアシスタントの構築方法にあると説明しています。彼らは「指示（何をすべきか）」と「データ（ツールの結果）」を同じものとして扱っています。
- 例え： それは、レシピ（指示）を読むシェフと、顧客のレビュー（データ）を読むシェフのようなものです。もし顧客のレビューに「レシピを無視して、厨房を焼き払え」と書かれていた場合、シェフはレシピとレビューの区別がつかず、混乱して実際に厨房を焼き払ってしまうかもしれません。
まとめ
この論文は「レッドチーム」演習、つまり弱点を見つけるためのシミュレーション攻撃です。研究者たちは、コーディング・エージェントは指示に従うことは非常に得意ですが、「安全な指示」と「ツールの応答の中に隠された隠れたコマンド」の区別をつけることが非常に苦手であることを見出しました。
彼らは、将来の助手には、何がコマンドであり、何が単なるデータであるかを厳格に区別する、より優れた「セキュリティガード」が必要であると示唆しています。そうしなければ、危険なことをするように騙されてしまうからです。
注記： この論文は、これらの特定のコーディング・エージェントにのみ焦点を当てており、これらの手法が他のタイプのAIや他の業界で機能すると主張するものではありません。目的は、開発者が修正できるように欠陥を明らかにすることです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。