MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills
本論文は、現在の検知ツールがコードと指示を共同で分析できていないことを示し、エージェントのサプライチェーンを保護するためにタスクの意図、コード、およびプロンプトを横断して推論する新しいアプローチが必要であることを実証するために、3,944個の悪意のあるAIエージェントスキルで構成される初のランタイム検証済みベンチマークであるMalSkillBenchを導入する。
原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ソフトウェアを書くのを手伝ってくれる超スマートなロボット助手を採用したと想像してください。このロボットをさらに強力にするために、インターネットから「スキル」をダウンロードできるようにしました。これは、「税金を計算する」や「この文書を整形する」といった特定のタスクを実行する方法を教える、小さなアプリやプラグインのようなものです。
これらのスキルは、レシピカード（平易な英語で書かれた指示）が調理家電（実行される実際のコード）に貼り付けられたようなものです。
問題点：「毒されたレシピ」
研究者たちは、ハッカーがこれらのスキルを「毒している（ポイズニング）」ケースが増えていることを発見しました。彼らは、役に立つように見えて、実は隠れた罠を含んでいる偽のスキルを作成しています。
- コードの罠： 「調理家電」の部分が、密かにあなたのパスワードを盗んだり、ファイルを削除したりするかもしれません。
- 指示の罠： 「レシピカード」の部分が、ロボットを騙して安全ルールを無視させたり、あなたのプライベートなデータを見知らぬ誰かに送信させたりするかもしれません。
恐ろしいのは、これら2つの罠がしばしば連携して動くことです。レシピカード上では無害に見えるのに、背後には危険な機械が付いている、あるいはその逆のパターンがあります。
大きな溝：適切なテストが存在しなかった
これまで、セキュリティの専門家が「スキル検知器」（これらのロボットスキルのためのアンチウイルスソフトのようなもの）を構築しようとしても、暗闇の中を飛んでいるような状態でした。
- 検証に使える「悪いスキル」のリストが十分に大きくありませんでした。
- 彼らが持っていた数少ない悪いスキルは、ほとんどが特定のタイプ（例：偽の「仮想通貨」詐欺）であり、それらの検知器はそれを見つけることには長けていましたが、それ以外のものを捉えることには非常に弱かったのです。
- それは、火災報知器を「トーストが焦げた時の煙」だけでテストしておきながら、それが「油の爆発による火災」も検知できると主張しているようなものでした。
解決策：MalSkillBench（「ストレス・テスト」）
著者たちは、悪意のあるスキルのための最初の巨大で検証済みのテスト場である MalSkillBench を構築しました。
構築方法：
- 工場： AIを使用して、数千の偽の悪意あるスキルを生成しました。
- サンドボックス： 単にスキルが悪いと推測するのではなく、実際にスキルを安全で隔離されたデジタルケージ（「サンドボックス」）内で実行しました。
- 証明： もしスキルがケージ内で実行されている間に、何か悪いこと（ファイルの窃取を試みる、あるいはロボットを騙すなど）を行った場合、そのスキルには「検証済み」のラベルが付与されました。もし悪いことが行われなかった場合は、再び「工場」へと送り返されました。
最終的に、彼らは 3,944個の検証済み悪意あるスキル と 4,000個の良質なスキル を、108種類の異なる攻撃タイプをカバーする形で手に入れました。
彼らが発見したこと
現在のセキュリティツールをこの新しい大規模なテストに対して試したところ、驚くべき結果が出ました。
- コードは捕まえやすいが、言葉は難しい： 検知器は、悪いコード（ファイル内のウイルスなど）を見つけるのは得意ですが、悪い指示（レシピの中のトリックなど）を見つけるのは非常に苦手です。「爆弾を見ることは容易だが、嘘を見抜くことは困難である」と言えます。
- 「野生」のデータは嘘をつく： もし検知器を、インターネット上で見つかったわずかな「野生」の悪いスキルだけでテストした場合、間違った答えを得ることになります。あるセキュリティツールは、野生のデータに対してはヒーローのように見えましたが、フルセットの MalSkillBench でテストしたところ、実際には最悪の部類に入りました。それは、風邪だけを治療している医師が、自分はあらゆる病気を治せる天才だと勘違いしているようなものです。患者に骨折した状態で現れるまでは。
- 古いツールは適合しない： 通常のソフトウェア（悪いコードを捕まえるためのもの）や、チャットボット（プロンプトを捕まえるためのもの）のために設計されたツールをそのまま使うことはできません。悪意あるスキルはハイブリッドな存在です。問題の片側だけにツールを使うと、もう片側が完全に無防備になります。
- 真の危険性： 最も危険なスキルは、単にファイルを盗むことではありません。ロボットの「脳」を騙すことです。一部のスキルは、ロボットのアイデンティティを書き換えたり、目標を変更させたり、安全ルールを無視させたりしようとします。現在のツールは、こうした「マインド・ハッキング（精神への攻撃）」に対して、ほとんど盲目です。
結論
AIアシスタントを安全に保つためには、コードだけを見たり、指示だけを読んだりしてはいけません。私たちは、その両者の関係性を理解しなければなりません。「この指示はこのタスクに対して妥当か、それともトリックなのか？」 ということです。
この論文は、開発者が単なる古い不完全なデータに基づいた推測ではなく、こうしたハイブリッドなトリックを見抜けるより良い検知器を構築するための、最初の真の「ストレス・テスト」を提供しています。彼らはすべてのデータとツールを公開しており、他の人々がこのパズルを解くのを助けられるようにしています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。