Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
本論文は、標準的なランダム分割においてはほぼ完璧な性能を達成する機械学習セキュリティ検知器が、AIプロンプトインジェクション、悪意のあるパッケージ、およびネットワーク侵入検知のシナリオにおいて、厳格かつリークのないプロトコルを用いて未知の攻撃手法や時間的変化に対して評価された際、壊滅的な失敗率に陥ることを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のデジタル世界において、セキュリティシステムは、過去の攻撃の何千もの事例を学習することでトラブルを察知することを学ぶコンピュータプログラムである、機械学習に依存することがよくあります。これらのプログラムはデジタルな警備員のように機能し、ネットワークトラフィックをスキャンし、ソフトウェアファイルがインストールされる前にチェックを行い、さらには人工知能コーディングアシスタントがプログラマーを支援するために使用する指示を読み取ります。長年、これらの警備員をテストする標準的な方法は、既知の攻撃の山をシャッフルし、それらを訓練用とテスト用の2つのグループに分割することでした。この手法は、警備員が将来直面する攻撃が、すでに学習した攻撃と非常によく似ていることを前提としています。しかし、現実世界の攻撃者は静止しているわけではありません。彼らは絶えず新しいトリックを考案し、道具を隠す方法を変え、防衛者がこれまで見たことのない時期や場所を攻撃します。極めて重要な問いは、これらのデジタル警備員が実際に新しい種類の脅威を認識できるのか、それとも単に古いものを暗記しているだけで、ゲームのルールが変わったときに失敗してしまうのかという点です。
ポートハーコート大学の研究チームは、データ漏洩を防ぐために設計された単一の厳格な手法を用いて、3つの非常に異なるタイプのデジタル脅威に対してセキュリティ検出器をテストすることで、この問いに答えようとしました。彼らは、AIコーディングエージェント用にファイルの中に隠された指示を検出できるかどうか、オンラインライブラリ内の悪意のあるソフトウェアパッケージに対してどのように機能するか、そしてネットワーク侵入を特定する際にどのようにパフォーマンスを発揮するかを調査しました。データをランダムにシャッフルする代わりに、研究者たちは、検出器が遭遇したことのない状況、つまり新しい隠蔽技術を用いた攻撃、後の年間に現れた攻撃、あるいは全く異なるデータセットからの攻撃に直面するように強制しました。また、検出器が、単なるファイルのサイズのような単純で明らかな手がかりに頼っているのか、それとも実際に危険を理解しているのかという「ショートカット（近道）」についても確認しました。
研究の第一部分は、AIコーディングエージェントに焦点を当てました。これらは、構成ガイドのようなファイルを読み取ることでプログラマーがコードを書くのを助けるツールです。攻撃者は、人間の目には見えないがコンピュータにはコマンドとして読み取られる不可視文字や奇妙な記号を使用して、これらのファイルの中に秘密の指示を隠し始めています。研究者たちは、公開リポジトリから約5,000の実際のファイルを集め、そこに9種類の隠蔽技術を用いて無害な隠し指示を植え付けました。彼らは5つの異なる検出器をテストし、それらが罠を見つけられるかどうかを確認しました。検出器が訓練中に学習したのと同じ隠蔽技術に対してテストされたとき、それらはほぼ完璧に機能し、ほぼすべての隠し指示を捉えました。しかし、研究者が検出器が一度も見たことのない隠蔽技術でテストしたところ、一部のモデルでは結果が崩壊しました。特定の特性（例えば不可視文字の数）を数えることに依存していた検出器は、新しい攻撃の96パーセントを見逃しました。対照的に、隠された文字を標準的な読めるテキストに変換した後にファイルの実際のテキストを読み取った検出器は、高いパフォーマンスを維持しました。また、この研究により、小型のオープンソースAIモデルはこれらの隠された指示に従うことが多く、最大で3分の2のケースで秘密のコマンドに従うことが判明しました。一方で、不可視文字を単に削除するだけで、AIにとって攻撃がより理解しやすくなる場合があることも示されました。
第二の研究は、開発者がコードをダウンロードする広大なオンラインストアであるnpmおよびPyPIライブラリにおける、悪意のあるソフトウェアパッケージを調査しました。研究者たちは、2024年、2025年、2026年の既知の悪意のあるパッケージを含む、1万3,000以上のパッケージを収集しました。彼らは古いパッケージで検出器を訓練し、その後、2026年の新しい攻撃の波に対してテストを行いました。コードそのものを見る一つの検出器は強力なままであり、90パーセント以上の新しい悪意のあるパッケージを捉えました。一方で、パッケージの総サイズや内部のファイル数といった静的な特性に依存していた別の検出器は、最初は良好なパフォーマンスを示しましたが、研究者がサイズに基づく手がかりを取り除くと劇的に失敗しました。悪意のあるパッケージがしばしば小型であるという事実に依存しなくなったことで、この検出器の新しい攻撃を特定する能力は著しく低下し、それが真のマルウェアを特定しているのではなく、ショートカットに頼っていたことを明らかにしました。また、この研究は、正当で人気のあるライブラリの中に悪意のあるコードが紛れ込ませる手法が2026年に向けて一般的になっており、検出器がそれを発見するのに苦戦したことも示しました。
第三の研究は、ハッカーを検知するためにコンピュータネットワークを流れるデータをスキャンする、ネットワーク侵入検知へと遡りました。研究者たちは、長年これらのシステムをテストするための標準として機能してきた3つの広く使われているデータセットを使用しました。彼らは、これらのデータセットに多数の重複エントリーやエラーが含まれていることを発見しました。これが、これまでの成功率を不当に高めていた可能性があります。彼らが、早い時期のデータで訓練し、後の時期のデータでテストするという方法で検出器をテストしたところ、システムのパフォーマンスは急落しました。データのランダムなシャッフルに対しては完璧に見えた検出器も、翌週のトラフィックに直面した際にはコイン投げの結果（五分五分）よりも良くない結果となりました。それは、ボットネットのトラフィックや侵入の試みといった、これまで見たことのない特定の攻撃ファミリーを認識することに失敗しました。これは、システムが攻撃の本質ではなく、過去の特定のパターンを認識することを学習していたことを証明しています。
これら3つの領域すべてにおいて、明確なパターンが現れました。サマリー的な特徴や単純なカウントに依存する検出器は、攻撃者が手法を変えると失敗する傾向がありましたが、脅威の実際のコンテンツを読み取る検出器ははるかに優れた性能を維持しました。研究者たちは、隠された、あるいは混乱を招くテキストを、スキャン前に標準的で読める形式に変換するという単純なステップを踏むことで、検出器がどのように偽装されていても、その根底にあるメッセージを認識できることを明らかにしました。また、データの重複を削除することは必要ですが、それだけでは問題の解決には不十分であることも実証されました。真の問題は、将来の攻撃が過去の攻撃と似ているという仮定にあります。本研究は、セキュリティシステムを信頼するためには、新しい未知の技術に対してテストを行う必要があること、そして標準的なランダムテスト手法に頼ることは誤った安心感を与えることを結論付けています。安全を維持するためには、単にその外見を暗記するのではなく、攻撃のコンテンツを理解するようにシステムを設計しなければならないことを、この研究は示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。