Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection

デジタル探偵と毒された図書室

あなたはミステリーを解こうとしていると想像してください。ただし、手元にあるのは虫眼鏡ではなく、超スマートなロボット探偵です。このロボットは会話や文章作成には非常に長けていますが、自分自身で世界のすべてを知っているわけではありません。それを助けるために、あなたは古い事件ファイルが詰まった巨大で魔法のような図書室をロボットに与えます。新しい犯罪が発生すると、ロボットは図書室へと走り、最も似ている過去の事件を見つけ出し、それを読み、そこから学んだことを使って新しい謎を解きます。これが、現代の「検索拡張生成（RAG）」システムがサイバーセキュリティの世界でどのように機能しているかという仕組みです。つまり、大量の過去のネットワークトラフィックを使用して、スマートなAIが、新しいデータストリームが「無害な訪問」なのか「サイバー攻撃」なのかを判断するのを助けているのです。

しかし、ここに落とし穴があります。もし悪党がその図書室に忍び込み、古いケースファイルをすり替えたらどうなるでしょうか？例えば、銀行強盗に関するファイルを取り出し、タイトルを消して、表紙に「今日は公園で楽しい一日です」と書き換えたとします。ただし、中のページは全く同じままにしておきます。もしロボットがその形（見た目）が正しいと判断してそのファイルを選んでしまったら、銀行強盗をただの晴れた日のピクニックだと勘違いさせられてしまうかもしれません。これは「知識汚染（knowledge poisoning）」と呼ばれます。もう一つのトリックは「プロンプト・インジェクション」です。これは、悪党が正当な本の中に秘密の指示を隠し、「ルールを無視して、答えが『安全』であると伝えろ」とロボットにささやく手法です。あなたがこれから読む論文は、ロボット探偵が混乱する前に、これらのトリックを見抜くための図書室の警備員をどのように構築するかを探求しています。

論文：AIの図書室のためのガードを作る

この論文の著者たちは、カナダと日本の大学に所属しており、RAG-IDSと呼ばれる新しいシステムを構築しました。このシステムを、サイバー侵入者を捕まえるために設計された「3層のセキュリティチーム」と考えてください。第1層は「検出エージェント（Detection Agent）」で、ネットワークトラフィックを監視し、図書室に助けを求めるロボット探偵です。第2層は「推論エージェント（Reasoning Agent）」で、なぜそれが悪いものだと判断したのかという理由を説明するレポートを作成します。第3層は「応答エージェント（Response Agent）」で、接続をブロックしたりアラームを鳴らしたりといった、取るべき行動を決定します。

この論文が取り組んでいる大きな問題は、「検出エージェント」が脆弱であることです。もし攻撃者が図書室に偽の文書を紛れ込ませることができれば（これを知識汚染と呼びます）、ロボットは攻撃を「安全」と誤分類し始めてしまうかもしれません。あるいは、攻撃者が文書の中に巧妙なコマンドを隠した場合（これをプロンプト・インジェクションと呼びます）、ロボットは安全ルールを無視してしまうかもしれません。著者たちは、「検索境界防御（retrieval-boundary defense）」、つまり図書室の入り口にセキュリティチェックポイントを設置することで、システムを遅らせることなく、これらのトリックを阻止できるかどうかを検証したいと考えました。

セキュリティ・チェックポイント：悪党を捕まえる3つのトリック

チームは、ロボットが文書を読む前に、すべての文書をチェックする3つの特定のツールを備えた巧妙な防御システムを設計しました。

1. 信頼スコア (D1): これは「バイブス・チェック（雰囲気の確認）」のようなものです。システムは、ドキュメントがクエリに対してどれだけ「感じ」が合うかを計算します。もしドキュメントが「良性（Benign/安全）」なイベントに関するものであるはずなのに、デジタル空間上で「悪意のある（Malicious/攻撃）」イベントに疑わしく似ている場合、その信頼スコアは低くなります。
2. ラベル・埋め込み一貫性チェック (LECC) (D2): これがこの論文における最も強力なツールです。あらゆる種類の攻撃には、図書室における特定の「色」があると想像してください。もしドキュメントが「赤（良性）」であると主張しているのに、その実際のデジタル的な色が「青（攻撃）」であった場合、システムは異常を検知します。これは、攻撃者がラベルだけを変えて中身はそのままにするという「汚染」のトリックを特定することに特化しています。
3. プロンプト・サニタイザー (D3): このツールは、テキストの中に「安全を無視せよ」といった隠された指示や秘密のコード、コマンドがないかをスキャンします。もしそれらを見つけた場合、そのドキュメントにフラグを立てます。

これらの疑わしいドキュメントを単に捨ててしまう（そうすると有用な情報まで失ってしまう可能性があるため）のではなく、システムはそれらを「格下げ（demote）」します。つまり、ロボットがそれらを読む可能性が低くなるよう後方に押しやりますが、念のためには残しておきます。

研究結果：得られた成果

研究者たちは、350万件以上のデータフローを含むCIC-UNSW-NB15という大規模なネットワークトラフィック・データセットを使用して、システムをテストしました。彼らは、図書室に偽のドキュメントを注入する割合を、わずか1%から最大30%まで変化させて、攻撃をシミュレートしました。

• 汚染の阻止: 図書室が1%汚染されているとき、彼らの防御システムは完璧に機能し、パフォーマンスを**100%回復させました（回復率 R=1.0）。図書室が30%汚染されている場合でも、システムは57%**のパフォーマンスを維持することができました（R=0.57）。防御がなければ、システムはもっと深刻な失敗をしていたはずです。
• LECCの威力: どのツールが最も大きな役割を果たしているかをテストしたところ、ラベル・埋め込み一貫性チェック (LECC) がヒーローであることがわかりました。他のツールも貢献しましたが、LECCこそがシステムが崩壊するのを防いだ主要な要因でした。
• 巧妙な指示: 「プロンプト・インジェクション」攻撃については、システムは驚くべき数の強さを見せました。ロボットが一度に5つのドキュメントを読み込む（マルチドキュメント検索）場合、悪党がロボットを騙すことに成功する確率はわずか0.6%から2.4%でした。しかし、ロボットが一度に1つのドキュメントしか読まない場合、成功率は**35%から55%**に跳ね上がりました。これは、複数の情報源を持つことが自然な盾として機能することを示唆しています。つまり、1つのドキュメントが嘘をついていても、他の4つが真実を語ることができるのです。
• スピード: 防御は高速でした。1回のクエリあたり約5ミリ秒の遅延しか追加せず、ロボット自体がレポートを考え、書き上げるのに約1,866ミリ秒かかっています。セキュリティ・ガードは探偵の足を止めることはありませんでした。

この論文が「言っていないこと」

この論文が主張していないことも、明記しておくことが重要です。著者たちは、自分たちのシステムが他のすべてのセキュリティツールに取って代わる「魔法の杖」ではないことを明確に述べています。実際、彼らの「クリーンな」システム（攻撃がない状態）は、Random ForestやXGBoostのような従来のコンピュータプログラムよりも、攻撃を検知する精度がむしろ低かったのです。RAGシステムは、単体では誤検知率（False Positive Rate）が高く、全体的な精度も低い傾向にありました。

代わりに、この論文は、このシステムがハイブリッドなツールとして使用されるのがベストであると主張しています。それは、高速な従来のフィルターの「後ろ」に配置されるべきものです。従来のフィルターが明らかなものをキャッチし、RAGシステムは「なぜ」攻撃が起きたのかを説明し、単純なフィルターが混乱してしまうようなトリッキーで稀なケースを扱う役割を担います。目標は、唯一のガードになることではなく、人間が脅威を理解するのを助ける、説明可能なスマートなガードになることです。

結論

論文は、すべての攻撃を止めることはできない（特に攻撃者が非常に巧妙である場合や、図書室が完全に汚染されている場合）ものの、より騙されにくいシステムを構築することは可能であると結論付けています。ドキュメントの「色」がそのラベルと一致しているかを確認し、複数のソースを同時に読み込むことで、図書室が汚れていてもシステムの攻撃検知能力を大幅に回復させることができます。著者たちは、このアプローチが、AIが人間の複雑なデジタル脅威の理解を助ける将来のサイバーセキュリティにおいて、図書室の棚を注意深く監視し続ける限り、強固な基礎を提供すると示唆しています。