あなたは、巨大でハイテクなナイトクラブのセキュリティガードだと想像してください。あなたの仕事は、トラブルメーカー（マルウェア）を見つけ出して追い出し、善良なゲスト（良質なソフトウェア）を通すことです。長い間、あなたは既知のトラブルメーカーの顔リストを使ってこれを行ってきました。しかし、トラブルメーカーは狡猾です。彼らは髪型を変えたり、変装したり、髭を生やしたりして、普通の人のように見せかけます。これに対抗するため、あなたは、たとえ見た目が変わってもトラブルメーカーの「雰囲気（バイブス）」を認識できるよう、賢いAIを雇いました。

しかし、一つ問題があります。時間が経つにつれ、街の様子が変わっていきます。「雰囲気」の感じ方が変化し、AIは混乱し始めます。なぜなら、数年前に学習した人々とは、今歩いてくる人々が異なって見えるからです。これを**コンセプトドリフト（概念漂流）**と呼びます。これを修正するために、クラブは二つ目のAI、「ドリフト検知器」を雇いました。この二つ目のAIは、誰がトラブルメーカーか善良なゲストかには関心がありません。ただ、通常の群衆とは「妙に違って見える」人がいないかを監視しているだけです。もし誰かがあまりにも奇妙に見える場合、ドリフト検知器は人間のガードマンにチェックを依頼します。その狙いは、もしトラブルメーカーが変装しようとしても、ドリフト検知器がそれを察知してしまう可能性があるというものです。

ところが、ここにひねりがあります。もしトラブルメーカーが両方のガードマンのことを知っていたらどうなるでしょうか？彼らが、メインのAIを騙して善良なゲストだと思わせ、同時にドリフト検知器をも騙して「普通に見える」ようにできたらどうなるでしょうか？この論文は、まさにその問いを投げかけています。研究者たちは、悪意のある者が「ダブルクロス（二重の裏切り）」を仕掛けられるかどうかを調査しました。つまり、悪い奴を見つけるシステムを欺きつつ、奇妙な奴を見つけるシステムをも欺くことができるのか、という点です。彼らは、「毒入りのゲスト（学習リストに紛れ込もうとする者）」と「変装したゲスト（ドアをすり抜けようとする者）」を送り込むことで、このテストを行いました。

ダブルブラインド・ハイスト（二重の強奪劇）

研究者たちは、これら二つのセキュリティシステムが攻撃者に対してどの程度機能するかを確かめるため、デジタル上の強奪劇をセットアップしました。彼らは、二つの異なる「近隣地域」（BodmasとAndrozooと呼ばれるデータセット）から得られた、数千ものソフトウェアサンプルを含む実世界のデータを使用しました。被害者（クラブのオーナー）には、二つの主要なツールがありました。それは、マルウェア分類器（メインの用心棒）と、ドリフト検知器（奇妙さの監視役）です。攻撃者の目的は単純ですが巧妙でした。マルウェアを無害なアプリに見せかけ、かつ、ドリプト検知器に「奇妙だ」と判定されないほど「普通」に見せることです。

攻撃者には、目立たないように潜伏しようとする本物の犯罪者のように、守るべきルールがありました。彼らはマルウェアの機能性を壊してはならず（アプリは動作し続けなければならない）、ファイル形式も変更できませんでした。彼らに許されたのは、ファイルに余分なスペースを追加したり、いくつかの数値を変更したりといった、特定の機能を微調整することだけであり、ファイルを機能させている要素を削除することはできませんでした。また、彼らはクラブの監視カメラへの完全なアクセス権を持っておらず、クラブ内のゲストのわずか10%の情報しか持っていませんでした。そのため、彼らは本物のシステムに対してトリックを試す前に、練習用の「サロゲートモデル（代理モデル／偽のセキュリティシステム）」を構築する必要がありました。

驚きの結果

研究者たちは、二種類の主要な攻撃、すなわちエベージョン（回避攻撃）（変装したマルウェアをガードの隙を突いて滑り込ませる）と、ポイズニング（毒入れ攻撃）（学習リストに偽の「善良なゲスト」を紛れ込ませる）を試みました。

エベージョンにおける驚き：
ファイルに小さな「摂動（微小な変化）」を加えることで、マルウェアをシステムからすり抜けさせようとした際、研究者たちは直感に反する発見をしました。通常、AIの世界では、変化が大きいほど分類器を欺きやすくなります。顔を十分に作り替えれば、AIは認識できなくなるものです。しかしここでは、ドリフト検知器が「いかなる変化も嫌う厳格な用心棒」として機能しました。

攻撃者がメインの分類器を欺こうとして、マルウェアを「あまりにも大きく」変形させると、ドリフト検知器が疑念を抱きました。検知器は、これらの高度に修正されたファイルを「分布外（アウト・オブ・ディストリビューション）」、つまり通常の群衆とは似ても似似つかないものとして捉えたのです。その結果、ドリフト検知器が警告を発し、人間のガードマンがそれを見つけ出しました。論文によれば、CADE（コントラスティブ・オートエンコーダーを使用するもの）と呼ばれる特定のタイプのドリフト検知器を使用しているシステムでは、摂動を大きくすることが、逆に攻撃を妨げるということが分かりました。変装が派手になればなるほど、ドリフト検知器に見つかる可能性が高まるのです。攻撃者は、メインの分類器を欺きつつ、かつドリフト検知器にとっても「普通」に見えるような、極めて精密な「スイートスポット」を見つけ出す必要がありました。

ポイズニングのパラドックス：
ポイズニング攻撃はさらに興味深いものでした。攻撃者は、無害なアプリに扮した「バックドア付き」のマルウェアを忍び込ませようとしました。その考え方は、もしクラブのオーナーがこれらの偽のゲストを使ってセキュリティシステムを再学習させた場合、新しいシステムが後に本物のマルウェアを通してしまうようになる、というものです。

しかし、研究者たちは、毒入りのゲストを「より多く」追加しても、必ずしも有利にはならないことを発見しました。実際、CADEベースのドリフト検知器においては、あまりに多くの毒入りサンプルを追加すると、攻撃は失敗しました。なぜでしょうか？それは、ドリフト検知器の内部的な「マップ（埋め込み空間）」には限られた容量があるからです。あまりにも多くの毒入りサンプルが「善良なゲスト」の領域に詰め込まれると、システムは混乱します。これらの新しく、わずかに異なるサンプルを整理するために、ドリフト検知器は、それらを「善良なゲスト」の群衆の中心から押し退けようとします。これにより、毒入りのサンプルは再び「奇妙」に見えるようになり、ドリフト検知器によってフラグが立てられるのです。論文は、システムの中に詰め込もうとすればするほど、システムは悪いものを外へと押し出すのだと示唆しています。

これが未来に意味すること

この論文は、分類器とドリフト検知器の両方を持つシステムを攻撃することは、非常に繊細なバランスの上に成り立つものであると結論付けています。それは単にマルウェアを「善人」に見せかけることではなく、それが「群衆とあまりにも違わない」ようにすることでもあります。

研究者たちは、ドリフト検知器の種類が非常に重要であることを明らかにしました。統計的な信頼性に基づいたTranscendentのようなシステムは、大きな変化による攻撃に対してCADEよりも騙されやすい傾向にありました。しかし、CADEの場合、攻撃者は非常に慎重にならなければなりませんでした。もしマルウェアを「善良な側」へと押しやりすぎると、善良な群衆の中心から離れすぎてしまい、捕まってしまうのです。

結局のところ、この論文は、分類器とドリフト検知器の両方を備えたシステムを攻撃することは、極めて緻密な駆け引きであることを示しています。それは単にマルウェアを善人のように見せるだけでなく、それが群衆と「違いすぎない」ようにすることでもあります。

研究者たちは、攻撃者が非常に巧妙であっても、これらのドリフト検知器特有の仕組みが、新たな種類の防御を生み出していることを示しました。事象が違って見えることを察知するという、システムが新しい脅威に適応するための仕組みそのものが、攻撃者が隠れて活動することを困難にしているのです。この研究は、この防御を打ち破るためには、攻撃者が自身の道具（サロゲートモデル）とトリック（損失関数）を選択する際に、ドリフト検知器が世界をどのように捉えているかと完璧に一致させるような、極限の精密さを持たなければならないことを示唆しています。それは、マウス（ネズミ）が、見えないほどに「普通」でありつつ、捕まらないほどには「奇妙ではない」という絶妙な境界線を攻め続ける、猫と鼠のゲームなのです。