Multi-Task Consistency-based Detection of Adversarial Attacks

あなたは、目ではなくカメラを通して世界を見ている車を運転していると想像してみてください。この車は、ディープニューラルネットワーク（DNN）と呼ばれる特別な種類のコンピューターの脳を使って、見ているものを理解しています。車は、信号機を見つけ、標識を読み、他の車を見つけなければなりません。しかし、ここからが厄elな部分です。これらのコンピューターの脳は、騙されることがあるのです。もし誰かが、写真に、非常に特殊な方法で数ピクセルをずらしたような、目にはほとんど見えない「ノイズ」を加えたら、コンピューターは一時停止の標識を速度制限の標識だと勘違いしたり、歩行者の存在を見逃したりしてしまうかもしれません。これは「敵対的攻撃（アドバーサリアル・アタック）」と呼ばれ、コンピューターに対する手品の種明かしのようなものです。こうしたトリックが簡単に起こり得るため、エンジニアたちは、車が危険な間違いを犯す前に、コンピューターの脳を欺こうとする動きを察知できるセキュリティシステムを作ろうと必死になっています。

この論文は、それらの自動運転車のための、巧妙な新しい警備員を紹介しています。コンピューターの脳を「壊れないもの」にしようとするのではなく（それは難しく、コストがかかります）、著者たちは「チームワーク」のアプローチを提案しています。彼らは、2つの異なるコンピューターモデルに同じ写真を見せたとき、一方は物体を囲むボックスを描くように訓練され（物体検出）、もう一方はそれらの物体の正確な形を塗りつぶすように訓練されている（インスタンス・セグメンテーション）場合、通常、両者は完璧に一致することに気づきました。しかし、ずる賢い攻撃者がトリックを使って彼らを騙そうとすると、2つのモデルは口論を始めます。一方は車を見ているのに、もう一方は何も見ていなかったり、あるいは車の位置について意見が食い違ったりします。著者たちは、この口論を聞き取るシステムを構築しました。もし2つのモデルがあまりにも意見が食い違った場合、システムは「おい、この写真は改ざんされているぞ！」と叫び、車が悪質なデータを使用するのを阻止します。

研究者たちは、BDD100kという大規模な走行シーンのデータセットを使用して、このアイデアをテストしました。彼らは強力な攻撃手法であるPGD（投影勾配降下法）を用いて、何千ものトリッキーな「毒を盛られた」画像を作成し、新しいシステムがどのように反応するかを観察しました。その結果、彼らの「不一致検出器」が驚くほど優れた仕事をしたことが分かりました。彼らのシステムを攻撃者と対決させたところ、トリッキーな画像を99.9%の確率で特定することに成功しました。これは極めて高いスコアであり、システムが騙されることがほとんどないことを意味します。

さらに興味深いのは、どのモデルが最もうまく連携するかを彼らがどのように突き止めたかです。彼らは、「ResNet50」という脳を持つモデルと「ResNet101」という脳を持つモデルを組み合わせるなど、多くの異なる組み合わせをテストしました。彼らは、最適なペアとは、実は内部構造が非常によく似ているモデル同士であることを見出しました。奇妙に聞こえるかもしれませんね？異なるモデルを組み合わせた方が良いと思うかもしれません。しかし、論文では、似たようなモデルが攻撃を受けた場合、彼らは異なる方法で混乱するため、非常に目立つ、分かりやすい口論を生み出すことが示されています。モデルがあまりに異なりすぎると、攻撃を完全に無視してしまうか、あるいは同じように失敗してしまうため、何かがおかしいと判断するのが難しくなるのです。

チームは、自分たちの検出器を出し抜こうとさえ試みました。彼らは、2つのモデルを同時に騙し、かつ間違った答えに対して両者を合意させるような、超スマートな「適応型攻撃者」を作り出しました。この高度な策略に対しても、検出器は依然として機能し、攻撃を95%の確率で捉えました。これは、攻撃者がトリックを調整しようとしても、モデルが情報を処理する方法の自然な違いがあるため、チーム全体を欺くことは非常に困難であることを示唆しています。

他のセキュリティ手法と比較すると、このアプローチは、重くて遅い戦車というよりも、軽量で高速に動作する警備員のようなものです。他の手法は、多くの場合、コンピューターの脳全体を再学習させるか、膨大な量の追加コードを加える必要があり、それが車の速度を低下させます。著者たちは、自らのシステムを有名な防御策である「RobustDet」と比較しました。RobustDetはモデルをわずかに騙されにくくしましたが、サイズが巨大（643 MB）で、速度も遅い（毎秒11フレーム）ものでした。一方、この新しい検出器は、はるかに小さく（350 MB）、かつ2倍速く（毎秒20フレーム）、それでいてほぼすべての攻撃を捉えました。

要約すると、この論文は「壊れない盾」を作ったと主張しているわけではありません。代わりに、鎧の隙間を監視するための、スマートで効率的な方法を提示しています。世界の捉え方の異なる2つの方法の間にある不一致を監視することで、システムは現実がデジタル的に改ざんされたことを察知できるのです。著者たちは、この手法が自動運転車をより安全にするためのパズルの重要なピースになり得ると示唆しており、時には、誰かを捕まえるための最善の方法は、その人物に他の誰かと話をさせることである、ということを証明しています。