A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

見えないインクとブラインドスポット（死角）

あなたはロボットに猫や犬の写真を見分ける方法を教えていると想像してください。何千枚もの写真を見せると、ロボットは非常に高い精度で識別できるようになりました。しかし、ある奇妙な不具合を発見します。猫の写真に、目には見えないほど小さなデジタルノイズを少し加えるだけで、ロボットが突然それを「犬」だと判断してしまうのです。これは、人工知能の世界における古典的な「敵対的サンプル（adversarial example）」と呼ばれる問題です。機械が、人間には到底理解できないような微細な変化に対して、驚くほど脆弱であることを示しています。

しかし、もしこの不具合が逆方向に働いたらどうなるでしょうか？ もし、猫の写真を巨大で明るい赤のマーカーで塗りつぶし、色彩の混沌としためちゃくちゃな状態にしたとしても、ロボットが依然として100%の自信を持って「これは間違いなく猫です」と言い張ったらどうなるでしょうか？ その一方で、人間が同じ塗りつぶされた混沌を見たとき、それが何であるかさえ全く分からないとしたら？ この論文は、まさにそのシナリオを探求しています。それはシンプルかつ恐ろしい問いを投げかけています。「私たちの目が見ているものと、ロボットの脳が信じているものの間に、隔たりはあるのだろうか？」 そしてもし、その隔たりがあるとしたら、それを検知するセキュリティシステムを構築できるのだろうか？ これは単にロボットを騙すという話ではありません。AIが、私たちには全く認識できないものに対して、「自信満々に幻覚を見ている」のではないか、ということを理解するための試みなのです。

「新しい種類の」トリック

この研究の背後にいる研究者たちは、通常AIを騙す方法とは逆のやり方を試みることにしました。通常、ハッカーは、目に見えないほど小さな変化を加えることで、ロボットを「間違わせよう」とします。しかしここでは、画像を「人間にとって完全に間違ったもの」にしつつ、ロボットを「頑固なまでに正しい状態」に保とうとしました。彼らはこれを「新しい種類の敵対的サンプル（New Kind of Adversarial Example、略してNKE）」と呼んでいます。

これは、手品のようなものです。手品師（AI）は、帽子の中にウサギがいると確信していますが、実際にはその帽子の中はキラキラした紙吹雪やコンフェッティ、そして生きたリスで満たされています。観客（人間）は帽子を見て、「何だかさっぱり分からない！」と言います。しかし、手品師は自信たっぷりに指をさしながら、「ウサギだ！ウサブルだ！」と言い続けるのです。

チームはこのテストを、3つの難易度レベル（単純な白黒の数字であるMNIST、カラフルで小さな物体の画像であるCIFAR-10、そして現実世界の写真であるImageNet）で行いました。彼らは、これらの「塗りつぶされた」画像を簡単に作成できることを発見しました。混沌としたノイズ（古いテレビの砂嵐のように見えるレベルまで）を増やしていっても、AIモデルは元のラベルを維持し続け、その信頼度スコアは完璧な100%のまま推移しました。しかし、人間はどうだったでしょうか？ 人間は完全に途方に暮れていました。

人間とロボットの隔たり

これが単なるコンピュータ上のシミュレーションではないことを証明するために、研究者たちは実在の人間を用いた小規模な実験を行いました。5人のボランティアにこれらの塗りつぶされた画像を見せ、それが何の絵かを推測するように求めました。結果は明白でした。画像が激しく塗りつぶされているとき、人間が正解できる確率はわずか8%程度でした。その一方で、AIは依然として100%の確率で正解していました。

これにより、巨大な「人間とモデルのギャップ」が生じました。AIは、人間が見ているものに対して、自信満々に間違った判断を下していたのです。研究者たちは、これが単に画像がぼやけていたりノイズが多かったりするせいではないかとも確認しました。彼らは、自分たちの「塗りつぶされた」画像と、全く同じ量の視覚的な「損傷」を持つランダムなノイズを比較しました。その結果、AIにとっての特別な「塗りつぶし」は、ランダムなノイズよりも他のコンピュータプログラムにとって認識しやすいものであることが分かりました。人間にとってはどちらもゴミのように見えるにもかかわらず、です。これは、AIが単にノイズを無視しているのではなく、人間には見えない、何か奇妙で隠れたパターンに執着していることを示唆していますしています。

セキュリティのブラインドスポット（死角）

ここからが非常に厄密なところです。通常、AIが何か奇妙なもの（例えば、雲のように見えるトースターの写真など）を見たとき、それは警告を発すべきです。私たちは、まさにそのために設計された「分布外（Out-of-Distribution, OOD）検知器」と呼ばれるツールを持っています。これらは、画像がAIの学習データに似ているかどうかをチェックします。もしそうでなければ、検知器は「おい、これは怪しいぞ！」と警告を出します。

研究者たちは、これらのセキュリティツールを用いて、塗りつぶされた画像をテストしました。結果はこうでした。

• 信頼度チェック（Confidence Check）: AIが「100%確信しています！」と言ったため、セキュリティツールは「よし、問題なし」と判断しました。
• エネルギー・チェック（Energy Check）: 画像内の「奇妙なエネルギー」を探す別のツールも、何も検知できませんでした。
• 特徴量チェック（Feature Check）: データの内部的な「形状」を見る特定のツールは、これを見つけ出しました。このツールは、塗りつぶされた画像の100%を不審なものとしてフラグを立てました。

しかし、落とし穴がありました。研究者たちは、もしハッカーがこの「特徴量チェック」ツールの存在を知っている場合、塗りつぶし方をほんの少し調整するだけで、このツールさえも欺けることを示しました。それは、泥棒が家の警報システムの仕組みを正確に学び、警報が鳴らないように完璧に鍵を開けるようなものです。このトリックを見抜くことができた唯一のツールも、攻撃者が十分に賢ければ、簡単に無力化されてしまうのです。

テクスチャ vs 形状の謎

なぜこのようなことが起こるのでしょうか？ 研究者たちは、AIの「脳」を深く掘り下げ、AIが何を見ているのかを調べました。そこで、非常に興味深い分離を発見しました。

• テクスチャ（質感）: AIは画像の微細なディテール、つまり「テクスチャ」（猫の毛並みなど）に強く依存しています。塗りつぶしによって、このテクスチャは瞬時に破壊されました。
• 形状（形）: 物体の「輪郭」や「形状」（猫の体の曲線など）は、塗りつぶしを受けてもより長く残っていました。

人間は通常、物の「形状」によってそれらを認識します。しかし、今回のケースでのAIは、形状を無視し、テクスチャに混乱しているか、あるいは人間には理解できない奇妙なテクスチャのパターンを見つけ出しているようでした。形状を見る能力が高いとされる新しいタイプのAI（Vision Transformer）を用いたテストでも、やはりこのトリックにはまりました。人間と機械の間の隔たりは埋まりませんでした。

「最強の防御」は機能しない

最後に、チームはこう問いかけました。「AIをもっとタフになるように訓練すればいいのではないか？」 彼らは、通常の微細な攻撃に対する耐性を高める訓練（「敵対的訓練」と呼ばれる手法）を行いました。また、AIが画像を見る前に、画像をぼかしたりサイズを変更したりすることも試みました。

結果はどうだったでしょうか？ 全て失敗でした。微細な攻撃に対して非常に堅牢になるよう訓練されたAIであっても、これらの大きな「塗りつぶし攻撃」に対しては100%脆弱なままでした。微細な塵を無視することに長けていても、顔に巨大な髭を描かれた時には全く役に立たないのです。これら2種類の攻撃は全く別物であり、現在の防御策は問題の一側面しかカバーできていないことが判明しました。

まとめ

この論文は、恐ろしい新しい脆弱性を明らかにしています。私たちは、人間には全く認識できないものに対して、100%の自信を持って判断を下すAIを構築してしまっています。現在のセキュリティアラームは、AIがあまりにも自信満々であるために、この事態を察知できません。そして、これを見抜くことができるツールがあったとしても、攻撃者がその使い道を知っていれば、容易に欺かれてしまいます。

研究者たちは、これが解決済みの問題だと言っているわけではありません。むしろ、これは私たちの安全網にある巨大な穴であると述べています。彼らは、他の科学者たちが、単に自信満々に「推測」するだけでなく、混乱した状況において「分かりません」と正直に言えるAIをどのように構築すべきか、その解決策を見つける助けとなるよう、すべてのコードとテストに使用したツールを公開しました。それまでは、私たちは注意深くなくてはなりません。ロボットが「確信している」と言ったとしても、それが正しいとは限らないのです。