Shared Vulnerabilities in Robustness-Optimized Defenses: One Breach Exposes the Family

あなたのスマートフォン、車、さらには医療機器までもが、超スマートなAIの脳によって動かされている世界を想像してみてください。これらの脳は、顔を認識したりX線写真を読んだりすることには長けていますが、ある秘密の弱点を持っています。それは、写真上の目に見えないほど小さな、ごくわずかな汚れです。これは、AIを欺いて全く別のものを見せようとする仕掛けです。例えば、一時停止の標識にたった一つの小さな点を描くだけで、自動運転車にそれが「速度制限」の標識だと誤認させてしまうようなものです。これを防ぐために、科学者たちはこれらのAIの脳のための「ボディガード」を作り上げました。あるボディガードは、何千もの巧妙な写真を見せることでAIをタフに鍛えます（敵対的学習）。また別のボディガードは、AIが画像を見る前に、フィルターのように画像をきれいに洗浄します（敵対的浄化）。誰もが、これらのボディガードによってAIが難攻不落になることを期待しています。しかし、もしこれらのボディガードが、見た目は違っても、実は同じ秘密の制服を着ていたとしたらどうでしょう？もし、ある一つを破ることで、悪党たちが他のすべてを破るための鍵を偶然手に入れてしまうとしたら？

これは、ハンルイ・ワン（Hanrui Wang）とそのチームが新しい論文で発見した、まさに恐ろしい発見です。彼らは、異なるAI防御策が「堅牢（ロバスト）」になるよう最適化されると、意図せずして同じ隠れた弱点を共有してしまうことを発見しました。それは、まるで同じ道場（ドジョー）で訓練を受けたスーパーヒーローの家族のようなものです。もし悪役が一人を倒す方法を見つけ出せば、他のメンバー固有の動きを学ぶことなく、家族全員を倒せてしまうかもしれません。研究者たちは単に推測したのではなく、「PGDTransfer」というシンプルで巧妙なテストと、「敵対的感度マップ（Adversarial Sensitivity Maps）」という特別な地図を構築して、これを証明しました。彼らは、ある種の「洗浄」防御策を一度破ってしまうと、その攻撃が他のほぼすべての洗浄防御策に対しても有効になり、場合によっては成功率が80%を超えることを突き止めました。これは、AIを強くするだけでは不十分であり、異なる防御策が同じ「秘密の亀裂」を共有しないようにする必要があることを示唆しています。

家族の秘密：一つの突破が全員を晒す

AIの防御策を、ハイテクな鍵の異なるブランドだと考えてみてください。指紋スキャナーを使う鍵もあれば、網膜スキャンを使うもの、あるいは音声コードを使うものもあります。指紋ロックを破れたとしても、網膜スキャンのロックは開けられないだろうとあなたは思うでしょう。しかし、この論文は驚きの事実を明らかにしています。もしこれらすべてのロックが、同じ「セキュリティ哲学」（非常に堅牢であろうとすること）に基づいて設計されていたら、それらはすべて、ギアの中に同じ目に見えない微細な欠陥を持っている可能性があるのです。

研究者たちはこれを「共有された脆弱性（Shared Vulnerability）」と呼んでいます。彼らは、AIシステムが攻撃に対して非常に強くなるよう訓練されると、すべてが画像の同じ部分を無視し、同じ「安全な」部分に注目する傾向があることを発見しました。つまり、ある特定のタフなAIを欺くためのトリック画像を作成すると、そのトリック画像は、たとえ内部構造が全く異なって見えても、他のタフなAIに対しても有効になってしまうことが多いのです。それはまるで、マスターキー（合鍵）を見つけた泥棒が、近所のすべての鍵を開けられるようなものです。なぜなら、鍵の色や形が違っていても、すべて同じ工場で作られたからです。

探偵の仕事：どのようにして亀裂を見つけたのか

これを証明するために、チームは非常に慎ical（慎重）に行動しなければなりませんでした。過去には、攻撃が「転移（別のAIに作用すること）」するかどうかをテストする際、画像に巨大で明白な変化を加える手法が使われてきました。研究者たちは、これは「ズル」であると気づきました。画像を十分に汚してしまえば、どんなAIも混乱しますが、それはAIが弱点を共有しているからではなく、単に画像が台無しになっているからです。

そこで、彼らはテストに対してより厳格なルールを設けました：

1. 極小の変化のみ： 攻撃が単に画像を壊しているわけではないことを保証するため、非常に小さく、ほとんど目に見えない変化（予算 $\epsilon = 4/255$）を使用しました。
2. ズルをしない： 彼らは「単一サロゲート（single-surrogate）」ルールを使用しました。ハッカーは一つのAI（サロゲート）に対して訓練を行うことができますが、そのAIの秘密を見ることなく、別のAI（ターゲット）を攻撃しなければなりません。
3. シンプルな攻撃： 超複雑で派手なハッキングツールを使う代わりに、PGDTransferと呼ばれる非常にシンプルな手法を使用しました。これは、レーザーカッターの代わりに基本的なドライバーを使うようなものです。もし基本的なドライバーで複数のロックを破れるのであれば、それはツールに問題があるのではなく、ロック自体に問題があることを証明しています。

彼らはまた、**敵対的感度マップ（Adversarial Sensitivity Maps: AdvSMs）**も作成しました。街の地図を見て、どの通りが混雑しているかを確認することを想像してください。これらのマップは、AIが画像のどのピクセル（小さな点）に注意を払っているかを正確に示します。研究者たちは、「タフな」AIはすべて同じ特定のピクセルに注意を払い、同じ他のピクセルを無視していることを発見しました。それは、まるで家族のボディガード全員が、玄関に立って見張ることに決め、後ろの窓を無視しているようなものです。もし泥棒が、あるボディガードの裏窓から侵入する方法を知れば、他のすべてのボディガードに対してもどこへ行けばよいかを知ることになります。

結果：警鐘

彼らが見つけた数字はかなり衝撃的です。これらのシンプルな攻撃を「浄化（purification）」防御策（画像をきれいにしようとするもの）に対してテストしたところ：

• 異なる種類のクリーナー（フィルタリング、圧縮、拡散ベース）全体で、攻撃の成功率は平均で**80.4%**に達しました。
• これらの防御策は個々には強力に見えましたが、すべて同じ単純なトリックに対して脆弱でした。
• これは、現在世界で最も強力で複雑であるとされる**拡散ベース（Diffusion-based）**の防御策に対しても起こりました。

論文は、これが単にAIモデルの構造が似ている（同じアーキテクチャを持っている）ことによるものであるという考えを明確に否定しています。彼らは、全く同じ設計でありながら訓練内容が異なるモデルをテストしましたが、もし一方が「堅牢（ロバスト）」でなければ、攻撃は転移しませんでした。転移は、両方が「堅牢」になるよう最適化されたときにのみ発生しました。これは、「堅牢性の最適化」そのものが、共有された弱点を作り出していることを証明しています。

未来にとっての意味

ここでの大きな教訓は、AIが破滅に向かっているということではなく、私たちの「安全の作り方」を変える必要があるということです。現在、私たちは個々のAIをいかにタフにするかに焦点を当てています。この論文は、私たちも「多様性」に焦点を当てる必要があることを示唆しています。異なる防御策が、すべて同じものを無視するように学習しないようにしなければなりません。もし私たちが、これらすべてを同じ方法で「完璧に堅牢」になるよう訓練し続けるなら、私たちは、すべてが同じマスターキーを共有する一族の鍵を作っているに過ぎないのです。

著者らは、将来のセキュリティにおいて「脆弱性の多様性（vulnerability diversity）」を目標として扱うべきだと提案しています。単に「このAIはタフか？」と問うのではなく、「このAIの弱点は他とは違うか？」と問うべきなのです。もし、一つのAIが騙されたとしても、それが家族全員の露出を意味しないようにすることができれば、私たちはより安全なデジタル世界を築くことができます。現時点では、この論文は警告として機能しています。一つの突破が家族全員を晒す可能性があるため、私たちはこれらの防御策を孤立した島として扱うのではなく、つながったエコシステムとして捉え始める必要があります。