Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation

美術館の警備員になったと想像してみてください。あなたの仕事は、偽物の絵画を見抜くことです。人工知能の世界では、これらの「偽物」は「敵対的サンプル（adversarial examples）」と呼ばれます。これは、猫を犬に見せかけるような、画像に対する、ほとんど目に見えないほど微細な変化のことです。長年、科学者たちはコンピュータがどれほど上手くこれらの偽物を見抜けるかを測定しようとしてきました。彼らは通常、特定の「難易度」（例えば、特定の量のノイズ）を選び、コンピュータがそのテストに合格するかどうかを確認します。しかし、これは警備員の視力を正午の時間帯だけでテストするようなものです。それだけでは、夜明けや夕暮れ時に彼らがどのように見えるかについては何も教えてくれません。大きな疑問は、「ある特定のトリックに対してだけでなく、あらゆる種類のトリックに対して、コンピュータは本当に堅牢であると言えるのか？」ということです。

ここで、一つの手がかりだけに頼ることを拒む、熟練の探偵のような新しい研究が登場します。研究者たちは、コンピュータの防御をたった一つの固定された難易度レベルでチェックすることは、欠陥のあるゲームであると主張しています。代わりに、彼らは新しい遊び方を提案しています。それは、最も簡単なトリックから最も難しいものまで、コンピュータの防御の「強度の曲線（strength curve）」全体をマッピングするというものです。彼らは、単に推測するのではなく、さまざまな攻撃戦略のチームを用いて、コンピュータの鎧の最も弱い点を体系的に探し出すシステムを導入しました。その際、計算資源（またはクエリ数）の使用量を厳格に管理します。その結果、恣意的な難易度設定に依存せず、誰が真に強いのかという極めて明確な全体像を提供する、新しい防御ランキングの手法が生まれました。

「ワンサイズ・フィット・オール（一律）」テストの問題点

長い間、AIの安全性をテストする標準的な方法は、たった一つの質問に答えるだけの多肢選択式テストのようなものでした。研究者は、画像に加える特定の「ノイズ」（これを $\epsilon$ と呼びましょう）の量を選び、AIが依然として正解できるかどうかを確認します。もし正解できれば、AIは高得点を得ます。できなければ、低得点となります。

この論文の著者たちは、これは少し愚かなことだと指摘しています。例えば、アリスとボブという二人のランナーを想像してください。もし100メートル地点でのタイムだけを計測するなら、アリスの方が速く見えるかもしれません。しかし、もし200メートル地点でタイムを計れば、ボブの方が勝っているかもしれません。彼らのスピードの変化率は異なります。同様に、一部のAIモデルは、小さくて微妙な変化には強いかもしれませんが、大きくて粗い変化には非常に弱いかもしれません。一つの固定された地点でのみテストを行うと、ランナーの順位を間違えてしまう可能性があるのです。

さらに、現在の「ゴールドスタンダード（黄金律）」とされるテスト（AutoAttackと呼ばれます）は、まるで「パッケージ化されたランチ」のようなものです。それは固定されており、具材を変えることも、もしお腹が空いているならおかずを追加することもできません。それはAIを打破するために一定の試行回数を使用します。もしAIが本当に手強い場合、そのランチでは弱点を見つけるには不十分かもしれませんし、逆にAIが弱い場合、そのランチは過剰すぎるかもしれません。テストが真の限界点を見つけるのに十分な強さだったのか、あるいは単に早すぎる段階で諦めてしまったのかを知る術はありません。

新しい戦略：「フロンティア（最前線）」の探索

これを解決するために、著者らは「アタック・フロンティア（攻撃の最前線）」と「ディフェンス・フロンティア（防御の最前線）」という2つの主要な概念に基づいた新しいフレームワークを導入しました。

アタック・フロンティアを、特定のAIに対してハッカーのチームが達成できる「究極の最高スコア」と考えてください。私たちは、AIを壊すための絶対的な完璧な方法（「ワーストケース・シナリオ」）を知ることはできませんが、研究者たちはさまざまな攻撃ツールのプールを作成しました。そして、それらのツールの組み合わせの中で、完璧な破壊のポイントに最も近づけるものを探し出します。彼らがこれを「フロンティア」と呼ぶのは、それが現在可能な破壊の限界を表しているからです。

ディフェンス・フロンティアはその裏返しです。これは、異なるAIモデルのグループにおける「可能な最高の防御」スコアです。これは天井として機能し、そのグループ内のどのモデルが到達した最高レベルの安全性を示します。

この論文の主な革新は、予算を意識したマネージャーのように振る舞う、スマートな「強欲アルゴリズム（greedy algorithm）」です。想像してみてください。あなたは、AIをテストするためにハッカーのチームを雇うための限られた金額（「クエリ予算」）を持っているとします。仕事が下手なハッカーを雇うために無駄遣いをしたくないですし、すでに最高の仕事をしてしまった優れたハッカーを何度も雇い続けたくもないでしょう。このアルゴリズムは、予算を異なるタイプの攻撃（小さな穴を見つけるのが得意なものもあれば、大きな穴を見つけるのが得意なものもある）にどのように分配すれば、AIの弱点を最も正確に把握できるかを正確に算出します。

結果：新しいランキングの方法

研究者たちは、2つの有名な画像データセット、CIFAR-10（小さく単純な画像）と ImageNet（現実世界の複雑な画像）を用いて、彼らの手法をテストしました。彼らは30種類の異なるAI防御を調査しました。

判明したことは以下の通りです：

1. 「曲線」が重要である： AIモデルの単一のポイントではなく、強度の曲線全体を見たとき、ランキングが劇的に変化することが分かりました。一つの難易度レベルではチャンピオンに見えたモデルが、少し異なるレベルでテストされると、最下位に転落することがよくあります。これは、従来のランキング方法（固定された難易度を選ぶこと）が不安定であり、誤解を招く可能性があることを証明しています。
2. 旧標準よりも優れている： 彼らの新しい「最小ノルム攻撃アンサンブル（minimum-norm attack ensembles）」（予算を賢く配分したハッカーチーム）は、ほとんどのモデルにおいて、現在の標準であるAutoAttackと同等、あるいはそれを上回る性能を発揮しました。実際、$\ell_2$ ノルム（画像がどれだけ変化したかを示す特定の測定法）において、彼らの手法はわずか4,000クエリで13モデル中12モデルにおいて標準と同等以上の性能を示しましたが、標準的な手法は時には最大7,566クエリを消費していました。
3. 防御最適性指数（DOI）： 彼らは、DOIと呼ばれる新しいスコアを作成しました。「このAIは85%安全である」と言う代わりに、DOIは「このAIは、私たちがこれまで見た中で最高のAIと比較して、95%の地点まで安全である」と伝えます。このスコアは、特定の難易度を選択することに依存しません。曲線全体を見るのです。これにより、より安定した公平なランキングが可能になります。

なぜこれが重要なのか

この論文は、AIの安全テストを「単一のスナップショット」として扱うのではなく、「映画」として扱うべきであると示唆しています。考えられるあらゆる攻撃の範囲全体において、最も弱い点を突き止めるために柔軟な予算を使用することで、AIが実際にどれほど安全であるかについて、より明確で正直な姿を得ることができます。

著者たちは、彼らの手法が単なる理論的なアイデアではなく、実用的なものであることを示しました。モデルの強さの概略を把握するために、小さな予算（4,000クエリ）から始めることができます。もしモデルが弱そうであれば、そこで停止して費用を節約できます。もしモデルが強そうであれば、より精密な推定を得るために、より多くのクエリ（最大12,000）を投入することができます。これにより、研究者やエンジニアは、過去の硬直した「一律」のテストよりも、安価で正確なツールを手に入れることができるのです。

要約すれば、この論文は、AIが本当に安全であるかどうかを知るためには、適切な難易度を推測することをやめ、危険の全景をマッピングし始める必要があると主張しています。彼らの新しい「フロンティア」アプローチはまさにそれを実行しており、公平で柔軟であり、欺かれる可能性がはるかに低い、防御をランク付けする方法を提供しています。