Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks

ロボットに動物を認識させる方法を教えているところを想像してみてください。あなたは、馬、猫、犬の写真を何千枚も見せて、ロボットが正解を当てるのがとても上手くなるまで訓練しました。しかし、もし誰かがロボットを騙すことができたらどうでしょう？もし、馬の写真に、目には見えないほど小さな「ノイズ」の粒を加えるだけで、ロボットがそれを見て「猫を見ている」と勘違いしてしまったら？これは**敵対的攻撃（アドバーサリアル・アタック）**と呼ばれます。それはコンピュータにとっての魔法のようなトリックです。人間の目には馬が見えているのに、コンピュータの脳は、秘密の数学的な押し出しによって、それを猫だと認識してしまうのです。

これらのトリックをどのように成功させるか（あるいは、いかにして防ぐか）を解明するために、科学者たちはさまざまな「探索戦略」をテストする必要があります。あなたが、深い谷を探している巨大で霧深い山脈の中にいると想像してください。ある探索戦略は、壁にぶつかるまで直進するようなものです。また別の戦略は、あらゆる隅々まで探索するために、蜂の群れを送り出すようなものです。何十年もの間、科学者たちは、描きやすいけれど現実の世界とは似ていない、単純な作られた山（数学的関数）を使ってこれらの戦略をテストしてきました。大きな疑問は、これらの古い単純なテストが、現代のAIの複雑で乱雑な世界において、どの探索戦略が本当に優れているのかを判断するのに十分なものなのか、ということです。

ワルシャワ工科大学のヴォイチェフ・ザルゼツキ（Wojciech Zarzecki）とヤロスワフ・アラバス（Jarosław Arabas）によるこの論文は、「いいえ、十分ではありません」と述べています。著者たちは、AIを欺く問題（敵対的攻撃）は、実はこれらの探索戦略をテストするための完璧な、現実世界でのテストであると主張しています。彼らはこの攻撃を、一つの巨大なパズルとして扱いました。つまり、コンピュータを騙すための、最も小さく、最も目に見えない変化を見つけ出すというパズルです。彼らは、どの「群れ」による探索方法（進化アルゴリズムやグレイ・ウルフ最適化器など）がこのパズルを最もよく解けるかを確かめるために、いくつかの異なる手法をテストしました。

以下に、彼らの研究結果を記します。

パズルは一筋縄ではいかない
まず、著者たちはこれが単一の答えを持つ単純なパズルではないことを証明したいと考えました。彼らは、何千枚もの画像に対して局所探索法（近傍のみを見る戦略）を用いました。その結果、異なるランダムな地点から開始すると、それぞれ異なる「解」にたどり着くことがわかりました。ある解は数ピクセルを変化させ、別の解はまた別の数ピクセルを変化させていました。これは、この風景が「マルチモーダル（多峰性）」であることを証明しています。つまり、そこには多くの谷や峰が存在しており、単なる滑らかな斜面ではなく、最も深い場所ではない小さな窪みに陥ってしまうこともある、ギザギザで混乱した山脈なのです。これは、最高のトリックを見つけるためには強力な「グローバル（大域的）」な探索手法が必要であることを示しています。

探索者たち
チームは、2つの有名な画像データセット、CIFAR-10（32x32ピクセルの小さな画像）とImageNet（高解像度の巨大な画像）を用いて、いくつかの異なる探索アルゴリズムをテストしました。各アルゴリズムには、画像が騙されたかどうかを確認するために「覗き見」できる回数の予算が与えられました。

• 「強欲な」探索者: INFO最適化器のような手法は、少し強欲な局所探索のように振る舞いました。彼らは素早く解を見つけましたが、多くの場合、より弱いトリック（成功率が低いもの）で止まってしまいました。
• 「群れ」の探索者: DE（差分進化）、GEN（遺伝的アルゴリズム）、SHADEといった手法は、はるかに優れていました。彼らはより徹底的に空間を探索しました。例えば、CIFAR-10データセットにおいて、許容される「ノイズ（摂動）」が0.2に設定されたとき、GEN法はコンピュータを**97.40%の確率で騙すことに成功しましたが、SHADEは89.61%**でした。
• 「狼」の苦戦: GWO（グレイ・ウルフ最適化器）は、ルールが厳しい場合に苦戦しました。特定の「正則化」設定（ノイズを小さく保つためのルール）がない場合、成功率はわずか**10〜15%**程度でした。しかし、著者たちがノイズのバランスを取るための特定のルールを追加したところ、GWOは追いつき、より高いパフォーマンスを発揮しました。

サイズが重要である
画像のサイズは大きな違いをもたらしました。小さなCIFAR-10の画像では、ごくわずかなノイズ（0.01）さえも利用することがほぼ不可能であり、アルゴリズムはほぼ完全に失敗しました。しかし、巨大なImageNetの画像では、同じ微量なノイズはさらに困難であり、全員が成功率0%でした。ところが、ノイズをもう少し多く（0.1または0.2）許容すると、アルゴリズムは非常に効果的になりました。ImageNetにおいてノイズが0.2のとき、DEアルゴリズムは**100%**の成功率を達成しました。これは、試みたすべての画像に対してコンピュータを騙すことができたことを意味します。

まとめ
この論文は、これらの「ブラックボックス」的な敵対的攻撃を使用することが、グローバルな最適化手法がいかに優れているかをテストするための、素晴らしい方法であることを示唆しています。それは、古い単純な数学の問題よりも、より難しく、より現実的な挑戦です。結果は、いくつかの手法が他の手法よりも優れている一方で、この分野はまだ学習過程にあることを示しています。著者たちは、完璧なアルゴリズムを見つけたと主張したわけではありません。むしろ、彼らは研究者がツールをテストできる新しい遊び場を提供したのです。また、将来的には、単にコンピュータを混乱させるだけでなく、特定の誤った答えを選ばせることについてもテストしたいと考えており、人間の目にも見えるような異なる方法で「ノイズ」を測定したいとも述べています。

要約すると、著者たちは、AIを欺くことは複雑で多くの峰を持つ山登りであり、現在のところ優れた登山家（GENやSHADEのような探索チーム）は存在するものの、まだ探索すべき領域が多く残されていることを実証しました。