Geometric origin of adversarial vulnerability in deep learning

ロボットに動物の識別を教えているところを想像してみてください。あなたは猫と犬の写真を何千枚も見せ、ロボットは驚異的な速さでそれらを見分ける方法を学びます。これは、自動運転車から言語翻訳に至るまであらゆるものに革命をもたらした人工知能の一分野、「ディープラーニング（深層学習）」の魔法です。しかし、そこには不気味な落とし穴があります。これらの超スマートなロボットは、驚くほど脆弱なのです。もし、猫の写真に、人間の目には気づかないような、ごくわずかで目に見えない静止ノイズを加えたとしたら、ロボットは突然、「これはトースターだ！」と100%の自信を持って叫ぶかもしれません。これは「敵対的攻撃（アドバーサリアル・アタック）」と呼ばれます。このようなことが起こるのは、ロボットが、猫とは本当はどういうものかという概念を真に理解するのではなく、奇妙で非概念的なパターンに注目するという「近道」を選んで学習してしまったからです。科学者たちは何年も前から、なぜこれらのデジタル脳がこれほど簡単に騙されてしまうのか、そしてどうすれば人間のように頑健（ロバスト）にできるのかを考え、この問題を解決しようとしてきました。

この論文が取り組む大きな問いは、「なぜこれらのネットワークはこれほど脆弱なのか、そして私たちはこれらを異なる形で構築できるのか？」ということです。著者らは、問題はネットワークが情報を整理する方法の「幾何学（ジオメトリ）」にあると示唆しています。脳全体を一度に訓練する（それが脆弱な近道につながります）代わりに、彼らは、システム内を移動するデータの内部的な「形」を彫刻するように、レイヤー（層）ごとにネットワークを構築する新しい方法を提案しています。彼らはこれを「幾何学認識学習（Geometry-Aware Learning: GAL）」と呼んでいます。すべての似たもの（例えば、すべての猫）を近くにまとめ、異なるもの（猫と犬）を遠くに離すように強制することで、ネットワークはより頑丈で論理的な世界の理解を作り上げます。その結果、単にパターンを暗記するのではなく、小さな目に見えない不具合によって簡単に騙されることのない、滑らかで頑健な現実の地図を実際に学習するネットワークが誕生するのです。

問題点：ロボットの脆弱な脳

ディープニューラルネットワークは、巨大な多層構造の工場のようです。画像を上部に入力すると、最終的な決定が下部で行われる前に、層を重ねた「作業員（ニューロン）」によって処理されていきます。通常、これらの工場は「バックプロパゲーション（誤差逆伝播法）」と呼ばれる手法を用いて訓練されます。これは、底辺から頂点に向かって、何が間違っていたかを伝える巨大なエラーメッセージを一度に送るようなものです。問題は、この手法がしばしばネットワークに「ズル」をさせてしまうことです。例えば、猫を「動物全体の形」ではなく、「画像の特定の角にある毛の質感」によって定義することを学習してしまうかもしれません。これにより、ネットワークは通常のテストでは非常に高い精度を示しますが、同時に恐ろしいほど騙されやすくなります。攻撃者が、その特定の質感を変化させるような微細なノイズを加えると、システム全体が崩壊してしまうのです。

解決策：データを一層ずつ彫刻する

この論文の著者たちは、工場全体を一度に直そうとするのをやめることにしました。代わりに、彼らは「幾何学認識学習（GAL）」と呼ばれる新しい訓練戦略を導入しました。粘土で彫刻を作っているところを想像してみてください。一度の大きな、リスクのある一撃で最終的な像を削り出そうとするのではなく、レイヤーごとに積み上げていくのです。

この新しい手法では、ネットワークは下から上へと、一層ずつ訓練を進めます。最初のレイヤーが学習しているとき、それは生のデータ（ピクセルなど）を整然とした塊へと整理することだけに集中します。ここでは特別なルールを用います。「すべての猫を、きつく締まったボールの中に近くに集め、すべての犬を別のボールへと遠くに押しやる」というルールです。このルールは「幾何学コスト」と呼ばれます。これにより、ネットワークは、似たものはコンパクトに、異なるものは分離された、明確で整理された地図を作成することを強制されます。

その最初のレイヤーが、整然としたデータの塊を彫り終えると、そのレイヤーは「固定（ロック）」されます。次に、第二のレイヤーが登場し、その整った塊を受け取ってさらに整理を行います。ここでも再び、猫を近くに、犬を遠くに保ちます。このプロセスは、チェーンの最後まで繰り返されます。最終的に、すべてのレイヤーが構築され整理された後、単純な「読み出し（リードアウト）」ヘッドが訓練され、最後に完璧に分類された塊を見て「猫」または「犬」と判断します。

なぜこれがロボットを強くするのか

このアプローチの魔法は、「滑らかな」景観を作り出すことにあります。従来の訓練方法では、データの景観はギザギザで崖が多く、わずかなステップ（攻撃）によってロボットが崖から転落し、誤った答えへと導かれてしまいました。新しい幾何学認識学習では、景観は緩やかな、転がるような丘のようになります。たとえ攻撃者がデータを少し動かしたとしても、それは丘の上を少し転がるだけで、正しい「猫」の谷の中に留まり続けます。

論文によれば、この手法は驚くほど効果的です。MNIST（手書き数字）やCIFAR-10（カラー画像）といった標準的な画像データセットでテストした際、新しいネットワークは従来のネットワークと同様に高い精度を達成しました。しかし、ここからが重要な点です。同じ「目に見えないノイズ」の手法でこれらのネットワークを攻撃したとき、新しいネットワークはほとんど動じませんでした。旧来のネットワークが惨めに失敗した一方で、新しいネットワークは精度を維持し続けたのです。

魔法の背後にある科学

著者たちは単にこれが機能すると推測したのではなく、なぜそうなるのかを説明するための数学的モデルを構築しました。彼らは、ネットワークの挙動を観察するために、物理学の概念である「統計力学」を用いました。その結果、「同じクラス」のアイテムがいかに近いか、対して「異なるクラス」のアイテムがいかに遠いかという比率を制御することで、数学的に、より滑らかで頑健なシステムを保証できることを発見しました。

また、彼らはネットワーク内部のデータの「形」について、非常に興味深い発見をしました。彼らが「固有値（さまざまなパターンの重要性を測る高度な指標）」を調べたところ、新しいネットワークは特定の「破れた冪乗則（broken power-law）」に従っていることが分かりました。これは、本物のマウスの脳に見られるものと同じパターンです。このことは、この新しい方法による人工ネットワークの訓練が、実は生物学的な脳が学習する方法、つまり、ノイズに対して自然に耐性を持つ、滑らかで低次元な世界の地図を作り出す方法を模倣していることを示唆しています。

まとめ

この論文は、騙されることのないAIを構築する秘訣は、標準的なモデルにより多くのデータを投入することではないと示唆しています。それは、モデルが「どのように学ぶか」を変えることにあります。ネットワークをレイヤーごとに訓練し、内部の世界の地図を整然と、コンパクトに、そして分離された状態に保つよう強制することで、私たちはスマートであるだけでなく、タフなディープラーニング・システムを作り出すことができます。それらは単に暗記するのではなく、現実の幾何学を理解しており、それゆえに騙すことが非常に困難であり、自然界に見られるような頑健な学習に、より近づいているのです。