🤖 machine learning

NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs

本論文は、敵対的攻撃に対する耐性を進化計算の探索プロセス自体に組み込むことなく、標準的な学習でも高い敵対的精度と清潔なデータに対する精度を両立する畳み込みニューラルネットワークのアーキテクチャを自動設計する手法「NERO-Net」を提案し、その有効性を CIFAR-10 データセット上で実証したものである。

原著者： Inês Valentim, Nuno Antunes, Nuno Lourenço

公開日 2026-03-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Inês Valentim, Nuno Antunes, Nuno Lourenço

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍳 1. 問題：AI は「ごまかされた料理」に弱い

まず、現代の AI（特に画像認識 AI）には大きな弱点があります。
それは、**「敵対的攻撃（Adversarial Attack）」**と呼ばれるものです。

例え話：
人間が見れば「パンダ」に見える写真に、人間には見えない小さなノイズ（ごまかし）を少し混ぜると、AI は「ギラギラしたパンダ」ではなく「キリン」と間違えて認識してしまいます。
これを**「ごまかされた料理」**に例えると、味見した瞬間に「これは美味しいお肉だ！」と言っていたシェフが、少しだけ隠し味（ノイズ）を入れられただけで、「これは毒だ！」と大騒ぎしてしまうようなものです。
今の AI は、この「ごまかし」に非常に弱く、安全な場所（自動運転や医療など）で使うには危険なのです。

🧬 2. 解決策：「進化」で強さを身につけさせる

これまでの対策は、「ごまかされた料理」を大量に食べさせて、AI に「これは毒だ」と学習させる方法（敵対的訓練）でした。しかし、これには「ごまかされた料理」を大量に用意するコストがかかりすぎます。

そこで、この論文の著者たちは**「神経進化（Neuroevolution）」というアプローチを取りました。
これは、「AI の設計図（アーキテクチャ）そのものを、生物の進化のように自然淘汰させて、最初から強い体つきにする」**という方法です。

例え話：
従来の方法は、「弱い選手に、毎日過酷なトレーニング（ごまかし攻撃）をさせて強くなるのを待つ」ことでした。
NERO-Net の方法は、「強くなるための**『骨格』や『筋肉のつき方』**（設計図）そのものを、何千回も変えて、最も強い選手が自然に生き残る」ようにするものです。
**「生まれながらに強靭な体」**を作ることに焦点を当てています。

⚖️ 3. NERO-Net のすごい工夫：2 つのテスト

進化させるために、AI の候補たち（個体）にテストをさせます。ここで NERO-Net が使ったのが、**「2 つのテストを同時に評価する」**という工夫です。

普通のテスト（クリーンなデータ）：
何事もない普通の料理（画像）を正しく認識できるか？（精度）
ごまかしのテスト（敵対的データ）：
少しごまかされた料理（画像）でも、正しく認識できるか？（強さ）

ポイント：
進化の過程では、あえて「ごまかされた料理」を教えない（敵対的訓練をしない）まま、**「設計図そのもの」がごまかしに強いかどうかを測ります。
これにより、「単に記憶しただけの強さ」ではなく、「設計図そのものが持つ、本物の強さ」**を見つけ出そうとしています。

🏆 4. 結果：驚くべき強さ

実験の結果、NERO-Net は素晴らしい成果を上げました。

普通のテスト： 93% 以上の正解率（非常に優秀）。
ごまかしのテスト： 47% 以上の正解率（普通の AI は 0% 近くになることも多いので、これは驚異的です）。

さらに面白いのは、「パンダごまかし（L∞ 攻撃）」という特定の攻撃に強いように進化させた AI が、「キリンごまかし（L2 攻撃）」という、全く違う種類の攻撃にも強いという「多面性」を持っていたことです。
まるで、「剣の達人」を育てようとしたら、結果的に「弓の達人」にもなっていたようなものです。

🚀 5. まとめ：なぜこれが重要なのか？

この研究は、AI の「設計図」そのものを進化させることで、**「最初からハッキングに強い AI」**を作れる可能性を示しました。

これまでの方法： 弱い AI に、過酷なトレーニングをさせて強くなる（コスト大、限界あり）。
NERO-Net の方法： 強くなるための「設計図」を自然淘汰で選び出す（本質的な強さ、新しい発想）。

もちろん、まだ完璧ではありません。さらに強い攻撃には弱い部分もありますが、**「設計図の段階で強さを組み込む」**という新しい道を開いた、非常に画期的な研究だと言えます。

一言で言うと：
「AI に無理やり強くなれと命令するのではなく、**『強くてタフな設計図』**を自然淘汰で探して、最初からバカンス（ごまかし）に強い AI を作ろう！」という、賢くてクリエイティブな試みです。

以下は、論文「NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs」の詳細な技術的サマリーです。

1. 問題設定 (Problem)

深層学習モデル、特に畳み込みニューラルネットワーク（CNN）は、画像認識タスクで高い精度を達成していますが、**敵対的攻撃（Adversarial Attacks）**に対して脆弱であるという重大な課題を抱えています。敵対的サンプルは、人間には識別できない微小な摂動を加えることでモデルの誤分類を引き起こします。

既存の防御手法の主流は**敵対的学習（Adversarial Training）**ですが、これは計算コストが高く、モデルの「構造的な頑健性（Intrinsic Robustness）」そのものを設計するアプローチは十分に研究されていません。また、ニューロエボリューション（NE）を用いたアーキテクチャ探索（NAS）の研究では、通常は予測精度の最大化が優先され、頑健性は軽視されるか、探索プロセス自体に敵対的学習を組み込むことで、アーキテクチャ自体の寄与と学習手法の寄与を区別できなくなっています。

2. 提案手法：NERO-Net (Methodology)

著者らは、NERO-Net（NeuroEvolution of adversarially RObust artificial neural Networks）を提案しました。これは、Fast-DENSER アルゴリズムを基盤としつつ、敵対的頑健性を内生的に持つ CNN の設計を目的としたニューロエボリューションフレームワークです。

2.1 探索戦略の核心

敵対的学習の排除: 進化ループ内での敵対的学習を行いません。これにより、得られる頑健性がアーキテクチャ設計そのものによるもの（内生的）であることを保証します。
適応度関数（Fitness Function）: 従来のクリーンデータ上の精度のみではなく、**クリーン精度（C）と敵対的精度（A）**を同時に最適化する新しい適応度関数 $F_\beta$ を導入しました。
$F_\beta = (1 + \beta^2) \cdot \frac{C \times A}{C + \beta^2 \cdot A}$
ここで、 $\beta$ はクリーンデータでの性能維持に対する重みを制御するパラメータです。
ウォームアップ期間: 進化の初期段階では、敵対的精度を考慮せずクリーン精度のみで最適化し、ある閾値（ $\tau$ ）に達してから $F_\beta$ へ移行させることで、 viable なアーキテクチャの出現を促します。
不適切個体の検出: 数値的不安定性や、単一のクラスに偏った予測（「頑健性の罠」）を行う個体を検出し、ペナルティを与える仕組みを導入しました。

2.2 表現と変異オペレータの改良

層のブロック化: 単一の層ではなく、BN（Batch Normalization）、ReLU/Swish、Conv などの組み合わせを「conv-block」や「pool-block」として文法（Grammar）に定義し、効率的な探索空間を構築しました。
スキップ接続の柔軟化: 従来の Fast-DENSER では「前の層」との接続が必須でしたが、これを緩和し、任意の過去の層（制限範囲内）からの接続を許可しました。これにより、より多様なトポロジー（スキップ接続など）の探索が可能になりました。
実数パラメータの拡張: 整数や浮動小数点に加え、 $2^n$ や $10^n$ 形式の新しいパラメータタイプを導入し、探索空間を効率的に絞り込みました。

3. 主要な貢献 (Key Contributions)

NERO-Net フレームワークの提案: 敵対的攻撃に対する頑健性と精度を共最適化し、敵対的学習なしに内生的な頑健性を持つ CNN を設計するニューロエボリューション手法。
柔軟な遺伝子表現: 調整可能な計算ブロックのエンコーディングと、より広範なトポロジー接続パターン（スキップ接続など）をサポートする表現の導入。
内生的頑健性の実証: 敵対的学習を行わずとも、進化探索によって敵対的攻撃に強いアーキテクチャを発見できることを示しました。

4. 実験結果 (Results)

実験は CIFAR-10 データセットで行われ、特に $L_\infty$ ノルムに基づく頑健性に焦点を当てました。

4.1 進化探索後の結果（標準学習のみ）

進化探索で得られた最良の個体は、敵対的学習を行わず、標準的な学習（SGD など）のみで訓練されました。
結果:
- クリーンデータ精度：87%
- FGSM 攻撃に対する精度：33%
- さらに標準学習を継続して訓練し直したところ、クリーン精度 93%、FGSM に対する精度 47% に向上しました。
これは、発見されたアーキテクチャ自体が敵対的摂動に対して本質的に強いことを示唆しています。

4.2 敵対的学習後の結果

最良の個体に敵対的学習（PGD-7 ステップ）を適用した結果：
- クリーン精度は 84% 程度に低下しましたが、AutoAttack に対する頑健精度は 40% まで向上しました。
- $L_2$ ノルムで制限された摂動（進化時に考慮していなかった）に対しても、意外な耐性（ $L_\infty$ 最適化から $L_2$ 頑健性への転移）を示しました。

4.3 比較

既存の NAS ベースのモデル（NSGA-Net）と比較すると、標準学習時の NERO-Net の敵対的精度は上回っています。
ただし、敵対的学習を適用した場合、NSGA-Net の方が $L_\infty$ 条件下でやや高い最終精度を達成しました。著者らは、NERO-Net のモデルサイズが NSGA-Net よりも大幅に大きい（2672 万パラメータ vs 337 万パラメータ）ため、敵対的学習の設定（ハイパーパラメータなど）をモデルサイズに合わせて最適化する余地があると考えています。

5. 意義と結論 (Significance and Conclusion)

アーキテクチャ設計の重要性の再確認: 敵対的学習という「外部の防御」に頼るだけでなく、モデルの構造そのものが頑健性を決定づける可能性を証明しました。
多様な脅威への耐性: $L_\infty$ 最適化のみを行っていても、 $L_2$ 摂動に対する耐性が生じるなど、発見されたアーキテクチャは多面的な頑健性を持っています。
今後の課題: ニューロエボリューションの計算コストは依然として高い課題です。将来的には、ゼロコストプロキシ（Zero-cost Proxies）を敵対的頑健性の評価に利用するなどの効率化や、敵対的学習環境における最適化設定の個別最適化が研究課題として挙げられています。

総じて、NERO-Net は、敵対的攻撃に対する防御を「学習プロセス」だけでなく「設計プロセス」に組み込むための有効なアプローチであり、安全クリティカルなシステムにおける AI の信頼性向上に寄与する可能性を示しています。