🤖 machine learning

CEAR: Certified Ensemble Adversarial Robustness in DNNs

本論文は、経験的学習とランダム化平滑化、および新規の投票メカニズムを組み合わせることで、複数のデータセットに対して適応的なホワイトボックス攻撃に対する優れた認証済み堅牢性を達成する、アンサンブルベースの防御手法であるCEARを提案する。

原著者： Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

原著者： Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、価値のある建物を守る専門の警備員チーム（ディープニューラルネットワーク）を想像してみてください。彼らの仕事は、訪問者を識別し、正しい人々を通すことです。しかし、巧妙な泥棒たち（敵対的攻撃）は、訪問者の外見に、目にはほとんど見えないほど微細な変化を加えることができます。例えば、少し違う帽子を被らせたり、姿勢をわずかに変えさせたりすることで、犯罪者を通り抜けさせてしまうのです。

この論文では、CEAR（Certified Ensemble Adversarial Robustness：証明されたアンサンブル敵対的堅牢性）と呼ばれる新しいセキュリティシステムを紹介しています。単一の警備員や単一のトリックに頼るのではなく、CEFRは、セキュリティチームを欺くことをほぼ不可能にするために、3つのスマートな戦略を組み合わせています。

CEARの仕組みを、シンプルな概念に分解して説明します。

1. 多様な警備員のチーム（アンサンブル）

ほとんどのセキュリティシステムは、単一の警備員、あるいは同一の警備員チームを使用します。もし泥棒が一人を騙す方法を見つけ出せば、全員を騙すことができます。

CEARの解決策: CEARは、異なる種類の警備員たちのチーム（「アンサンブル」）を雇います。しかし、ここには仕掛けがあります。各警備員は世界を少しずつ異なる見方で捉えています。
比喩: 各警備員に、少しずつ異なる「曇ったメガネ」を渡したと考えてみてください。あるメガネはもう少し曇っており、別のメガネはまた違います。彼らが異なる「レンズ」を通して訪問者を見るため、警備員Aを混乱させるトリックが、警備員Bを混乱させるとは限りません。これにより、チーム全体に対して有効な単一のトリックを見つけることは非常に困難になります。

2. 「ソフト」なトレーニング（温度を用いた蒸留）

通常、警備員は非常に厳格に訓練されます。「これは猫であり、あれは犬である」といった具合です。しかし、厳格すぎる警備員は小さな変化に簡単に混乱してしまいます。

CEARの解決策: このシステムは、「ヘッドティーチャー（主任教師）」を使って警備員を訓練します。ヘッドティーチャーは単に「これは猫だ」と言うのではなく、「これは80%猫のように見えるが、少しだけ犬の要素も含まれている」と伝えます。
比喩: これは、子供に動物を教える際、厳格な定義を暗記させるのではなく、オオカミがどれほど犬に似ているかを示すようなものです。これにより、警備員の意思決定はより「滑らか」になります。もし泥棒が猫の耳をほんの少し変えたとしても、警備員は突然パニックになって「車だ！」と判断することはありません。彼らは依然として自信を持って「これはまだ猫だ」と言い続けることができます。

3. 「静的な」推論（ノイズの乗ったロジット）

実際に訪問者がドアに到着したとき、泥棒たちは侵入する方法を探るために、警備員の反応を研究しようとします。

CEARの解決策: 訪問者がチェックされるたびに、システムは警備員が見る前に、画像にわずかなランダムな「静電気」や「ノイズ」を加えます。
比喩: 警備員が、常にわずかに振動している窓越しに訪問者を見ている状況を想像してください。たとえ泥棒が、警備員を騙すために顔をどう動かすべきかを正確に計算しようとしても、絶え間ない振動によってその計算は無意味になります。泥棒は、次に警備員が何を見るのかを正確に予測することはできません。

4. スマートな投票システム

すべての警備員が判断を下した後、チームはどうやって誰が正しいかを決定するのでしょうか？CEARは、警備員の自信度に応じて2つの異なる投票方法を使用します。

方法A：「幾何学的中央値（Geometric Median）」（自信がある状況）
- 仕組み: 警備員たちが概ね一致している場合、この方法は外れ値を除外して「中間地点」を見つけ出します。
  Do 比喩: 友人たちがスイカの重さを予想している場面を想像してください。ある友人が5ポンドと答え、別の友人が500ポンドと答えても、他の全員が20ポンドと言っている場合、「幾何学的中央値」は突拍子もない予想を無視し、現実的な合意に従います。これは、全員が確信を持っている時に非常に有効です。
方法B：「ロバストな重み付き投票（Robust Weighted Vote）」（混乱している状況）
- 仕組み: 訪問者の識別が難しい場合（ノイズが多い場合）、この方法は、困難なケースにおいて歴史的に最も正確であった警備員の意見をより重視します。
- 比喩: スイカが毛布に包まれていて見えにくい場合、全員の意見を平等に聞くことはしません。代わりに、包まれた物体を予想するのが得意だと知られている友人の意見を重視します。これにより、チームが現在混乱している警備員に左右されないようにします。

5. 「安全の証明書」

CEARの最もエキサイティングな部分は、単に「安全であることを願っている」のではなく、「証明している」という点です。

比喩: ほとんどのセキュリティシステムは、「私たちは安全だと考えています」と言います。しかし、CEARは建物の周りを歩き回り、「泥棒がどれほどドアを揺らしても（一定の範囲内であれば）、鍵は壊れないことを数学的に証明できます」と言う安全検査官のようなものです。
論文では、CEARが以前の手法よりもはるかに広い範囲の「揺れ（摂動）」に対して安全性を証明できることを示しています。

何を見出したのか？

研究者たちは、3つの異なる「訓練場（データセット）」でこのシステムをテストしました。

MNIST: 単純な手書き数字（基本的なセキュリティテスト）。
CIFAR10: 日常的な物体が写ったカラフルな写真（賑やかな街路）。
TinyImageNet: より複雑で高解像度の画像（混雑した空港）。

結果:

優れた安全性: CEARは、従来の手法よりも強力な攻撃に耐えられることを証明しました。
低い転移性: チーム内のある警備員に対して有効だったトリックは、他の警備員には通用しませんでした。そのため、泥棒はトリックを使い回すことができません。
スマートな適応: システムは、いつ「幾何学的中央値」を使用し、いつ「ロバストな重み付き投票」に切り替えるべきかを判断し、セキュリティを強固に保ちました。

要約すると、CEARは、多様な視点、滑らかなトレーニング、ランダムなノイズ、そしてスマートな投票を用いることで、たとえ泥棒が警備員の仕組みを完全に理解していたとしても、彼らに騙されないことを数学的に保証するセキュリティチームなのです。

技術要約：CEAR: 深層ニューラルネットワークにおける認証済みアンサンブル敵対的堅牢性

問題提起
深層ニューラルネットワーク（DNN）は、標準的なテストセットに対して高い精度を達成するが、入力に対する微小かつ知覚不可能な修正である「敵対的摂動」に対しては非常に脆弱であり、予測を劇的に変化させてしまう。この脆弱性は、安全性が極めて重要なアプリケーションへの導入を妨げる要因となっている。既存の防御メカニクスは、以下の2つのカテゴリーに分類される：

経験的防御（Empirical Defenses）: 敵対的学習や防御的蒸留などの手法は、学習中に堅牢性を向上させるが、形式的な保証を欠いており、強力な適応型ホワイトボックス攻撃（例：C&W、AutoAttack）に対して無力となることが多い。
認証済み防御（Certified Defenses）: ランダム化平滑化（Randomized Smoothing）などの手法は、特定の摂動範囲内において予測が不変であることを証明可能な保証を提供する。しかし、個々の分類器は、大きな摂動半径において高い認証精度を維持することに苦慮する場合が多い。
アンサンブル手法は、集約を通じて堅牢性を向上させる有望な手法として示されてきたが、既存のアプローチは、高い敵対的転移性（あるネットワークへの攻撃が他のネットワークでも成功してしまう現象）や、摂動予算が増加するにつれて認証精度が急激に低下するという課題を抱えている。

手法
著者らは、経験的および認証済みの防御メカニクスをアンサンブル学習パイプライン内で統合するフレームワークであるCEAR（Certified Ensemble Adversarial Robustness）を提案する。この手法は2つのフェーズで動作する。

堅牢な学習（Robust Training）:
- 可変ガウス拡張（Variable Gaussian Augmentation: VGA）: 標準的なアンサンブルが均一なノイズを共有するのに対し、CEARはアンサンブル内の各ネットワークに異なるノイズレベルで学習を行う。ベースとなる標準偏差（ $\sigma_{tr}$ ）は、一様分布からサンプリングされた乱数 $\beta$ によって摂動され、各生徒ネットワークに対して固有のノイズ分布（ $\sigma_{tr} + \beta$ ）が生成される。この多様性が敵対的転移性を低減させる。
- 温度スケーリングを用いた蒸留（Distillation with Temperature Scaling: DTS）: 教師ネットワークは、ソフトラベル（温度パラメータ $t$ によって平滑化された確率分布）を生成するように学習される。その後、生徒ネットワークは、これらのソフトラベルを用いてガウス拡張された入力に対して学習される。このプロセスは、決定境界を平滑化し、クラス間の類似性を捉えることで、未知の攻撃に対する汎化性能を向上させる。
堅牢な推論（Robust Inference）:
- ノイジー・ロジット（Noisy Logits）: 攻撃者が元のロジットを復元することを防ぐため（標準的な蒸留における脆弱性）、推論時にガウスノイズを入力データに注入する。これにより、モデルのパラメータを変更することなく、本質的に確率的なロジットが生成され、C&Wのような反復的な攻撃に対する勾配を難読化する。
- 集約メカニズム: CE carは、信頼度のレジームに応じて2つの投票戦略を採用する：
  - 幾何学的中央値（Geometric Median: GM）: 幾何学的中央値を用いてソフトマックス確率を集約する。これは外れ値に対して堅牢であり、高信頼度かつ低摂動の領域で効果的である。
  - 堅牢重み付けアンサンブル（Robust Weighted Ensemble: RW）: ホールドアウト検証セットにおける個々の生徒ネットワークの認証精度に基づいて、各ネットワークに重みを割り当てる。高い認証精度を持つネットワークが最終的な予測により大きく寄与する。このメカニズムは、より大きな摂動予算や低信頼度のレジームに対処するように設計されている。
認証検証（Certified Verification）:
論文では、アンサンブルベースの分類器を検証するためにランダム化平滑化を拡張している。平滑化されたアンサンブル分類器 $G$ を定義し、モンテカルロサンプリングを用いて、予測クラスの確率に関する下限信頼区間を計算する。この下限が0.5を超えた場合、モデルは計算された半径 $R$ 内で堅牢であると認証される。

主な貢献

CEARフレームワーク: 決定境界の平滑化と多様性を促進するために、DTSとVGAをアンサンブルパイプライン内で組み合わせた統合防御フレームワーク。決定境界の平滑化と多様性を促進するためにDTSとVGAを組み合わせた統合防御フレームワーク。勾配ベースの攻撃を阻害するために推論時にノイジー・ロジットを活用し、GMおよびRW投票を利用してクリーンな精度を回復しつつ堅牢性を向上させる。
拡張された検証: 著者らは、アンサンブルベースの分類器の堅牢性を形式的に検証するために、ランダム化平滑化の検証手法を拡張し、アンサンブルの堅牢半径に関する系（corollary）を導出した。
実証的検証: MNIST、CIFAR10、およびTinyImageNetを用いた広範な実験により、CEARは（RandSmoothやSWEENといった）最先端のベースラインと比較して、大きな半径においてより高い平均認証精度を達成し、勾配ベースのホワイトボックス攻撃に対してより高い耐性を示すことが実証された。

実験結果

認証精度: MNISTおよびCIFAR10において、CEARのバリアントはベースラインを上回る。具体的には、CEAR(GM)は高信頼領域（小さな半径）において優れた認証精度を達成し、CEAR(RW)は摂動半径が増加しモデルの信頼度が低下しても高い精度を維持する。例えば、 $\sigma_v=1.0$ の条件下でのCIFAR10において、CEAR(RW)は $R=1.0$ で20%の認証精度を達成し、ベースラインを上回った。
堅牢半径: CEAR(RW)は、特に高摂動下の低信頼領域において、ベースラインよりも一貫して大きな認証堅牢半径を達成する。
転移性: CEARは、転移的な攻撃に対する攻撃成功率を大幅に減少させる。 $\ell_\infty$ ノルム下でのCIFAR10において、CEAR(RW)は攻撃成功率を46.00%まで低下させた（RandSmoothは96.56%、SWEENは60.10%）。
計算オーバーヘッド: アンサンブル手法であるため、CEARはネットワーク数（ $M$ ）に伴って線形に計算量が増大する。しかし、著者らは、検証可能な保証が必要とされる安全性が極めて重要なアプリケーションにおいて、このオーバーヘッドは許容可能であると述べている。

意義と主張
本論文は、多様性と認証済み防御メカニズムを効果的に組み合わせることで、より大きな摂動半径における堅牢性を高めるという根本的な課題にCEARが取り組んでいると主張している。著者らは、集約戦略の選択が極めて重要であることを強調している。すなわち、アンサンブルの予測が自信を持っている場合は最適化された幾何学的中央値による集約が好ましく、高不確実性の敵対的レジームにおいては固定された堅牢な重み付けが優れている。本研究は、学習時の可変ノイズ分布の導入と、適応的または堅牢な投票メカニズムの統合が、既存の単一ネットワークおよび一様アンサンブル防御を凌駕する証明可能な保証をもたらし得ることを示している。著者らは、今後の課題として、DTSにおける温度スケーリングがアンサンブルの多様性と較正（calibration）に与える系統的な影響を調査することを挙げている。