Improving Adversarial Robustness via Activation Amplification and Attenuation

技術要約：活性化の増幅と減衰による敵対的堅牢性の向上

問題提起
深層ニューラルネットワーク（DNN）は、モデルの予測を誤らせるために設計された、知覚不可能な摂動を含む入力、すなわち「敵対的例（adversarial examples）」に対して脆弱です。この脆弱性は、ネットワークの内部表現における「非堅牢な特徴（non-robust features）」の存在に起因することが多いとされています。これまでの防御戦略は、プルーニング、マスキング、または特徴のリキャリブレーションを通じてこれを緩和しようと試みてきましたが、これらの手法はしばしばトレードオフに直面します。一部の手法は、有用な情報を失う可能性があるため、非堅録な特徴を完全に破棄します。一方で、他の手法は、大幅なパラメータオーバーヘッドと解釈性の低下を伴う複雑なプラグインモジュールを導入します。さらに、分布外（OOD）検出のために設計された既存の活性化スケーリング技術は、非微分的な操作（例：top-k選択）や、勾配の飽和を引き起こす可能性のある指数関数的な定式化に依存していることが多く、エンドツーエンドの敵対的学習には適していません。

手法：活性化の増幅と減衰（Activation Amplification and Attenuation: A3）
著者らは、制御された再スケーリングメカニズムを通じて敵対的堅牢性を高めるための、軽量なプラグインモジュールであるA3を提案します。A3はバックボーンネットワーク（例：特定のResNetブロックの後）に統合され、中間活性化（$z$）に対して動作します。

1. 学習可能なマスキングとスケーリング:
   ハードなプルーニングの代わりに、A3は学習可能な射影と、微分可能性を確保するためのGumbel-Softmaxトリックを用いて、チャネルごとのバイナリマスク（$m$）を計算します。このマスクは、元の活性化強度の分布に基づいてチャネルを特定します。
   本モジュールは、活性化から2つの統計量、すなわち総強度（$s_1$）と、マスクされたサブセットの強度（$s_2$）を算出します。これらを用いて、対数的な定式化により2つのスケーリング係数（$f_m$ および $f_{1m}$）を導出します。
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   指数関数的な定式化ではなくこの対数的なアプローチが採用されているのは、安定した勾配を確保し、敵対的学習中の数値的不安定性を防ぐためです。

2. デュアルモード（増幅と減衰）:
   A3は、スケーリング操作の符号を反転させることで、2つの異なる出力を生成するために同じ学習可能パラメータを利用します。

   • 減衰（Attenuation: $z_{att}$）: $z \cdot [1 - \text{Scale}(z, m)]$。このモードは、非堅牢な特徴の影響を抑制します。
   • 増幅（Amplification: $z_{amp}$）: $z \cdot [1 + \text{Scale}(z, m)]$。このモードは、活性化パターンを誇張し、「負のリファレンス（negative reference）」として効果的に機能します。

3. 新規の目的関数:
   学習プロセスは、両方のモードを活用して新しい損失関数を定義します。

   • クロスエントロピー・ランキング損失（$L_{rank}$）: 減衰された活性化が、増幅された活性化よりも低いクロスエントロピー損失を生むように強制するヒンジ損失です。これにより、増幅モードでは予測を劣化させ、減衰モードでは予測を改善させるという、競争的な最適化プロセスが構築されます。
   • コントラスティブ・ロジット損失（$L_{cl}$）: 減衰モードにおけるクリーンな例と敵対的な例のロジット間の距離を最小化し、減衰されたロジットと増幅されたロジットの間の距離を最大化する、トリプレット型の損失です。

最終的な目的関数は、標準的な敵対的学習の損失（AT、TRADES、MARTなど）と、これらの提案コンポーネントを組み合わせたものです。推論時には、減衰モード（$z_{att}$）のみが使用されます。

主な貢献

• A3モジュール: 追加のネットワーク容量に頼らず、単純なスケーリングメカニズムを用いることで、最小限の計算およびメモリオーバーヘッドで敵対的堅牢性を向上させる、軽量なプラグインです。
• デュアルモード・メカニズム: 同じパラメータを使用して、信号を増幅および減衰させることを同時に学習するという斬新なアプローチです。論文では、増幅モードにおいて予測を劣化させるように学習することが、減衰モードにおける堅牢性を同時に向上させることを示しています。
• 微分可能なスケーリング: 勾配の不透明化（gradient obfuscation）を回避し、安定性を確保するために、非微分的なtop-k操作（OOD検出で一般的）を、学習可能な微分可能なマスクと対数スケーリングに置き換えました。
• 新しい損失関数: 増幅された活性化を負のリファレンスとして利用して、堅牢性の学習を導くための、コントラスティブ損失およびランキング損失を導入しました。

実験結果
CIFAR-10、CIFAR-100、Tiny ImageNetにおいて、ResNet-18およびWideResNet-34-10バックボーンを用い、AT、TRADES、MARTの学習戦略と統合して広範な実験が行われました。

• 性能: A3は、様々な攻撃タイプ（FGSM、PGD-20/100、C&W、AutoAttack）において、既存のプラグイン防御（CAS、CIFS、FSR、FPCM、EMFF）を一貫して上回りました。例えば、CIFAR-10におけるResNet-18のATにおいて、A3はバニラバックボーンに対してアンサンブル精度で4.99%の向上を達成しました。
• 効率性: A3は無視できる程度のオーバーヘッドしか導入しません。ResNet-18の場合、ベースラインと比較して、パラメータは約0.27M、FLOPsは約0.0021Gの増加にとどまり、FTA2Cのような他のマスキングベースの手法よりも大幅に低くなっています。
• アブレーション研究:
  • モード分析: 減衰モードは、増幅モードやハードな抑制戦略よりも大幅に優れた性能を示し、選択的な減衰が完全な特徴の破棄よりも優れていることを確認しました。
  • 損失コンポーネント: ランキング損失とコントラスティブ損失の両方が不可欠であり、これらを削除したり、ヒンジ定式化を標準的なクロスエントロピーに置き換えたりすると、性能が低下します。
  • スケーリング定式化: 提案された対数スケーリング係数（$f_m$）は、線形、二次、および指数関数的な代替案よりも優れた性能を示しました。
  • 分布シフト: 活性化分布の分析により、A3は減衰モードにおいてクリーンな例と敵対的な例の間に明確な分離を誘発する一方で、増幅モードでは分布が重なり合うことが示されました。これは、増幅が負のリファレンスとして機能していることを検証しています。

意義
本論文は、A3が、少ない学習可能パラメータを用いて、特徴ベースの防御に焦点を当てることで、堅牢かつ解釈可能なモデルを構築するための有望な方向性を提供すると主張しています。予測を劣化させるように学習することが、一方のモードにおける堅牢性を高めるということを示すことで、本研究は「防御は抑制のみに焦点を当てなければならない」という概念に挑戦しています。この手法は、高いクリーン精度を維持しつつ、無視できるほどの計算コストで、最先端の（state-of-the-art）堅牢性をプラグインモジュールの中で達成しており、DNNを敵対的攻撃から保護するための実用的かつ効率的なソリューションとなっています。