Improving Adversarial Robustness via Activation Amplification and Attenuation

기술 요약: 활성화 증폭 및 감쇄를 통한 적대적 강건성 개선

문제 정의
심층 신경망(DNN)은 모델의 예측을 오도하도록 설계된 미세한 섭동이 포함된 입력, 즉 적대적 예제(adversarial examples)에 취약합니다. 이러한 취약성은 종종 네트워크의 내부 표현 내에 존재하는 "비강건한 특징(non-robust features)" 때문에 발생합니다. 기존의 방어 전략은 프루닝(pruning), 마스킹(masking) 또는 특징 재보정(feature recalibration)을 통해 이를 완화하려고 시도해 왔으나, 이러한 접근 방식은 종종 트레이드오프(trade-offs)에 직면합니다. 일부 방법은 유용한 정보를 잃을 가능성이 있는 비강건한 특징을 완전히 버리는 반면, 다른 방법은 상당한 파라미터 오버헤드와 낮은 해석력을 수반하는 복잡한 플러그인 모듈을 도입합니다. 또한, 이상치 탐지(OOD detection)를 위해 설계된 기존의 활성화 스케일링 기술은 종종 비미분 연산(예: top-k 선택)이나 그래디언트 포화(gradient saturation)를 유발할 수 있는 지수 형태에 의존하여, 엔드투엔드 적대적 훈련(end-to-end adversarial training)에는 부적합합니다.

방법론: 활성화 증폭 및 감쇄 (A3)
저자들은 제어된 리스케일링 메커니즘을 통해 적대적 강건성을 향상시키기 위해 설계된 경량 플러그인 모듈인 A3를 제안합니다. A3는 백본 네트워크(예: 특정 ResNet 블록 이후)에 통합되며, 중간 활성화($z$)에 대해 작동합니다.

1. 학습 가능한 마스킹 및 스케일링:
   하드 프루닝 대신, A3는 학습 가능한 투영(projection)과 미분 가능성을 보장하기 위한 Gumbel-Softmax 트릭을 사용하여 채널별 이진 마스크($m$)를 계산합니다. 이 마스크는 원래 활성화 크기의 분포를 기반으로 채널을 식별합니다.
   모듈은 활성화로부터 두 가지 통계량, 즉 총 크기($s_1$)와 마스킹된 부분 집합의 크기($s_2$)를 계산합니다. 이를 사용하여 로그 공식을 통해 두 가지 스케일링 인자($f_m$ 및 $f_{1m}$)를 도출합니다:
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   이 로그 방식은 지수 형태의 대안보다 그래디언트를 안정화하고 적대적 훈련 중 수치적 불안정성을 방지하기 위해 선택되었습니다.

2. 이중 모드 (증폭 및 감쇄):
   A3는 스케일링 연산의 부호를 바꿈으로써 두 개의 뚜렷한 출력을 생성하기 위해 동일한 학습 가능 파라미터를 사용합니다:

   • 감쇄 (Attenuation, $z_{att}$): $z \cdot [1 - \text{Scale}(z, m)]$. 이 모드는 비강건한 특징의 영향을 억제합니다.
   • 증폭 (Amplification, $z_{amp}$): $z \cdot [1 + \text{Scale}(z, m)]$. 이 모드는 활성화 패턴을 과장하여 효과적인 "부정적 참조(negative reference)" 역할을 수행합니다.

3. 새로운 목적 함수:
   훈련 과정은 두 모드를 모두 활용하여 새로운 손실 함수를 정의합니다:

   • 교차 엔트로피 랭킹 손실 ($L_{rank}$): 감쇄된 활성화가 증폭된 활성화보다 낮은 교차 엔트로피 손실을 갖도록 강제하는 힌지 손실(hinge loss)입니다. 이는 모델이 증폭 모드에서는 예측을 저하시키고, 감쇄 모드에서는 예측을 개선하도록 하는 경쟁적 최적화 과정을 생성합니다.
   • 대조적 로짓 손실 ($L_{cl}$): 감쇄 모드에서 클린(clean) 데이터와 적대적 데이터의 로짓 간 거리를 최소화하고, 감쇄된 로짓과 증폭된 로짓 간의 거리를 최대화하는 트리플렛 스타일(triplet-style)의 손실입니다.

최종 목적 함수는 표준 적대적 훈련(예: AT, TRADES, MART)과 이러한 제안된 구성 요소들을 결합합니다. 추론 시에는 감쇄 모드($z_{att}$)만 사용됩니다.

주요 기여

• A3 모듈: 단순한 스케일링 메커니즘에 의존하여 추가적인 네트워크 용량 없이도 최소한의 계산 및 메모리 오버헤드로 적대적 강건성을 개선하는 경량 플러그인입니다.
• 이중 모드 메커니즘: 동일한 파라미터를 사용하여 신호를 증폭하고 감쇄하는 것을 결합하여 학습하는 새로운 접근 방식입니다. 논문은 증폭 모드에서 예측을 저하시키도록 학습하는 것이 동시에 감쇄 모드에서의 강건성을 향상시킨다는 것을 입증합니다.
• 미분 가능한 스케일링: 그래디언트 은닉(gradient obfuscation)을 피하고 안정성을 보장하기 위해 일반적인 top-k 연산 대신 학습 가능한 미분 마스크와 로그 스케일링을 도입했습니다.
• 새로운 손실 함수: 부정적 참조로서 증폭된 활성화를 활용하여 강건성 학습을 유도하는 대조 및 랭킹 손실을 도입했습니다.

실험 결과
CIFAR-10, CIFAR-100, Tiny ImageNet 데이터셋에 대해 ResNet-18 및 WideResNet-34-10 백본을 사용하여 AT, TRADES, MART 훈련 전략과 통합하여 광범위한 실험을 수행했습니다.

• 성능: A3는 다양한 공격 유형(FGSM, PGD-20/100, C&W, AutoAttack)에 대해 기존의 플러그인 방어법(예: CAS, CIFS, FSR, FPCM, EMFF)보다 일관되게 우수한 성능을 보였습니다. 예를 들어, CIFAR-10에 대한 ResNet-18/AT 환경에서 A3는 바닐라 백본 대비 앙상블 정확도에서 4.99%의 향상을 달ink했습니다.
• 효율성: A3는 무시할 만한 수준의 오버헤드만을 도입합니다. ResNet-18 기준, 베이스라인과 비교했을 때 약 0.27M의 파라미터와 0.0021G FLOPs만을 추가하며, 이는 FTA2C와 같은 다른 마스킹 기반 방법들보다 현저히 적습니다.
• 절제 연구 (Ablation Studies):
  • 모드 분석: 감쇄 모드가 증폭 모드 및 하드 억제 전략보다 성능이 훨씬 뛰어났으며, 이는 선택적 감쇄가 완전한 특징 폐기보다 우월함을 확인시켜 줍니다.
  • 손실 구성 요소: 랭킹 손실과 대조적 손실 모두 필수적입니다. 이를 제거하거나 힌지 공식을 표준 교차 엔트로피로 대체하면 성능 저하가 발생합니다.
  • 스케일링 공식: 제안된 로그 스케일링 인자($f_m$)가 선형, 이차 및 지수 대안보다 우수한 성능을 보였습니다.
  • 분포 변화: 활성화 분포 분석 결과, A3는 감쇄 모드에서 클린 예제와 적대적 예제 사이의 명확한 분리를 유도하는 반면, 증폭 모드는 분포를 중첩시켜 증폭의 역할이 부정적 참조임을 검증했습니다.

의의
본 논문은 A3가 적은 학습 파라미터로 특징 기반 방어에 집중함으로써 강건하고 해석 가능한 모델을 구축하는 유망한 방향을 제시한다고 주장합니다. 증폭 모드에서 예측을 저하시키도록 학습하는 것이 한편의 강건성을 향상시킨다는 것을 입증함으로써, 본 연구는 방어가 오직 억제에만 집중해야 한다는 관념에 도전합니다. 이 방법은 높은 클린 정확도를 유지하면서도 무시할 만한 계산 비용으로 플러그인 모듈 중 최첨단(SOTA) 강건성을 달성하며, 적대적 공격으로부터 DNN을 보호하기 위한 실용적이고 효율적인 솔루션을 제공합니다.