Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification

1. 문제 정의 (Problem)

딥러닝 모델은 적대적 예제 (Adversarial Examples, AE) 에 취약하며, 이를 방어하기 위해 적대적 정화 (Adversarial Purification, AP) 기법이 연구되고 있습니다. 최근 확산 모델 (Diffusion Models) 을 활용한 확산 기반 정화 (Diffusion-based Purification, DBP) 방법이 주목받고 있습니다. DBP 는 입력 이미지에 가우시안 노이즈를 주입하여 (Forward Process) 적대적 노이즈를 희석한 후, 생성 과정을 통해 원래의 깨끗한 이미지를 복원 (Reverse Process) 하는 방식입니다.

핵심 문제:
기존 DBP 방법들은 모든 샘플에 대해 **고정된 노이즈 레벨 ($t^*$)**을 사용합니다. 그러나 저자들은 이 접근법의 한계를 발견했습니다.

• 과소 주입 (Under-injection): 이미지가 이미 깨끗하거나 적대적 노이즈가 약한 경우, 고정된 $t^*$가 너무 작으면 적대적 노이즈가 충분히 제거되지 않아 방어 실패로 이어집니다.
• 과다 주입 (Over-injection): 반대로, 이미지가 깨끗한 경우 고정된 $t^*$가 너무 크면 Forward 과정에서 이미지의 의미론적 정보 (Semantic Information) 가 과도하게 파괴되어 Reverse 과정에서 원래 의미를 복원하기 어렵습니다. 이는 **순수 정확도 (Clean Accuracy)**를 떨어뜨립니다.

즉, 각 샘플마다 최적의 노이즈 레벨은 다르며, 이를 고정된 값으로 처리하는 것은 성능 저하의 주원인입니다.

2. 제안 방법 (Methodology: SSNI)

저자들은 **샘플별 스코어 인지 노이즈 주입 (Sample-specific Score-aware Noise Injection, SSNI)**이라는 새로운 프레임워크를 제안합니다. SSNI 는 각 샘플이 깨끗한 데이터 분포로부터 얼마나 벗어났는지를 측정하여, 그에 따라 노이즈 주입 레벨 ($t^*$) 을 적응적으로 조정합니다.

주요 구성 요소:

1. 스코어 노름 (Score Norm) 활용:

   • 확산 모델에서 '스코어 (Score)'는 $\nabla_x \log p_t(x)$로, 데이터가 고밀도 영역 (깨끗한 데이터 분포) 을 향해 향하는 방향성을 나타냅니다.
   • **스코어 노름 ($\|\nabla_x \log p_t(x)\|$)**은 데이터 포인트가 깨끗한 분포로부터 얼마나 벗어났는지를 측정하는 지표로 사용됩니다.
   • 관찰: 깨끗한 샘플은 스코어 노름이 작고, 적대적 공격이 강한 샘플 (분포에서 멀리 떨어진) 은 스코어 노름이 큽니다.

2. 기대 섭동 스코어 (Expected Perturbation Score, EPS):

   • 단일 노이즈 레벨에서의 스코어 계산은 민감할 수 있으므로, 다양한 노이즈 레벨에 대한 스코어의 기대값인 EPS 를 사용하여 더 안정적인 측정을 수행합니다.

3. 적응적 재가중 함수 (Reweighting Function):

   • 사전 훈련된 스코어 네트워크를 통해 각 샘플의 EPS 노름을 계산합니다.
   • 계산된 노름을 기반으로 선형 (Linear) 또는 비선형 (Non-linear, Sigmoid 기반) 재가중 함수를 적용하여 각 샘플에 맞는 최적의 $t^*_i$를 동적으로 결정합니다.
   • 전략:
     • 깨끗한 샘플 (낮은 스코어 노름): 적은 노이즈를 주입하여 원본 의미 보존.
     • 적대적 샘플 (높은 스코어 노름): 많은 노이즈를 주입하여 적대적 패턴 효과적으로 제거.

4. 편향 항 (Bias Term):

   • 재가중된 $t^*$가 원래 고정값을 초과할 수 있도록 편향 항을 추가하여, 심한 적대적 공격에 대한 제거 능력을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 샘플별 최적 노이즈 레벨의 필요성 입증:
   • 모든 샘플에 동일한 $t^*$를 사용하는 기존 방식의 비효율성을 시각적 및 실험적으로 증명했습니다. (그림 1 참조)
2. SSNI 프레임워크 제안:
   • 기존 DBP 방법 (DiffPure, GDMP, GNS 등) 에 통합 가능한 범용 프레임워크를 제시했습니다.
   • 스코어 노름을 기반으로 노이즈 주입량을 샘플별로 적응적으로 조절하여 정화 효율을 극대화합니다.
3. 이론적 및 실험적 검증:
   • SSNI 가 기존 방법보다 더 넓은 정화 공간 (Purification Range) 을 가짐을 이론적으로 보였습니다.
   • 다양한 공격 (PGD+EOT, BPDA+EOT, AutoAttack 등) 과 데이터셋 (CIFAR-10, ImageNet-1K) 에서 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: CIFAR-10, ImageNet-1K
• 비교 대상: DiffPure, GDMP, GNS (기존 DBP 방법들)
• 평가 지표: 표준 정확도 (Clean Accuracy) 및 강인성 정확도 (Robust Accuracy)

주요 성과:

• 정확도 - 강인성 트레이드오프 개선: SSNI 를 적용한 결과, 기존 방법들의 표준 정확도와 강인성 정확도를 동시에 크게 향상시켰습니다.
  • 예: CIFAR-10 에서 DiffPure + SSNI-N 은 표준 정확도를 3.58% 향상시키면서 강인성 정확도도 유지/향상시켰습니다.
  • ImageNet-1K 에서도 모든 베이스라인 모델에서 표준 및 강인성 정확도가 유의미하게 증가했습니다.
• 다양한 공격에 대한 일반화: PGD+EOT, BPDA+EOT, AutoAttack, DiffAttack 등 다양한 적응형 화이트박스 공격에 대해 일관된 성능 향상을 보였습니다.
• 계산 효율성: SSNI 는 추가적인 재가중 과정이 있지만, 추론 시간 증가가 매우 미미하여 (CIFAR-10 에서 약 0.5 초, ImageNet-1K 에서 약 5 초 증가) 실용적으로 적용 가능합니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 기반 적대적 정화 분야에서 고정된 하이퍼파라미터 ($t^*$) 의 한계를 극복하고 샘플별 특성에 맞춘 적응적 방어의 중요성을 강조했습니다.

• 핵심 통찰: "더 깨끗한 샘플은 더 적은 노이즈가, 더 오염된 샘플은 더 많은 노이즈가 필요하다"는 직관을 정량화하여 시스템에 적용했습니다.
• 실용성: SSNI 는 별도의 모델 재학습 없이 기존 DBP 파이프라인에 쉽게 통합될 수 있어, 실제 보안 시스템에 적용하기 용이합니다.
• 미래 방향: 이 연구는 적대적 방어 분야에서 샘플별 세분화된 전략의 필요성을 제시하며, 향후 더 정교한 적응형 방어 메커니즘 개발의 기초를 마련했습니다.

요약하자면, SSNI 는 스코어 네트워크를 통해 각 입력 이미지의 '오염도'를 실시간으로 진단하고, 그에 맞춰 노이즈 주입량을 조절함으로써, 깨끗한 이미지의 품질을 해치지 않으면서도 적대적 공격을 효과적으로 제거하는 혁신적인 방어 프레임워크입니다.