Defending against Patch-Based and Texture-Based Adversarial Attacks with Spectral Decomposition

1. 문제 정의 (Problem)

딥러닝 기반 객체 감지 모델 (DNN) 은 적대적 예제 (Adversarial Examples) 에 취약합니다. 특히, 물리적으로 구현 가능한 (Physically Realizable) 적대적 공격은 실제 보안 시스템 (감시 카메라, 자율 주행 등) 에 심각한 위협이 됩니다.

• 주요 공격 유형:
  • 패치 기반 공격 (Patch-based): 특정 영역 (예: 사각형 패치) 에 집중된 적대적 패턴 (AdvPatch, AdvTshirt 등).
  • 텍스처 기반 공격 (Texture-based): 물체 전체 표면 (예: 옷감 전체) 에 퍼지는 적대적 패턴 (AdvTexture, AdvCaT 등).
• 기존 방어법의 한계:
  1. 적응형 공격 (Adaptive Attacks) 에 취약: 공격자가 방어 메커니즘을 우회하도록 공격을 설계할 경우 방어 효과가 급격히 떨어짐.
  2. 범위 제한: 기존 방법들은 주로 패치 기반 공격에 초점을 맞추었으며, 전체적으로 퍼지는 텍스처 기반 공격에는 효과가 미미함.
  3. 국소성 (Localization) 문제: 텍스처 공격은 패치보다 넓은 영역을 차지하여 기존 '패치 탐지 및 마스킹' 방식이 적용하기 어려움.

2. 방법론 (Methodology)

저자들은 적대적 스펙트럼 방어 (Adversarial Spectrum Defense, ASD) 라는 새로운 방어 메커니즘을 제안했습니다. 이는 이산 웨이블릿 변환 (Discrete Wavelet Transform, DWT) 을 활용하여 적대적 패턴을 주파수 영역에서 분석하고 제거하는 방식입니다.

A. 핵심 아이디어: DWT 기반 스펙트럼 분석

• DWT 의 선택: 기존에 많이 쓰이는 푸리에 변환 (DFT) 은 전역적인 주파수 정보만 제공하지만, DWT 는 국소적인 (Localized) 주파수 정보를 동시에 제공합니다. 이는 물리적으로 구현 가능한 적대적 공격이 이미지 내 특정 영역에 국한된다는 특성과 부합합니다.
• 주파수 특성 분석: 실험 결과, 적대적 패치와 텍스처는 정상 이미지 (Benign Image) 에 비해 DWT 계수 (Detail Coefficients) 의 진폭 (Amplitude) 이 현저히 크게 나타남을 확인했습니다. 이를 통해 적대적 영역을 주파수 스펙트럼 상에서 식별할 수 있음을 증명했습니다.

B. ASD 파이프라인 구성

ASD 는 크게 두 단계로 구성되며, 기존 적대적 학습 (Adversarial Training, AT) 모델과 결합됩니다.

1. ASD Masking (적대적 영역 탐지 및 마스킹):

   • 입력 이미지를 다중 해상도 (Multi-resolution) DWT 를 통해 여러 주파수 대역 ($D_1$~$D_n$) 으로 분해합니다.
   • 각 주파수 대역에서 채널 간 $l_2$ 노름을 계산하여 스펙트럼 강도 맵을 생성합니다.
   • 임계값 ($\theta$) 을 기준으로 진폭이 높은 영역을 '적대적 영역'으로 판단하고 마스크 ($M$) 를 생성합니다.
   • 생성된 마스크 영역에 가우시안 블러 (Gaussian Blurring) 를 적용하여 적대적 노이즈를 제거하거나 희석시킵니다.
   • 스펙트럼 대역 융합 (Spectral Band Fusion): 다양한 주파수 대역에서 생성된 마스크를 업샘플링하여 원래 이미지 크기로 통합합니다.

2. ASD Level Aggregation (레벨 집계):

   • 객체의 크기에 따라 적대적 패턴이 나타나는 주파수 대역이 다를 수 있습니다 (작은 객체 = 고주파, 큰 객체 = 저주파).
   • 이를 해결하기 위해 서로 다른 분해 레벨 ($n_1, n_2, \dots, n_k$) 에서 처리된 이미지들을 각각 감지기에 입력하고, 그 결과를 비최대 억제 (NMS) 를 통해 통합하여 최종 검출 결과를 도출합니다.

3. AT 모델과의 통합 (Complementary Defense):

   • ASD: 고진폭 (High-amplitude) 의 적대적 노이즈 (패치/텍스처) 를 주파수 영역에서 탐지 및 제거.
   • AT (Adversarial Training): 저진폭 (Low-amplitude) 이지만 $l_\infty$-norm 으로 제한된 미세한 적대적 노이즈에 대한 강건성 제공.
   • 결론: ASD 는 AT 모델의 입력 전처리 단계로 작동하여, 고진폭과 저진폭 노이즈를 모두 방어하는 포괄적인 전략을 완성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 방어 전략 제안: 스펙트럼 분해 (DWT) 와 다중 주파수 통합을 기반으로 패치 및 텍스처 기반 물리 세계 적대적 공격에 대응하는 ASD 를 제안했습니다.
2. 적응형 공격 환경에서의 효과성: 기존 방어법들이 취약했던 적응형 공격 (Adaptive Attack) 설정에서도 강력한 성능을 발휘하도록 설계되었습니다. ASD 는 고진폭 노이즈를, AT 는 저진폭 노이즈를 방어하여 상호 보완적인 역할을 합니다.
3. SOTA 성능 달성: 다양한 공격 (AdvPatch, AdvTexture, AdvCaT 등) 에 대해 기존 방어 방법들보다 평균 AP50 에서 21.73% 향상된 성능을 기록했습니다.

4. 실험 결과 (Results)

실험은 Faster R-CNN, FCOS, YOLOv8 등 다양한 객체 감지 모델에서 수행되었으며, 적응형 공격 (White-box) 환경에서 평가되었습니다.

• 성능 향상:
  • ASD + AT 조합은 모든 적대적 공격 (패치, 텍스처, 비가시적 공격 포함) 에 대해 평균 AP50 77.11% 를 달성했습니다.
  • 이는 기존 최상위 방어 방법들 (Jedi, SAC, NAPGuard 등) 보다 14.47% ~ 21.73% 높은 성능입니다.
  • 특히, AdvTexture(텍스처 기반) 공격에 대해 기존 방법들은 AP가 20~40% 대였으나, ASD+AT 는 70.08% 를 기록하며 압도적인 우위를 보였습니다.
• 적응형 공격 견딤:
  • ASD 의 마스킹 모듈을 우회하도록 설계된 3 가지 적응형 공격 (Direct, Loss, Range) 에 대해 ASD+AT 는 여전히 높은 AP(88% 이상) 를 유지했습니다.
• 물리 세계 검증:
  • 실제 촬영된 비디오 (AdvTexture, AdvCaT) 에 대한 실험에서 ASD+AT 는 100% 방어 성공률을 기록했습니다.
• 다른 모델 및 클래스 적용:
  • DINO 기반 감지기 (RF-DETR) 와 ImageNet 의 다양한 클래스 (Tench, Teddy bear 등) 에 대한 공격에서도 ASD+AT 가 일관되게 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 물리 세계 보안 강화: 실제 환경에서 구현 가능한 패치 및 텍스처 공격 (예: 적대적 옷, 패치) 에 효과적으로 대응할 수 있는 첫 번째 포괄적인 방어 프레임워크 중 하나입니다.
• 주파수 도메인 활용의 확장: DWT 의 국소성 (Localization) 특성을 활용하여 기존에 탐지하기 어려웠던 텍스처 기반 공격까지 방어 범위를 확장했습니다.
• 실용성: 오프-the-shelf AT 모델과 결합하여 재학습 없이도 적용 가능하며, 추론 시간 증가를 최소화하면서 (DWT 의 단순한 구조 활용) 높은 보안성을 제공합니다.

이 논문은 적대적 공격의 진화 (패치에서 텍스처로, 디지털에서 물리로) 에 맞춰, 주파수 기반 분석과 적대적 학습을 결합한 새로운 방어 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.