기술 요약: 적대적 강건성을 위한 노이즈와 양방향 필터의 결합

문제 정의

심층 신경망, 특히 합성곱 신경망(CNN)은 이미지의 픽정 수준에서 발생하는 미세하고 표적화된 섭동(perturbation)인 적대적 예제(adversarial examples)에 대해 상당한 취약성을 보입니다. 이는 자율 주행 및 얼굴 인식과 같은 안전이 필수적인 도메인의 실제 배포에 있어 중대한 장벽이 됩니다.

현재의 최첨단(SotA) 방어 기법, 주로 적대적 훈련(adversarial training)은 계산 비용이 매우 높으며(표준 훈련보다 약 9배 많은 FLOPs 필요), 모델 크기에 따라 확장성이 떨어지는 경우가 많습니다. 또한, 이러한 방어 기법들은 훈련 중에 마주친 특정 유형의 공격에 맞춰 설계되는 경우가 많아, 학습되지 않은 섭동에 대해서는 실패할 가능성이 있습니다. 가우시안 노이즈를 추가하거나 이미지 필터(예: 양방향 필터링)를 적용하는 것과 같은 더 단순한 기술들은 낮은 계산 비용으로 완만한 강건성 향상을 보여주었으나, 역사적으로 이들은 독립적으로 개발되어 왔습니다. 단일 필터링 또는 노이즈 방법만으로는 모든 공격 유형에 대해 광범위하게 효과적임을 입증하지 못했으며, 이들의 결합 효과에 대한 체계적인 평가는 부족한 실정입니다.

방법론

저자들은 두 가지 구별된 방어 메커니즘인 가우시안 노이즈 추가와 **양방향 필터링(bilateral filtering)**을 결합하는 원칙적인 접근 방식을 제안합니다. 이 결합은 훈련과 추론 단계 모두에서 전처리기(preprocessor)로서 적용됩니다.

이론적 프레임워크

본 논문은 노이즈와 필터가 상보적인 메커즘을 통해 강건성을 향상시킨다는 것을 수학적으로 분석하여 보여줍니다:

• 가우시안 노이즈: 이미지 매니폴드 주변의 "얇은 필라멘트(thin filaments)" 형태로 분포된 적대적 공격에 효과적입니다. 노이즈는 무작위 편차를 도입하여 이러한 특정 공격 기하 구조를 교란하지만, 공격이 큰 구(sphere) 형태로 클러스터링될 경우 실패할 수 있습니다.
• 양방향 필터링: 허용된 최대 섭동 노름(norm)의 가장자리에 밀집된 공격에 효과적입니다. 이 필터는 날카로운 에지를 보존하면서 편차를 감쇄시켜, 섭동된 이미지를 이미지 매니폴드로 다시 밀어 넣습니다. 그러나 공격이 이미 매니폴드에 매우 가까운 경우에는 어려움을 겪습니다.

저자들은 이 방법들이 근본적으로 다른 형태의 적대적 볼륨($V_a(x)$)을 타겟팅하기 때문에, 이들의 결합이 단일 방법보다 더 넓은 범위의 잠재적 공격을 커버할 수 있으며, 잠재적으로 초선형적(supralinear) 강건성 이득을 제공할 것이라고 주장합니다.

실험 설정

• 데이터셋: 주로 CIFAR-10을 사용하며, ImageNet10에 대한 절제 연구(ablation studies)를 수행했습니다.
• 모델: 표준 CNN(EfficientNet-B0) 및 다양한 크기의 Wide Residual Networks (WRN: WRN-28-4, WRN-28-10, WRN-82-12).
• 훈련 프로토콜: 명시적 확산 모델(EDM)로 생성된 합성 데이터를 활용한 TRADES 프로토콜 기반의 적대적 훈련을 따릅니다.
• 전처리기 구성: 파이프라인은 제로 평균 가우시안 노이즈를 적용한 후 여러 번의 양방향 필터링을 수행합니다. 저자들은 연산 순서가 이론적으로 교환 법칙이 성립하지 않지만, 깨끗한 정확도(clean accuracy)를 보존하기 위해 노이즈를 먼저 추가하는 것을 권장한다고 언급했습니다.

주요 기여

1. 이론적 통찰: 가우시안 노이즈와 필터링이 서로 다른 메커니즘을 통해 작동하며, 서로 다른 기하학적 분포를 가진 적대적 공격을 보호한다는 수학적 증명을 제공합니다.
2. 초선형적 효과의 실증적 검증: 이 방법들을 결합하는 것이 개별 이득의 합보다 높은 초선형적 이득을 창출함을 입증했습니다. 절제 연구에서, 결합된 모델의 성능 이득은 테스트된 6가지 섭동 중 4가지에 대해 개별 이득의 합을 초과했습니다.
3. 효율적인 SotA 통합: 적대적 훈련과 결합되었을 때 이전의 SotA 방어 기법보다 높은 강건 정확도를 달면서도 계산 요구 사항을 획기적으로 줄이는 프레임워크를 구축했습니다.
4. 확장성: 전처리기가 모델 크기에 따라 효율적으로 확장되어, 경쟁력 있는 강건성 수준에 도달하는 데 필요한 계산량을 크게 줄일 수 있음을 입증했습니다.

실험 결과

절제 연구 (CIFAR-10)

• 초선형적 효과: CIFAR-10 데이터셋에서 노이즈 + 양방향 필터 조합은 $L_\infty$ 공격(AutoAttack)에 대해 **36.5%**의 강건 정확도를 달성했습니다. 이는 노이즈 단독(25.5%) 및 필터 단독(1.0%) 성능과 비교됩니다. 결합된 이득(36.2%)은 개별 이득의 선형 합(26.1%)을 초과했습니다.
• 깨끗한 정확도 트레이드오프: 모든 전처리 변형 방식이 깨끗한 정확도를 감소시켰으나, 결합된 모델의 감소 폭은 개별 감소 폭의 합보다 작았습니다. 이는 결정 경계(decision boundary)에 대한 시너지 효과를 시사합니다.

최첨단 모델과의 통합

저자들은 전처리기를 WRN 모델과 통합하여 RobustBench에서 AutoAttack으로 평가했습니다:

• 성능: 가장 우수한 모델(전처리기가 적용된 WRN-82-12)은 AutoAttack에서 **74.32%**의 강건 정확도를 달성하여, 이전 SotA(WRN-94-16, 73.71%)를 0.6% 차이로 앞지르며 2위를 기록했습니다.
• 효율성: 이 성능은 다음을 사용하여 달성되었습니다:
  • 기존 SotA보다 50% 적은 파라미터.
  • 33% 수준의 훈련 에포크(epochs).
  • 15% 수준의 훈련 데이터(합성 샘플).
  • 단 ~35%의 훈련 FLOPs.
• 확장성: 이 방법은 세 자릿수 규모의 변화 속에서도 2~8배 적은 총 계산량을 사용하여 경쟁 모델의 정확도와 일치하는 성능을 보여주었습니다.
• 일반화: 다양한 공격(APGD-$L_\infty$, EoTPGD, APGD-$L_2$) 및 훈련 시 보지 못한 섭동 강도(예: 더 큰 섭동 거리)에 대해서도 개선된 강건성을 보여주었습니다.

의의 및 주장

본 논문은 적대적 강건성을 향상시키기 위한 원칙적이고, 쉽게 통합 가능하며, 계산 효율적인 프레임워크를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 이론적 근거: 노이즈와 필터가 서로 보완적인 공격 기하 구조를 타겟팅한다는 것을 입증함으로써 단순한 휴리스틱 결합을 넘어섰습니다.
• 비용 효율성: 현재의 방법들이 요구하는 계산 자원(FLOPs, 데이터, 에포크)의 극히 일부만을 사용하여 SotA 수준의 강건성을 달성했습니다.
• 단순성: 복잡한 디노이징 신경망이나 앙상블 방법과 달리, 추론 시 오버헤드가 거의 없는 단순한 전처리기를 활용합니다.

저자들은 메커니즘에 대해 겸허한 태도를 유지하며, 결합 방식이 효과적이기는 하지만 고차원 공간에서의 적대적 공격의 정확한 하부 기하 구조는 향후 이론적 탐구가 필요한 열린 과제로 남아 있다고 언급했습니다. 또한 모델 크기와 훈련 자원이 증가함에 따라 수확 체감(diminishing returns)이 발생함을 인정하며, 대규모 모델은 유사한 변환을 암시적으로 학습할 수 있으나 전처리기가 여전히 수렴을 가속화한다는 점을 덧붙였습니다.