USAD: Uncertainty-aware Statistical Adversarial Detection

기술 요약: 불확실성 인지 통계적 적대적 탐지 (USAD)

문제 정의
적대적 탐지는 딥러닝 시스템을 보호하는 데 있어 여전히 중요한 과제이다. 기존의 통계적 적대적 탐지(SAD) 방법들은 탐지를 이표본 가설 검정(two-sample hypothesis test)으로 프레임화하여, 쿼리 예시 집합($Y$)이 참조 세트인 깨끗한 예시 집합($X$)과 동일한 분포를 따르는지 결정한다. 그러나 이러한 방식은 심각한 한계를 지닌다. 현재의 최첨단 SAD 접근 방식은 주로 최대 평균 불일치(Maximum Mean Discrepancy, MMD)를 검정 통계량으로 의존한다. 하지만 MMD는 재생 커널 힐베르트 공간(RKHS) 내에서 평균 임베딩(1차 모멘트)의 변화에 주로 민set하게 반응한다. 저자들은 MMD 기반 탐지기가 표본 효율성이 낮다는 점을 지적하며, 특히 쿼리 배치 크기가 감소함에 따라 탐지력이 급격히 저하되어 초기 단계나 저용량 공격 시나리오에서 실용성이 떨어진다고 밝혔다. 또한, MMD는 적대적 예시(AE)의 특징적인 불확실성 패턴, 즉 비정상적인 특징 확산(전역 불확실성)과 섭동에 대한 불안정성(국소 불확실성)을 포착하지 못하며, 이는 깨끗한 예시(CE)와 AE를 구별하는 데 매우 중요하다.

방법론
본 논문은 적대적 공격에 내재된 분포 불확실성 패턴을 명시적으로 포착하도록 설계된 프레임워크인 **불확실성 인지 통계적 적대적 탐지(Uncertainty-aware Statistical Adversarial Detection, USAD)**를 제안한다. USAD는 AE의 특정 기하학적 특성을 겨냥한 두 가지 새로운 검정 통계량을 도입한다:

1. 분산 불일치 (Variance Discrepancy, VD): 이 통계량은 쿼리 세트와 참조 세트 간의 특징 확산 차이를 측정한다. 이는 전역 불확실성을 다루며, AE가 깨끗한 데이터 매니폴드에서 벗어남에 따라 CE에 비해 의미론적 특징 분포에서 비정상적인 분산을 보이는 현상을 포착한다. VD는 두 분포의 경험적 분산 사이의 제곱 차이로 공식화된다.
2. 섭동 기반 공분산 불일치 (Perturbation-based Covariance Discrepancy, PCD): 이 통계량은 국소 불확실성을 다룬다. 이는 가우시안 섭동 하에서의 예시들의 특징 공분산 행렬을 비교한다. AE는 종종 결정 경계 근처에 위치하며 비강건한 특징을 이용하기 때문에, CE보다 작고 등방성인 섭동에 대해 더 높은 민감도를 보인다. PCD는 이러한 섭동 유도 공분산 임베딩의 분포 간 불일치를 측정한다.

강건한 탐지기를 만들기 위해, USAD는 VD와 PCD를 하나의 통합된 검정 통계량으로 적응적으로 결리한다. 서로 다른 공격이 전역 또는 국소 불확실성 패턴을 활성화하는 정도가 다를 수 있음을 인식하여, 결합 과정에서는 상관관계 인지 가중치 방식(DUAL 프레임워크 기반)을 사용한다. 이 방법은 보조적인 깨끗한 캘리브레이션 세트를 사용하여 귀무 가설 하에서의 VD와 PCD의 결합 공분산 구조를 추정함으로써, 중복된 성분을 가중치에서 제외하고 상호 보완적인 신호를 강조한다. 최종 결정은 순열 검정(permutation test)을 통해 이루어지며, 이를 통해 지정된 유의 수준 $\alpha$에서 제1종 오류(허위 경보율)를 제어할 수 있는 임계값을 설정한다.

주요 기여

• 한계점 식별: 저자들은 MMD 기반 SAD 방식이 AE의 특징적인 불확실성 패턴(분산 및 국소 불안정성)에 무디며, 이로 인해 작은 표본 체계에서 성능이 저하됨을 입증하였다.
• 새로운 검정 통계량: 전역 및 국소 분포 불확실성을 각각 명시적으로 측정하는 VD와 PCD를 제안하여, 적대적 아티팩트를 더욱 정밀하게 탐지하는 접근 방식을 제공한다.
• 이론적 보장: USAD와 그 구성 통계량이 지정된 유의 수준 $\alpha$에서 제1종 오류율을 제어하고, 표본 크기가 증가함에 따라 검정력(test power)이 1로 수렴하는 점근적 일치성(asymptotic consistency)을 달성함을 이론적으로 증명한다.
• 경험적 우월성: ResNet 및 ViT 아키텍처를 사용한 CIFAR-10 및 ImageNet-1K 데이터셋에 대한 광범위한 실험 결과, USAD는 다양한 공격(AA, BIM, CW, FGSM, PGD)과 노름($\ell_\infty, \ell_2$)에 대해 강력한 베이스라인(SAMMD 및 다양한 MMD 결합 방식 포함)을 일관되게 능가한다. 특히, USAD는 매우 작은 쿼리 배치 크기(예: $|Y|=10$)에서도 완벽에 가까운 탐지력을 달성하며, 잘 설계된 적응형 공격에도 강건함을 유지한다.

결과
실험 결과는 USAD가 베이스라인 방법들을 유의미하게 압도함을 보여준다.

• 작은 표본 효율성: 작은 쿼리 배치($|Y|=10$) 시나리오에서, USAD는 $\epsilon=4/255$인 PGD 공격에 대해 1.0의 검정력을 달성한 반면, 베이스라인인 SAMMD는 0.292에 그쳤다.
• 적응형 공격에 대한 강건성: 공격자가 검정 통계량을 최소화하도록 최적화하는 적응형 공격 상황에서도, USAD는 높은 검정력(예: $|Y|=10$일 때 0.818)을 유지하며 단일 통계량 기반 탐지기들을 크게 앞선다.
• 혼합 배치: USAD는 적대적 예시가 배치 내에 희소하게 섞여 있는 경우(예: 배치 내 AE 비율 20%)에도 높은 검정력을 유지하지만, MMD 기반 방식은 깨끗한 예시의 비율이 높아질수록 크게 어려움을 겪는다.
• 전이성: 본 방법은 대리 모델에서 생성된 적대적 예시에 대한 강력한 강건성을 입증하였으며, 다양한 아키텍처(ResNet, WideResNet, Swin Transformer)에 대해 완벽한 탐지 성능을 보여주었다.

의의 및 주장
본 논문은 USAD가 가설 검정 기반 적대적 탐지를 제한해 온 표본 크기의 한계를 극복하는 데 있어 상당한 진전임을 주장한다. 평균 임베딩의 변화에서 분포 불확실성(분산 및 국소 안정성)으로 초점을 전환함으로써, 저자들은 대규모 쿼리 윈도우를 기다리는 것이 비현실적인 실제 실시간 배포 시나리오에서도 SAD를 효과적으로 만들 수 있다고 주장한다. 이 연구는 USAD가 적대적 훈련이나 특정 공격 가정이 필요 없는 경량의 모델 불가지론적(model-agnostic) 모니터링 레이어로 작동하며, 허위 경보를 제어하면서 미지의 위협 및 적응형 위협을 탐지할 수 있는 원칙적인 통계적 프레임워크를 제공함을 강조한다. 저자들은 USAD를 개별 예시 탐지기의 대체재가 아니라, 하위 방어 기제나 인간의 검사를 트리거하기 위한 배치 단위 트래픽에 대한 엄격한 통계적 모니터로 정의한다.