Enhancing Stateful Detection of Adversarial Attacks with Soft-labels' Temporality and Robust Similarity Approximations

기술 요약: 소프트 라벨의 시간적 특성과 강건한 유사도 근사법을 이용한 상태 기반 적대적 공격 탐지 강화

문제 정의

심층 신경망(DNN)은 블랙박스 적대적 공격에 매우 취脆弱하며, 여기서 공격자는 오분류를 유도하기 위해 인지할 수 없는 미세한 섭동(perturbation)을 정교하게 설계합니다. 이러한 공격은 모델의 결정 경계를 탐색하기 위해 빈번하고 적응적인 쿼리(query)를 사용하는 경우가 많습니다. **상태 기반 탐지(Stateful Detection, SD)**는 유사한 쿼리의 시퀀스를 탐지함으로써 이러한 공격을 식별하도록 설계된 방어 메커니즘입니다.

그러나 기존의 SD 방식(예: Blacklight, PIHA)은 두 가지 결정적인 한계에 직면해 있습니다:

1. 근사 공격에 대한 취약성: SD 시스템은 유사한 쿼리를 탐지하기 위해 복잡한 유사도 지표를 계산 효율적인 근사 방식(예: 해싱, 무작위 양자화)으로 사용합니다. 저자들은 이러한 근사 방식이 악용될 수 있음을 관찰했습니다. 공격자는 의도된 지표와는 다르지만 근사 함수상으로는 달라 보이도록 쿼리를 설계하여 탐지를 회피할 수 있습니다. 논문에서는 이를 유사도 함수에 대한 "적대적 공격"이라고 지칭합니다.
2. 높은 오탐률(False Positive Rate, FPR): 오탐을 최소로 줄이기 위해 SD 시스템은 종종 높은 유사도 임계값을 설정합니다. 그러나 이는 쿼리 유사도를 임계값 아래로 낮추기 위해 무작위 섭동을 추가하는 적응형 프로빙 공격(예: Oracle-guided Adaptive Rejection Sampling 또는 OARS)에 취약하게 만듭니다. 또한, 유사도가 높은 정상적인 시퀀스(예: CCTV 정지 영상)가 악의적인 것으로 오인되는 경우가 빈번합니다.

방법론

저자들은 강건한 쿼리 유사도 근사와 소프트 라벨(soft-labels)의 시간적 분석을 결합한 2단계 탐지 프레임워크를 제안합니다.

1단계: 강건한 유사도 탐지

첫 번째 단계는 살티드 무작위 양자화(salted randomized quantization) 방법을 사용하여 의도된 유사도 지표를 근사함으로써 유사할 가능성이 높은 쿼리 하위 시퀀스를 식별합니다.

• 의도된 지표: 논문은 두 이미지의 부분 이미지(슬라이딩 윈도우) 간의 최소 거리에 기반한 "의도된 유사도 함수"($D$)를 정의합니다.
• 근사 취약성: Blacklight과 같은 표준 근사 방식은 윈도우의 일부를 샘플링합니다. 저자들은 공격자가 샘플링된 윈도우의 중첩을 줄이기 위해 작은 왜곡을 도입할 수 있음을 입증했습니다. 이는 실제 거리는 작지만($\le \epsilon$) 근사된 거리는 크게($\ge \delta$) 만드는 $(\epsilon, \delta)$-적대적 예제를 생성하여 효과적으로 탐지를 회피하게 합니다.
• 제안된 해결책: 이를 완화하기 위해 프레임워크는 살티드 무작위 양자화를 채택합니다.
  • 양자화 전에 입력에 무작위 솔트(salt)를 적용합니다.
  • 값들을 베르누이 분포에 따라 무작위로 올림하거나 내림합니다.
  • 이는 공격자로부터 숨겨진 무작위성을 도입하여, 공격자가 양자화 경계를 역공학하거나 해시 매칭을 회피하기 위한 특정 섭동을 설계하는 것을 어렵게 만듭니다.
  • 유사도는 양자화된 쿼리의 무작위로 선택된 비중첩 윈도우들이 이전에 확인된 윈도우들과 블룸 필터(Bloom filter) 데이터베이스에서 일치하는지 확인함으로써 결정됩니다.

2단계: 소프트 라벨의 시간적 상관관계

1단계에서 유사하다고 판별된 쿼리는 정상적인 유사 시퀀스(예: 비디오 프레임)와 적대적 시퀀스를 구분하기 위해 2단계로 전달됩니다.

• 관찰: 적대적 공격은 이전 모델 출력(소프트 라벨)을 바탕으로 쿼리를 적응적으로 생성하므로, 소프트 라벨 시퀀스에 시간적 상관관계를 생성합니다. 반면, CCTV 정지 영상과 같은 정상적인 유사 시퀀스는 일반적으로 시간에 따라 독립적인 소프트 라벨을 나타냅니다.
• 메커니즘: 프레임워크는 하위 시퀀스의 첫 번째 쿼리에 대한 예측 클래스의 소프트 라벨 확률을 추출합니다. 그 후 이 시퀀스에 Ljung–Box 검정을 적용하여 시계열 상관관계를 탐지합니다.
• 결정: Ljung–Box 검정의 $p$-값이 미리 정해진 임계값보다 낮으면 해당 시퀀스는 적대적인 것으로 분류됩니다. 이 단계는 1단계에서 발생한 오탐을 효과적으로 필터링합니다.

주요 기여

1. 시간적 행동 관찰: 저자들은 적대적 쿼리 시퀀스가 소프트 라벨에서 뚜렷한 시간적 상관관계를 보인다는 점을 식별하였으며, 이를 통해 정상적인 유사 쿼리와 구별할 수 있음을 밝혔습니다.
2. 유사도 지표에 대한 적대적 공격: 논문은 유사도 근사 함수 자체에 대한 "적대적 공격"이라는 개념을 도입했습니다. 이는 광범위한 프로빙 없이도 탐지를 회피할 수 있는 Blacklight의 유사도 지표에 대한 경량 공격을 입증합니다.
3. 강건한 유사도 근사: 저자들은 강건한 근사 방법으로서 살티드 무작로 양자화를 제안합니다. 무작위성을 통해 양자화 경계를 숨김으로써, 공격자가 탐지를 우회하면서도 탐지 정확도를 유지하는 입력을 설계하는 것을 방지합니다.
4. 2단계 프레임워크: 1단계에서 유사도 임계값을 낮추어 민감도를 높이고, 2단계에서 소프트 라벨의 시간적 분석을 사용하여 오탐을 필터링하는 새로운 탐지 프레임워크를 제안합니다. 이 접근 방식은 오탐률(FPR)과 적응적 공격에 대한 취약성 사이의 트레이드오프를 완화합니다.
5. 실험적 검증: SOTA 공격 및 적응적 방어에 대한 포괄적인 평가를 수행했습니다.

실험 결과

프레임워크는 CIFAR-10 및 ImageNet 데이터셋에 대해 다섯 가지 블랙박스 공격(Boundary Attack, HSJA, HSJA with frequency mixup, Square Attack, SimBA)을 대상으로 평가되었습니다. 또한 적응형 공격(OARS)에 대해서도 테스트되었습니다.

• 진양성률 (True Positive Rate, TPR): 제안된 프레임워크는 두 데이터셋의 모든 테스트된 공격에 대해 1.00의 TPR을 달 Achieved 하여, 0.42에서 0.97 사이의 성능을 보인 튜닝된 Blacklight를 능가하거나 대등한 성능을 보였습니다.
• 오탐률 (False Positive Rate, FPR): 프레임워크는 최대 0.06의 낮은 FPR을 유지했습니다(다른 SOTA SD 방식의 0.42와 비교). 이는 2단계가 정상적인 유사 시퀀스(예: 카메라 정지 영상)를 성공적으로 필터링했기 때문입니다.
• 적응형 공격에 대한 강건성:
  • OARS가 강화된 공격에 대해 테스트했을 때, 프레м워크가 1단계를 통과하려면 공격자가 상당한 양의 노이즈를 도입해야 했습니다.
  • 결정적으로, Blacklight를 상대로는 성공했던 OARS 강화 공격(HSJA 및 Boundary Attack)들이 제안된 프레임워크가 방어하는 환경에서는 50,000회의 쿼리 내에 유효한 적대적 예제를 생성하는 데 실패했습니다.
• 효율성: 이 방법은 적절한 시간 및 메모리 오버헤드를 가집니다. 저장 공간은 Bloom 필터의 경우 약 7.5 MB, 소프트 라벨 캐시(ImageNet)의 경우 최대 17.9 MB입니다. 처리 시간은 30,000 쿼리당 CIFAR-10은 약 1.0분, ImageNet은 2.5분이며, 멀티프로세싱을 통해 단축 가능합니다.

의의 및 주장

논문은 주요 의의가 기존 SD 시스템의 적응적 프로빙 및 근사 공격에 대한 취약성을 해결하는 데 있다고 주장합니다. 소프트 라벨의 시간적 특성을 통합함으로써, 저자들은 방어자가 더 낮은 유사도 임계값을 채택하여 적응적 공격을 더 잘 탐지할 수 있다고 주장합니다.

저자들은 자신들의 접근 방식이 유사도 함수 자체에 대한 "적대적 공격"에 대해 강건하다는 점을 강조하며, 이는 SD 문헌에서 이전에 충분히 탐구되지 않은 위협 벡터입니다. 결론적으로, 이 2단계 프레임워크는 높은 탐지율과 적응적 회피 전략에 대한 강건성을 제공하며, 현재의 SOTA 방식보다 뛰어난 실용적이고 확장 가능한 방어책을 제시합니다.