RPP: A Certified Poisoned-Sample Detection Framework for Backdoor Attacks under Dataset Imbalance

기술 요약: RPP – 데이터 불균형 상황에서의 백도어 공격을 위한 인증된 오염 샘플 탐지 프레임워크

1. 문제 정의

심층 신경망(DNN)은 안전이 필수적인 애플리케이션에 점점 더 많이 배치되고 있지만, 백도어 공격에 매우 취약한 상태로 남아 있습니다. 이러한 공격에서 공격자는 훈련 데이터에 고유한 트리거 패턴을 삽mathbb하여, 트리거를 포함하는 입력이 타겟 클래스로 오분류되도록 유도하는 동시에 트리거가 없는 깨끗한 입력에 대해서는 정상적으로 동작하게 만듭니다.

다수의 방어 기제이 존재하지만, 본 논문은 결정적인 격차를 식별합니다: 기존의 방어 기제 대부분은 균형 잡힌 훈련 데이터셋을 가정하고 있으나, 이는 실제 시나리오에서는 거의 충족되지 않는 조건입니다. 실제로 데이터셋은 심각한 클래스 불균형(예: 건강한 샘 샘플이 암 사례보다 훨씬 많은 의료 진단, 또는 희귀한 교통 이상 현상이 과소 표현되는 자율 주행)을 보이는 경우가 많습니다. 저자들은 이러한 불균형이 단순한 통계적 불편함이 아니라 보안 취약점이라고 주장합니다. 그들의 논지는 다음과 같습니다:

1. 불균형한 데이터셋은 다수 클래스 편향으로 인해 본질적으로 백도어 공격에 더 취약합니다.
2. 기존의 방어 방법들은 데이터 불균형이 심화됨에 따라 성능이 크게 저하됩니다. 이는 분포 수준의 신호(예: 클러스터링, 클래스 수준 통계)에 의존하는데, 이 신호들이 소수 클래스가 과소 표현될 때 편향되거나 불안정해지기 때문입니다.
3. 기존 방어 기제들은 공식적인 이론적 보증이 부족하여, 적응형 공격자(adaptive adversaries)로부터 안전 필수 시스템을 보호하기에 미흡합니다.

2. 방법론: 무작위 확률 섭동 (Randomized Probability Perturbation, RPP)

이러한 과제를 해결하기 위해, 저자들은 모델 출력 확률만을 사용하는 블랙박스 설정에서 작동하도록 설계된 인증된 오염 샘플 탐지 프레임워크인 **무작위 확률 섭동(RPP)**을 제안합니다.

핵심 직관

RPP는 전역적인 분포 단서에 의존하는 대신 샘플 수준의 관점에서 작동합니다. 이 방법은 다음의 관찰에 근거합니다:

• 오염된 입력(트리거를 포함하는 경우)은 견고하게 설계되었습니다. 즉, 무작위 입력 섭동(노이즈)을 가하더라도 예측 확률 벡터가 상대적으로 안정적으로 유지됩니다.
• 정상적인 입력은 자연적인 상관관계에 의존합니다. 따라서 섭동을 가했을 때 확률 벡터가 눈에 띄게 큰 변동을 보입니다.

RPP 메트릭

프레임워크는 **무작위 확률 섭동(RPP)**을 주입된 등방성 가우시안 노이즈 하에서의 샘플 예측 확률 벡터의 기대 변화량으로 정의합니다.

• $f(\cdot|w)$를 사전 훈련된 분류기라고 합시다.
• 입력 $x$에 대하여, **샘플별 확률 벡터(SPV)**는 $p(x|w)$입니다.
• RPP는 $\Delta P(x|w, \sigma)$로 표기하며, 이는 원래의 확률 벡터와 노이즈 $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$를 더한 후의 벡터 사이의 $L_\infty$ 노름(norm)의 기대값으로 정의됩니다:
  $$\Delta P(x|w, \sigma) = \mathbb{E}_{\epsilon} [\| p(x|w) - p(x + \epsilon|w) \|_\infty]$$
• 실제 구현에서는 $J$개의 노이즈 샘플에 대해 섭동을 평균 내어 경험적 값($\tilde{\Delta}P$)을 추정합니다.

탐지 파이프라인

탐지 과정은 세 단계로 구성됩니다:

1. 예비 모델 훈련: 잠재적으로 오염된 데이터셋으로 모델을 훈련합니다. 백도어가 존재한다면, 모델은 트리거를 학습한 것으로 간주됩니다.
2. 임계값 계산 (Conformal Calibration): 작고 깨끗하며 균형 잡힌 교정 세트 $V$를 사용합니다. 이 깨끗한 샘플들에 대해 경험적 RPP($\tilde{\Delta}P$)를 계산합니다. 탐지 임계값 $\hat{q}$는 컨포멀 예측(conformal prediction) 기술을 사용하여 결정됩니다. 구체적으로, $\hat{q}$는 사용자 지정 유의 수준 $\alpha$에 대응하는 교정 점수의 분위수(quantile)로 설정됩니다. 이는 클래스 불균형 하에서도 유효하게 유지되는 분포 불변(distribution-free) 교정을 보장합니다.
3. 오염 샘플 탐지: 검사할 각 샘플에 대해 경험적 RPP를 계산합니다. 만약 $\tilde{\Delta}P \leq \hat{q}$이면 해당 샘플은 오염된 것으로 표시되며, 그렇지 않으면 깨끗한 것으로 분류됩니다.

이론적 보증

본 논문은 백도어의 탐지 가능성에 대한 이론적 인증을 제공합니다:

• 탐지 가능 조건: 저자들은 트리거 크기($\|\delta\|_2$)에 대한 하한선을 도출하여 탐지를 보장합니다. 트리거 크기가 노이즈 수준 $\sigma$, 타겟 클래스 확률 $p(x)$, 그리고 깨끗한 확률 분포의 상한값으로부터 유도된 특정 임계값을 초과하면, 오염된 샘플은 반드시 탐지됩니다.
• 허위 양성률(FPR) 제어: 컨포멀 예측 이론을 사용하여, 프레임워크는 FPR에 대한 확률적 상한선을 제공합니다. 정리 5.4는 깨끗한 샘플이 오염된 것으로 잘못 표시될 확률이 $\alpha + \frac{1}{n+1}$로 제한됨을 입증합니다 (여기서 $n$은 교정 세트의 크기입니다).

3. 주요 기여

저자들은 다음과 같이 기여를 요약합니다:

1. 위협 조사: 데이터 불균형과 백도어 공격 성공률 사이의 강력한 상관관계를 경험적으로 입증하여, 불균형한 데이터셋이 본질적으로 더 취약함을 보여주었습니다. 또한 기존 방어 기제들이 불균형 하에서 성능이 크게 저하됨을 보여주었습니다.
2. RPP 프레임워크: 분포 수준의 통계가 아닌 샘플 수준의 안정성 신호를 활용하여, 심각한 클래스 불균형에도 효과적으로 적응하는 사전 훈련 기반 오염 샘플 탐지 기법인 RPP를 소개합니다.
3. 인증된 보증: 경험적인 많은 방어 기제와 달리, RPP는 탐지 가능성에 대한 조건과 엄격한 허위 양성률 경계를 포함한 증명 가능한 성능 보증을 제공하여, 안전 필수 환경 배포를 위한 이론적 토대를 마련합니다.

4. 실험 결과

저자들은 10가지의 서로 다른 백도어 공격 유형(BadNets, Blend, Trojan, SIG, ISSBA 등 포함)을 포함하는 5개의 벤치마크(MNIST, SVHN, CIFAR-10, TinyImageNet, ImageNet10)에서 RPP를 평가하고 12개의 베이스라인 방어 기제와 비교했습니다.

• 불균형 상황에서의 성능: 불균형 비율($\rho$)을 1(균형)에서 200까지 변화시키며 실험을 수행했습니다.
  • 탐지 정확도: RPP는 모든 불균형 수준에서 최신 기술(SOTA) 방어 기제(예: AC, ASSET, SCALE-UP, STRIP)보다 일관되게 훨씬 높은 진양성률(TPR)을 달성했습니다. 예를 들어, $\rho=100$인 CIFAR-10에서 RPP는 BadNets에 대해 9.2%의 FPR로 100%의 TPR을 달성한 반면, 다른 방법들은 종종 TPR이 50% 미만으로 떨어지거나 FPR이 급증했습니다.
  • 강건성: RPP는 기존 방어 기제들이 완전히 실패하거나 수용 불가능한 높은 허위 양성을 생성하는 $\rho=200$의 영역에서도 높은 탐지 정확도를 유지했습니다.
• 인증 성능: 프레임워크는 높은 커버리지(종종 SVHN 및 CIFAR-10에서 >98%)를 유지하면서, 이론적으로 정의된 $\alpha$ 매개변수(0.05 및 0.1로 테스트됨) 내에서 FPR을 유지하며 오염된 샘플의 탐지를 성공적으로 인증했습니다.
• 적응형 공격: RPP는 작은 노름(small-norm) 트리거 및 하이브리드 레이블 공격을 포함한 적응형 공격에 대한 회복력을 보여주었으며, 이는 트리거 크기가 이론적 탐지 영역 내에 있는 한 유효했습니다.

5. 의의 및 주장

본 논문은 불균형한 데이터가 특징인 실제 환경에서 백도어 공격을 방어하기 위한 이론적 및 실무적 토대를 구축한다고 주장합니다.

• 최초의 사례: 저자들은 RPP가 데이터 불균형 문제를 처리하도록 특별히 설계된 최초의 인증된 오염 샘플 탐지 프레임워크라고 단언합니다.
• 패러다임의 전환: 분포 수준의 신호에서 샘플 수준의 강건성 지표로 전환함으로써, RPP는 균일한 클래스 표현에 대한 의존성을 우회하여 편향된 분포에 자연스럽게 적합하도록 만듭니다.
• 안전 필수 적용 가능성: 형식적인 보증(탐지 조건 및 FPR 경계)을 제공함으로써, 경험적 방어 기제의 "고양이와 쥐(cat-and-mouse)" 역학을 해결하며, 오진이나 통제되지 않은 허위 양성이 용납되지 않는 자율 주행 및 의료 진단과 같은 안전 필수 애플리케이션에 필요한 수준의 확신을 제공합니다.

저자들은 자신의 방법이 예비 모델과 깨끗한 교정 세트를 필요로 하지만, 현재의 최첨단 방어 기제들이 실패하는 지점에서 효과적으로 작동하는 강력하고 인증된 솔루션을 제공한다고 결론짓습니다.