Non-Parametric Probabilistic Robustness: A Conservative Risk Estimator under Unknown Perturbation Distributions

기술 요약: 비매개변수 확률적 강건성 (Non-Parametric Probabilistic Robustness, NPPR)

1. 문제 정의

딥러닝(DL) 모델은 작은 입력 섭동(perturbation)에 취약한 것으로 알려져 있다. **적대적 강건성(Adversarial Robustness, AR)**이 최악의 경우를 가정하는 결정론적 공격을 다룬다면, **확률적 강건성(Probabilistic Robustness, PR)**은 무작위적이고 확률적인 섭동(예: 센서 노이즈 또는 브루트 포스 공격) 하에서 모델이 올바른 동작을 유지할 가능성을 정량화하는 보완적인 지표로 등장했다.

그러나 기존의 PR 공식은 결정적인 한계를 가지고 있는데, 바로 섭동의 분포가 사전에 고정되어 있고 알려져 있다고 가정한다는 점이다(예: 가우시안 또는 균등 분포 가정). 실제 시나리오에서 섭동의 실제 분포는 알려진 경우가 거의 없다. 임의로 정의된 분포에 의존하는 것은 위험을 과소평가하는 결과를 초래할 수 있는데, 선택된 분포가 허용 가능한 예산 내에서의 "최악의 경우"의 확률적 동작을 나타내지 못할 수 있기 때문이다. 따라서 미리 정의된 분포 가정에 의존하지 않고, 데이터로부터 직접 보수적인 추정치를 도출할 수 있는 강건성 지표가 필요하다.

2. 방법론

본 논문은 데이터로부터 최적화된 섭동 분포를 학습하여 보수적인(하한값) 강건성 추정치를 제공하는 비매개변수 확률적 강건성(NPPR) 프레임워크를 제안한다.

핵심 정의:

• NPPR 지표: 허용 가능한 섭동 분포 집합($\mathcal{P}_\epsilon$)에 대한 PR의 인피멈(infimum, 하한)으로 공식 정의된다. 고정된 $\omega$를 사용하는 표준 PR와 달리, NPPR은 모델이 올바르게 동작할 확률을 최소화하는 분포 $\omega \in \mathcal{P}_\epsilon$를 찾는다:
  $$S_{NPPR}(x, y) \triangleq \inf_{\omega \in \mathcal{P}_\epsilon} \mathbb{E}_{\epsilon \sim \omega(\cdot|x)} [\mathbb{1}_{h(x+\epsilon)=y}]$$
• 이론적 경계: 저자들은 $G_{AR} \le G_{NPPR} \le G_{PR}$임을 입증하였으며, 여기서 $G$는 전역 강건성을 나타낸다. NPPR은 표준 PR보다 더 보수적인 척도이지만, 일반적으로 최악의 경우인 AR보다는 높다.

추정 프레임워크:
NPPR을 추정하기 위해, 저자들은 **가우시안 혼합 모델(Gaussian Mixture Model, GMM)**을 기반으로 학습 가능한 추정기를 개발하였다:

1. 분포 모델링: 섭동 분포는 $K$개의 성분을 가진 유한한 GMM으로 근사된다. 모델의 강건성을 최소화하도록 파라미터(가중치, 평균, 공분산)가 학습된다.
2. 의존성 시나리오: 프레임워크는 섭동과 입력/레이블 사이의 네 가지 의존 구조를 지원한다:
   • 입력 독립형(Input-independent): 노이즈가 모든 입력에 대해 정적임.
   • 레이블 의존형(Label-dependent): 노이즈가 실제 레이블에 따라 변함.
   • 입력 의존형(Input-dependent): 노이즈가 입력 특징에 따라 변함.
   • 결합 의존형(Joint dependence): 위의 구조들이 결합된 형태.
3. 최적화 및 훈련:
   • 목적은 학습된 분포에 대해 기대 손실(logit margin)을 최소화하는 것이다.
   • GMM은 이산 샘플링(성분 선택)을 포함하므로, 종단간(end-to-end) 훈련을 가능하게 하는 미분 가능한 완화(relaxation)를 위해 Gumbel-Softmax 트릭이 사용된다. 이를 통해 확률적 경사 하강법(SGD)을 통한 훈련이 가능하다.
   • 아키텍처: 경량 멀티 레이어 퍼셉트론(MLP) 헤드가 GMM을 매개변수화한다. 고차원 이미지 공간을 처리하기 위해, 섭동은 저차원 특징 공간에서 모델링된 후 **바이큐빅 업샘플링(bicubic up-sampling)**을 통해 입력 공간으로 매핑된다.
   • 제약 조건: 스케일링된 tanh 매핑을 통해 섭동이 규정된 $L_p$-노름 예산 내에 머물도록 보장한다.

3. 주요 기여

1. 공식 지표: 본 논문은 확률적 강건성의 개념을 비매개변수 설정으로 확장하여, NPPR을 공식적으로 정의하고 이를 AR 및 표준 PR과 이론적으로 연결하였다.
2. 추정기 개발: Gumbel-Softmax 완화를 사용하는 GMM을 사용하여 실용적인 NPPR 추정기를 개발하였다. 이는 고정된 사전 확률을 가정하지 않고도 보수적인 섭동 분포를 학습하며, 완화된 목적 함수에 대한 이론적 수렴성을 보장한다.
3. 포괄적 평가: 제안된 방식은 다양한 데이터셋(CIFAR-10, CIFAR-100, Tiny ImageNet)과 아키텍처(ResNet18/50, WideResNet50, VGG16)를 통해 검증되었다.
4. 오픈 소스: 저자들은 전체 구현체와 실험 세부 사항을 공개한다.

4. 실험 결과

실험 결과, NPPR은 고정된 분포(가우시안, 균등, 라플라스)를 가정하는 표준 PR 방법들에 비해 더 현실적이고 보수적인 강건성 추정치를 제공함을 보여준다.

• 보수적 추정: 테스트된 모든 모델과 데이터셋에서, 추정된 전역 NPPR($\hat{G}_{NPPR}$)은 고정된 분포에서 도출된 PR 추정치보다 일관되게 낮았으나(예: CIFAR-10, ResNet18의 경우 $\hat{G}_{NPPR} \approx 76.29\%$ vs. $\hat{G}_{PR}^{Gaussian} \approx 95.28\%$), 최악의 경우인 AR보다는 높았다(예: $\approx 3.10\%$). 이는 이론적 경계인 $G_{AR} \le G_{NPPR} \le G_{PR}$을 검증한다.
• 의존성 영향: 섭동 분포가 입력이나 레이블에 의존하도록 허용하는 경우(결합 또는 입력 의존형), 입력 독립형 가정에 비해 일반적으로 더 보수적인(낮은) 강건성 추정치를 산출함을 보여준다.
• 절제 연구(Ablation): GMM 성분의 수($K$)를 늘릴수록 학습된 분포의 표현력이 향상되며, 이는 더 낮은(더 보수적인) NPPR 점수로 이어진다.
• 반경 교차 분석(Cross-Radius Analysis): 더 큰 섭동 반경에서 훈련된 추정기는 더 큰 반경에서 평가될 때 약간 더 보수적인 추정치를 생성하는 경향이 있으며, 이는 다양한 예산 제약 조건에 대한 안정성을 입증한다.

5. 의의 및 주장

본 논문은 NPPR을 새로운 공격 방법이 아니라, 평가자를 위한 보수적인 리스크 추정기로 위치시킨다. NPPR의 주요 의의는 현재의 강건성 평가에 존재하는 "알려지지 않은 분포"의 간극을 해결하는 데 있다.

• 실용성: 알려진 섭동 분포라는 비현실적인 가정을 제거함으로써, NPPR은 노이즈 소스(센서 드리프트, 환경 노이즈 등)가 복잡하고 알려지지 않은 실제 시나리오에서 더 구현 가능한 지표를 제공한다.
• 상호 보완성: 저자들은 NPPL이 AR이나 PR을 대체하는 것이 아니라고 명시한다. 대신, 정확한 확률적 섭동의 성격을 알 수 없을 때 확률적 강건성의 하한 추정치를 제공함으로써 이들을 보완한다.
• 안전성: 허용 가능한 집합 내에서 "최악의 경우"의 확률적 분포를 식별함으로써, NPPR은 다음과 같은 핵심적인 질문에 답하는 데 도움을 준다: "입력이 알려지지 않은 확률적 섭동에 노출될 때, 모델은 최소한 어느 정도의 강건성을 가질 수 있는가?" 이는 고정된 분포 기반의 PR 지표가 간과할 수 있는 안전 마진을 제공한다.