기술 요약: PRBench: 표준화된 확률적 견고성 벤치마크

문제 제기

딥러닝 모델은 본질적으로 지각 불가능한 입력 교란에 취약합니다. 해당 분야는 적대적 견고성 (Adversarial Robustness, AR)—최악의 경우 결정론적 적대적 예제 (AEs) 에 대한 모델의 저항 능력을 평가하는 것—에 광범위하게 초점을 맞춰 왔으나, 이러한 관점은 종종 실제 세계 위험의 확률적 특성을 포착하지 못합니다. **확률적 견고성 (Probabilistic Robustness, PR)**은 확률적 교란 하에서 모델의 예측이 정확할 확률을 측정함으로써 더 실용적인 대안을 제시합니다.

PR 의 인정된 가치에도 불구하고, AR 에 비해 이를 개선하기 위해 특별히 설계된 훈련 방법에 대한 연구는 여전히 미흡합니다. 기존 PR 대상 훈련 방법은 세 가지 치명적인 한계를 겪고 있습니다:

1. 비교 불가능한 평가 프로토콜: 방법론들이 상이한 지표를 사용하여 전체적인 평가를 방해합니다.
2. 제한된 베이스라인 비교: anecdotal evidence(경험적 증거) 에 따르면 AR 을 위해 주로 설계된 표준 적대적 훈련 (AT) 방법이 PR 개선 도구로서 "무료 부산물"로 PR 을 향상시킬 수 있다는 사실에도 불구하고, AT 방법이 PR 개선 도구로서 어떻게 작동하는지에 대한 이해가 부족합니다.
3. 통합 이론적 프레임워크 부재: 서로 다른 PR 대상 훈련 방법들의 일반화 능력을 비교할 수 있는 공통된 이론적 기초가 없습니다.

방법론: PRBench

이러한 격차를 해소하기 위해 저자들은 PRBench를 소개합니다. 이는 확률적 견고성을 개선하기 위한 훈련 방법을 평가하는 최초의 표준화된 벤치마크입니다.

실험 범위

• 규모: 이 벤치마크는 7 개의 데이터셋(MNIST, SVHN, CIFAR-10, CIFAR-100, CINIC-10, TinyImageNet, ImageNet-50) 과 10 개의 모델 아키텍처(VGG-19, ResNet 변형, WideResNet, ViT, DeiT 포함) 를 통해 229 개의 모델을 훈련하고 평가합니다.
• 훈련 방법: PRBench 는 13 가지 고유한 훈련 접근법을 분류하고 비교합니다:
  • 표준 훈련: 경험적 위험 최소화 (ERM).
  • 적대적 훈련 (AT): PGD, TRADES, MART, ALP, CLP 및 새로 도입된 진단 변형 KL-PGD(AE 생성에는 KL-발산을 사용하지만 훈련에는 교차 엔트로피를 사용함) 를 포함한 6 가지 방법.
  • 위험 기반 훈련 (RT): 최악의 경우 AEs 가 아닌 교란 분포에 대한 통계적 위험을 최적화하는 4 가지 방법 (Corruption 훈련, CVaR, EVaR).
  • 하이브리드 방법: AT-PR은 "모든 AE" 영역을 최대화하는 최적의 AEs 를 식별함으로써 PR 을 목표로 하는 AT 원칙을 적용한 최근 접근법입니다.
• 평가 지표: 벤치마크는 포괄적인 지표 세트를 사용합니다:
  • 클린 정확도 (Clean Accuracy): 교란되지 않은 데이터에 대한 표준 성능.
  • 적대적 견고성 (AR): 4 가지 화이트박스 공격 (PGD10, PGD20, C&W, Auto-Attack) 을 통해 측정.
  • 확률적 견고성 (PR): $PR_D(\gamma)$(교란 하에서 정확한 예측의 평균 확률) 과 $ProbAcc(\rho)$(견고성 임계값을 초과하는 입력의 비율) 를 사용하여 정량화.
  • 일반화 오차 (GE): AR 및 PR 에 대한 훈련 및 테스트 성능 간의 차이.
  • 효율성: 에포크당 훈련 시간.

이론적 분석

저자들은 **균일 알고리즘적 안정성 (Uniform Algorithmic Stability)**에 기반한 이론적 분석을 제공합니다. 그들은 다양한 훈련 체계 하에서 일반화 오차 (GE) 에 대한 경계를 유도합니다:

• RT 방법: AT 에 비해 더 매끄러운 훈련 과정 (Lipschitz 및 매끄러움 속성) 을 제공함이 증명되었으며, 이는 이론적으로 낮은 GE 와 감소된 견고성 과적합을 설명합니다.
• AT 방법: 분석에 따르면 AT 는 대리 손실의 매끄러움에 비례하는 추가 항을 도입하여 견고성 과적합에 기여합니다. 그러나 소프트맥스 출력에 페널티를 부과하는 방법 (TRADES 등) 은 목적 함수의 Lipschitz 상수를 줄임으로써 이를 완화할 수 있습니다.

주요 결과

실증적 평가는 두 가지 뚜렷한 트레이드오프 프론티어를 드러냅니다:

1. 견고성에서의 적대적 훈련 (AT) 우위:

   • PR 이 전문화된 훈련을 필요로 한다는 가정과 달리, 표준 AT 방법 (예: PGD, TRADES) 은 AR 과 PR 모두를 개선하는 데 있어 PR 대상 방법보다 일관되게 우수합니다.
   • AT 훈련 모델은 훈련 교란 노름-볼 내에서 99% 이상의 PR 성능을 달성하며, 종종 PR 전용 방법과 비교하여 거의 추가 비용 없이 이를 달성합니다.
   • 이는 많은 시나리오에서 PR 이 강력한 AR 훈련의 "무료 부산물"임을 시사합니다.

2. 정확도와 일반화에서의 PR 대상 방법:

   • RT 방법 (예: Corruption, CVaR) 은 표준 ERM 대비 PR 을 개선하지만, AR 성능에서는 AT 에 비해 현저히 뒤처지며 강력한 공격 하에서는 종종 거의 0 에 수렴합니다.
   • 그러나 RT 방법은 AT 방법 대비 더 높은 클린 정확도를 유지하며 **더 낮은 일반화 오차 (GE)**를 보입니다.
   • AT-PR 하이브리드 방법은 균형 잡힌 트레이드오프를 제공하여 AT 와 유사한 PR 성능, RT 보다 우수한 AR 성능, 그리고 표준 AT 보다 나은 클린 정확도를 달성하지만, 이는 상당히 높은 계산 비용이 따릅니다.

3. 효율성 대 성능:

   • Corruption 훈련은 매우 효율적이지만 견고성 향상은 제한적입니다.
   • CVaR 과 AT-PR 은 다중 샘플 또는 복잡한 최적화 루프가 필요하여 계산 비용이 많이 듭니다.
   • 표준 AT 방법 (PGD 및 TRADES 등) 은 효율성 측면에서 중간 지점을 제공하면서도 가장 높은 종합 견고성 점수를 제공합니다.

중요성과 주장

이 논문은 PRBench 를 해당 분야의 필수적인 표준화로 위치시키며, 현재 통일된 평가의 부재가 AR 과 PR 간의 관계 이해를 방해한다고 주장합니다.

• PR 전용 방법의 필요성 재평가: 저자들은 강력한 AT 방법들이 이미 상당한 PR 개선을 산출하므로, 별도의 PR 대상 훈련 방법을 개발할 실용적 필요성이 제한적일 수 있다는 "대담한 가설"을 제기합니다.
• 미래 방향: 저자들은 PR 전용 접근법에만 집중하기보다, AR 과 PR 을 동시에 향상시키면서 클린 정확도와 낮은 일반화 오차를 유지하는 다목적 AT 기반 접근법(예: 진단용 KL-PGD 또는 하이브리드 AT-PR) 을 향후 연구가 우선시해야 한다고 제안합니다.
• 자원 가용성: 이러한 연구를 촉진하기 위해 저자들은 훈련된 229 개 모델의 결과를 모두 포함하는 공개 리더보드와 오픈소스 코드베이스를 공개하여 현재 및 미래의 견고성 훈련 방법의 체계적 비교를 가능하게 했습니다.

요약하자면, PRBench 는 전문화된 PR 훈련이 일반화와 클린 정확도 측면에서 이점을 제공하지만, 표준 적대적 훈련이 높은 확률적 견고성을 달성하기 위한 가장 효과적이고 효율적인 전략임을 보여주며, 고립된 PR 훈련 패러다임의 필요성에 의문을 제기합니다.