Testing Neural Networks via Bayesian-Guided Exploration of Decision Landscapes

기술 요약: 결정 경계의 베이지안 유도 탐색을 통한 신경망 테스트

문제 정의
심층 신경망(DNN)이 안전 필수 영역에 배치됨에 따라, 신뢰성을 평가하기 위한 테스트가 필수적입니다. 그러나 기존의 테스트 방법들은 상당한 한계에 직면해 있습니다. 블랙박스 접근 방식은 내부적인 가이드 없이 무작위 또는 탐색 기반 변이를 사용하므로, 실패를 찾기 위해 과도한 쿼리가 필요할 때가 많습니다. 화이트박스 방식은 일반적으로 뉴런 커버리지를 최대화하는 것을 우선시하지만, 높은 커버리지가 반드시 결정적인 실패 발견을 보장하지는 않습니다. 이는 활성화된 많은 뉴런이 모델의 최종 예측에는 무관할 수 있기 때문입니다. 또한, 기존 전략들은 제한된 변이 예산 하에서 효율성과 다양성 사이의 균형을 맞추는 데 어려움을 겪는 경우가 많으며, 결정과 무관한 영역에 자원을 낭비하거나 유사한 실패 모드로 수렴하는 문제가 발생합니다. 핵심 과제는 원래 데이터의 분포 및 의미론적 특성을 유지하면서도, "결정 결정적 영역(decision-critical regions)"—즉, 작은 섭동이 결정 경계에 유의미한 변화를 일으키는 영역—을 체계적으로 탐색하는 것입니다.

방법론: BAYESWARP
저자들은 다음 세 가지 상호 보완적인 구성 요소를 통해 이러한 한계를 해결하는 화이트박스 테스트 프레임워크인 BAYESWARP를 제안합니다.

1. 결정 결정적 영역 국지화(Decision-Critical Region Localization): 전체 입력 공간을 변이시키는 대신, BAYESWARP는 먼저 살리언시 기반 해석 기술(예: Grad-CAM, Integrated Gradients, SmoothGrad)을 사용하여 모델 결정에 매우 영향력이 큰 영역을 식별합니다. 이후 결과물인 살리언시 맵을 다음과 같이 처리합니다:

   • 상위 살리언시 픽셀을 유지하기 위한 임계값 설정.
   • 8-연결 성분(8-connected components) 추출 및 작은 파편 제거.
   • 파편화를 줄이기 위해 IoU(Intersection-over-Union) 및 중심점 거리를 기반으로 바운딩 박스 병합.
   • 사전 정의된 커버리지 예산($\rho$)에 따라 살리언시 질량(saliency mass)을 기준으로 병합된 박스 중 일부를 선택. 이를 통해 픽셀 수준의 속성을 다루기 쉬운 국지적 변이 공간으로 변환합니다.

2. 다양성 지향적 테스트 목적 함수(Diversity-Oriented Testing Objective): 이 프레임워크는 원래 클래스의 확신도를 억제하고 선택된 타겟 클래스의 확신도를 높이는 것을 적응적으로 균형 있게 조절하는 목적 함수를 정의합니다.

   • 적응형 가중치(Adaptive Weighting): 동적 가중치 $\lambda(x)$는 타겟 클래스의 확신도가 높아짐에 따라 원래의 결정을 불안정하게 만드는 것에서 예측 발산을 유도하는 것으로 목적 함수의 초점을 전환합니다.
   • 타겟 클래스 스케줄링(Target Class Scheduling): 시스템은 초기 확신도가 가장 높은 미탐색 타겟 클래스를 반복적으로 선택하며, 단일 실패 방향에 과도하게 집중되는 것을 방지하기 위해 클래스당 고정된 변이 예산을 할당합니다.

3. 베이지안 유도 변이(Bayesian-Guided Mutation): 고정된 예산 내에서 국지적 변이 공간을 효율적으로 탐색하기 위해, BAYESWARP는 희소 변분 가우시안 프로세스(Sparse Variational Gaussian Process, SVGP) 대리 모델을 사용하는 **베이지안 최적화(Bayesian Optimization, BO)**를 채택합니다.

   • 변이는 결정적 영역을 덮는 조밀하지 않은 공간 격자(coarse spatial grid) 상에서 매개변수화되어 차원을 축소합니다.
   • SVGP 대리 모델은 목적 함수를 모델링하여 예측 평균과 불확실성 추정치를 제공합니다.
   • 상한 신뢰 경계(Upper Confidence Bound, UCB) 획득 함수는 유망한 방향에 대한 착취(exploitation)와 불확실한 영역에 대한 탐색(exploration) 사이의 균형을 맞추며 변이 단계를 안내합니다.
   • 이 과정에는 생성된 테스트 케이스가 원래 데이터 분포의 범위 내에 머물도록 하는 제약 조건이 포함되며, 조기 수렴을 피하기 위해 확률적 노이즈 주입이 포함됩니다.

주요 기여

• 접근 방식: 결정 결정적 영역 국지화, 적응형 다양성 지향 목적 함수, 그리고 확장 가능한 SVGP 기반 베이지안 최적화를 통합한 BAYESWARP를 도입했습니다.
• 도구: 오픈 소스 형태의 자동화된 테스트 프레임워크 구현체를 제공합니다.
• 평가: MNIST, CIFAR-10, ImageNet의 세 가지 데이터셋과 LeNet, VGG, ResNet의 여섯 가지 신경망 모델에 걸친 포괄적인 평가를 통해, 기존의 최첨단 베이스라인(ADAPT, NSGen, SUNTest)보다 우수한 성능을 입증했습니다.

결과
실험 결과, 고정된 변이 예산(시드당 10,000회의 변이) 하에서 BAYESWARP는 다음과 같은 주요 지표에서 기존 방법들을 능가하는 것으로 나타났습니다:

• 실패 발견: 대부분의 모델과 데이터셋에서 더 높은 실패 수(Number of Failures, NoF)와 실패 유발 시드 비율(Failure-inducing Seed Rate, FSR)을 달s성했습니다.
• 효율성: 베이스라인 대비 더 낮은 실패당 시간(Time per Failure, TPF)을 기록하여, 변이 예산을 더 효과적으로 사용함을 보여주었습니다.
• 다양성: 단일한 지배적 방향이 아닌 여러 경쟁적인 결정 방향을 탐색함으로써 더 넓은 범위의 실패 모드(높은 실패 다양성, Diversity of Failures, DoF)를 발견했습니다.
• 품질: 생성된 테스트 케이스가 더 낮은 Fréchet Inception Distance(FID)와 더 높은 의미론적 일관성 점수(Semantic Consistency Score, SCS)를 나타내어, 원래 데이터와 분포적 및 의미론적으로 가깝다는 것을 확인했습니다.
• 내부 커버리지: 명시적으로 커버리지를 최적화하지 않음에도 불구하고, BAYESWARP는 베이스라인보다 더 높은 Top-k 뉴런 커버리지(TKNC)와 결정적 뉴런 커버리지(CNC)를 달성하여, 결정과 관련된 내부 상태를 효과적으로 실행함을 시사했습니다.
• 모델 개선: BAYESWARP로 생성된 실패 사례를 통해 모델을 미세 조정(fine-tuning)했을 때, 다른 테스트 기법의 사례들로 미세 조정했을 때보다 더 큰 정확도 향상을 보였습니다.

의의 및 주장
본 논문은 BAYESWARP가 DNN 테스트 패러다임을 전역적 또는 커버리지 중심의 변이에서 결정 결정적이고 다양성 지향적인 탐색으로 전환하는 가치를 입증한다고 주장합니다. 결정에 영향을 미치는 영역에 집중하고 불확실성을 고려한 최적화를 사용하여 이를 탐색함으로써, 이 프레임워크는 데이터의 충실도를 희생하지 않으면서도 다양한 모델의 약점을 찾아냅니다. 저자들은 이 접근 방식이 무작위 또는 순수 커버리지 기반 방법이 생성하는 실패보다 재학습 및 모델 강건성 향상에 더 유익한 내재적 모델 불안정성을 드러낸다고 상정합니다. 본 연구는 위협 모델 하에서 최소 섭동을 최적화하는 적대적 공격(adversarial attacks)과 달리, 테스트 및 개선을 위한 다양하고 분포에 부합하는 실패 모드 발견을 우선시한다는 점에서 차별화됩니다.