Robustness of neural networks to random noise perturbations of their inputs

기술 요약: 입력값의 무작위 노이즈 섭동에 대한 신경망의 강건성

문제 정의
본 논문은 입력값이 무작위 노이즈에 의해 섭동될 때 신경망(NN)의 예측 안정성, 즉 신경망의 강건성(Robustness)을 평가하는 문제를 다룬다. 정확도(평균 제곱 오차(MSE) 또는 다중 클래스 브리어 점수(MBS)로 측정)는 모델 품질의 표준적인 지표이지만, 가우시안 노이즈와 같은 조건하에서의 안정성은 고려하지 않는다. 저자들은 정확도를 높이면 강건성이 감소할 수 있다는 알려진 트레이드오프(trade-off) 관계를 언급한다. 기존 연구는 주로 네트워크 가중치를 수정하는 데 집중하거나 분류 문제로 제한되어 있으나, 본 연구는 훈련된 신경망을 "블랙박스"로 취급하며 회귀 및 분류 작업 모두에 대해 입력 섭동에 초점을 맞춘다.

방법론
제안된 접근 방식은 세 단계의 방법론을 포함한다:

1. 섭동 및 강건성 측정치 ($\theta$-강건성):
   저자들은 표준 편차 $\sigma$와 유의 수준 $\alpha$가 주어졌을 때, 훈련된 신경망에 대한 강건성 측정치 $\theta$를 정의한다. 측정치 $\rho(\sigma, \alpha, NN)$는 확률 $1-\alpha$로 발생하는 입력 섭동 $\epsilon \sim N(0, \sigma^2)$ 하에서의 MSE(또는 MBS)의 상한을 나타낸다.

• 계산: 이는 몬테카를로 방법(알고리즘 1)을 사용하여 근사화된다. 알고리즘은 $m$개의 무작위 노이즈 벡터를 생성하고, 결과적인 MSE를 계산한 뒤, 이를 정렬하여 $(1-\alpha)m$ 백분위수의 값을 강건성 상한 $\theta$로 선택한다.
• 입력 처리: 혼합된 피처 유형을 가진 실제 데이터셋의 경우, 수치형 피처에 대해서만 섭동을 가한다. 특정 수치형 피처에 대한 노이즈 분산은 해당 피처의 경험적 표준 편차에 따라 스케일링된다. 확률 $p$는 데이터 항목 내의 특정 수치형 피처가 섭동될지 여부를 결정한다.

2. 강건성 곡선 (Robustness Curves):
   저자들은 섭동 크기와 오차 사이의 관계를 시각화하기 위해 "강건성 곡선"을 도입한다. 이 곡선은 정규화된 강건성 비율 $\rho(\sigma, \alpha, NN) / \text{MSE}_0$ (여기서 $\text{MSE}_0$는 베이스라인 오차)를 노이즈 표준 편차 $\sigma$에 대해 도식화한다. 이러한 정규화는 서로 다른 데이터셋 간의 스케일 불변 비교를 가능하게 한다.

3. 곰퍼츠 함수(Gompertz Function)를 이용한 모델링:
   강건성 곡선은 성장 및 포화 현상에 사용되는 4-매개변수 곰퍼츠 함수에 피팅된다. 피팅은 결정 계수($R^2$)를 사용하여 평가된다. 곡선의 주요 지점은 다음과 같다:

• 니 포인트 (Knee Point): 변곡점 전의 최대 곡률 지점으로, 오차가 천천히 증가하는 선형 영역의 끝을 나타낸다.
• 변곡점 (Inflection Point): 최대 성장률을 보이는 지점.
• 반-최대 기울기 (Half-Maximum Slope): 중간 임계값.

이러드 피팅을 바탕으로 저자들은 **강건성 지수 ($G_i$)**를 정의한다. 수직 점근선을 제거하기 위해 곰퍼츠 곡선을 정규화함으로써, 서로 다른 데이터셋의 "성장률"($b$)과 "변곡점"($c$)을 비교한다. 상대적 강건성 지수($R_{ij}$)는 한 곡선이 다른 곡선보다 아래에 위치하는(더 낮은 오차와 더 높은 강건성을 의미함) 구간 $[0, 1]$의 비율을 계산하여 결정된다.

실험 설정 및 결과
본 방법론은 다섯 가지 실제 데이터셋을 통해 검증되었다:

• 회귀: "암 사망률(Deaths from Cancer)" 및 "독감 예방 접종률(Flu vaccination rates)" (소규모 데이터셋, $n=31$).
• 분류: "심장 질환(Heart disease)", "위스콘신 진단 유방암(Wisconsin diagnostic Breast Cancer)", "MNIST(필기체 숫자)".

피드포워드 신경망(FNN)이 이 데이터셋들에 대해 훈련되었다. 저자들은 자신들의 베이스라인 성능(MSE, RMSE, F1 점수)이 문헌 표준과 유사함을 확인하였다.

• 곡선 피팅: 곰퍼츠 함수는 모든 데이터셋에 대해 우수한 피팅($R^2 > 0.99$)을 제공하였으며, 이는 노이즈가 증가함에 따라 성능이 저하되는 S자형 형태를 확인시켜 주었다.
• 임계값 분석: 회귀 작업의 경우, 저자들은 베이스라인 MSE의 두 배($y=2$)인 사용자 정의 임계값이 합리적인 지표임을 발견했다. 분류 작업의 경우, 곡선의 "니 포인트"가 더 적절했다.
• 강건성 계층 구조: 계산된 강건성 지수($G_i$)를 사용하여 데이터셋을 강건성 순으로 정렬하였다. "암 사망률" 데이터셋이 가장 강건한 모델($G_1 = 0.9866$)을 나타냈으며, 그 뒤를 "독감 예방 접종률", "유방암", "심장 질환", 그리고 마지막으로 "MNIST"($G_5 = 0.1708$)가 이었다. 결과적인 계층 구조는 다음과 같다:
  $$\text{암 사망률} > \text{독감 예방 접종률} > \text{유방암} > \text{심장 질환} > \text{MNIST}$$

의의 및 주장
본 논문은 내부 가중치나 아키텍처 수정 없이도 신경망의 강건성을 정량화할 수 있는 간단하고 효율적인 블랙박스 방법을 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 확률적 상한: 지정된 신뢰 수준에서 가우시안 노이즈 하의 MSE/MBS 상한을 추정하는 방법.
2. 강건성 곡선: 노이즈 증가에 따른 모델 성능의 저하를 분석하여 선형 영역과 포화 지점을 드러내는 시각화 도구.
3. 비교 가능한 지표: 곰퍼츠 곡선 매개변수를 기반으로 한 강건성 지수의 도입을 통해, 서로 다른 데이터셋과 모델 간의 강건성을 정량적으로 비교할 수 있게 함.

저자들은 본 방법론이 테스트된 데이터셋에 효과적이지만, 향후 추가적인 데이터셋에서 검증하고 변이형 오토인코더(VAE)와 같은 생성 모델로 강건성의 개념을 확장할 필요가 있다고 결론지었다. 또한, 훈련된 후 결정론적 블랙박스로 취급될 수 있다면 본 방법론이 다른 머신러닝 알고리즘에도 유효함을 명시하였다.