Evaluating deep learning models for fault diagnosis of a rotating machinery with epistemic and aleatoric uncertainty

기술 요약: 에피스테믹(Epistemic) 및 알레아토리크(Aleatoric) 불확실성을 이용한 결함 진단용 딥러닝 모델 평가

문제 정의
모터나 터빈과 같은 회전 기계는 산업 운영에 있어 매우 중요하지만, 막대한 경제적 손실과 안전 문제를 초래할 수 있는 결함이 발생하기 쉽습니다. 딥러닝(DL)은 특징 자동 추출을 통해 결함 진단 성능을 향상시켰으나, 기존의 대부분 방법론은 훈련 데이터와 미래 예측 데이터가 동일한 분포를 공유한다는 가정하에 작동합니다. 실제 환경에서는 이러한 가정이 위배되는 분포 외(Out-of-Distribution, OOD) 데이터가 빈번하게 발생합니다. OOD 데이터는 두 가지 주요 불확실성 원인에서 비롯됩니다:

1. 에피스테믹 불확실성 (지식 불확실성): 훈련 세트에 존재하지 않는 미지의 결함 유형을 마주하는 것과 같이 지식의 부족으로 인해 발생합니다.
2. 알레아토리크 불확실성 (데이터 불확실성): 센서 노이즈(가우시안 또는 비가우시안)나 측정 오류와 같은 데이터 자체의 내재적 변동성으로 인해 발생합니다.

현재의 딥러닝 모델들은 이러한 불확실성을 정량화하지 못하는 경우가 많으며, 이는 모델이 미지의 결함이나 노이즈가 섞인 데이터에 대해 확신을 가지고 잘못된 분류를 수행하게 하여 신뢰할 수 없는 예측을 낳습니다. 따라서 인트라-디스트리뷰션(In-distribution, ID) 데이터와 OOD 데이터를 효과적으로 구분할 수 있는 불측성 인식(uncertainty-aware) 딥러닝 아키텍처를 결정하기 위한 종합적인 비교 연구가 필요합니다.

연구 방법론
저자들은 Case Western Reserve University (CWRU) 베어링 데이터셋을 사용하여 비교 연구를 수행했습니다. 본 연구에서는 세 가지 최첨단 불확실성 인식 딥러닝 아키텍처를 평가했습니다:

1. ConvLSTM-D: 베르누이 드롭아웃(Bernoulli dropout)을 적용한 Convolutional LSTM으로, 추론 시 몬테카를로(MC) 드롭아웃을 활용하여 예측 분포를 생성합니다.
2. 베이지안 신경망 (BNN): 가중치를 가우시안 분포를 따르는 확률 변수로 취급하며, 여러 가중치 샘플을 통해 결과 분포를 생성합니다.
3. 딥 앙상블 (Deep Ensemble): 두 가지 구성을 테스트했습니다:
   • De1: 병렬로 훈련된 4개의 동일한 기본 학습기(base learners).
   • De2: 혼합 아키텍처를 가진 4개의 기본 학습기 (De1과 동일한 2개와 Conv+Pool과 LSTM을 결합한 2개로 구성).

실험 설계:

• 에피스테믹 시나리오: 하나의 결함 클래스를 훈련에서 제외하고 이를 검증/테스트 단계에서 OOD 데이터로 사용하는 홀드아웃(hold-out) 전략을 통해 생성되었습니다. 총 6개의 시나리오가 각 클래스별로 생성되었습니다.
• 알레아토리크 시나리오: 데이터에 노이즈를 주입하여 생성되었습니다. 네 가지 노이즈 유형(Gaussian, Impulse, Rayleigh, Weibull)을 테스트하였으며, 세 가지 강도 수준(신호 대 잡음비(SNR) -5 dB, 0 dB, 5 dB)으로 적용되었습니다.
• 불확실성 정량화: 엔트로피(Entropy)를 불확실성 지표로 사용했습니다. ID와 OOD 데이터를 구분하기 위해 두 가지 임계값을 적용했습니다:
  • $\tau_1$ (불확실성 이상치 탐지): ID 검증 데이터의 엔트로피 값에 대한 사분위 범위(IQR)를 기반으로 합니다.
  • $\tau_2$ (불확실성 F1 스코어): 본 논문에서 제안된 새로운 임계값으로, OOD 탐지(True Positives)와 ID의 올바른 식별(True Negatives) 사이의 균형을 맞추어 검증 세트에서의 F1 스코어를 최대화하도록 최적화되었습니다.

주요 결과

• 에피스테믹 불확실성: 모든 모델이 일부 OOD 데이터를 탐지할 수 있었으나, **딥 앙상블 모델(De1 및 De2)**이 우수한 성능을 보였습니다. 특히 De2는 사용된 임계값에 관계없이 OOD 데이터를 탐지하는 데 탁별한 능력을 보여주었습니다. ConvLSTM-D와 BNN은 특정 시나리오(예: Class 0 또는 Class 2 제외)에서 뚜렷한 한계를 보였습니다.
  • 임계값 트레이드오프: $\tau_1$을 사용하면 OOD 탐지율은 높아지지만, ID 데이터를 신뢰할 수 없는 것으로 오분류하는 높은 위양성(false positives) 문제가 발생했습니다. $\tau_2$는 보다 실용적인 균형을 제공하여, 오분류된 ID 데이터에 대한 광범위한 인간의 재검토 필요성을 줄여주었습니다.
• 알레아토리크 불확실성: 노이즈 수준이 성능에 큰 영향을 미쳤습니다.
  • 높은 노이즈 (강함): 노이즈가 예측 엔트로피를 증폭시킴에 따라 모든 모델에서 OOD 탐지 성능이 크게 향상되었습니다. 딥 앙상블은 80~100%의 OOD 데이터를 탐지하며 우위를 유지했습니다.
  • 낮은 노이즈 (약함): ID와 OOD의 엔트로피 분포가 겹치면서 모든 모델의 성능이 급격히 저하되었습니다. 그러나 딥 앙상블은 여전히 ConvLSTM-D와 BNN보다 우수한 성능을 보이며 성능 저하 폭이 더 완만했습니다.
  • 노이즈 유형: 강한 노이즈 조건 하에서 Weibull 및 Rayleigh 노이즈가 딥 앙상블에 의해 일반적으로 더 잘 탐지되었습니다.
• 계산 효율성:
  • 훈련: 딥 앙상블(De1/De2)은 여러 기본 학습기를 병렬로 훈련해야 하므로 더 많은 훈련 시간이 소요되었습니다.
  • 추론: 딥 앙상블은 MC 샘플링을 위해 $K=10$번의 반복적인 순전파(forward pass)가 필요한 ConvLSTM-D 및 BNN에 비해 예측 단계에서 현저히 빨랐습니다(약 3배).

의의 및 기여
본 논문은 회전 기계의 결함 진단을 위해 에피스테믹 및 다양한 형태의 알레아토리크 불확실성(비가우시안 노이즈 포함)을 다루는 최첨단 불확실성 인식 딥러닝 아키텍처에 관한 첫 번째 종합 비교 연구라고 주장합니다.

주요 기여는 다음과 같습니다:

1. 경험적 가이드 제공: 본 연구는 딥 앙상블 아키텍처(특히 De2)를 실제 현장 배포를 위한 최적의 선택으로 식별했습니다. 이들은 높은 OOD 탐지 정확도, 다양한 노이즈 수준에 대한 강건성, 그리고 빠른 추론 시간 사이의 탁월한 균형을 제공합니다.
2. 새로운 임계값 설정: $\tau_2$ (F1-score 기반) 임계값의 도입은 표준적인 이상치 탐지 방식($\tau_1$)에 대한 실용적인 대안을 제시하며, 이를 통해 실무자가 오경보를 최소화하고 사후 처리 과정에서의 인간 개입 비용을 줄일 수 있도록 돕습니다.
3. 실제 환경과의 정렬: 가우시안 노이즈와 함께 비가우시안 노이즈 유형(Impulse, Rayleigh, Weibull)을 테스트함으로써, 이론적인 불확실성 분석과 실제 산업 센서 데이터에서 발견되는 복잡한 노이즈 환경 사이의 간극을 메웠습니다.

결론
저자들은 불확실성 인식 딥러닝이 신뢰할 수 있는 결함 진단을 위해 필수적이지만, 아키텍처와 임계값의 선택이 매우 중요하다고 결론지었습니다. 딥 앙상블은 강건성과 효율성 측면에서 권장됩니다. 엔트로피 임계값의 선택은 애플리케이션의 중요도에 따라 달라져야 합니다: OOD 데이터를 놓치는 것이 허용되지 않는 고위험 환경에서는 보수적인 임계값($\tau_1$)을, 오경보를 최소화하는 것이 우선인 시나리오에서는 균형 잡힌 임계값($\tau_2$)을 사용해야 합니다. 향후 연구로는 이러한 결과들을 다른 데이터셋(예: Paderborn University)으로 확장하고, 도메인 전문가가 참여하는 능동 학습(active learning) 접근 방식을 조사하는 것이 제안되었습니다.