기술 요약: 알레토릭 및 에피스테믹 불확실성 분리를 위한 협력적 분산 추정과 베이지안 신경망

문제 제기

실제 세계 데이터는 본질적으로 두 가지 구별되는 유형의 불확실성을 포함합니다: 알레토릭 불확실성(불완전한 측정 또는 확률적 생성 과정에서 발생하는 데이터 노이즈) 과 에피스테믹 불확실성(제한된 데이터 또는 모델 용량에서 발생하는 모델 불확실성). 평균 - 분산 추정 (MVE) 네트워크는 알레토릭 불확실성을 학습할 수 있지만, 종종 과적합에 시달리며 에피스테믹 불확실성을 예측하지 못합니다. 반면, 베이지안 신경망 (BNN) 은 에피스테믹 불확실성을 예측할 수 있지만, 특히 이질적 (입력 의존적) 인 알레토릭 노이즈를 동시에 모델링하려 할 때 훈련이 매우 어렵기로 유명합니다.

MVE 네트워크를 공동으로 훈련시키는 기존 접근법들은 종종 최적화 문제를 겪습니다. 공동 훈련에 사용되는 음의 로그 가능도 (NLL) 손실 함수는 안장점 (saddle points) 을 가진 비볼록 (non-convex) 지형을 생성합니다. 구체적으로, 분산에 대한 기울기는 분모에 고차항을 포함하여, 네트워크가 노이즈에 과적합되어 분산을 0 으로 만들거나 수렴하지 못해 분산을 무한대로 만드는 불균형을 초래합니다. 또한, 앙상블 방법이나 MVE 네트워크에 대한 MC-Dropout 을 사용하여 불확실성을 분리하려는 시도는 신뢰할 수 없는 결과를 초래하는 것으로 밝혀졌으며, 종종 두 가지 불확실성 유형을 혼동합니다.

방법론: VeBNN

저자들은 평균, 알레토릭 불확실성, 에피스테믹 불확실성의 추정을 순차적으로 분리하는 협력적 훈련 전략인 VeBNN(분산 추정 베이지안 신경망) 을 제안합니다. 이 방법은 세 가지 명확한 단계로 진행됩니다:

1. 평균 네트워크 훈련 (1 단계): 일정한 (동질적) 알레토릭 불확실성을 가정하여 평균 ($\mu$) 을 추정하는 결정론적 네트워크를 훈련합니다. 이는 최적화 지형을 단순화하여 분산 기울기의 간섭 없이 평균에 대한 견고한 점 추정을 찾도록 합니다.
2. 분산 추정 네트워크 훈련 (2 단계): 1 단계에서 고정된 평균 추정의 잔차를 기반으로 알레토릭 불확실성($\sigma^2_a$) 을 예측하는 별도의 네트워크를 훈련합니다. 결정적으로, 기울기 불균형에 시달리는 표준 가우시안 NLL 손실 대신, 저자들은 감마 분포를 사용하여 제곱 잔차를 모델링합니다. 이는 네트워크 매개변수에 대한 기울기에 고차 분모 항이 포함되지 않는 감마 기반 NLL 손실로 이어져 안정적인 최적화를 보장합니다. 그런 다음 알레토릭 분산은 이 감마 분포의 기댓값으로 유도됩니다.
3. 베이지안 신경망 훈련 (3 단계): 1 단계의 평균 추정치와 2 단계의 고정된 알레토릭 분산 추정치를 사용하여 "웜 스타트 (warm start)"로 BNN 을 훈련합니다. 이 단계에서 알레토릭 노이즈는 이제 알려진 고정된 양으로 간주되므로, BNN 은 에피스테믹 불확실성을 포착하기 위해 가중치의 사후 분포 학습에만 집중합니다.

새로운 입력 $x'$에 대한 최종 예측은 총 불확실성을 다음과 같이 분해합니다:

• 예측 평균: BNN 출력의 기댓값.
• 알레토릭 불확실성: 2 단계의 고정된 분산 추정치.
• 에피스테믹 불확실성: 사후 분포 전체에 걸친 BNN 예측 평균의 분산.

저자들은 2 단계와 3 단계 사이를 반복하여 분리 과정을 정교화할 수 있다고 언급하지만, 경험적 결과는 단일 반복 ($K=1$또는 $K=2$) 으로도 종종 수렴이 달성됨을 시사합니다.

주요 기여

• 협력적 훈련 전략: 이 논문은 공동 MVE 훈련에 내재된 결합 최적화 문제를 피하는 순차적 훈련 프레임워크를 소개합니다. 작업을 분리함으로써 이 방법은 공동 평균 - 분산 추정과 관련된 비볼록성과 기울기 불균형 문제를 완화합니다.
• 분산 추정을 위한 감마 가능도: 저자들은 분산 추정을 위해 제곱 잔차를 모델링하는 감마 가능도를 사용하는 것을 제안합니다. 이는 가우시안 NLL 손실의 수치적 불안정성을 피하고 분산 네트워크에 대해 이론적으로 근거가 있으며 볼록한 최적화 문제를 제공합니다.
• 효과적인 분리: 이 방법은 알레토릭 및 에피스테믹 불확실성을 성공적으로 분리하며, 이는 기존 많은 방법들 (MVE 에 적용된 딥 앙상블 및 MC-Dropout 포함) 이 신뢰할 수 있는 분리를 제공하지 못하는 과제입니다.
• 확장성 및 구현: 이 접근법은 표준 아키텍처 (MLP, GRU, ResNet) 와 추론 방법 (pSGLD, 앙상블, BBB, MC-Dropout) 을 사용하여 직관적으로 구현할 수 있으며, 협력적 훈련이 BBB 와 같은 "약한"추론 방법조차 향상시킬 수 있음을 보여줍니다.

실험 결과

저자들은 VeBNN 을 다섯 가지 범주의 데이터셋에 걸쳐 평가했습니다:

1. 1 차원 설명 예제: VeBNN 이 공동 MVE 훈련에서 관찰되는 과신된 분산 예측과 열악한 평균 추정을 피하며, 특히 외삽 영역에서 이를 보여줍니다.
2. UCI 회귀 데이터셋: VeBNN 은 다양한 추론 방법 (앙상블, MC-Dropout, BBB, pSGLD) 에 걸쳐 공동 MVE 대응 모델보다 일관되게 테스트 로그 가능도 (TLL) 와 평균 제곱근 오차 (RMSE) 를 개선했습니다. 특히 VeBNN(BBB) 은 경쟁력 있는 성능을 달성한 반면, 공동 MVE(BBB) 는 종종 수렴하지 못했습니다.
3. 대규모 이미지 회귀: 실제 세계 분포 변화 하에서 VeBNN(앙상블) 은 기준선보다 높은 TLL 과 더 나은 테스트 커버리지를 달성하여 변화된 데이터를 처리하는 더 강력한 능력을 입증했습니다.
4. 재료 소성 법칙 발견 (알려진 정답): 여러 물리 시뮬레이션을 통해 알려진 정답 알레토릭 불확실성을 가진 맞춤형 데이터셋을 사용하여, VeBNN(pSGLD) 은 RMSE, Wasserstein 거리 (추정된 알레토릭 불확실성과 정답의 근접성 측정), 에피스테믹 TLL 에서 모든 기준선을 능가했습니다. 이 방법은 분포 외 영역에서 알레토릭 불확실성은 안정적으로 유지되는 반면 에피스테믹 불확실성이 증가한다는 것을 올바르게 식별했습니다.
5. APPA-REAL 데이터셋: VeBNN 은 MVE 기준선과 비교하여 모든 지표 (RMSE, WA, 에피스테믹 TLL) 에서 최고의 성능을 달성했습니다.

탈분해 연구는 감마 손실이 분산 네트워크에 대해 가우시안 NLL 또는 $\beta$-NLL 보다 우수하며, 이 방법이 빠르게 수렴하여 초기 훈련을 넘어 보통 한 번의 추가 반복만 필요함을 확인했습니다.

중요성 및 주장

이 논문은 제안된 협력적 훈련 전략이 딥러닝의 불확실성 정량화를 위한 강력하고 효율적이며 확장 가능한 솔루션을 제공한다고 주장합니다. 알레토릭 및 에피스테믹 불확실성 추정을 분리함으로써 이 방법은 이종 베이지안 회귀의 광범위한 채택을 제한해 온 최적화 장벽을 극복합니다.

저자들은 BNN 훈련이 결정론적 네트워크 훈련보다 여전히 더 어렵지만, 그들의 접근법은 고품질 웜 스타트 (평균) 와 고정된 알레토릭 노이즈 추정을 제공함으로써 이 과정을 용이하게 한다고 강조합니다. 그들은 이 방법이 재감소 가능 (에피스테믹) 과 재감소 불가능 (알레토릭) 불확실성을 구별하는 것이 능동적 학습 및 위험 민감성 의사결정에 필수적인 안전-중요 응용 분야에 특히 가치 있다고 말합니다. 논문은 VeBNN 이 다양한 모델 아키텍처와 추론 기술을 걸쳐 평균 추정 및 불확실성 분리를 개선할 수 있는 현재 최첨단 방법에 대한 실용적이고 구현 가능한 대안이라고 결론지었습니다.