An uncertainty-aware Bayesian framework for machine learning classification models: A case study in land cover classification

기술 요약: 기계 학습 분류 모델을 위한 불확실성 인식 베이지안 프레임워크

문제 제기

기계 학습 (ML) 분류 모델은 토지 피복 (LC) 매핑과 같은 응용 분야에서 점점 더 보편화되고 있지만, 의사 결정을 설명하거나 불확실성을 정량화하지 못함으로써 종종 "신뢰성"이 부족합니다. 불확실성 정량화 (UQ) 에 대한 현재 연구는 인식론적 불확실성 (모델 불확실성) 에 크게 초점을 맞추고 있지만, 입력 측정 불확실성은 종종 간과됩니다. 계량학 및 지구 관측 분야에서 입력 데이터는 장치의 한계나 추적성 사슬 내 이전 측정 모델의 결과로 인해 고유한 불확실성을 수반하는 경우가 많습니다. 이러한 입력 불확실성을 무시하면 기후 모델링, 온실가스 계정과 같은 하위 응용 분야에 대한 추적성 사슬이 끊어집니다. 또한, 랜덤 포레스트 (RF) 나 신경망 (NN) 과 같은 표준 복잡한 모델은 계산 비용이 많이 드는 몬테카를로 앙상블 접근법 없이는 입력 측정 불확실성을 자연스럽게 통합할 수 없습니다.

방법론

저자들은 생성형 ML 분류 모델에 입력 측정 불확실성을 통합하기 위한 일반적인 베이지안 프레임워크를 제안합니다. 핵심 방법론은 측정된 입력을 알려지지 않은 실제 값의 실현으로 간주하는 변수 오차 (EiV) 접근법에 기반합니다.

1. 프레임워크 공식화:

   • 모델은 측정된 입력 $x$가 측정 오차 $\epsilon_x$에 노출된 실제 입력 $\chi$의 실현이라고 가정합니다 ($x = \chi + \epsilon_x$).
   • 베이즈 정리를 사용하여, 클래스 사후 예측 확률은 실제 알려지지 않은 입력과 모델 매개변수에 대해 적분함으로써 유도됩니다.
   • 이 프레임워크는 측정 불확실성 매개변수가 알려진/고정된 경우와 알려지지 않은 경우 (모델 매개변수와 함께 추정됨) 를 구분합니다. 본 논문은 불확실성 매개변수가 베이지안 추론을 통해 학습되는 후자에 초점을 맞춥니다.

2. 구체적 구현: 베이지안 이차 판별 분석 (BQDA):

   • 저자들은 클래스 조건부 분포를 다변량 가우시안으로 모델링하는 매개변수형 생성 분류기인 **이차 판별 분석 (QDA)**을 사용하여 이 프레임워크를 구체화합니다.
   • 측정 모델: 입력 측정 불확실성은 실제 입력을 중심으로 하는 다변량 가우시안 분포로 모델링됩니다.
   • 해석적 해: 가우시안 매개변수에 대한 켤레 사전 분포를 가정함으로써, 저자들은 사후 예측 분포에 대한 해석적 표현을 유도합니다. 이는 복잡한 모델에서 일반적으로 필요한 비적분 가능 사후 분포를 처리하기 위해 필요한 마코프 체인 몬테카를로 (MCMC) 와 같은 샘플링 기법의 필요성을 제거합니다.
   • 결과 분포: 클래스에 대한 최종 예측 분포는 모델 매개변수의 불확실성 (인식론적) 과 입력 측정 잡음 (알레토릭) 을 모두 자연스럽게 고려하는 다변량 t-분포입니다.

3. 사례 연구: 토지 피복 분류:

   • 데이터: 스코틀랜드의 20km × 20km 지역을 대상으로 한 2020~2021 년 코페르니쿠스 센티넬 -2 데이터.
   • 레이블: UKCEH 지도에서 3 년간 변경되지 않은 레이블 (시간적 안정성 기준) 과 95% 이상의 분류 확률 (품질 기준) 을 사용하여 자동으로 유도되었습니다.
   • 불확실성 생성: 입력 불확실성을 시뮬레이션하기 위해 저자들은 대기 보정 (Sen2Cor) 에 사용된 에어로졸 광학 깊이 (AOD) 를 변화시켰습니다. CAMS 데이터 불확실성에 기반한 가우시안 분포에서 AOD 를 샘플링하여 각 픽셀에 대해 25 개의 대기 하단 (BOA) 반사율 실현을 생성했습니다.
   • 클래스: 네 가지 LULUCF 클래스: 산림, 경작지, 초지, 정착지.

주요 기여

• 입력 불확실성을 위한 프레임워크: 잡음이 없는 입력에 대한 표준 가정을 넘어, 생성형 분류기에 입력 측정 불확실성을 명시적으로 통합하는 구체적인 베이지안 방법론.
• 해석적 BQDA 유도: 입력 잡음을 모델링하는 BQDA 에 대한 폐형식 해 (closed-form solution) 를 유도하여, 앙상블 평균이나 MCMC 없이도 효율적인 계산을 가능하게 함.
• 벤치마킹: 다양한 잡음 강도와 차원을 가진 합성 데이터셋과 실제 토지 피복 데이터셋 모두에서 표준 분류기 (표준 QDA, LDA, 랜덤 포레스트, 신경망) 에 대한 BQDA 의 포괄적인 비교.

결과

이 연구는 계산 비용과 함께 매크로 F1/F2 점수, 교차 엔트로피 손실, 그리고 확률 보정을 위한 적절한 스코어링 규칙인 브라이어 점수를 사용하여 성능을 평가했습니다.

1. 실제 토지 피복 데이터:

   • 소규모 데이터 영역: 훈련 데이터가 부족한 경우 (예: 1000 픽셀 미만) BQDA 는 표준 QDA 및 기타 벤치마크보다 크게 우월한 성능을 발휘했습니다. 표준 QDA 는 이러한 시나리오에서 종종 실패 (특이 공분산 행렬) 하는 반면, BQDA 의 베이지안 사전 분포는 정규화제 역할을 합니다.
   • 일반화 능력: 서로 다른 연도에서 훈련 및 테스트할 때 (예: 2020 년 훈련, 2021 년 테스트), BQDA 는 가장 일관된 성능 (최저 브라이어 점수) 을 유지하여 도메인 간 예측 불확실성 처리의 우수성을 나타냈습니다.
   • 클래스 성능: 높은 분광 분산으로 인해 모든 모델이 "경작지"에서 어려움을 겪었지만, BQDA 는 더 신뢰할 수 있는 확률 출력을 제공했습니다.
   • 효율성: BQDA, QDA, LDA 는 RF 및 NN 보다 계산적으로 훨씬 효율적이었습니다. RF 나 NN 과 달리 BQDA 는 훈련 중 난수 생성이 아닌 해석적 표현에 의존하므로 동일한 데이터가 주어지면 재현 가능한 결과를 생성합니다.

2. 합성 데이터 실험:

   • 2, 10, 50 개의 입력 변수를 가지며 다양한 잡음 강도 (가우시안 및 균일) 를 가진 합성 가우시안 데이터에 대해 실험이 수행되었습니다.
   • 강건성: 잡음 강도가 증가함에 따라 BQDA 는 다른 모델들보다 일관되게 더 나은 지표 점수를 달성했습니다.
   • 고차원 잡음: 고차원 설정 (50 변수) 에서 BQDA 는 벤치마크를 능가했을 뿐만 아니라 잡음이 증가함에 따라 더 느리게 감소하여 과적합에 대한 베이지안 사전 분포의 정규화 효과를 입증했습니다.
   • 분포 독립성: BQDA 의 성능 우위는 가우시안 및 균일 입력 잡음 분포 모두에서 유지되었습니다.

중요성 및 주장

본 논문은 제안된 BQDA 프레임워크가 계량학적 추적성이 필요한 응용 분야에 대한 복잡한 블랙박스 모델보다 더 신뢰할 수 있고 해석 가능한 대안을 제공한다고 주장합니다.

• 해석 가능성: NN 나 RF 와 달리 BQDA 매개변수는 입력 데이터의 평균과 공분산에 직접 매핑되므로, 모델의 결정 경계와 불확실성 원천이 투명합니다.
• 효율성: 몬테카를로 앙상블의 무거운 비용 없이 입력 불확실성을 고려할 수 있는 계산적으로 효율적인 방법을 제공합니다.
• 계량학적 관련성: 입력 측정 불확실성을 명시적으로 모델링함으로써, 프레임워크는 계량학에서 요구되는 "추적성 사슬"을 지원하여 기후 모델링과 같은 하위 응용 분야가 불확실성을 올바르게 전파할 수 있도록 합니다.

저자들은 겸손하게 한계를 지적합니다. 현재 작업은 **클래스 레이블링 불확실성 (예: 혼합 픽셀)**을 다루지 않으며, 입력 불확실성 분포가 사전에 알려진 것이 아니라 학습되어야 하는 경우에 초점을 맞춥니다. 그러나 이 프레임워크는 이러한 미래의 과제들로 확장 가능하게 제시됩니다.