Can we trust our models? Epistemic calibration in second-order classification

기술 요약: 2차 분류에서의 인식론적 교정 (Epistemic Calibration)

문제 정의

자율 주행, 의료 적용과 같은 고위험 환경에서 머신러닝 모델을 배포할 때는 불확실성 추정이 매우 중요하지만, 현재의 평가 지표들은 불충분합니다. 고전적인 교정(Classical calibration)은 예측 확률(Level-1)의 신뢰성을 평가하며, 즉 예측된 확률 $p$가 경험적 빈도 $p$에 부합하는지를 확인합니다. 그러나 이는 인식론적 불확실성 추정치(Level-2) 자체가 신뢰할 수 있는지를 평가하지는 못합니다.

2차 분류 모델(예: 베이지안 방법론, 앙상블, 증거 기반 딥러닝)은 단일 점 추정치가 아닌 예측에 대한 분포를 출력합니다. 현재 문헌에는 보고된 인식론적 불확실성(2차 분포의 분산)이 실제 모델 예측들의 실제 분산(ground truth 주변의 분산)을 충실히 반영하는지에 대한 상당한 공백이 존재합니다. 기존 방법들은 모델이 데이터 자체의 난이도(우연적 불확실성, aleatoric uncertainty) 때문에 망설이는 것인지, 아니면 학습 데이터의 부족(인식론적 불확실성, epistemic uncertainty) 때문인지 구분하는 데 실패하는 경우가 많으며, 표준 지표들은 평균적인 예측 성능은 우수함에도 불구하고 불확실성 추정치가 잘못 교정되는 특정 실패 모드를 감지하지 못합니다.

방법론 및 프레임워크

본 논문은 2차 모델을 위한 원칙적인 기준으로서 **인식론적 교정(Epistemic Calibration)**을 도입합니다. 분산 기반의 프레임워크에 초점을 맞춘 고전적 교정과 달리, 인식론적 교정은 보고된 불확실성(2차 분포의 분산)이 해당 분포에서 샘플링된 개별 모델들의 실제 기대 제곱 오차(expected squared error)와 일치할 것을 요구합니다.

주요 정의 및 이론적 결과:

1. 인식론적 교정 (정의 5): 2차 예측기 $\Pi$가 인식론적으로 교정되었다는 것은, 임의의 예측 분포 $\Psi$에 대하여, 해당 분포에 따른 진릿값(true label)의 확률이 그 분포의 평균과 같음을 의미합니다. 결정적으로, 이는 분포의 퍼짐(분산)이 평균이 이미 담고 있는 정보 외에 진릿값에 대한 추가적인 정보를 제공하지 않음을 시사합니다(정리 2).
2. 불가능성 정리 (Impossibility Theorem): 저자들은 이들의 연구를 기존의 편향-분산 분해(bias-variance decomposition) 문헌과 연결합니다. 그들은 인식론적으로 교정된 모델의 경우, 분산이 진릿값에 대한 편향을 인코딩할 수 없음을 증명합니다. 즉, 모델이 인식론적으로 교정되어 있다면, 그 불확실성 추정치는 반드시 예측들의 체계적 편향이 아닌, 진릿값 주변의 예측 분산을 엄격하게 반영해야 합니다.
3. 기대 인식론적 교정 오차 (Expected Epistemic Calibration Error, EECE): 이 개념을 실행 가능한 형태로 만들기 위해, 저자들은 EECE를 제안합니다. 이 지표는 결합 예측 공간 내의 빈(bin) 영역 내에서 샘플링된 가설들의 경험적 기대 제곱 오차와 보고된 인식론적 불측성 사이의 불일치를 정량화합니다.
   • 일관성: 논문은 EECE가 진정한 인식론적 교정 오차(True Epistemic Calibration Error, TECE)의 일관된 추정치임을 증명하며(정리 3), 빈의 개수와 샘플 수가 증가함에 따라 진정한 값으로 수렴함을 보여줍니다.

실험 설정:
방법론은 두 그룹의 방법론을 통해 평가됩니다:

• 능동적 방법 (Active Methods): 분산 기반 프레임워크와 이론적으로 호환되는 방법들로, 베이지안 로지스틱 회귀, 베이지안 딥러닝(Laplace Approximation), 딥 앙상블(Deep Ensembles), 랜덤 포레스트(Random Forests), 드롭커넥트(DropConnect), MC-Dropout을 포함합니다.
• 예시적 방법 (Illustrative Methods): 중심점 기반(Centroid-based), 가능도 기반(Likelihood-based), 최근접 이웃(Nearest-neighbor) 접근법으로, 분산 기반 분해를 위해 설계되지 않았으며 예상되는 미교정 상태를 보여주는 베이스라인 역할을 합니다.

실험은 다음 데이터셋에서 수행됩니다:

• 토이 데이터셋 (Toy Dataset): 가우시안 혼합 모델을 사용하여 진릿값을 제어하고 예상되는 동작(예: 노이즈 및 학습 세트 크기에 대한 민감도)을 분석합니다.
• 고차원 시각 데이터셋 (MNIST 및 CIFAR-10): 오토인코더를 통해 데이터를 잠재 공간(latent space)으로 투영한 후, 10개의 이진 'one-vs-all' 분류 작업으로 취급하여 실험합니다.

주요 결과

1. 고전적 교정과의 차이점: 실험 결과, 모델들이 고전적으로는 교정되어 있으면서도(신뢰할 수 있는 평균 예측) 인식론적으로는 미교정되어 있을 수 있음(신뢰할 수 없는 불확실성 추정)을 밝혀냈습니다. 예를 들어, 랜덤 포레스트는 적절한 예측 성능을 보였음에도 낮은 인식론적 교정도를 보인 반 반면, 베이지안 로지스틱 회귀는 선형 분리 가능한 가우시안 데이터에서는 잘 작동했으나 복잡한 실제 데이터에서는 어려움을 겪었습니다.
2. 행동 검증: 토이 데이터셋에서 EECE는 이론적으로 예상된 대로 동작했습니다:
   • 학습 세트의 노이즈가 증가함에 따라 인식론적 교정 오차가 크게 증가했습니다.
   • 학습 세트의 크기가 커짐에 따라 EECE는 감소하였으며, 모델이 확신을 갖게 됨에 따라 정체(plateau)되었습니다.
3. 방법론 비교:
   • 딥 앙상블(Deep Ensembles)과 MC-Dropout은 CIFAR-10 작업에서 강력한 인식론적 교정을 보여주었습니다.
   • **랜덤 포레스트(Random Forests)**는 분산 기반 방법들 중 지속적으로 가장 높은 인식론적 교정 오차를 나타냈습니다.
   • 예시적 방법들(중심점/가능도 기반)은 성능이 저조했으며, 이는 2차 분포나 앙상블 다양성에 근거하지 않은 방법들이 인식론적 교정 기준을 충족하지 못함을 확인시켜 줍니다.
4. 귀납적 편향(Inductive Bias) 의존성: 결과는 인식론적 교정이 모델의 귀납적 편향에 크게 의존함을 강조합니다. 모델은 그 가정이 데이터 구조와 일치할 때(예: 선형 분리 가능한 데이터에 대한 베이지안 로지스틱 회귀) 잘 작동하지만, 복잡한 비선형 실제 데이터에 적용될 때는 성능이 저하됩니다.

의의 및 주장

본 논문은 2차 분류 모델에 대한 신뢰의 원칙적인 토대를 제공한다고 주장합니다. 인식론적 교정을 도입함으로써, 저자들은 연구자와 실무자들이 모델의 "확신(confidence)"이 자신의 불확실성에 대해 유효한지를 평가할 수 있다고 주장합니다.

• 더 강력한 개념: 인식론적 교정은 고전적 교정보다 엄격히 더 강한 조건으로 확립되었습니다.
• 실패 모드 탐지: EECE 지표는 표준 지표로는 보이지 않는 실패 모드, 즉 모델이 실제 예측 분산과 일치하지 않는 높은 불확실성을 보고하는 경우를 포착합니다.
• 실용적 유용성: 이 연구는 이론적인 불확실성 정량화와 안전이 중요한 시스템의 신뢰성 요구 사이의 간극을 메웁니다. 모델이 고위험 환경에서 진정으로 신속하게 신뢰받기 위해서는 단순히 평균적으로 올바르게 예측하는 것을 넘어, 자신의 예측 분포의 분산을 정확하게 보고해야 함을 시사합니다.

저자들은 새로운 학습 알고리즘을 제안하는 것이 아니라, 어떤 기존 방법론이 신뢰할 수 있는지 식별하기 위한 새로운 평가 프레임워크를 제시하는 것임을 명시하며 겸허한 입장을 유지합니다. 특히 복잡한 실제 데이터셋에서는 인식론적 교정이 모든 불확실성 정량화 방법에서 보편적으로 만족되는 것은 아님을 언급하였습니다.