Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

기술 요약: OOD 탐지 및 능동 학습을 넘어선 인식론적 불확실성(Epistemic Uncertainty)의 평가

문제 정의
인식론적 불확실성(모델의 무지)에 대한 현재의 평가는 OOD(Out-of-Distribution, 분포 외) 탐지나 능동 학습(Active Learning)과 같은 대리 과업(surrogate tasks)에 크게 의존하고 있다. 그러나 저자들은 이러한 대리 과업의 베이즈 최적 결정 전략(Bayes-optimal decision strategies)이 배포 시 인식론적 불확실성을 정량화하기 위해 사용되는 점수와 수학적으로 일치하지 않는다고 주장한다. 구체적으로, OOD 탐지는 예측 손실(predictive loss)과는 독립적으로 입력 가능도 비(input likelihood ratios)를 최적화하는 반면, 능동 학습은 전역적 오차 감소(global error reduction)를 최적화한다. 반면, 배포 맥락에서의 인식론적 불확실성은 국소적 가변 오차(local reducible error, 즉 regret)로 정의된다. 이러한 이론적 불일치는 특정 방법론이 프록시 과업에서는 높은 순위를 기록하더라도, 실제 운영상의 효용인 '후회(regret) 최소화'를 기준으로 평가했을 때는 성능이 저조할 수 있다는 상황을 초래한다. 또한, 최근 문헌은 학습된 알레아토릭(aleatoric) 성분과 인식론적(epistemic) 성분 사이의 높은 순위 상관관계에 기반하여 불확실성 분리(disentanglement)를 비판하고 있는데, 저자들은 이 지표가 기능적 효용을 포착하지 못한다고 주장한다.

방법론
본 논문은 인식론적 불확실성을 평가하기 위해 프록시 과업에 의존하는 대신, 후회(regret)를 식별하는 능력을 직접 측정하는 통합 프레임워크를 제안한다.

1. 이론적 통합: 저자들은 표준 선택적 분류(selective classification, 총 불확실성)와 인식론적 거부 옵션(epistemic reject-option)을 단일한 제약 최적화 프레임워크로 통합한다. 이들은 선택적 예측을 커버리지($\rho$), 기대 위험($R_i$), 그리고 후회($R_e$)에 대한 최적화 문제로 정식화한다.
2. 최적 선택기 증명: 저자들은 임의의 제약 조건 조합에 대해 최적의 선택기가 참값인 알레아토릭($A^*$)과 인식론적($E^*$) 불확실성의 임계값 처리된 볼록 결합(thresholded convex combination)임을 증명한다(정리 1). 최적의 점수는 $(1-\lambda)A^* + \lambda E^*$ 형태를 취하며, 여기서 $\lambda \in [1/2, 1]$이다.
3. 진단 지표 (Pareto-gap): 불확실성 분리를 평가하기 위해 순위 상관관계에 의존하는 대신, 저자들은 (커버리지, 위험, 후회) 공간에서의 모델이 달성 가능한 곡면과 이론적 파레토 최적 곡면($S^*$) 사이의 거리를 측정하는 방법을 제안한다. "파레토 갭(Pareto-gap)"이라 불리는 이 거리는 학습된 성분들이 최적의 의사결정에 필요한 정보를 공동으로 포함하고 있는지를 진단하는 척도로 활용된다.
4. 경험적 벤치마킹: 표준적인 단일 레이블 설정에서 참된 후회(true regret)를 계산하는 것이 불가능함을 우회하기 위해, 저자들은 밀집된 인간 주석(dense human annotations)이 포함된 데이터셋(예: CIFAR-10H, APPA-REAL, DCIC suite)을 사용하여 실제 데이터 생성 분포 $p^*(y|x)$를 근사한다. 이를 통해 베이즈 최적 예측자와 참된 빈도주의적 후회(frequentist regret)를 정확히 계산할 수 있다. 저자들은 표준적인 불확실성 정량화 방법들(MC-Dropout, Deep Ensembles, DDU, Evidential Networks)을 이러한 참값에 대해 벤치마킹하고, 이를 프록시 과업(OOD 탐지, 능동 학습)의 결과와 비교한다.

주요 기여

• 이론적 불일치: 본 논문은 OOD 탐지, 능동 학습(BALD, EER), 그리고 후회 최소화의 베이즈 최적 스코어러들이 입력 공간의 근본적으로 다른 영역을 타겟팅함을 입증한다. 한 기준에 최적화된 방법론이 다른 기준 하에서는 실패할 수 있다.
• 통합 프레임워크: 저자들은 커버리지 제약 조건 하에서 초과 위험(excess risk)을 최소화하기 위한 최적의 결정 규칙이 항상 알레아토릭 및 인식론적 불확실성의 볼록 결합에 대한 임계값임을 수학적으로 증명한다.
• 새로운 진단 도구: 저자들은 불확실성 분리를 평가할 때 순위 상관관계에 의존하는 것에 이의를 제기한다. 저자들은 높은 상관관계가 선형 결합을 통해 최적의 결정 경계를 형성할 수 있다면 분리의 실패를 의미하지 않는다는 것을 보여준다. 또한, 운영상 더 관련성이 높은 지표로서 파레토 갭을 도입한다.
• 경험적 증거: 인간 주석 분포를 활용한 데이터셋을 통한 광범위한 벤치마킹을 통해, 저자들은 의사결정론적 순위(후회 기반)가 프록시 과업 순위(OOD 탐지, 능동 학습)와 실질적으로 상충할 수 있음을 보여준다. 특히, OOD나 능동 학습에서 상위권을 차지한 방법론이 후회 측면에서는 하위권에 머무는 등의 순위 역전 현상을 관찰하였다.

결과

• 순위 역전: CIFAR-10H 데이터셋에서, Evidential Networks는 OOD 탐지 및 능동 학습 벤치마크에서는 낮은 성능을 보였음에도 불구하고, 순수 인식론적 효용(가장 낮은 AuReC)과 가장 작은 파레토 갭을 달 기록하며 최고의 성능을 보였다. 반대로, OOD 탐지를 지배했던 Deep Ensembles와 DDU는 가변 오차(reducible error, 후회)를 격리하는 데 있어 낮은 성능을 보였다.
• 상관관계 vs 효용: CIFAR-10H에서 Evidential Networks는 학습된 알레아토릭 성분과 인식론적 성분 사이에 거의 완벽한 순위 상관관계($\rho_S = 0.999$)를 나타냈다. 전통적인 지표라면 이를 분리 실패로 분류했겠지만, 이 동일한 성분들은 이론적 최적치에 가장 가까운 거리(파레토 갭 = 0.0379)를 달성함으로써 높은 상관관계가 운영적 효용을 저해하지 않음을 입증했다.
• 참값 상관관계: 저자들은 또한 참된 알레아토릭 및 인식론적 불확실성($A^*, E^*$)조차 높은 순위 상관관계(CIFAR-10H에서 최대 0.882)를 보일 수 있음을 언급하였으며, 이는 학습된 성분의 높은 상관관계가 방법론적 실패가 아닌 데이터 생성 과정의 특성을 반영할 수 있음을 시사한다.

의의
본 논문은 불확실성을 평가하기 위해 OOD 탐지와 능동 학습을 프록시로 사용하는 것이 이론적으로 결함이 있으며, 어떤 불확실성 추정치가 유용한지에 대해 오도된 결론을 내릴 수 있다고 주장한다. 후회를 최소화하는 능력으로 평가의 초점을 전환하고, 공동의 운영적 효용을 진단하기 위해 파레토 갭을 도입함으로써, 저자들은 불확실성 정량화를 평가하기 위한 더욱 엄격한 토대를 제공한다. 저자들은 연구자들이 모호한 '무지'의 개념이나 서로 다른 수학적 목적을 최적화하는 대리 과업에 의존하기보다, 다운스트림 액션(예: 위험한 예측에 대한 거부)을 명시적으로 정의해야 한다고 강조한다. 이 연구는 표준적인 평가 지표가 실제 목표인 '가변 오차(reducible error)의 감소'에 최적화된 모델이 아닌, 부적절한 모델을 선택할 수 있음을 경고한다.