📊 statistics

Density-Informed Pseudo-Counts for Calibrated Evidential Deep Learning

이 논문은 분포 외 데이터에 대한 표준 증거적 딥러닝(Evidential Deep Learning)의 과잉 확신 문제를 해결하기 위해, 주변 공변량 밀도(marginal covariate density)를 통해 클래스 예측과 불확실성 추정을 분리함으로써 분포 변화 하에서도 더 잘 보정된 불확실성과 강건성을 달성하는 밀도 정보 기반 의사 계수 EDL(Density-Informed Pseudo-count EDL, DIP-EDL)을 제안한다.

원저자: Pietro Carlotti, Nevena Gligić, Arya Farahi

게시일 2026-07-20

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Pietro Carlotti, Nevena Gligić, Arya Farahi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 수천 장의 고양이와 강아지 사진을 보여주었고, 로봇은 매우 높은 확신을 가지고 "고양이" 또는 "개"라고 말하는 법을 배웠습니다. 하지만 당신이 로봇에게 토스터기 사진을 보여준다면 어떻게 될까요? 일반적인 로봇은 여전히 99%의 확신을 가지고 "고양이!"라고 외칠 것이며, 자신이 맞다고 완전히 확신할 것입니다. 비록 그것이 주방 가전제품을 보고 있음에도 말이죠. 이것은 인공지능 세계의 중대한 문제입니다. 기계는 자신이 무엇을 모르는지를 아는 데 매우 서툴 때가 많습니다. 특히 학습하지 않은 것을 보게 되면 과도하게 자신만만해집니다.

이를 해결하기 위해 과학자들은 **증거 기반 딥러닝(Evidential Deep Learning, EDL)**이라는 기술을 사용합니다. EDL을 로봇에게 정답과 함께 제공되는 "확신 미터기"라고 생각해보세요. 단순히 추측하는 대신, 로봇은 자신이 얼마나 많은 "증거"를 가지고 있는지 추정하려고 노력합니다. 만약 로봇이 백만 마리의 고양이를 보았다면, 그에게는 산더미 같은 증거가 있습니다. 하지만 토스터기를 본다면, 로봇은 증거가 거의 없어야 하며 "잘 모르겠습니다"라고 말해야 합니다. 그러나 연구자들은 현재의 이 확신 미터기가 고장 났다는 사실을 발견했습니다. 이 미터기는 두 가지 다른 종류의 불확실성을 혼동합니다. 데이터 자체가 지저나서 발생하는 불확실성(예: 흐릿한 사진)과, 로봇이 단순히 이전에 본 적 없는 물체를 보고 있을 때 발생하는 불확실성을 혼동하는 것입니다. 이러한 혼동 때문에, 로봇은 완전히 새로운 것을 보고 있을 때조차 고집스럽게 자신만만한 태도를 유지하곤 합니다.

"Density-Informed Pseudo-Counts for Calibrated Evidential Deep Learning"이라는 제목의 이 논문은 이 고장 난 확신 미터를 다룹니다. 텍사스 대학교 오스틴 캠퍼스의 피에트로 카를로티(Pietro Carlotti), 네베나 글리치치(Nevena Gligić), 아리아 파라히(Arya Farahi)는 먼저 기존 방식이 왜 실패하는지를 수학적으로 증명합니다. 그들은 로봇의 확신이 실제 데이터가 아니라, 인간 프로그래머가 선택한 무작위 설정에 의해 제어되고 있음을 보여줍니다. 이를 해결하기 위해 그들은 DIP-EDL이라는 새로운 방법을 발명했습니다. 단순히 추측하는 대신, DIP-LDE는 로봇에게 두 가지 별도의 기술을 가르칩니다. 첫째, 동물을 인식하는 법(분류)이고, 둘째, 데이터의 "이웃"을 지도화하여 그 구역이 얼마나 붐비는지 혹은 비어 있는지를 파악하는 법(밀도)입니다. 만약 로봇이 매우 텅 빈, 낯선 구역에서 토스터기를 본다면, DIP-EDL은 로봇이 함부로 추측하는 대신 "이것이 무엇인지 모르겠습니다"라고 인정하도록 강제합니다.

부서진 나침반과 새로운 지도

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신은 단서를 적는 수첩을 가지고 있습니다. 기존 시스템(표준 EDL)에서는 단서를 찾을 때마다 수첩에 적고 즉시 "문제를 풀었다!"라고 외칩니다. 하지만 여기에는 함정이 있습니다. 수첩에는 이상한 규칙이 있습니다. 단서를 얼마나 많이 찾든 상관없이, 당신이 느끼는 "확신"은 사건 시작 단계에서 당신이 설정한 다이얼에 의해 결정됩니다. 만약 당신이 다이얼을 "높은 확신"으로 설정했다면, 아주 작고 흔들리는 단서 하나만 찾아도 엄청난 확신을 느낄 것입니다. 반대로 "낮은 확신"으로 설정했다면, 산더미 같은 증거가 있어도 스스로를 의심할 수 있습니다. 이 논문의 저자들은 이것이 바로 표준 AI에서 일어나는 일임을 증명했습니다. AI의 "불확실성"은 실제로 자신이 무엇을 알고 있는지를 측정하는 것이 아니라, 단지 인간이 돌려놓은 다이얼을 따르고 있을 뿐입니다. 즉, AI는 흐릿한 고양이 사진(본질적으로 보기 어려운 것)과 토스터기 사진(완전히 새로운 물체)을 구분하지 못합니다. 이로 인해 토스터기에 대해 과도하게 자신감을 갖게 되어 위험한 실수를 초래합니다.

두 단계의 탐정

이를 해결하기 위해 저자들은 새로운 탐정인 DIP-EDL을 만들었습니다. 하나의 부서진 다일이 달린 수첩을 사용하는 대신, 이 새로운 탐정은 함께 작동하는 두 개의 별도 도구를 사용합니다.

첫째, 탐정은 **분류기(Classifier)**를 가집니다. 이 부분은 사진을 보고 "그것은 고양이처럼 보인다"라고 말합니다. 이 작업에 매우 능숙합니다.

둘째, 탐정은 **밀도 추정기(Density Estimator)**를 가집니다. 이것은 도시의 지도와 같습니다. 이 도구는 고양이나 강아지에 관심이 있는 것이 아니라, 단지 거리가 얼마나 붐비는지에 관심을 가집니다. 이 도구는 "고양이 구역"은 집들이 빽빽하게 들어차 있지만, "토스터 구로"는 광활하고 텅 빈 사막이라는 것을 알고 있습니다.

여기서 마법이 일어납니다. 새로운 탐정은 이 두 가지를 결합합니다. 분류기가 붐비는 고양이 구역에서 고양이를 발견하면, 주변에 비슷한 집들이 많기 때문에 "확신합니다!"라고 말합니다. 하지만 토스터기가 텅 빈 토스터 구역에 나타나면, 밀도 추정기가 "이봐요, 이 구역은 비어 있어요! 우리는 여기서 이런 것을 본 적이 없어요"라고 속삭입니다. 새로운 탐정은 이 속삭임에 귀를 기울이고 즉시 확신을 낮춥니다. 그리고 함부로 추측하는 대신 "이것이 무엇인지 모르겠습니다"라고 말합니다.

연구 결과

저자들은 단순히 아이디어를 제시한 것에 그치지 않고, 이를 엄격하게 테스트했습니다. 그들은 세 가지 데이터셋을 사용하여 실험을 진행했습니다:

MNIST: 손으로 쓴 숫자 모음 (0부터 9까지).
CIFAR-10: 비행기, 자동차, 새와 같은 일상적인 사물의 작은 컬러 사진 모음.
LAMOST: 별과 은하의 이미지를 포함한 실제 과학 데이터셋.

모든 테스트에서 그들은 자신들의 새로운 DIP-EDL 탐정을 기존의 고장 난 방식들, 그리고 엄청난 컴퓨팅 파워를 요구하는 매우 복잡하고 비싼 방법들과 비교했습니다.

결과는 인상적이었습니다. 손으로 쓴 숫자(MNIST)에 대해, DIP-EDL은 분류를 **99.53%**의 정확도로 맞혔습니다. 더 중요한 것은, 숫자 대신 글자를 보여주는 것과 같은 "분포 외(out-of-distribution)" 이미지를 보여주었을 때, 거의 완벽한 정확도로 그것들을 알 수 없는 것으로 식별해 냈다는 점입니다. 이는 기존 방식들보다 "토스터기"를 훨씬 더 잘 잡아냈음을 의미합니다.

더 어려운 CIFAR-10 사진의 경우, DIP-EDL은 **95.03%**의 정확도를 달성하며 최고의 단일 모델 방식임을 입증했습니다. 또한, 이상한 것들을 식별하는 능력(무엇이 이상한지 알아내는 것)과 확신을 교정하는 능력(확신해서는 안 될 때 너무 확신하지 않는 것)을 동시에 갖춘 유일한 방법이었습니다.

많은 다른 방법들이 완전히 실패했던 까다로운 별 관측 데이터셋(LAMOST)에서도, DIP-EDL은 가장 높은 정확도(89.29%)를 기록하며 공동 1위를 차지했고, "별" 이미지를 이상치(outlier)로 찾아내는 데에도 훌륭한 성능을 보였습니다.

이것이 왜 중요한가

이 논문은 "그것이 무엇인가?"라는 질문과 "이곳은 얼마나 붐비는가?"라는 질문을 분리함으로써, 우리가 AI가 자신의 한계에 대해 훨씬 더 정직하게 만들 수 있다는 점을 시사합니다. 저자들은 자신들의 방식이 데이터가 증가함에 따라 효과가 있다는 것을 수학적으로 증명했는데, 이는 로봇이 배울수록 더 뛰어나고 신뢰할 수 있게 된다는 것을 의미합니다.

또한 이 새로운 방식은 유연하다는 것을 보여주었습니다. 로봇이 특정한 유형의 신경망일 필요는 없으며, 어떤 분류기를 적용하더라도 작동할 수 있습니다. 그리고 답을 얻기 위해 사진을 열 번씩 통과시켜야 하는 다른 방법들과 달리, DIP-EDL은 단 한 번만 보면 되므로 빠르고 효율적입니다.

요약하자면, 저자들은 단순히 기존 시스템을 약간 수정한 것이 아니라, 기존 시스템이 "불확실성"이 무엇인지에 대해 근본적으로 혼란을 겪고 있다는 점을 깨달았습니다. AI에게 자신의 지식에 대한 지도를 제공함으로써, 그들은 AI가 미지의 영역에 있을 때 겸손해지는 법을 가르쳤고, 이를 통해 실생활에서 훨씬 더 안전하고 신뢰할 수 있게 만들었습니다.

기술 요약: 보정된 증거적 딥러닝을 위한 밀도 정보 기반 의사 계수 (Density-Informed Pseudo-Counts for Calibrated Evidential Deep Learning)

문제 정의

증거적 딥러닝(Evidential Deep Learning, EDL)은 신경망에 의해 매개변수화된 디리클레(Dirichlet) 분포를 통해 예측 불확실성을 모델링하는, 불확실성 인지 분류를 위한 널리 사용되는 프레임십이다. 이러한 경험적 성공에도 불구하고, EDL의 이론적 토대는 특히 분포 변화(distributional shift) 상황에서의 동작과 관련하여 여전히 명확히 이해되지 않은 부분이 많다. 본 논문은 표준 EDL의 결정적인 결함을 지적하는데, 이는 에피스테믹(epistemic, 모델) 불확실성과 알레아토리크(aleatoric, 데이터) 불확실성을 혼동한다는 점이다. 이러한 혼동은 분포 외(out-of-distribution, OOD) 입력에 대해 체계적인 과잉 확신(overconfidence)을 초래한다. 이론적 분석에 따르면, 표준 EDL은 데이터 적합도(data fit)와 사전 정규화(prior regularization) 사이의 균형을 맞추기 위해 하이퍼파라미터(온도 $\nu$ )에 의존하며, 이로 인해 불확실성 정량화가 데이터 생성 과정이 아닌 사용자 정의 튜닝에 따라 임의적으로 결정된다. 결과적으로, EDL은 데이터의 희소성에서 기인하는 불확실성(epistemic)과 내재된 노이즈(aleatoric)를 구분하는 데 실패하며, 그 불확실성 추정치는 샘플 크기가 증가함에 따라 점진적으로 소멸하지 않는다.

방법론

EDL의 통계적 해석

저자들은 먼저 EDL에 대한 원칙적인 통계적 해석을 제공하며, EDL의 훈련 목적 함수가 **템퍼드 의사 가능도(tempered pseudo-likelihood)**를 가진 계층적 베이지안 모델에서의 **아모티즈드 변분 추론(amortized variational inference, VI)**에 대응함을 증명한다.

Tempered ICD 모델: 저자들은 가능도가 $\nu$ (온도 파라미터)의 거듭제곱으로 계산되는 "Tempered Independent Categorical-Dirichlet (ICD)" 모델을 도입한다.
등가성: 표준 EDL 손실 함수를 최소화하는 것이 이 템퍼드 모델에 대한 아모티즈드 VI를 수행하는 것과 수학적으로 동일함을 입증한다.
이론적 한계: 이 프레임워크 하에서, 저자들은 최적의 신경망과 무한한 데이터가 있더라도 학습된 분포의 "공백(vacuity, 불확실성의 척도)"이 오직 하이퍼파라미터 $\nu$ 와 사전 분포 $\alpha$ 에 의해서만 결정되며 일정하게 유지됨을 증명한다. 이는 표준 EDL이 에피스테믹 불확실성과 알레아토리크 불확실성을 학습하여 구분할 수 없음을 확인시켜 준다. 즉, 불확실성은 데이터 밀도로부터 학습되는 것이 아니라 외부에서 부과되는 것이다.

제안된 해결책: DIP-EDL

이러한 한계를 해결하기 위해, 저자들은 두 가지 구성 요소를 별도로 추정함으로써 클래스 예측과 불확실성 정량화를 분리하는 **밀도 정보 기반 의사 계수 EDL (Density-Informed Pseudo-count EDL, DIP-EDL)**을 제 propose한다.

조건부 라벨 분포 ( $P^*_{Y|X}$ ): 판별적 분류기(신경망 또는 기타)에 의해 추정된다.
주변 공변량 밀도 ( $P^*_X$ ): 밀도 추정기에 의해 추정된다.

매개변수화:
고정된 전역 의사 계수를 사용하는 대신, DIP-EDL은 입력 밀도에 따라 국소적으로 의사 계수를 조절한다. 변분 사후 분포는 다음과 같이 정의된다:
$q^{\psi, \phi}_{X_i} = \text{Dir}\left(\alpha + n \cdot DE^\psi_{X_i} \cdot NN^\phi_{X_i}\right)$
여기서:

$n$ 은 훈련 세트의 크기이다.
$DE^\psi_{X_i}$ 는 공변량 $X_i$ 의 추정된 주변 밀도이다.
$NN^\phi_{X_i}$ 는 추정된 조건부 라벨 분포(각 클래스에 대한 의사 계수)이다.

핵심 메커니즘:

분포 인식(Distributional Awareness): 고밀도 영역(in-distribution)에서는 밀도 항이 커져 모델이 학습된 조건부 분포에 집중할 수 있게 한다. 저밀도 영역(OOD)에서는 밀도 항이 작아져 사후 분포가 균등 사전 분포(uniform prior)로 붕괴되도록 유도함으로써 불확실성을 높인다.
점근적 일관성(Asymptotic Consistency): 저자들은 밀도와 조건부 분포를 일관되게 추정하는 것이 $n \to \infty$ 일 때 사후 분포가 실제 조건부 분포로 집중됨을 증명한다.
모듈성(Modularity): 엔드 투 엔드(end-to-end) 방식의 EDL과 달리, DIP-EDL은 밀도 추정기와 분류기를 독립적으로 학습할 수 있다. 이를 통해 미분 불가능한 분류기(예: 랜덤 포레스트)나 기성 밀도 추정기를 사용할 수 있다.

주요 기여

이론적 명료화: 본 논문은 표준 EDL 훈련이 템퍼드 모델에 대한 아모티즈드 VI와 동등함을 밝힘으로써, 불확실성 정량화가 데이터 기반의 증거가 아닌 하이퍼파라미터( $\nu$ )에 의해 근본적으로 구동된다는 점을 규명하였다. 이는 왜 EDL이 에피스테믹과 알레아토리크 불확실성을 구분하는 데 실패하는지를 설명한다.
새로운 매개변수화 (DIP-EDL): 예측과 불확실성을 자연스럽게 분리하는 밀도 정보 기반 의사 계수 메커니즘을 도입하였다. 이 접근 방식은 불확실성이 공변량 공간에서의 데이터 희소성에 따라 조절되도록 보장한다.
이론적 보장: DIP-EDL의 점근적 집중(asymptotic concentration)을 증명하여, 이 방법이 샘플 크기가 커짐에 따라 실제 조건부 분포를 올바르게 회복하고 불확실성을 줄인다는 것을 보여주었다. 이는 표준 EDL과는 대조적이다.
모듈형 프레임워크: 임의의 분류기 클래스를 지원하는 유연한 구조를 통해 미분 가능한 엔드 투 엔드 훈련의 요구를 제거하고, 밀도 추정기와 분류기를 독립적으로 학습할 수 있게 하였다.

실험 결과

저자들은 MNIST, CIFAR-10, LAMOST(천체 스펙트럼)의 세 가지 데이터셋에서 DIP-EDL을 평가하였다. 성능은 표준 EDL, R-EDL, Re-EDL, DAEDL, PostNet, MC-Dropout 및 Deep Ensembles와 비교되었다.

In-Distribution (ID) 성능: DIP-EDL은 MNIST와 CIFAR-10에서 최첨단 정확도와 보정 성능(최저 Brier Score)을 달성하였으며, 단 한 번의 순방향 패스(forward pass)만으로 Deep Ensembles와 대등하거나 이를 능가하는 성능을 보였다.
Out-of-Distribution (OOD) 탐지:
- MNIST: DIP-EDment은 K-MNIST(근접 OOD)와 Omniglot(원거리 OOD) 모두에서 근사 완벽한 AUROC(0.9997)와 최저 OOD Brier Score를 달성하여, OOD 데이터에 대해 높은 확신을 보이는 베이스라인 모델들보다 우수한 보정 능력을 입증하였다.
- CIFAR-10: DIP-EDL은 AUROC와 AUPR 측면에서 SVHN(원거리 OOD)에 대해 Deep Ensembles를 포함한 모든 베이스라인을 능가하였다. 또한 두 번째로 좋은 OOD Brier Score를 기록하며 견고한 불확실성 보정 능력을 보여주었다.
- LAMOST: 심각한 클래스 불균형이 존재하는 이 도전적인 실제 과학 데이터셋에서, DIP-EDL은 Deep Ensembles와 함께 가장 높은 ID 정확도(0.8929)를 기록하였으며, 단일 모델 접근법 중 최고의 OOD 탐지 성능을 달お성하였다.
절제 연구(Ablation Studies): 실험을 통해 밀도 추정기를 제거하면 OOD 탐지가 무작위 수준으로 떨어지고, 분류기를 제거하면 ID 정확도가 무작위 수준이 됨을 확인하였다. 또한 스케일링 인자 $n$ 이 보정에 매우 중요하다는 것을 보여주었다.

의의 및 주장

본 논문의 광범위한 의의는 다음 세 가지 방향에 있다고 주장한다:

이론적 토대: EDL에 대한 엄격한 통계적 해석을 제공하여 정규화의 역할을 명확히 하고, 현재 방법론들이 두 유형의 불확실성을 구분하는 데 있어 갖는 근본적인 한계를 폭로하였다.
일반화 및 모듈성: 분류와 불확실성 정량화를 분리함으로써, DIP-EDL을 미분 불가능한 모델을 포함한 임의의 분류기 클래스로 일반화하고 각 구성 요소의 독립적인 훈련을 가능하게 하였다.
실용적 효율성: DIP-EDL은 추론 시 단 한 번의 순방향 패스만 필요로 하는 표준 EDL의 계산 효율성을 유지하면서도, 분포 변화 상황에서 훨씬 더 견고한 보정 및 불확실성 성능을 제공한다. 이는 안전이 중요한 애플리케이션에서 신뢰할 수 있는 불확실성 인지 예측을 위한 확장 가능한 프레임워크를 만든다.

저자들은 향-후 연구에 대해 밀도 추정의 정교화와 유한 샘플 보장(finite-sample guarantees) 확립이 잠재적인 다음 단계임을 언급하며 겸허한 태도를 유지하였다.