🤖 machine learning

On the QUEST for Uncertainty Quantification via Highest Density Regions

이 논문은 최고 밀도 영역의 부피를 통해 불확실성을 특징짓는 새로운 불확실성 정량화 프레임워크인 QUEST를 소개하며, 이는 단조성과 불변성과 같은 핵심 공리들을 만족하면서 선택적 예측 벤치마크에서 표준 측정치보다 우수한 성능을 보이는 적절한 점수 규칙(proper scoring rules)에 대한 이론적으로 근거 있는 대안을 제공한다.

원저자: Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 날씨를 예측하려고 한다고 상상해 보세요. 당신의 모델이 "내일 비가 올 것이다"라고 말합니다. 하지만 이 모델은 얼마나 확신하고 있을까요? 99% 확신하는 걸까요, 아니면 그냥 추측하는 걸까요? 머신러닝의 세계에서 이 "얼마나 확신하는가"에 대한 부분이 바로 **불확실성 정량화(Uncertainty Quantification, UQ)**라고 불리는 것입니다.

오랫동안 과학자들은 이 불확실성을 측정하기 위해 마치 모든 것을 재는 자(ruler)처럼 표준적인 도구들을 사용해 왔습니다. 하지만 이 논문의 저자인 샘 고링(Sam Goring)과 그의 팀은 때때로 자가 잘못된 도구가 될 수 있다고 주장합니다. 만약 당신이 자를 가지고 해파드의 "말랑함"을 측정하려 한다면, 해파드가 어떤 상태인지 알려주는 의미 있는 숫자 대신 이상한 숫자만을 얻게 될 것입니다.

다음은 일상적인 비유를 사용하여 그들의 새로운 아이디어인 QUEST를 쉽게 풀어낸 설명입니다.

문제점: "자"는 항상 작동하지 않는다

현재 대부분의 방법은 평균(mean)과 그 평균으로부터 얼마나 멀리 떨어져 있는지(분산, variance)를 보고 불확실성을 측정합니다.

비유: 당신이 군중을 바라보고 있다고 상상해 보세요.
- 시나리오 A (정상): 모든 사람이 좁고 깔끔한 원 안에 모여 있습니다. 평균은 바로 중앙에 있고, 모두가 그 근처에 있습니다. "불확실성"은 낮습니다.
- 시나리오 B (왜곡됨): 대부분의 사람이 좁은 원 안에 모여 있지만, 한 명의 거인이 10마일 밖에 서 있습니다. 이제 "평균" 위치는 그 거인 쪽으로 크게 끌려가 버립니다.
- 시나리오 C (이봉형/Bimodal): 군중의 절반은 왼쪽 원에, 나머지 절반은 오른쪽 원에 있으며, 그 사이에는 커다한 빈 공간이 있습니다.

기존의 방법들(분산 등)은 여기서 혼란을 겪습니다. 시나리오 B에서, 거인은 "퍼짐"을 엄청나게 크게 만들어 버리기 때문에, 컴퓨터는 99%의 사람들이 실제로는 매우 예측 가능한 상태임에도 불구하고 불확실성이 엄청나게 크다고 판단합니다. 시나리오 C에서, 기존의 방법들은 군중이 나뉘어 있기 때문에 불확실성이 높다고 말할 수는 있지만, 발생할 수 없는 중간의 빈 공간에 대해서도 실수로 높은 확률을 할당할 수도 있습니다.

이 논문은 우리가 가장 가능성 높은 결과(최빈값 또는 군중의 정점)를 찾고자 할 때, 기존의 도구들이 오해의 소지가 있는 답을 준다고 주장합니다.

해결책: QUEST (더 "손전등" 방식)

저자들은 QUEST(최고 밀도 영역을 통한 불확실성 정량화, Quantifying Uncertainty via highest dEnSiTy regions)라고 불리는 새로운 프레임워크를 제안합니다.

기존 방식처럼 평균으로부터 전체 퍼짐을 측정하는 대신, QUEST는 다음과 같은 다른 질문을 던집니다: "가장 확률이 높은 90%의 군중을 포착하기 위해 얼마나 많은 공간이 필요한가?"

비유: 당신에게 방 안의 가장 밝은 부분(사람들이 가장 많은 구역)만을 비출 수 있는 손전등이 있다고 상상해 보세요.
- 낮은 불확실성: 군중이 빽빽하게 모여 있다면, 90%를 잡기 위해 당신의 손전등은 아주 작은 원 모양이면 충분할 것입니다. 이때 "부피(volume)"는 작습니다.
- 높은 불확실성: 군중이 넓은 들판에 흩어져 있다면, 90%를 잡기 위해 당신의 손전등은 거대해야 할 것입니다. 이때 "부피"는 매우 큽니다.

QUEST는 그 손전등 빛의 **크기(부피)**를 측정합니다.

작은 부피 = 높은 신뢰도 (군중이 뭉쳐 있음).
큰 부피 = 낮은 신뢰도 (군중이 흩어져 있음).

이 방식은 이상한 형태에서도 완벽하게 작동합니다. 만약 군중이 두 그룹으로 나뉘어 있다면(시나리오 C), 손전등은 두 그룹을 각각 따로 비출 것입니다. 중간의 빈 공간에 빛을 낭비하지 않습니다. 이는 예측이 실제로 얼마나 불확실한지에 대해 훨씬 더 정직한 답을 제공합니다.

세 가지 유형의 불확실성

논문은 불확실성을 세 가지 범주로 나누며, QUEST는 이 모든 것을 측정합니다:

알레아토리 불확실성 (Aleatoric Uncertainty, "노이즈"): 이것은 세상의 자연스러운 무작위성입니다. 모델이 모든 것을 알고 있더라도 날씨는 여전히 예측 불가능할 수 있습니다. QUEST는 실제 군중의 "조밀함"을 살펴봄으로써 이를 측정합니다.
에피스테믹 불확실성 (Epistemic Uncertainty, "무지"): 이것은 모델이 아직 충분히 배우지 못해서 발생하는 불확실성입니다. 공부를 하지 않은 학생과 같습니다. QUEST는 모델의 믿음이 얼마나 퍼져 있는지를 살펴봄으로써 이를 측정합니다. 만약 모델이 막연히 추측하고 있다면 "손전등"은 거대해질 것이고, 모델이 확신하고 있다면 "손전등"은 작아질 것입니다.
총 불확실성 (Total Uncertainty): 이것은 위 두 가지의 결합입니다. QUEST는 자연스러운 노이즈와 모델의 무지를 하나의 점수로 결합합니다.

왜 이것이 중요한가 (공리/Axioms)

저자들은 단순히 멋진 아이디어를 만든 것이 아니라, 좋은 불확실성 척도가 따라야 할 일련의 논리적 규칙(공리)을 따름을 증명했습니다.

규칙 1: 군중을 더 넓게 퍼뜨리면 불확실성은 올라가야 합니다. (QUEST는 이를 통과하지만, 기존 방식은 때때로 실패합니다.)
규칙 2: 군중을 퍼뜨리지 않고 위치만 옮긴다면, 불확실성은 동일하게 유지되어야 합니다. (QUEST는 이를 통과하지만, 기존 방식은 때때로 혼란을 겪습니다.)
규칙 3: 측정값은 결코 음수가 되어서는 안 됩니다. (QUEST는 이를 통과하지만, 일부 기존 수학 도구들은 의미 없는 음수를 산출하기도 합니다.)

결과

연구팀은 까다로운 데이터 형태(왜곡된 군중, 나뉜 군중)를 가진 컴퓨터 시뮬레이션을 사용하여, 기존의 방법들(분산 및 엔트로피)과 QUEST를 비교 테스트했습니다.

결과: QUEST는 가장 신뢰할 수 있는 예측을 골라내는 데 더 뛰어났습니다. 연구자들이 컴퓨터에게 "가장 확실한" 데이터 포인트에 대해서만 예측하도록 명령했을 때, QUEST는 특히 데이터가 특이하거나 이상치(outlier)가 있는 경우 기존 방법들보다 훨씬 더 잘 실수를 피할 수 있도록 도와주었습니다.

요 요약

요컨대, 이 논문의 핵심은 다음과 같습니다: 불확별성을 평균에서 가장자리까지의 거리로 측정하는 것을 멈추십시오. 대신 "가장 가능성 높은" 것들을 포괄하기 위해 얼마나 많은 공간이 필요한지를 측정하십시오.

이는 지저도 못한 빨랫감 더미의 양 끝 사이의 거리를 재는 것(양말 하나만 추가해도 크게 변함)에서, 가장 깨끗하고 잘 접힌 옷 90%를 담을 수 있는 바구니의 크기를 재는 것으로 전환하는 것과 같습니다. 이는 당신의 AI 예측을 얼마나 신뢰할 수 있는지 알기 위한 더 견고하고, 논리적이며, "정직한" 방법입니다.

기술 요약: 최고 밀도 영역을 통한 불확실성 정량화 (QUEST)

1. 문제 정의

불확실성 정량화(Uncertainty Quantification, UQ)는 안전이 중요한 확률적 머신러닝에서 신뢰할 수 있는 의사결정을 위해 매우 중요합니다. 분류 문제에서는 엔트로피 기반 측도가 표준이지만, 회귀 UQ는 주로 **적정 스코어링 룰(Proper Scoring Rules, PSRs)**에 의존해 왔으며, 이는 모델의 점별 예측 위험(pointwise predictive risk)을 실제 분포와 비교하여 불확실성을 운용합니다.

저자들은 타겟 통계량이 조건부 기대값(평균)이 아닌 경우, PSR 기반 접근 방식(예: 분산 및 미분 엔트로피)에 근본적인 결함이 있음을 지적합니다. 강화 학습이나 베이지안 모델링과 같은 많은 실질적인 설정에서 타겟은 **조건부 최빈값(Conditional Mode, 또는 MAP)**입니다. 왜도(skewness), 다봉성(multimodality) 또는 이상치(outlier)가 존재하는 상황에서 평균과 최빈값은 크게 달라질 수 있습니다. 표준적인 분산과 같은 척도는 최빈값 주변의 확률 집중도보다는 꼬리 부분의 질량(tail mass)에 민감하기 때문에, 이러한 경우 불확실성을 과대평가하는 경향이 있습니다. 또한, 기존의 회귀 UQ를 위한 공리적 프레임워크는 비가우시안(non-Gaussian) 또는 비대칭 분포에 적용될 때 분포의 확산에 따른 단조성(monotonicity)이나 위치 이동 불변성(invariance to location shifts)과 같은 직관적인 성질을 충족하지 못하는 경우가 많습니다.

2. 방법론: QUEST 프레임워크

본 논문은 QUEST(Quantifying Uncertainty via highest dEnSiTy regions)를 소개합니다. 이 프레임워크는 점별 위험(pointwise risk) 대신, 분포의 지지체(support) 중 가장 확률이 높은 부분집합의 **부피(volume)**를 통해 불확실성을 특징짓습니다.

핵심 개념

최고 밀도 영역 (Highest Density Regions, HDRs): 확률 밀도 함수 $p$ 와 로버스트 파라미터 $\alpha \in (0,1)$ 에 대하여, $(1-\alpha)$ -HDR ( $C_\alpha$ )은 확률 질량의 $1-\alpha$ 를 포함하는 가장 작은 집합입니다. 이는 $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$ 로 정의되며, 여기서 $t_\alpha$ 는 질량 제약을 보장하는 임계값입니다.
$\alpha$ -부피 (Local Measure): $V_\alpha(p) := \lambda(C_\alpha)$ 로 정의됩니다 (여기서 $\lambda$ 는 르베그 측도). 이는 확률 질량의 대부분을 포함하는 영역의 "크기"를 측정합니다. 작은 부피는 높은 집중도(낮은 불실확성)를 나타내며, 큰 부피는 분산(높은 불확실성)을 나타냅니다.
통합 부피 (Integrated Volume, Global Measure): $IV(p) = \int_0^1 V_\alpha(p) d\alpha$ 로 정의됩니다. 이는 전체 커버리지 곡선을 요약하여 집중도에 대한 전역적인 평가를 제공합니다. 저자들은 커버리지 곡선과 경제학의 로렌츠 곡선(Lorenz curve) 사이의 기하학적 등가성을, 그리고 통합 부피와 지니 계수(Gini coefficient) 사이의 관계를 확립했습니다.

QUEST의 불확실성 유형론

이 프레임워크는 두 번째 차수 분포 $q$ (파라미터 $\theta$ 에 대한 믿음을 나타냄)와 실제 참값 분포 $p_{\theta^*}$ 를 기준으로 세 가지 유형의 불확실성을 정의합니다.

데이터 불확실성 (Aleatoric Uncertainty, AU): 실제 분포 $p_{\theta^*}$ $p_{θ^{*}}$ 의 HDR 부피로 정량화됩니다. 이는 데이터를 생성하는 과정에 내재된 불가항력적인 불확실성을 포착합니다.
- 국소적(Local): $V_\alpha(p_{\theta^*})$
- 전역적(Global): $IV(p_{\theta^*})$
모델 불확실성 (Epistemic Uncertainty, EU): 두 번째 차수 분포 $q$ $q$ 의 HDR 부피로 정량화됩니다. EU를 잔차(Total - Aleatoric)로 취급하는 일반적인 방식과 달리, QUEST는 EU를 진리(truth)와 독립적인, 에이전트의 믿음 집중도에 대한 순수하게 주관적인 척도로 취급합니다.
- 국소적(Local): $V_\alpha(q)$
- 전역적(Global): $IV(q)$
총 불확실성 (Total Uncertainty, TU): AU와 EU 사이의 상호작용을 통해 정의됩니다. AU와 EU는 서로 다른 공간에 존재하므로 단순히 더해질 수 없습니다. 대신, TU는 각자의 HDR 내에서 실제 조건부 밀도와 예측 조건부 밀도 간의 괴리로부터 유도된 페널티 인자에 의해 스케일링된 AU 부피로 모델링됩니다.
- 공식: $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
- 여기서 $D_f$ 는 허용 가능한 $f$ -발산(예: 총 변동 거리, Total Variation)이며, $g_f$ 는 에이전트의 믿음과 진리 사이의 불일치를 처벌하는 엄격히 증가하는 함수입니다.

3. 주요 기여

본 논문의 주요 기여는 네 가지입니다:

개념적 기여: 위험 기반의 PSR 척도에 대한 대안으로서, 밀도 집중도와 사용자 제공 로버스트 파라미터 $\alpha$ 에 기반한 부피 중심의 불확실성 해석을 제안합니다.
방법론적 기여: AU와 EU를 위한 새로운 국소적( $\alpha$ -부피) 및 전역적(통합 부피) 척도를 도입합니다. 또한 이 척도들과 정보 이론(미분 엔트로피) 및 경제학(로렌츠 곡선, 지니 계수)의 고전적 통계 사이의 이론적 연결을 확립합니다.
이론적 기여: QUEST가 UQ 문헌에서 적응된 일련의 공리(A0–A5)를 만족함을 입증합니다. 여기에는 비음수성, 디락 질량(Dirac mass)에서의 최소화, "레벨링(levelling, 분포 확산)" 하에서의 단조성, 위치 이동 불변성이 포함됩니다. 특히, 저자들은 캘리브레이션 개선(TU 감소)이 에피스테믹 불확실성 증가와 동시에 일어날 수 있으므로, 총 불확실성(TU)은 모든 경우에 단조성 공리(A4)를 반드시 만족할 필요가 없다고 주장합니다.
실증적 기여: 선택적 예측(selective prediction) 벤치마크를 통해 프레임워크를 검증합니다. 결과에 따르면, 왜도 및 다봉성 설정에서 QUEST(특히 전역적 척도)는 표준 분산 및 미분 엔트로피보다 우수한 성능을 보였으며, 예측 신뢰도 순위를 더 정확하게 산출했습니다.

4. 실험 결과

저자들은 세 가지 합성 데이터 생성 프로세스(DGP)에 대해 딥 믹스처 오브 엑스퍼트(deep mixture-of-experts) 앙상블을 사용하여 QUEST를 분산, 미분 엔트로피 및 무작위 베이스라인과 비교 평가했습니다:

단봉 가우시안 (Unimodal Gaussian): 예상대로 모든 방법이 유사한 성능을 보였습니다.
단봉 왜도 (Unimodal Skewed): 분산과 엔트로피는 꼬리 질량에 대한 민감도 때문에 어려움을 겪었습니다. QUEST는 더 신뢰할 수 있는 불확실성 순위를 제공했습니다.
이봉 혼합 (Bimodal Mixture): 표준 척도들은 다봉 설정에서 불확실성을 잘못 순위 매기는 경우가 많았습니다. QUEST는 분산과 엔트로피를 크게 앞질러 고밀도 집중 영역을 정확하게 식별했습니다.

선택적 예측(selective prediction) 작업(가장 확실한 샘플에 대해서만 예측을 수행하는 작업)에서, QUEST(전역적 척도)는 모든 시행에서 경쟁 모델들보다 낮은 손실(loss)을 달els성했습니다. 추가적인 능동 학습(active learning) 실험에서 QUEST는 분산 및 엔트로피와 대등한 성능을 보였으나, 저자들은 QUEST의 성능이 오라클(oracle)이 아닌 환경에서 모델의 실제 밀도 추정 품질에 민가하다는 점을 언급했습니다.

5. 의의 및 주장

본 논문은 QUEST가 특히 타겟이 평균이 아닌 최빈값일 때 발생하는 PSR 기반 UQ의 특정 병리 현상을 해결한다고 주장합니다. 점별 위험에서 **측도 집중(concentration of measure)**으로 초점을 전환함으로써, QUEST는 비가우시안, 왜도 또는 다봉 분포에 대해 더 직관적이고 견고한 불확실성 특성화를 제공합니다.

저자들은 다음과 같은 점을 강조합니다:

왜도나 이상치가 존재하는 상황에서 분산 기반 척도가 보이는 역설적인 결과를 피합니다.
확률 밀도의 기하학적 구조를 존중하는 AU 및 EU에 대한 건전한 공리적 토대를 제공합니다.
사용자가 $\alpha$ 를 통해 꼬리 변동에 대한 민감도를 조절할 수 있는 유연한 프레임워크를 제공합니다.

논문은 르베그 측도에 대한 절대 연속성 가정 및 고차원에서 HDR을 추정하는 데 드는 계산 비용과 같은 한계를 인정하며 겸허하게 결론을 맺습니다. 또한, 이 프레임워크를 통계적 추론으로 확장하고 원자(atoms) 또는 저차원 지지체를 가진 분포를 다루는 향후 연구 방향을 제시합니다.