📊 statistics

CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

이 논문은 다양한 실제 데이터셋의 회귀 작업에서 예측 구간의 조건부 커버리지와 효율성을 크게 향상시키기 위해 알레아토리(aleatoric) 불확실성과 에피스테믹(epistemic) 불확실성을 위한 별개의 파라미터를 결합하는 보정 방법인 CLEAR를 제안한다.

원저자: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 미래를 예측하려고 노력하고 있다고 상상해 보세요. 집이 얼마에 팔릴지, 혹은 자동차가 얼마나 빨리 달릴지를 추측하는 것과 같습니다. 당신은 자신의 추측이 맞기를 바라지만, 동시에 그 추측이 얼마나 "흔들리는지(shaky)"도 알고 싶어 합니다. 머신러닝의 세계에는 당신의 추측이 흔들릴 수 있는 두 가지 주요한 이유가 있으며, 오랫동안 대부분의 도구는 그중 하나만을 살펴보았습니다.

두 가지 유형의 "흔들림"

**알레아토릭 불확실성(Aleatoric Uncertainty)**을 라디오의 "잡음"이라고 생각해 보세요. 이것은 측정 오류나 갑작스러운 돌풍처럼 그 자체로 존재하는 잡음입니다. 당신이 라디오를 아무리 연구하거나 여러 번 듣더라도, 라디오 자체를 고치지 않는 한 그 잡음은 사라지지 않습니다. 이것은 데이터에 내재된 혼돈입니다.

반면, **에피스테믹 불확실성(Epistemic Uncertainty)**은 "여기에 와본 적이 없다"는 느낌입니다. 당신이 도시 중심부의 지도만 그려온 지도 제작자라고 가정해 봅시다. 만약 당신이 멀리 떨어진, 탐사되지 않은 숲의 지형이 어떠할지 추측하려 한다면, 당신의 추측이 흔들리는 이유는 데이터가 부족하기 때문이지 숲이 시끄럽기 때문이 아닙니다. 만약 당신이 더 많은 데이터를 수집한다면, 이 종류의 흔들림은 사라질 것입니다.

오래된 지도의 문제점

예측을 만드는 기존의 방식들은 주로 잡음에만 신경 쓰는 지도 제작자와 같았습니다. 그들은 자신의 추측 주변에 안전 구역(예측 구간)을 그려서 "잡음"을 커버하려 했지만, 자신들이 한 번도 가본 적 없는 곳에 대해 추측하고 있다는 사실은 완전히 무시했습니다. 이로 인해 익숙한 지역에서는 그들의 지도가 괜찮았지만, 알려진 세계의 가장자리(외삽, extrapolation)로 이동하자마자 그들의 안전 구역은 위험할 정도로 좁아졌고, 잘못된 안도감을 주었습니다.

다른 방식들은 이 "가본 적 없다"는 문제를 해결하기 위해, 혹시 모를 상황에 대비하여 모든 곳에 엄청나게 넓은 안전 구역을 설정하기도 했습니다. 하지만 이 방식은 구역이 너무 넓어서 아무런 구체적인 정보도 주지 못했기에 지도를 쓸모없게 만들었습니다.

CLEAR: 스마트한 균형 조절자

ICLR 2026 컨퍼런스에서 발표된 이 논문의 저자들은 CLEAR(Calibrated Learning for Epistemic and Aleatoric Risk)라는 새로운 방법을 소개했습니다. CLEAR를 "잡음"을 위한 자와 "미지의 영역"을 위한 자, 두 개의 서로 다른 자를 들고 다니는 매우 똑똑한 지도 제작자라고 생각해 보세요.

CLEAR는 단순히 안전 구역을 얼마나 넓힐지 추측하는 대신, 두 종류의 불확실성을 조절하는 $\gamma_1$ 과 $\gamma_2$ 라는 두 개의 특별한 노브(knob)를 사용합니다.

하나의 노브는 잡음(aleatoric)을 조절합니다.
다른 노브는 데이터 부족(epistemic)을 조절합니다.

마법은 CLEAR가 이 노브들을 고정된 숫자로 설정하지 않는다는 점에 있습니다. CLEAR는 데이터를 살펴보고 "지금 이 순간, 어떤 종류의 흔들림이 더 큰 문제인가?"라고 묻습니다. 데이터가 노이즈가 많다면 첫 번째 노브를 올립니다. 데이터가 희소하다면(예: 저 멀리 있는 숲), 두 번째 노브를 올립니다. 이는 안전하면서도 최대한 정밀한 안전 구역을 만들기 위해 완벽한 조합을 찾아내는 과정입니다.

그들이 발견한 것 (그리고 발견하지 못한 것)

연구진은 CLEAR를 주택 가격부터 에너지 효율에 이르기까지 17가지의 서로 다른 실제 데이터셋에 테스트했습니다. 또한 통제된 환경에서 어떻게 작동하는지 보기 위해 시뮬레이션도 수행했습니다.

데이터가 보여준 결과는 다음과 같습니다:

결과: 이러한 테스트에서 CLEAR는 기존의 개별적으로 보정된 방식들과 비교했을 때, 예측 구간의 너비를 평균적으로 28.3% 및 17.5% 줄였습니다. 결정적으로, CLEAR는 "안전" 수준을 원래 의도한 대로 유지하면서(공칭 커버리지 유지) 이 일을 해냈습니다.
"만약에"에 대하여: 이 논문은 두 불확실성을 고정된 1 대 1 비율(예: $\lambda = 1$ 로 설정)로 단순히 더해야 한다는 생각에 대해 명시적으로 반박합니다. 그들은 이러한 고정된 접근 방식이 데이터에 따라 균형이 변하기 때문에 종종 최선이 아님을 보여줍니다.
한계: 논문은 CLEAR가 이 데이터셋들에서 잘 작동하지만, 사용하는 기본 모델(base model)의 품질에 의존한다는 점을 언급합니다. 만약 기본 모델이 형편없다면, CLEAR도 이를 고칠 수 없습니다. 또한, 그들이 논의하는 이론적 보증은 주로 "점근적(asymptotic)" 시나리오(즉, 무한한 데이터가 있는 경우)나 시뮬레이션에서 유효합니다. 실제 세상의 유한한 데이터에서는 수학적 증명보다는 그것이 잘 작동한다는 경험적 증거에 의존합니다.

마법 뒤에 숨겨진 "이유"

저자들은 CLEAR가 잘 작동하는 이유가 기존 방식들이 가진 특정한 결함을 해결하기 때문이라고 제안합니다.

기존의 "잡음 전용" 방식(CQR 등)은 데이터가 거의 없는 곳에서 지나치게 확신을 갖는 경향이 있습니다. 그들은 미지의 숲 안에 아주 작은 상자를 그립니다.
기존의 "데이터 부족" 방식(앙상블 등)은 데이터가 많은 곳에서도 지나치게 조심스러워하며, 번화한 도시 중심지에 거대한 상자를 그립니다.

CLEAR는 중재자 역할을 합니다. CLEAR는 도시에서는 "잡음" 자를 신뢰해야 하고, 숲에서는 "미지"의 자를 신뢰해야 한다는 것을 깨닫습니다. 데이터가 두 자 사이의 비율을 결정하게 함으로써, CLEAR는 적절한 곳에서는 타이트하게, 필요한 곳에서는 넓게 안전 구역을 만듭니다.

핵 요약

이 논문은 불확실성을 하나의 덩어리가 아니라 적절한 비율로 섞어야 하는 두 가지 별개의 재료로 취급함으로써, 머신러닝 예측을 더 안전하고 정밀하게 만들 수 있다고 제안합니다. 이것은 우주의 모든 문제를 해결하는 마법 지팡이는 아니지만, 수행된 테스트에서 일관되게 경쟁 모델들을 능가하며, 때로는 우리가 다루고 있는 '알 수 없는 것'이 정확히 어떤 종류인지 아는 것이 최선의 방법임을 증명했습니다.

기술 요약: CLEAR: 에피스테믹(Epistemic) 및 알레아토릭(Aleatoric) 리스크를 위한 교정된 학습

1. 문제 정의

정확한 불확실성 정량화(Uncertainty Quantification, UQ)는 신뢰할 수 있는 예측 모델링을 위해 매우 중요하지만, 기존 방법들은 두 가지 불확실성을 균형 있게 다루는 데 종종 실패합니다.

알레아토릭 불확실성(Aleatoric Uncertainty): 내재적인 데이터 변동성(측정 노이즈, 누락된 공변량 등)에서 발생하며, 더 많은 데이터를 수집한다고 해서 줄일 수 없습니다.
에피스테믹 불확실성(Epistemic Uncertainty): 제한된 데이터, 모델의 오설정(misspecification), 또는 데이터 처리 과정에서의 주관적 선택에서 발생합니다. 이는 더 많은 데이터나 더 나은 모델을 통해 줄일 수 있지만, 외삽(extrapolation) 영역에서는 흔히 크게 나타납니다.

현재의 접근 방식들은 대개 한 가지 유형만을 다루거나, 고정된 비적응형 비율(예: 에피스테믹과 알레아토릭 불확실성의 가중치를 1:1로 설정)로 결합합니다. 이는 조건부 커버리지(conditional coverage) 저하를 초래합니다. 즉, 평균적으로는 예측 구간이 잘 교정되어 보이지만(한계 커버리지, marginal coverage), 특정 하위 그룹이나 외삽 영역에서는 신뢰할 수 있는 커버리지를 제공하지 못합니다. 또한, 기존 방법들은 이러한 불확실성 구성 요소 간의 스케일링 파라미터를 암묵적으로 고정하는 경우가 많은데, 이는 데이터셋과 예측 작업에 따라 각 불확실성 소스의 상대적 중요성이 달라지기 때문에 최적이 아닐 수 있습니다.

2. 방법론: CLEAR

저자들은 두 개의 별도 파라미터 $\gamma_1$ 과 $\gamma_2$ 를 사용하여 알레아토릭 및 에피스테믹 불확실성을 적응적으로 균형 있게 조절하는 교정 프레임워크인 CLEAR(Calibrated Learning for Epistemic and Aleatoric Risk)를 제안합니다.

2.1 예측 구간 공식화

CLEAR는 점 추정치 $\hat{f}(x)$ 에 대해 다음과 같이 예측 구간 $C(x)$ 를 구축합니다:
$C(x) = \left[ \hat{f}(x) \pm \left( \gamma_1 \times \text{aleatoric}_{\pm}(x) + \gamma_2 \times \text{epistemic}_{\pm}(x) \right) \right]$
여기서 $\gamma_2 = \lambda \gamma_1$ 입니다. 파라미터 $\lambda$ 는 두 불확실성 유형 간의 트레이드오프를 제어합니다:

$\lambda = 0$ : 구간이 알레아토릭 불확실성만을 반영합니다.
$\lambda \to \infty$ : 구간이 에피스테믹 불확실성만을 반영합니다.
$\lambda > 0$ : 데이터 기반의 균형이 달성됩니다.

2.2 추정 구성 요소

CLEAR는 어떤 쌍의 추정기와도 호환되지만, 다음을 사용하여 성능을 입증합니다:

알레아토릭 추정기: 원시 타겟(raw targets)이 아닌 잔차(residuals) ( $Y_i - \hat{f}(X_i)$ )에 대해 훈련된 분위 회귀(quantile regression) 모델을 사용합니다. 저자들은 평균 모델이 과소 적합(underfit)될 경우 타겟에 직접 분위수를 맞추는 것이 알레아토릭 추정치를 왜곡할 수 있는 반면, 잔차에 맞추는 것이 더 안정적이라고 주장합니다. 조건부 분위수 $\hat{q}^{ale}_{\alpha/2}$ 와 $\hat{q}^{ale}_{1-\alpha/2}$ 를 추정하기 위해 이러한 모델들의 앙상블(배깅)이 사용됩니다.
에피스테믹 추정기: 예측 가능성-계산 가능성-안정성(Predictability–Computability–Stability, PCS) 프레임워크로부터 도출된 구간입니다. 이는 서로 다른 데이터 전처리 버전과 모델 아키텍처를 사용하여 모델 앙상블을 훈련시킨 후, 상위 성능을 보이는 모델들을 부트스트래핑하는 과정을 포함합니다. 이 앙상블의 지점별 분위수가 미교정된 에피스테믹 불확실성 밴드 $\hat{q}^{epi}_{\alpha/2}$ 와 $\hat{q}^{epi}_{1-\alpha/2}$ 를 정의합니다.

2.3 교정 절차

이 방법은 검증/교정 데이터셋에서 2단계 교정 과정을 거칩니다:

$\lambda$ 를 위한 그리드 탐색: 양수 값의 그리드 $\Lambda$ 를 평가합니다. 각 후보 $\lambda$ 에 대해, $1-\alpha$ 의 한계 커버리지를 보장하기 위해 표준 분할 컨포멀 예측(split conformal prediction)을 통해 스케일링 인자 $\gamma_1$ 을 결정합니다.
최적화: 검증 세트에서 분위수 손실(Quantile Loss)(핀볼 손실 또는 인터벌 스코어와 동일)을 최소화하여 최적의 $\lambda^*$ 를 선택합니다. 이 메트릭은 커버리지와 구간 너비 사이의 균형을 맞추며, 진실성(truthfulness)을 장려합니다.

2.4 이론적 특성

본 논문은 완만한 가정(기초 추정기의 일관성 및 $\lambda$ 에 대한 컴팩트한 그리드) 하에서 CLEAR가 **점근적 조건부 유효성(asymptotic conditional validity)**을 달성함을 입증합니다. 에피스테믹 구성 요소는 무한한 데이터의 극한에서 점진적으로 사라지지만, 데이터가 희소한 영역에서 표준 컨포멀 방법(예: CQR)이 실패하는 것을 방지함으로써 유한한 샘플에서 중요한 역할을 합니다.

3. 주요 기여

이중 파라미터 교정: 고정된 비율 결합을 넘어, 알레아토릭과 에피스테믹 불확실성의 척도를 조절하기 위해 두 개의 별도 교정 파라미터( $\lambda$ 에 의해 연결된 $\gamma_1, \gamma_2$ )를 도입했습니다.
잔차 기반 알레아토릭 추정: 타겟에 직접 분위수를 맞추는 것보다 잔차에 맞추는 것이 더 합리적이고 안정적인 알레아토릭 불확실성 추정치를 생성함을 입증했습니다.
PCS 및 CQR 통합: PCS 앙상블 섭동 구간(에피스테믹 불확실성용)과 잔차에 대한 컨포멀화된 분위 회귀(CQR, 알레아토릭 불확실성용)를 최초로 결합했습니다.
대규모 벤치마킹: 17개의 다양한 실제 회귀 데이터셋과 합성 시뮬레이션을 통한 광범위한 평가를 수행했습니다.

4. 실험 결과

논문은 CQR(알레아토릭 전용), PCS 앙상블(에피스테믹 전용), 그리고 각각의 개별 교정된 버전들을 포함한 베이스라인들과 CLEAR를 비교 평가합니다.

성능 메트릭: CLEAR는 명목 커버리지(95%)를 유지하면서 일관되게 더 낮은 **정규화된 교정 구간 너비(Normalized Calibrated Interval Width, NCIW)**와 **분위수 손실(Quantile Loss)**을 달성했습니다.
정량적 이득: 17개의 실제 데이터셋 전체에서, CLEAR는 알레아토릭 베이스라인(ALEATORIC-R) 대비 평균 28.3%, 에피스테믹 베이스라인(PCS) 대비 **17.5%**의 구간 너비 개선을 달면서도 커버리지를 유지했습니다.
강건성: CLEAR는 17개 데이터셋 중 15개에서 베이스라인보다 우수한 성능을 보였습니다. 특히 높은 알레아토릭 또는 에피스테믹 불확실성이 지배적인 시나리오에서 효과적이었습니다.
일반화 가능성: 딥 앙상블(Deep Ensembles, 에피스테믹) 및 동시 분위 회귀(Simultaneous Quantile Regression, 알레아토릭)를 사용한 테스트에서도 유사한 개선(예: 딥 앙상블 사용 시 너비 28.6% 감소)을 보였습니다.
사례 연구: Ames Housing 사례 연구에서, CLEAR는 데이터 특성에 따라 가중치( $\lambda$ )를 적응적으로 조정했습니다. 정보량이 적은 레짐(적은 피처)에서는 알레아토릭 불확실성을 우선시했고, 피처는 많지만 데이터는 적은 레짐에서는 에피스테믹 불확실성으로 무게 중심을 급격히 옮겨, 지배적인 불확실성 소스를 정확히 식별해 냈습니다.

5. 의의 및 주장

본 논문은 CLEAR가 불확실성 유형을 격리하여 취급하거나 고정된 비적응형 조합에 의존하는 고전적 방법론보다 유의미한 개선을 제공한다고 주장합니다.

조건부 커버리지: 불확실성 소스를 적응적으로 균형 있게 조절함으로써, CLEAR는 표준 컨포멀 방법이 과소 커버되는 경향이 있는 외삽 영역에서도 입력 공간 전체에 걸쳐 근사적인 조건부 커버리지를 유지합니다.
해석 가능성: 학습된 파라미터 $\lambda$ 는 특정 데이터셋이나 영역에서 어떤 불확실성 소스(에피스테믹 vs 알레아토릭)가 지배적인지에 대한 통찰력을 제공하여, 실무자가 모델의 한계를 이해하는 데 도움을 줍니다.
강건성: 이 이중 파라미터 접근 방식은 기초 추정기의 단점을 보완할 수 있게 해줍니다(예: 알레아토릭 불확실성이 과대 또는 과소 추정되는 경우, $\gamma_1$ 이 스케일을 교정할 수 있음).

저자들은 기초 추정기의 품질에 따라 CLEAR의 정확도가 달라질 수 있고, 매우 작은 교정 데이터셋에서 파라미터 오버피팅이 발생할 수 있다는 한계점을 인정합니다. 이들은 향후 연구로 분류(classification), 시계열(time series), 능동 학습(active learning) 시나리오로의 확장을 제안합니다.