A Variational Estimator for $L_p$ Calibration Errors

이 논문은 $L_p$ 발산에 기반한 보정 오류를 추정하기 위한 변분 추정기를 제안하여, 과신과 과소신도를 구분하고 기존 비변분 접근법의 과대추정 문제를 해결하며 이를 오픈소스 패키지 probmetrics 에 통합했습니다.

핵심

🍳 1. 문제 상황: "요리사"의 자만심

머신러닝 모델 (예를 들어 '요리사') 이 있다고 가정해 봅시다. 이 요리사는 "이 요리를 만들면 90% 확률로 맛있습니다"라고 말합니다.
하지만 실제로 100 번 만들어 먹어보니 50 번만 맛있었다면? 요리사는 **과신 (Overconfidence)**한 것입니다. 반대로 90% 확률로 말했는데 100 번 다 맛있었다면 **과소신 (Underconfidence)**인 것이죠.

이처럼 모델이 말한 확률 (예: 90%) 과 실제 결과 (실제 발생 빈도) 가 일치하는 상태를 **'보정 (Calibration)'**이라고 합니다.

기존의 문제점:
기존에는 이 '오차'를 재기 위해 **주사위 눈금 (Binning)**을 그리는 방식을 썼습니다.

• "010% 확률 예측은 다 모아서 평균 내보고, 1020% 는 또 모아서..."
• 비유: 요리사의 말을 들을 때, "010% 말한 요리사 10 명을 한 방에 모아놓고, 1020% 말한 10 명을 또 다른 방에 모아놓고" 평균을 내는 식입니다.
• 단점: 데이터가 적으면 방을 나누는 기준 (주사위 눈금) 을 어떻게 할지 막막하고, 너무 세분화하면 오히려 잘못된 결론 (과대평가) 을 내기 쉽습니다. 특히 클래스 (요리 종류) 가 많을수록 이 방법은 무너집니다.

💡 2. 이 논문의 해결책: "변분 추정기" (Variational Estimator)

이 논문은 주사위 눈금을 그리는 대신, **모델의 실수를 찾아내는 '스마트한 감시관'**을 도입합니다.

핵심 아이디어:
"만약 우리가 요리사의 말을 다시 다듬어서 (Recalibrate) 더 정확하게 만들 수 있다면, 그 '다듬어진 버전'과 '원래 버전'의 점수 차이를 재면 실제 오차가 얼마나 되는지 알 수 있다."

1. 감시관 (Re-calibration Function) 고용:

   • 우리는 모델이 예측한 값 (예: 90%) 을 받아서, 실제 결과 (50%) 에 가깝게 조정해주는 '보정 함수'를 학습시킵니다.
   • 비유: 요리사가 "90% 맛있다"라고 했을 때, 감시관이 "아니야, 데이터 보니 50% 정도야"라고 바로잡아주는 역할입니다.

2. 교차 검증 (Cross-Validation) 으로 속임수 방지:

   • 여기서 함정이 있습니다. 감시관이 **자기가 가르친 학생 (데이터)**만 보고 점수를 매기면, 감시관도 학생도 서로 눈치만 보고 점수를 너무 높게 줄 수 있습니다 (과적합).
   • 해결책: 감시관은 A 그룹 데이터를 보고 배우고, B 그룹 데이터를 가지고 점수를 매깁니다. 그리고 B 그룹 감시관은 A 그룹 데이터로 점수를 매깁니다. 이렇게 데이터를 나누어 검증하면, 실제 오차를 과장하지 않고 (Lower Bound) 정확히 측정할 수 있습니다.

3. Lp 오차 (다양한 오차 측정):

   • 기존에는 오차를 재는 방식이 제한적이었습니다. 하지만 이 방법은 어떤 방식으로 오차를 재든 (L1, L2 등) 유연하게 적용할 수 있습니다.
   • 비유: 요리사의 실수를 재는 자를 '미터'로 재든 '척'으로 재든, 이 감시관 시스템은 어떤 단위든 정확히 측정해냅니다.

🚀 3. 왜 이 방법이 좋은가요?

1. 속도: 주사위 눈금을 그리는 복잡한 계산 없이, 최신 머신러닝 알고리즘 (예: CatBoost 같은 트리 모델) 을 이용해 빠르게 보정 함수를 학습합니다.
2. 정확도: 특히 데이터가 적거나 클래스가 많을 때, 기존 방법보다 훨씬 빠르게 진짜 오차에 수렴합니다.
3. 과신/과소신 분리: 모델이 "너무 자신 있는가?" 아니면 "너무 겸손한가?"를 따로 구분해서 분석할 수 있습니다.

📝 요약

이 논문은 **"머신러닝 모델이 자신의 확률 예측을 얼마나 믿을 만하게 했는지"**를 측정할 때, 낡고 불편한 주사위 눈금 방식을 버리고, 스마트한 감시관 (보정 함수) 과 교차 검증을 이용해 정확하고 빠르게 오차를 재는 새로운 방법을 제안했습니다.

이 방법은 머신러닝 모델이 사용자에게 **"이 예측은 90% 확률로 맞습니다"**라고 말할 때, 그 90% 가 진짜 90% 에 가까운지, 아니면 모델이 착각하고 있는지를 정직하게 알려줍니다.

---

한 줄 평:

"모델이 자신의 확률을 얼마나 믿을 만하게 말했는지, 낡은 자 (주사위 눈금) 대신 똑똑한 감시관으로 정확하고 빠르게 측정하는 새로운 방법."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 보정 (Calibration) 의 중요성: 머신러닝 시스템의 신뢰성을 보장하기 위해 예측 확률이 관찰된 클래스 빈도와 일치해야 합니다. 이를 '보정'이라고 하며, 보정되지 않은 모델은 과신 (over-confidence) 또는 과소신 (under-confidence) 을 일으켜 실제 응용에서 위험할 수 있습니다.
• 기존 방법의 한계:
  • 이진 분류: 전통적으로 $[0, 1]$ 구간을 구간화 (binning) 하여 예측값과 평균 실제값의 차이를 계산하는 기대 보정 오차 (ECE) 를 사용합니다. 그러나 ECE 는 편향 (bias) 이 있고 일관성 (consistency) 이 없으며, 구간 수 선택에 민감합니다.
  • 다중 클래스 분류: 심플렉스 (simplex) 를 구간화하는 것은 차원의 저주 (curse of dimensionality) 로 인해 비효율적입니다. 기존 연구들은 주로 '하나 대 나머지 (one-vs-rest)' 방식이나 커널 기반 근사를 사용했으나, 여전히 한계가 있었습니다.
  • Lp 거리 기반 오차: Brier 점수 (L2) 나 로그 손실 (KL) 과 같은 적절한 손실 (proper loss) 로 유도된 보정 오차는 추정 가능하지만, 일반적인 Lp 노름 (Lp norm, 예: L1, L2) 으로 정의된 보정 오차는 적절한 손실 함수로 유도되지 않아 기존 변분 프레임워크로 직접 추정하기 어렵습니다.

2. 제안된 방법론 (Methodology)

이 논문은 Berta et al. (2025a) 의 변분 프레임워크를 확장하여, 적절한 손실 (proper loss) 에 국한되지 않고 임의의 Lp 보정 오차 ($L_p$ Calibration Error) 를 추정할 수 있는 방법을 제시합니다.

핵심 아이디어: 변분적 추정기 (Variational Estimator)

보정 오차는 모델 $f(X)$ 와 조건부 기대값 $C = E[Y|f(X)]$ 사이의 거리로 정의됩니다.
$$CE_d(f) = E[d(f(X), C)]$$

• 적절한 손실 기반 접근: 적절한 손실 함수 $\ell$ 에 대해, 최적의 재보정 함수 $g^*(f(X)) = E[Y|f(X)]$ 를 찾으면 보정 오차는 다음과 같이 표현됩니다.
  $$CE_{d_\ell}(f) = E[\ell(f(X), Y)] - \min_{g} E[\ell(g \circ f(X), Y)]$$
  즉, 원래 모델의 리스크에서 최적화된 재보정 모델의 리스크를 뺀 값입니다.

• Lp 오차로의 확장 (Proposition 1):
  Lp 거리 ($p \ge 1$) 는 고정된 적절한 손실 함수로 유도되지 않지만, $f(X)$ 에 의존하는 손실 함수 $\ell_{f(X)}$ 를 정의함으로써 이를 변분 형태로 재구성할 수 있습니다.

  • 엔트로피 함수를 $H_{f(X)}(z) = -\|z - f(X)\|_p$ 로 정의합니다.
  • 이를 통해 유도된 손실 함수는 다음과 같습니다:
    $$\ell_{f(X)}(z, Y) = \langle \nabla_z \|z - f(X)\|_p, f(X) - Y \rangle$$
  • 이 손실 함수를 사용하면, $L_p$ 보정 오차를 다음과 같이 추정할 수 있습니다:
    $$CE_{\|\cdot\|_p}(f) = E[\ell_{f(X)}(f(X), Y) - \ell_{f(X)}(g^* \circ f(X), Y)]$$

실용적 구현 전략

1. 교차 검증 (Cross-Validation): 재보정 함수 $\hat{g}$ 를 학습하고 보정 오차를 평가할 때 동일한 데이터를 사용하면 과적합 (overfitting) 으로 인해 오차가 과대평가될 수 있습니다. 이를 방지하기 위해 k-fold 교차 검증을 사용하여 $\hat{g}$ 를 학습하고, 홀드아웃 (hold-out) 데이터에서 오차를 평가합니다. 이는 이론적으로 실제 보정 오차에 대한 하한 (lower bound) 을 보장합니다.
2. 분류기 활용: $g^*$ 는 $f(X)$ 를 특징으로 하여 $Y$ 를 예측하는 분류 문제로 볼 수 있으므로, 기존에 잘 설계된 분류 알고리즘 (예: CatBoost, LightGBM 등) 을 사용하여 $\hat{g}$ 를 학습합니다.
3. 과신/과소신 분리: 제안된 프레임워크를 변형하여 모델이 과신 (over-confidence) 하는 부분과 과소신 (under-confidence) 하는 부분을 별도로 분석할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. Lp 보정 오차 추정 프레임워크 확장: 기존에 적절한 손실 (proper loss) 에만 국한되었던 변분 추정기를, L1, L2 등 임의의 Lp 거리를 포함하는 광범위한 보정 오차 클래스로 확장했습니다.
2. 편향 없는 하한 추정: 교차 검증을 통해 재보정 함수를 학습함으로써, 기존 구간화 (binning) 기반 방법이나 과적합된 방법들이 가지는 과대평가 (over-estimation) 문제를 해결하고, 기대값 기준으로 실제 오차의 하한을 제공합니다.
3. 정확도와 수렴 속도 개선: 실험을 통해 제안된 방법이 기존 ECE (구간화) 나 등방성 회귀 (isotonic regression) 보다 더 빠른 수렴 속도와 더 높은 정확도를 보임을 입증했습니다.
4. 오픈소스 통합: 제안된 방법을 probmetrics 패키지에 통합하여 공개했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 데이터:
  • 보정된 (calibrated), 과신된 (over-confident), 그리고 편향된 (shifted) 데이터셋에서 실험을 수행했습니다.
  • 결과: 교차 검증을 사용하는 변분 추정기는 실제 오차에 수렴하며, 특히 샘플 수가 적거나 모델이 이미 잘 보정되어 있을 때 과대평가를 하지 않는 하한을 제공합니다. 반면, 교차 검증을 사용하지 않은 등방성 회귀나 기존 ECE 는 오차를 과대평가하는 경향이 있었습니다.
• 실제 데이터 (TabRepo):
  • 58 개의 이진 분류 및 25 개의 다중 클래스 데이터셋에서 다양한 분류기 (TabICLv2, RealTabPFN-2.5, CatBoost, LightGBM 등) 를 비교했습니다.
  • 최적 모델: GPU 기반의 TabICLv2 와 RealTabPFN-2.5 가 가장 높은 정확도로 보정 오차를 복원했으나, CPU 환경에서는 Logit 초기화 (warm-start) 를 적용한 CatBoost가 성능과 계산 효율성 면에서 가장 균형 잡힌 선택으로 추천되었습니다.
  • 기타 방법 비교: Nadaraya-Watson, 온도 스케일링 (Temperature Scaling), 등방성 회귀 등은 계산 속도는 빠르지만 보정 오차 추정 정확도 (특히 적절한 손실 지표) 가 낮았습니다.

5. 의의 및 결론 (Significance)

이 논문은 머신러닝 모델의 신뢰성 평가에 있어 중요한 도구를 제공합니다.

• 다양한 오차 척도 지원: L1, L2 등 다양한 거리 척도를 사용하여 보정 오차를 정밀하게 측정할 수 있게 되었습니다.
• 신뢰할 수 있는 평가: 교차 검증을 통한 하한 추정은 모델 개발자가 보정 오차를 과신하지 않도록 하여, 실제 배포 환경에서의 모델 신뢰도를 높이는 데 기여합니다.
• 실용성: 기존에 복잡하거나 계산 비용이 높았던 다중 클래스 보정 오차 추정을, 기존 분류기를 활용하여 효율적으로 수행할 수 있게 함으로써, 산업 현장에서의 적용 가능성을 크게 높였습니다.

결론적으로, 이 연구는 보정 오차 추정의 이론적 한계를 극복하고, 실제 응용에 적합한 정확하고 효율적인 변분 추정기를 제시했다는 점에서 의의가 큽니다.