Bandwidth Selection in Kernel Density Estimation for Model Calibration

기술 요약: 모델 보정(Model Calibration)을 위한 커널 밀도 추정(KDE)에서의 대역폭 선택

문제 정의
딥러닝 모델이 고위험 애플리케이션에 배포됨에 따라, 모델의 예측 정확도만큼이나 불확실성 추정의 신뢰성(보정) 또한 중요해지고 있습니다. 오보정(Miscalibration)은 모델의 신뢰도 점수가 실제 결과의 가능도와 일치하지 않을 때 발생합니다. 보정을 평가하기 위해서는 실제 조건부 확률 $R = E[y | f(x)]$를 추정해야 하는데, 이는 알려져 있지 않으며 경험적으로 근사화되어야 합니다.

전통적인 방법들은 빈닝(Binning)(예: 기대 보정 오차, ECE)에 의존하여 예측 공간을 이산적인 구간으로 분할합니다. 이 방식은 단순하지만, 인위적인 불연속성을 유발하고, 높은 분산을 가지며, 분할 체계에 민가한 특성을 보입니다. 또한, 점근적으로 일관성이 없으며 다중 클래스 설정에서 차원의 저주 문제에 직면합니다.

**커널 밀도 추정(KDE)**은 빈닝의 부드럽고 미분 가능한 대안으로 등장했습니다. 그러나 KDE 기반 추정기의 신뢰성은 **커널 대역폭(Kernel Bandwidth, $h$)**의 선택에 크게 의존합니다. **최대 우도 추정(MLE)**과 같은 표준 선택 기법은 보정 작업에 있어 최적이 아닌 경우가 많습니다. MLE는 국소 밀도를 극대화하기 위해 병리적으로 작은 대역폭을 선호하는 경향이 있으며, 이는 추정기가 근본적인 보정 프로파일을 포착하기보다 샘플링 노이즈에 과적합되도록 만듭니다. 결과적으로 이는 추정기가 근접 이웃 레이블 샘플러로 퇴화하여 노이즈가 심하고 신뢰할 수 없는 보정 표면을 생성하는 "분산-편향 트랩(variance-bias trap)"을 초래합니다.

방법론: 리스크 얼라인먼트 (Risk Alignment, RA)
저자들은 KDE 기반 보정 추정기에서 최적의 대역폭을 선택하기 위한 새로운 최적화 프레임워크인 **리스크 얼라인먼트(RA)**를 제안합니다. 핵심 통찰은 적절한 스코어링 규칙(Proper Scoring Rules)의 **브레그만 분해(Bregman Decomposition)**에서 유도됩니다. 이는 적절한 손실 함수의 기대 리스크를 다음 두 가지 구성 요소로 분해합니다:

1. 보정 오차 (Calibration Error, CE): 예측 확률과 실제 조건부 확률 사이의 차이.
2. 정교화 (Refinement, REF): 샘로들을 구별해내는 모델의 능력.

저자들은 이론적으로 개별 추정치(보정 및 정교화)가 조건부 확률 추정치의 분산($\text{Var}(\hat{R})$)에 의해 오염되지만, 이 분산 항들이 **전체 리스크(Total Risk)**를 형성하기 위해 합쳐질 때 구조적 상쇄가 일어남을 입증했습니다. 구체적으로:

• 보정 항에서 분산은 가짜 양(+)의 편향으로 작용합니다.
• 정교화 항에서 분산은 음(-)의 편향으로 나타납니다.
• 이들이 결합될 때, 2차 분산 항들은 서로 상쇄되어, 전체 리스크의 편향은 주로 예측 확률에 따른 가중치로 스케일링된 $R$의 추정 편향에 결합됩니다.

이를 바탕으로, RA 목적 함수는 데이터셋 전체에 걸쳐 KDE로 재구성된 리스크와 경험적으로 관찰된 리스크(그라운드 트루스 레이블) 사이의 총 불일치를 최소화합니다:
$$L_{RA}(h) = \sum_{i=1}^{n} |\hat{r}_{kde, i}(h) - r_i|^p$$
여기서 $\hat{r}_{kde, i}$는 $\hat{R}_i$를 사용하여 재구성된 리스크이며, $r_i$는 관찰된 리스크입니다. 리스크를 경험적 그라운드 트루스와 정렬함으로써, RA는 국소적인 확률적 노이즈(분산)를 억제하면서도 추정기의 매끄러움을 유지하는 대역폭을 선택하며, 이를 통해 MLE가 겪는 분산-편향 트레이드오프를 효과적으로 우회합니다.

주요 기여

1. 새로운 프레임워크: 리스크 추정 정렬 문제로 정식화된, KDE 기반 보정 추정기의 대역폭 선택을 위한 원칙적인 최적화 프레임워크인 리스크 얼라인먼트(RA) 목적 함수의 도입.
2. 이론적 분석: RA 목적 함수가 분산 항의 상쇄를 활용하여 보정 추정 편향을 최소화함을 입증하는 이론적 데모니스트레이션. 이는 캐노니컬(canonical) 및 클래스별 보정 오차를 포함한 다양한 지표에 적용 가능한 기준을 확립합니다.
3. 실증적 검증: RA가 MLE 및 빈닝 방식보다 대역폭을 선택하는 데 있어 일관되게 더 우수한 성능을 보임을 보여주는 광범의 실험. 이는 다양한 아키텍처와 데이터셋에서 더 신뢰할 수 있는 보정 평가로 이어집니다.

결과
저자들은 합성 데이터와 실제 데이터를 모두 사용하여 자신들의 방법을 평가했습니다:

• 합성 데이터: 알려진 그라운드 트루스 조건부 확률이 존재하는 시나리오에서, RA를 사용한 KDE 추정기는 클래스별 보정 오차를 추정하는 데 있어 최고의 성능을 달과냈으며, MLE 및 빈닝 베이스라인을 크게 앞질렀습니다. RA는 그라운드 트루스와 밀접하게 일치하는 신뢰도 도표(Reliability Plot)를 생성한 반면, MLE가 선택한 대역폭은 과적합을 나타내는 날카로운 스파이크를 생성했습니다.
• 실제 데이터: 다양한 모델(ResNet, VGG, ViT, Transformer)을 사용하여 CIFAR-10/100, ImageNet, Amazon Reviews에 대한 실험을 수행한 결과, RA가 클래스별 설정에서 MLE 및 빈닝 방법보다 일관되게 낮은 평균 절대 오차(MAE)를 기록하며 우월함을 확인했습니다.
  • 참고 (고차원 상황): 논문은 매우 높은 차원의 설정(예: 1,000개의 ImageNet 클래스를 가진 캐노니컬 보정)에서 데이터 희소성으로 인해 KDE 방식(RA 포함)이 저하된다는 점을 언급합니다. 이러한 특정 영역에서는 KDE 방식이 커널 리지 회귀(KRR) 접근 방식보다 경쟁력이 떨어지는 것으로 관찰되었으며, 이는 대역폭을 최적화하더라도 커널의 선택이 고차원에서는 매우 중요하다는 것을 시사합니다.

의의 및 주장
본 논문은 RA가 현재의 KDE 보정 추정기가 가진 근본적인 한계를 해결하는 원칙적인 대역폭 선택 기준을 제공한다고 주장합니다. 밀도 회복(MLE)에서 리스크 정렬으로 최적화의 초점을 전환함으로써, RA는 보정 평가가 샘플링 노이즈에 강건하도록 보장합니다.

저자들은 RA가 특히 클래스별 설정에서 표준 방법들보다 더 신뢰할 수 있는 보정 평가를 제공한다고 단언합니다. 또한, 대안적인 MSE 기반 리스크 프레임워크에 필요한 비용이 큰 교차 검증을 피하면서도 KDE의 계산 효율성($O(n^2)$)을 유지한다는 점을 강조합니다. 이 연구는 RA가 조건부 확률 매니폴드의 강건한 회복을 촉진하여, 고위험 애플리케이션에서 모델 보정을 평가하기 위한 안정적인 토대를 제공함을 시사합니다. 저자들은 고차원 캐노니컬 보정의 경우 데이터 희소성이 여전히 KDE 기반 접근 방식의 과제로 남아 있음을 인정하며 신중한 태도를 유지하고 있습니다.