기술 요약: 분위수 적응형 온도 스케일링(Quantile-Adaptive Temperature Scaling)을 통한 신뢰도 교정

1. 문제 정의 및 동기

심층 신경망은 종종 예측이 틀렸을 때조차 과도한 확신을 보이는 등, 부적절하게 교정된 신뢰도 추정치를 생성하곤 한다. **온도 스케일링(Temperature Scaling, TS)**은 그 단순성 덕분에 표준적인 사후 교정(post-hoc calibration) 방법으로 남아 있지만, 이는 로짓(logits)의 전역적이고 균일한 재스케일링에 의존한다. 저자들은 이러한 접근 방식이 신뢰도 스펙트럼 전반에서 관찰되는 **매우 이질적인 미교정 구조(highly heterogeneous structure of miscalibration)**를 해결하지 못한다고 주장한다.

분위수별 분석을 통해, 본 논문은 정답 여부와 신뢰도 사이의 불일치가 균일하게 발생하지 않음을 입증한다. 대신, 미교정의 위치와 형태는 다음과 같은 체제(regime)에 따라 크게 달라진다:

• 표준 설정: 오류가 가장 낮은 신뢰도 분위수에 집중된다.
• 롱테일(Long-tailed) 설정: 중간 빈도 클래스의 존재로 인해 오류가 중간 신뢰도 분위수로 이동한다.
• 분포 변화(Distributional Shifts): 공변량 섭동(covariate perturbations)은 상대적 순서는 유지하면서 신뢰도의 절대적 척도를 변화시키기 때문에, 전역적 재스케일링 방법은 어려움을 겪는다.

그룹 교정(Group Calibration, GC)이나 입력 의존적 온도와 같은 고급 변형들을 포함한 기존 방법들은 암묵적으로 매끄럽고 전역적으로 일관된 변환을 가정한다. 이러한 구조적 경직성은 미교정이 가장 심각한 특정 영역을 효과적으로 타겟팅하는 것을 방해하며, 클래스 불균형 및 도메인 변화와 같은 도전적인 시나리오에서 하위 최적의 성능으로 이어진다.

2. 방법론: 분위수 적응형 온도 스케일링 (QaTS)

이러한 한계를 해결하기 위해, 저자들은 예측의 원시 신뢰도 크기가 아닌 예측의 경험적 신뢰도 분위수에 따라 온도 파라미터를 조정하는 사후 교정 방법인 **분위수 적응형 온도 스케일링(Quantile-Adaptive Temperature Scaling, QaTS)**을 제안한다.

핵심 메커니즘

1. 분위수 재매개변수화 (Quantile Reparameterization):
   본 방법은 교정 세트의 경험적 누적 분포 함수(CDF)를 사용하여 원시 신뢰도 $p$를 균등한 분위수 공간 $\tau \in [0, 1]$로 매핑한다. 이는 기대 교정 오차(Expected Calibration Error, ECE) 목적 함수를 균등 분위수 축에 대한 적분으로 변환하여, 밀집된 신뢰도 영역이 오차 지표를 지배하는 것을 방지하고 미교정의 이질적 구조를 명시적으로 드러낸다.

2. 샘플별 온도 함수 (Sample-Wise Temperature Function):
   단일 스칼라 $T$ 대신, QaTS는 경험적 분위수 $q(x)$의 단조 선형 함수로서 샘플 의존적 온도 $T(x)$를 정의한다:
   $$T(x) = a \cdot (1 - q(x)) + b$$
   여기서 $a$와 $b$는 학습 가능한 양의 파라미터이다.

• 저분위수 예측(일반적으로 과신하며 오류가 발생하기 쉬운 경우)은 더 높은 온도를 받아 신뢰도를 완화시킨다.
• 고분위수 예측은 더 작은 조정을 받아 정확도를 보존하고 불필요한 왜곡을 피한다.

3. 최적화 (Optimization):
   파라미터 $a$와 $b$는 엄격하게 적절한 점수 규칙(strictly proper scoring rule)인 음의 로그 가능도(Negative Log-Likelihood, NLL)를 최소화함으로써 교정 세트에서 최적화된다. 이 대리 최적화는 교정된 확률을 경험적 정답 빈도와 일치시켜, 재매개변수화된 ECE를 효과적으로 최소화한다.

4. 추론 (Inference):
   테스트 샘의 $x$에 대해, 소프트맥스를 적용하기 전에 로짓은 계산된 $T(x)$에 의해 스케일링된다. $T(x)$는 신뢰도의 절대값이 아닌 순위(분위수)에 의존하기 때문에, 이 방법은 분위수의 순위 기반 안정성을 상속받는다. 이는 신뢰도의 상대적 순서가 대략적으로 유지된다는 전제하에, 코베리에이트 변화와 관련된 전역적 로짓 스케일링 효과에 대해 QaTS를 견고하게 만든다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 개술한다:

1. 분위수별 분석: 교정 오류가 신뢰도 스펙트럼 전반에서 매우 이질적이며, 서로 다른 체제(표준 vs 롱테일)에 따라 크게 달라진다는 상세한 분석을 제시한다. 이 분석은 특정 오류 집중 영역을 타겟팅할 수 없는 기존 TS 기반 방법들의 구조적 한계를 밝혀낸다.
2. QaTS 알고리즘: 분위수 공간에서 직접 작동하는 단순하고 효율적인 전략을 도입한다. 이는 ECE의 분위수 재매개변수화를 공식화하고, 각 예측의 상대적 순위에 적응하는 단조 온도 함수를 도입한다.
3. 포괄적인 실증적 검증: 표준 컴퓨터 비전, 의료 영상, 텍스트 분류 및 시맨틱 세그멘테이션을 포함하여 다양한 조건(롱테일 분포, 분포 변화) 하의 162개 설정에 대한 광범위한 실험을 수행한다.

4. 실험 결과

저자들은 Uncalibrated 모델, TS, Isotonic Regression (IR), AdaTS, Group Calibration (GC), FeatClip을 포함한 최첨단 사후 베이스라인들과 QaTS를 평가한다.

• 표준 벤치마크: CIFAR-10, CIFAR-100, ImageNet에서 QaTS는 CNN 및 Vision Transformer 백본 모두에서 경쟁 방법들을 능가하며 지속적으로 가장 낮은 ECE를 달ей한다.
• 롱테일 분포: 심각한 클래스 불균형이 있는 시나리오(예: CIFAR-100-LT, ImageNet-LT)에서 표준 방법들은 종종 실패하거나 성능이 저하된다. QaTS는 상당한 견고함을 보여주며, 일부 사례에서 AdaTS 및 GC와 같은 베이스라인에 비해 ECE를 80~90% 감소시킨다.
• 분포 변화: 다양한 심각도 수준의 합성 오염(CIFAR-100-C) 하에서, QaTS는 정확도를 보존하는 방법들을 크게 앞지르며 2~3배 더 낮은 ECE를 달성한다. 특히, 모든 타겟 도메인에 대한 OOD(Out-of-Distribution) 샘플에 대한 접근이 필요한 도메인 특화 방법인 HFE보다 우수한 성능을 보인다. QaTS는 타겟 도메인 데이터 없이도 이를 달성한다.
• 일반화: 의료 영상 분류(HAM10000, MedMNIST2D), 시맨틱 세그멘테이션(Pascal VOC), 텍스트 분류(20 Newsgroups)에서 우수한 성능을 보여준다.
• 정확도 보존: 상당한 정확도 저하(최대 4~6%)를 대가로 교정을 개선하는 FeatClip과 달리, QaTS는 예측 클래스 순위를 보존하여 예측 성능을 유지하면서 교정을 개선한다.
• 호환성: QaTS는 교정 인식 목적 함수(예: Brier loss, Focal Loss, Label Smoothing)로 훈련된 모델 위에 적용되었을 때 ECE를 더욱 감소시키는 보완적인 사후 레이어로서 작동한다.

5. 의의 및 주장

본 논문은 QaTS가 사후 교정을 위한 단순하고 효율적이며 견고한 토대를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 이질성 해결: 원시 신뢰도 점수에서 분위수 공간으로 이동함으로써, QaTS는 전역적 온도 스케일링의 "일률적(one-size-fits-all)" 한계를 극복하고 미교정이 가장 심각한 영역을 명시적으로 타겟팅한다.
• 변화에 대한 견고함: 순위 기반 공식화는 절대적 신뢰도 크기는 변하지만 상대적 순서가 유지되는 분포 변화 하에서도 안정성을 보장한다.
• 실용성: 재학습, 모델 가중치 또는 그래디언트 접근, 추가 네트워크가 필요하지 않으므로 대규모 사전 학습된 모델 및 고정된 백본에 확장 가능하다.
• 보편적 적용 가능성: 이 방법은 다양한 작업, 아키텍처 및 도전적인 실제 시나리오에서 일관된 효과를 입증하며, 예측 정확도를 훼손하지 않고 신뢰성을 향상시키는 보편적인 교정 전략으로서의 위치를 확립한다.