기술 요약: 정제 및 보정 (RefCal) 을 통한 심층 신경망 신뢰성 향상

1. 문제 제기

심층 신경망 (DNN) 은 높은 예측 정확도를 달성하는 경우가 많지만, 신뢰할 수 없는 신뢰도 추정으로 고통받으며, 종종 잘못된 예측일지라도 과도하게 확신하는 결과를 산출합니다. 이러한 신뢰성 부재는 의료 및 자율 주행과 같은 안전이 중요한 분야에서 사용자 신뢰를 훼손합니다.

본 논문은 기존 접근법의 치명적인 한계를 지적합니다. 즉, 표준 보정 방법들은 종종 보정 지표 (예: 기대 보정 오차, ECE) 를 개선하는 대신 **정제 (refinement)**를 희생한다는 점입니다. 정제는 DeGroot 와 Fienberg(1982) 가 도입한 개념으로, 예측의 "선명도 (sharpness)"를 측정하며, 구체적으로 모델이 올바른 예측에는 높은 확신을 부여하고 잘못된 예측에는 낮은 확신을 부여하는 정도를 의미합니다. 저자들은 후처리 보정 기법이나 특정 학습 시 손실 함수가 학습 시 불확실성을 모방할 수는 있지만, 모델의 판별력을 실제로 향상시키지는 못한다고 관찰했습니다. 이는 결과적으로 올바른 예측과 잘못된 예측 사이의 분리를 감소시킵니다.

2. 방법론: RefCal

저자들은 정확도, 보정, 정제를 공동으로 최적화하도록 설계된 통합된 2 단계 훈련 프레임워크인 RefCal을 제안합니다.

2.1 이론적 기반: 정제 손실

핵심 혁신은 정제를 위한 새로운 대리 손실 함수 ($\mathcal{L}_{ref}$) 입니다. 저자들은 정제를 올바른 예측의 신뢰도와 잘못된 예측의 신뢰도 사이의 분리 정도로 정의합니다.

• 수식화: $\mathcal{L}_{ref}$는 앵커 샘플과 동일한 라벨을 가진 가장 가까운 양의 이웃 (positive neighbor) 사이의 거리를 최소화하면서, 다른 라벨을 가진 가장 가까운 음의 이웃 (negative neighbor) 사이의 거리를 최대화하도록 정의됩니다.
• 대조 학습과의 연관성: 수학적 분석 (Lemma 1 및 2) 을 통해 저자들은 Khosla 등 (2020) 이 제안한 **지도 대조 손실 (Supervised Contrastive Loss, SupCon)**이 제안한 정제 손실 ($\mathcal{L}_{ref}$) 의 상한선 ($\mathcal{L}_{SC} \geq \mathcal{L}_{ref}$) 이 된다는 것을 증명합니다. 이 이론적 결과로 인해 저자들은 처음부터 복잡하고 새로운 손실 함수를 설계하지 않고도 기존에 확장 가능한 SupCon 최적화 프레임워크를 활용하여 정제를 달성할 수 있습니다.

2.2 RefCal 훈련 체계

RefCal 은 두 가지 명확한 단계로 운영됩니다:

1. 정제 단계 (사전 훈련): 인코더를 지도 대조 손실 (Supervised Contrastive Loss) 을 사용하여 사전 훈련합니다. 이 단계는 동일한 클래스 샘플을 밀집하게 군집화하고 서로 다른 클래스 샘플을 분리하는 판별적 표현을 학습하는 데 중점을 두어, 모델의 정제 (선명도) 를 극대화합니다.
2. 보정 단계 (미세 조정): 인코더 가중치는 고정된 상태로 유지됩니다. 그런 다음 표준 분류 손실 (예: 교차 엔트로피) 과 특정 보정 손실 (예: MMCE, 온도 스케일링, 라벨 스무딩) 의 조합을 사용하여 선형 분류기 헤드를 훈련합니다. 이 단계는 첫 번째 단계에서 학습된 정제를 저하시키지 않으면서 확률 출력이 경험적 빈도와 일치하도록 최적화합니다.

3. 주요 기여

• 정제를 위한 새로운 대리 손실: 본 논문은 정제 목적 함수를 도입하고, 지도 대조 손실이 이 목적 함수를 최소화하기 위한 유효하고 처리 가능한 대리 손실임을 이론적으로 입증합니다.
• 다중 클래스 확장성: 이진 분류로 제한되거나 원-대-일 (one-vs-all) 방식이 필요한 기존 정제 방법 (예: 정확도 순위 손실 또는 AUC 최대화) 과 달리, SupCon 기반의 제안된 수식화는 자연스럽게 다중 클래스 분류로 확장됩니다.
• RefCal 프레임워크: 정제, 보정, 정확도를 동시에 성공적으로 최적화하는 2 단계 훈련 절차로, 이러한 목적들이 상호 배타적이라는 전통적인 관점에 도전합니다.
• 상충 관계에 대한 실증적 검증: 저자들은 일정한 오차 가정 하의 브라이어 점수 분해에서 종종 도출되는 보정과 정제 사이의 내재적 상충 관계 개념을 반박하며, 실증적으로 정제가 보정 및 정확도와 함께 개선될 수 있음을 보여줍니다.

4. 실험 결과

저자들은 CIFAR-10, CIFAR-100, CIFAR-100-LT(장기 꼬리), ImageNet-1K, ImageNet-LT, STL-10, TinyImageNet 등 여러 데이터셋에서 RefCal 을 평가했습니다.

• 성능 지표: 평가에는 Top-1 정확도, 정제의 대리 지표인 ROC 곡선 아래 면적 (AUC), 그리고 ECE, SCE, ACE, smECE 를 포함한 보정 지표가 사용되었습니다.
• 주요 발견:
  • CIFAR-100-LT: RefCal 은 정확도 58.81%, 정제 (AUC) 95.67%, ECE 0.08 을 달성하여 정확도 46.27%, AUC 93.7%, ECE 0.22 를 기록한 Correctness Ranking Loss (CRL) 베이스라인을 크게 능가했습니다.
  • CIFAR-10-LT: RefCal 은 ECE: 1.05, AUC: 99.04, 정확도: 88.11 의 최우수 종합 성능을 달성하여 SOTA 베이스라인 (Liu 등, 2022) 을 능가했습니다.
  • 강건성: RefCal 은 분포 외 (OOD) 데이터 및 자연스러운 왜곡 (예: 가우시안 잡음, 밝기 왜곡) 에 대해 우수한 강건성을 보여주었으며, SOTA 방법들에 비해 AUC 및 ECE 분산이 더 낮았습니다.
  • 시각적 해석 가능성: Grad-CAM 시각화는 RefCal 로 훈련된 모델이 배경 잡음보다 중요한 객체 특징에 더 집중함을 나타냈으며, 이는 정제 손실이 모델이 더 강건한 의미론적 특징을 학습하도록 강제함을 시사합니다.

5. 의의 및 주장

본 논문은 RefCal 이 종종 간과되는 정제 차원을 해결함으로써 DNN 신뢰성 향상을 위한 원칙적인 접근법을 제공한다고 주장합니다.

• 상충 관계 극복: 저자들은 보정과 정제 간의 갈등이 일정한 오차라는 특정 가정 하에서만 발생하며, 실제로는 둘 다 동시에 개선될 수 있음을 명확히 한다고 주장합니다.
• 실용적 관련성: 이 프레임워크는 정확도와 신뢰할 수 있는 신뢰도 추정 모두 중요한 ResNet 및 EfficientViT와 같은 아키텍처를 사용하는 실제 비전 시스템에 적용 가능합니다.
• 효율성 대 비용: 사후 보정에 비해 2 단계 프로세스로 인해 훈련 비용이 더 들지만, 추론 오버헤드 없이 상당한 신뢰성 향상을 제공합니다. 저자들은 이 방법이 기존 프레임워크 (SupCon 및 표준 보정 손실) 를 활용하므로 실용적이고 재사용 가능한 솔루션이라고 지적합니다.

본 논문은 정제와 보정을 공동으로 최적화함으로써 RefCal 이 정확할 뿐만 아니라 올바른 예측에는 높은 확신을, 오류에는 적절한 불확실성을 보이는 모델을 생성하여 심층 신경망의 전반적인 신뢰성을 향상시킨다고 결론지었습니다.