Know When to Abstain: Optimal Selective Classification with Likelihood Ratios

이 논문은 네이만 - 피어슨 보조정리에 기반한 우도비 접근법을 통해 공변량 편이 (covariate shift) 환경에서 기존 방법론보다 우수한 성능을 보이는 새로운 선택적 분류 (selective classification) 전략을 제안하고 이를 다양한 시각 및 언어 작업에서 검증했습니다.

핵심

이 논문은 **"지혜로운 AI: 언제는 답하고, 언제는 '모르겠다'고 말해야 할까?"**라는 주제를 다룹니다.

기존의 인공지능 (AI) 은 질문을 받으면 무조건 답을 내놓습니다. 하지만 AI 가 100% 확신이 없는데도 억지로 답을 내면 틀릴 확률이 높죠. 이 논문은 AI 가 **"이건 내가 잘 모르겠어, 전문가에게 맡기는 게 낫겠다"**라고 스스로 판단해서 답을 내지 않는 (기권, Abstain) 기술을 연구했습니다.

특히, 학습할 때 본 데이터와 실제 쓰일 때의 데이터가 다를 때 (예: 맑은 날 찍은 사진으로 학습했는데, 비 오는 날 찍은 사진에 테스트할 때) 어떻게 하면 AI 가 더 똑똑하게 기권할 수 있는지 해결책을 제시합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "모르는 척" 못하는 AI

상상해 보세요. 아주 똑똑한 요리사 (AI) 가 있습니다. 이 요리사는 평소에는 맛있는 요리를 잘 해내지만, 갑자기 재료가 다르고 조리법도 낯선 상황 (covariate shift, 공변량 변화) 에 놓이면 당황해서 엉뚱한 요리를 만들어냅니다.

그런데 문제는 이 요리사가 자신이 실수할 것 같다는 걸 알면서도, 무조건 "이게 맞아요!"라고 강변한다는 점입니다. 손님은 그 요리를 먹고 배탈이 날 수 있죠.

이 논문은 **"요리사가 재료가 이상하면 과감히 '이건 제가 못 만들겠어요'라고 말하게 하는 방법"**을 찾았습니다.

2. 핵심 아이디어: "확률의 저울" (Neyman-Pearson Lemma)

논문은 통계학의 고전적인 이론인 네이만 - 피어슨 보조정리를 차용했습니다. 이를 비유하자면 다음과 같습니다.

• 상황: 요리사가 "이 요리는 내가 잘 만들 수 있다 (정답)"고 생각할 때와 "내가 실수할 것이다 (오답)"라고 생각할 때의 신호를 비교합니다.
• 해결책: 두 가지 신호의 비율을 계산하는 **'저울'**을 만듭니다.
  • "정답일 확률"이 "오답일 확률"보다 훨씬 높다면? 👉 답을 내놓는다.
  • "오답일 확률"이 높거나 비슷하다면? 👉 기권한다 (모르겠다).

이론적으로 이 '저울'이 가장 완벽한 판단 기준이라고 합니다.

3. 새로운 도구: "잘한 경험"과 "틀린 경험"을 따로 저장하다

기존의 방법들은 AI 가 "내가 얼마나 자신 있나?" (신뢰도 점수) 를 대충 재서 판단했습니다. 하지만 이 논문은 더 정교한 두 가지 도구를 제안합니다.

A. $\Delta$-MDS (마할라노비스 거리 차이)

• 비유: 요리사가 과거에 성공한 요리 레시피와 실패했던 요리 레시피를 각각 별도의 파일에 정리해 둔다고 상상해 보세요.
• 작동 원리: 새로운 손님이 주문을 하면, 요리사는 "이 주문이 내 '성공 파일'에 더 가깝니, 아니면 '실패 파일'에 더 가깝니?"를 계산합니다.
• 효과: 성공 파일에 가까우면 자신 있게 만들고, 실패 파일에 가까우면 "이건 내가 못 해"라고 말합니다. 특히 **지도 학습 (Supervised Learning)**을 한 AI 에게 아주 잘 맞습니다.

B. $\Delta$-KNN (k-최근접 이웃 차이)

• 비유: 요리사가 과거의 레시피를 파일로 정리하는 대신, **실제 요리한 요리사들 (데이터)**을 모아둔 방에 있다고 상상해 보세요.
• 작동 원리: 새로운 주문이 들어오면, "이 주문을 가장 잘 아는 요리사 5 명은 누구인가?"를 찾아봅니다. 그중에서 성공한 요리사들과 실패한 요리사들 중 누구에게 더 가까운지 비교합니다.
• 효과: 성공한 요리사들과 더 가깝다면 자신 있게, 실패한 요리사들과 더 가깝다면 기권합니다. 이 방법은 CLIP 같은 최신 AI 모델에 특히 강력하게 작동합니다.

4. 최고의 조합: "두 가지 지혜를 합치다"

논문은 이 두 가지 방법 (거리 기반) 과 기존의 방법 (점수 기반, 예: "내가 이거 90% 확신해") 을 섞어서 쓰는 것이 가장 좋다고 말합니다.

• 비유: 요리사가 "내 레시피 파일 ($\Delta$-MDS) 을 보니 비슷해 보이는데, 내 직감 (RLog 점수) 은 좀 불안하네?"라고 생각할 때, 두 가지 정보를 모두 고려하면 훨씬 정확한 판단을 내릴 수 있습니다.
• 결과: 실험 결과, 이 혼합 전략이 기존에 있던 어떤 방법보다도 데이터가 변했을 때 (covariate shift) AI 가 실수하는 것을 훨씬 잘 막아냈습니다.

5. 왜 이 연구가 중요한가요?

지금까지 AI 연구는 "학습 데이터와 테스트 데이터가 똑같을 때"를 가정하는 경우가 많았습니다. 하지만 현실은 다릅니다.

• 실제 예시: 맑은 날 찍은 고양이 사진으로 학습한 AI 가, 추운 겨울날 찍은 고양이 사진이나 그림으로 된 고양이를 볼 때 (데이터 분포가 변함).
• 기존의 문제: 이런 상황에서 AI 는 여전히 무조건 답을 내다가 엉뚱한 결과를 냅니다.
• 이 논문의 기여: 데이터가 변해도 AI 가 **"이건 내가 배운 게 아니야, 전문가에게 맡겨야겠다"**라고 정확히 알아채게 해줍니다.

요약

이 논문은 AI 에게 **"무조건 답하는 것보다, 모르는 건 인정하는 것이 더 똑똑한 일"**임을 증명했습니다.
통계학의 고전 이론을 바탕으로, AI 가 과거의 성공과 실패 경험을 비교하여 스스로 판단하게 하는 새로운 방법을 개발했고, 이것이 실제 현실 세계의 변화하는 환경에서도 가장 효과적임을 확인했습니다.

한 줄 요약: "AI 가 실수할 것 같을 때, 억지로 답하지 않고 '모르겠다'고 말할 수 있게 해주는 똑똑한 안전장치를 만들었습니다."

기술 요약

논문 요약: KNOW WHEN TO ABSTAIN: OPTIMAL SELECTIVE CLASSIFICATION WITH LIKELIHOOD RATIOS

이 논문은 **선택적 분류 (Selective Classification)**의 최적 설계에 대해 통계학의 고전적인 결과인 네이만 - 피어슨 (Neyman-Pearson) 보조정리를 새로운 관점에서 적용한 연구입니다. 저자들은 불확실한 입력에 대해 모델이 예측을 유보 (abstain) 할 수 있도록 하는 선택 함수 (selector function) 를 설계할 때, 우도비 (Likelihood Ratio) 테스트가 최적의 기준이 됨을 보였습니다. 특히, 훈련 데이터와 테스트 데이터의 입력 분포가 다른 공변량 이동 (Covariate Shift) 상황에서의 성능 향상에 중점을 두었습니다.

1. 문제 정의 (Problem)

• 선택적 분류의 필요성: 머신러닝 모델은 불확실한 경우에도 항상 예측을 내놓는 경향이 있어 오류가 발생할 수 있습니다. 선택적 분류는 모델이 신뢰도가 낮은 입력에 대해서는 예측을 거절하고 (유보), 인간 전문가에게 넘기는 등의 조치를 취하여 전체적인 신뢰도와 견고성을 높이는 것을 목표로 합니다.
• 기존 방법의 한계:
  • 대부분의 기존 연구는 최대 소프트맥스 확률 (MSP), 로그 마진 (Logit Margins), 몬테카를로 드롭아웃 등 휴리스틱한 신뢰도 점수에 의존합니다.
  • 이러한 방법들은 이론적으로 최적의 거절 규칙을 제공하지 못하며, 특히 공변량 이동 (Covariate Shift) 상황에서 취약합니다. 공변량 이동은 입력 데이터의 분포 ($p(x)$) 는 변하지만 레이블 공간 ($p(y)$) 은 고정된 경우 (예: 사진으로 학습된 모델이 그림으로 테스트됨) 를 의미합니다.
  • 기존 연구들은 대부분 독립 동일 분포 (i.i.d.) 가정 하에서 평가되거나, 의미론적 이동 (Semantic Shift, 새로운 클래스 등장) 에 집중하여 공변량 이동에 대한 체계적인 접근이 부족했습니다.

2. 방법론 (Methodology)

저자들은 선택적 분류를 가설 검정 문제로 재해석하여 네이만 - 피어슨 보조정리를 적용했습니다.

2.1 네이만 - 피어슨 관점에서의 재해석

• 가설 설정: $H_0$: 분류기가 올바른 예측을 한다 vs $H_1$: 분류기가 잘못된 예측을 한다.
• 최적 규칙: 네이만 - 피어슨 보조정리에 따르면, 주어진 오류율 (Type I error) 하에서 다른 오류율 (Type II error) 을 최소화하는 최적의 결정 규칙은 **우도비 (Likelihood Ratio)**를 기반으로 합니다.
  $$s(x) = \frac{p_c(x)}{p_w(x)}$$
  여기서 $p_c(x)$는 분류기가 올바른 예측을 할 때의 입력 분포, $p_w(x)$는 잘못된 예측을 할 때의 입력 분포입니다.
• 통찰: 기존에 사용되던 많은 점수 함수들 (MSP, Raw Logits 등) 은 이 우도비의 근사치로 해석될 수 있으며, 특정 조건 하에서 네이만 - 피어슨 최적성을 가집니다.

2.2 제안된 새로운 선택자 (Selectors)

이 이론적 틀을 바탕으로 저자들은 두 가지 새로운 거리 기반 점수 함수와 선형 결합 전략을 제안했습니다.

1. $\Delta$-MDS (Mahalanobis Distance):

   • 기존 MDS 는 클래스별 평균과 공분산을 사용하지만, $\Delta$-MDS 는 훈련 데이터 중 분류기가 올바르게 예측한 샘플과 잘못 예측한 샘플을 구분하여 각각의 통계량 ($\mu_c, \Sigma_c$ 와 $\mu_w, \Sigma_w$) 을 추정합니다.
   • 점수는 올바른 영역과 잘못된 영역 사이의 마할라노비스 거리 차이로 정의됩니다.
   • 이론적 근거: 특징 공간에서 $Z|C$와 $Z|\neg C$가 가우시안 분포를 따른다고 가정할 때, $\Delta$-MDS 는 우도비의 단조 변환 (monotonic transformation) 이 되어 네이만 - 피어슨 최적성을 가집니다.

2. $\Delta$-KNN (k-Nearest Neighbors):

   • 비모수적 (non-parametric) 접근법으로, 올바르게 분류된 훈련 샘플 집합 ($A_c$) 과 잘못 분류된 집합 ($A_w$) 에 대한 k-NN 거리를 비교합니다.
   • 점수는 두 집합까지의 로그 거리 차이로 정의됩니다.
   • 이론적 근거: 점근적 조건 하에서 $\Delta$-KNN 은 우도비의 근사치로 수렴하여 네이만 - 피어슨 최적성을 가집니다.

3. 선형 결합 (Linear Combination):

   • 로짓 기반 점수 (예: Raw Logits, RLog) 와 거리 기반 점수 (예: $\Delta$-MDS, $\Delta$-KNN) 를 선형적으로 결합하여 ($s_{combined} = s_{dist} + \lambda \cdot s_{logit}$) 상호 보완적인 강점을 활용합니다.
   • 이론적으로 두 점수 모두 네이만 - 피어슨 최적이라면, 그 선형 결합도 특정 조건 하에서 최적성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 네이만 - 피어슨 기반 프레임워크 도입: 선택적 분류의 최적성을 우도비 테스트를 통해 정의하는 최초의 체계적인 프레임워크를 제시했습니다.
2. 기존 방법의 통합 및 새로운 방법 제안: 기존 선택자 (MSP, RLog 등) 를 우도비 근사치로 해석하고, 이를 바탕으로 $\Delta$-MDS 와 $\Delta$-KNN 두 가지 새로운 선택자를 개발했습니다.
3. 공변량 이동에 대한 포괄적 평가: 비전 (Vision) 과 언어 (Language) 작업, 그리고 전통적인 지도 학습 모델과 비전 - 언어 모델 (VLM, 예: CLIP) 을 아우르는 광범위한 벤치마크에서 제안된 방법들이 기존 베이스라인을 일관되게 능가함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

저자들은 ImageNet 의 공변량 이동 버전 (ImageNet-R, ImageNet-A, ImageNet-C 등) 과 Amazon Reviews 데이터셋을 사용하여 실험을 수행했습니다.

• 성능 지표: 위험 - 커버리지 곡선 아래 면적 (AURC) 과 정규화된 AURC (NAURC) 를 사용했습니다. 값이 낮을수록 성능이 좋습니다.
• 비전 작업 (Vision Tasks):
  • CLIP (VLM): 제안된 $\Delta$-KNN-RLog 와 $\Delta$-MDS-RLog 조합이 모든 베이스라인 (MSP, MDS, KNN, RLog 등) 을 압도적으로 능가했습니다. 특히 공변량 이동 데이터셋에서 AURC 가 약 50% 감소하는 효과를 보였습니다.
  • EVA (Supervised Model): $\Delta$-MDS-RLog 가 가장 우수한 성능을 보였습니다. 이는 소프트맥스 분류기와 가우시판 판별 분석 (GDA) 간의 이론적 연결고리가 supervised 모델에 유리하게 작용했기 때문입니다.
• 언어 작업 (Language Tasks): DistilBERT 모델을 사용한 Amazon Reviews 실험에서도 $\Delta$-MDS-MSP 및 $\Delta$-KNN-RLog 조합이 최상의 성능을 기록했습니다.
• 샘플 효율성: 라벨이 있는 데이터의 양을 0.1% 까지 줄여도 $\Delta$-KNN 기반 방법은 강력한 성능을 유지하여 데이터 효율성이 높음을 보였습니다.

5. 의의 및 결론 (Significance)

• 이론적 통찰: 선택적 분류의 핵심이 단순한 신뢰도 추정이 아니라, "올바른 예측"과 "잘못된 예측"을 구분하는 우도비 추정에 있음을 명확히 했습니다.
• 실용적 가치: 모델 재학습 없이 기존 사전 학습된 모델에 적용 가능한 사후 (post-hoc) 방법론을 제공하며, 특히 배포 환경에서 흔히 발생하는 공변량 이동 (입력 분포 변화) 에 강건한 선택적 분류를 가능하게 합니다.
• 미래 방향: 이 프레임워크는 분류뿐만 아니라 시계열 예측, 의미론적 분할, 생성 모델 (LLM 등) 로의 확장 가능성을 열어주며, 불확실성 관리가 중요한 다양한 AI 응용 분야에 기여할 것으로 기대됩니다.

요약하자면, 이 논문은 통계학의 고전적 정리를 현대 딥러닝의 선택적 분류 문제에 적용하여, 특히 분포 이동 상황에서 모델의 신뢰성을 극대화하는 새로운 표준을 제시했습니다.