기술적 요약: 합동 예측에서의 비준수 점수 함수 벤치마킹

문제 제기

합동 예측 (Conformal Prediction, CP) 은 단일 클래스 예측 대신 예측 집합을 생성함으로써 기계 학습 분류에서 모델 보정의 엄격한 대안을 제공합니다. CP 는 참 클래스가 예측 집합 내에 포함될 확률이 사전에 지정된 오차율 $\alpha$에 대해 적어도 $1 - \alpha$임을 보장하지만, 이러한 집합의 실용적 유용성은 그 크기에 크게 의존합니다. 너무 큰 예측 집합은 정보가 부족합니다.

이러한 집합의 크기와 유용성은 **비준수 점수 함수 (non-conformity score function)**의 선택에 의해 결정됩니다. 문헌에 수많은 점수 함수가 존재함에도 불구하고, 이러한 함수들의 특성, 효과성, 그리고 모델 아키텍처 및 클래스 불균형과의 상호작용을 체계적으로 조사한 연구는 부족합니다. 본 논문은 다양한 합동 영역 (확률 공간, 로그이트 공간, 특징 공간) 과 불균형 데이터셋을 포함한 다양한 조건 하에서 서로 다른 점수 함수가 어떻게 수행되는지에 대한 이해의 공백을 해소합니다.

방법론

평가 지표

저자들은 임의의 오차율 $\alpha$ 선택에 독립적으로 점수 함수를 평가하기 위해 새로운 평가 지표 $I_1$을 도입합니다. 기존 지표들은 고정된 $\alpha$에서의 평균 예측 집합 크기를 보고하는데, 이는 $\alpha$가 모델 정확도와 일치하지 않을 경우 오해의 소지가 있을 수 있습니다.
해당 지표는 다음과 같이 정의됩니다:
$$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$$
여기서 $A_k$는 상위-$k$ 모델 정확도 (특히 $A_1$은 상위 -1 정확도) 이며, $\bar{|P|}(\alpha)$는 오차율 $\alpha$에서의 평균 예측 집합 크기입니다. 이 적분은 평가 범위를 "흥미로운" 오차율 범위 (0 에서 모델의 고유 오차율까지) 로 제한하여, 더 낮은 값이 더 나은 성능 (더 작은 예측 집합) 을 나타내는 단일 객관적 수치를 제공합니다.

실험 설정

• 데이터셋: ImageNet(1000 클래스), CIFAR-100(100 클래스), CIFAR-10(10 클래스).
• 모델: ResNet50(주요), ResNet18, EfficientNet-B0.
• 합동 영역: 본 연구는 세 가지 서로 다른 공간에서 점수 함수를 평가합니다:
  1. 확률 공간: 소프트맥스 함수의 출력 ($\Delta_{n-1}$).
  2. 로그이트 공간: 소프트맥스 이전의 원시 출력 벡터 ($\mathbb{R}^n$).
  3. 특징 공간: 선형 출력 레이어 이전의 최종 특징 벡터.
• 벤치마킹된 점수 함수:
  • 레이블 거리 (Label Distance): 예측과 원-핫 인코딩된 레이블 사이의 거리.
  • 마진 거리 (Margin Distance): 참 클래스와 가장 확률이 높은 오답 클래스 간의 결정 경계까지의 거리.
  • 평균 거리 (Mean Distance): 동일한 클래스에 속하는 보정 예제들의 평균까지의 거리.
  • 최근접 이웃 (Nearest Neighbor): 같은 클래스 예제와 다른 클래스 예제까지의 거리 비율.
  • APS/RAPS/SAPS: 적응형 예측 집합 (Adaptive Prediction Sets) 과 그 정규화 변형 (순위 기반 방법).
  • 그래디언트/패스트 그래디언트 (Gradient/Fast Gradient): 특징 공간에서 결정 경계까지의 거리를 근사하는 특징 기반 방법.
• 불균형 테스트: 소수 클래스의 prevalence 를 10% 로 줄여 다양한 점수 함수가 클래스 불균형을 얼마나 잘 처리하는지 평가하는 클래스 조건부 설정을 테스트했습니다.

주요 결과

점수 함수의 성능

$I_1$ 지표로 요약된 벤치마킹 결과는 뚜렷한 성능 패턴을 보여줍니다:

• 거리 기반 vs 순위 기반: 거리 기반 점수 함수는 특히 코사인 거리를 사용할 때 예측 집합 크기 측면에서 순위 기반 방법 (APS, RAPS, SAPS) 보다 일반적으로 우수한 성능을 보였습니다.
• 최적의 영역 및 지표:
  • 로그이트 공간의 마진 거리를 코사인 거리로 적용한 것이 ResNet 모델에 대한 ImageNet 에서 가장 낮은 $I_1$ 값을 달성했습니다.
  • 평균 거리는 특히 코사인 거리를 사용한 특징 공간에서 CIFAR-100 에서 매우 뛰어난 성능을 보였습니다.
  • 확률 공간의 레이블 거리를 코사인 거리로 적용한 것도 매우 경쟁력이 있었습니다.
• 유클리드 거리 vs 코사인 거리: 유클리드 거리는 고차원 공간 (예: ResNet50 의 특징 벡터) 에는 적합하지 않은 것으로 밝혀진 반면, 코사인 거리는 견고하게 작동했습니다. 이는 이러한 모델들이 클래스를 대략 직교하는 클러스터로 조직화하고 있음을 시사합니다.
• APS/RAPS 의 무작위화: 본 연구는 APS 와 RAPS 의 무작위화 항 ($u$) 이 보정된 설정에서 커버리지 보장에 필수적이지 않음을 발견했습니다. $u$를 작은 상수 (동점 처리용) 로 설정하는 것이 표준 무작위화 접근법보다 종종 더 나은 성능을 발휘했습니다.
• 그래디언트 방법: 그래디언트 및 패스트 그래디언트 방법은 계산 비용이 많이 들었으며, 패스트 그래디언트의 경우 테스트된 데이터셋에서 다른 방법들보다 현저히 낮은 성능을 보였습니다.

모델 아키텍처의 영향

ResNet50 과 ResNet18 은 점수 함수 성능의 상대적 순서가 유사하게 나타났으나, EfficientNet-B0 은 다른 순위를 보였습니다. 이는 모델 아키텍처(예: ReLU 대 Swish 와 같은 활성화 함수) 가 합동 영역의 기하학적 특성에 영향을 미치므로 모델의 원시 정확도보다 점수 함수의 최적 선택에 더 큰 영향을 줄 수 있음을 시사합니다.

클래스 불균형

불균형 설정에서 소수 클래스는 실제 prevalence 보다 훨씬 높은 빈도로 예측 집합에 포함되었습니다 (예: 0.1% 실제 prevalence 인 클래스에 대한 27% 포함). 저자들은 이것이 예측기의 정밀도를 낮추지만, 희귀 클래스에 대한 근본적인 모델의 불확실성에 대한 "정직한" 반영이라고 지적합니다. 평균 거리는 특징 공간에서 커버리지를 유지하면서 이러한 과도한 포함을 최소화하는 데 가장 뛰어난 능력을 다시 한번 보여주었습니다.

중요성 및 주장

본 논문은 비준수 점수 함수의 특성과 효과성에 관한 지식 공백을 해소했다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 체계적인 벤치마킹: 다양한 데이터셋, 모델, 합동 영역에 걸쳐 다양한 점수 함수를 포괄적으로 비교 제공.
2. 평가 지표: 모델 정확도를 고려하고 임의의 오차율 선택을 피하는 견고한 단일 수치 지표인 $I_1$ 도입.
3. 영역 및 지표 통찰: 고차원 합동 영역에서 코사인 거리가 유클리드 거리보다 우수하며, 로그이트 공간이 종종 확률 심플렉스보다 우수함을 입증.
4. 실무 지침: 단일 "최고" 범용 방법에 의존하기보다 특정 모델 아키텍처와 데이터셋 특성에 기반하여 점수 함수를 선택할 수 있는 실무자를 위한 시작점 제공.

저자들은 단일 점수 함수가 보편적으로 우월하지 않으며, 최적의 선택은 모델과 데이터의 구체적인 상황에 달려 있다고 결론지었습니다. 그러나 벤치마크는 이러한 선택을 내리기 위한 명확하고 데이터 기반의 기초를 제공합니다.