기술 요약: 시각-언어 모델을 이용한 이미지 분류를 위한 국소적 컨포멀 예측 (Localized Conformal Prediction)

1. 문제 정의

컨포멀 예측(Conformal Prediction, CP)은 머신러닝에서 불확실성 정량화를 위해 널리 사용되는 통계적 프레임워크로, 강력한 한계적 커버리지 보장(즉, 전체 데이터 분포에 대해 평균적으로 $1-\alpha$의 확률로 실제 레이블을 포함하는 예측 집합 생성)을 제공한다. 그러나 표준 CP의 잘 알려진 한계점은 특정 하위 그룹(예: 특정 클래스 또는 특징 영역)에 대한 **조건부 커버리지(conditional coverage)**를 보장할 수 없다는 것이다. 이는 특정 하위 집단에서 커버리지 불균형(under- or over-coverage)이 발생하는 결과로 이어진다.

이 문제를 해결하기 위해 테스트 샘플과의 유사성에 따라 교정(calibration) 예시들에 가중치를 부여하는 **국소적 컨포멀 예측(Localized Conformal Prediction, LCP)**이 제안되었으나, 이는 주로 회귀 작업 및 합성 데이터셋에 국한되어 적용되어 왔다. 이미지 분류 작업, 특히 **시각-언어 모델(Vision-Language Models, VLMs)**을 사용하는 경우에 LCP를 적용하는 것은 여전히 미개척 분야이다. VLM의 잠재 공간(latent space) 내 시각적 특징 간의 코사인 유사성을 사용하는 직관적인 선택이 분류 작업에서 비국소적(non-local) 베이스라인보다 개선된 성능을 보여줄 만큼 충분한가라는 질문은 중요한 미해결 과제이다.

2. 방법론

2.1 프레임워크 및 설정

저자들은 VLM(구체적으로 ViT 및 CNN 백본을 사용하는 CLIP 기반 모델)을 사용하여 분류 작업에 LCP 프레임워크를 적용한다. 과정은 다음과 같다:

1. 교정(Calibration): 교정 샘플 세트를 사용하여 컨포멀 점수(conformal scores)를 계산한다.
2. 스코어링(Scoring): 네 가지 표준 컨포멀 분류 점수를 평가한다:
   • TopK: 예측 벡터 내 실제 클래스의 순위(rank)를 사용한다.
   • LAC (Least Ambiguous set-valued Classifier): $1 - (\text{실제 클래스의 확률})$을 사용한다.
   • APS (Adaptive Prediction Sets): 실제 클래스까지 정렬된 확률들의 누적 합을 사용한다.
   • RAPS (Regularized APS): APS에 집합 크기를 조절하기 위한 페널티 항을 추가한다.
3. 국소화(Localization): 교정 점수에 대해 균등 분포를 사용하는 대신, LCP는 테스트 샘플과 유사한 교정 샘플에 더 높은 가중치를 할당하는 로컬라이저 함수 $H(f_{test}, f_i)$를 기반으로 **가중치 적용 경험적 분포(weighted empirical distribution)**를 구축한다.

2.2 핵심 혁신: 코사인 유사성의 비선형 변환

본 논문은 로컬라이저 함수 $H$를 조사한다. VLM에서 이미지 임베딩 간의 코사인 유사성($f_i^T f_j$)은 시각적 유사성을 측정하는 직관적인 척도이다. 저자들은 두 가지 접근 방식을 테스트한다:

1. 나이브 접근법(Naive Approach): 원시 코사인 유사성을 로컬라이저 가중치로 직접 사용한다 ($H = f_i^T f_j$).
2. 제안된 접근법(Proposed Approach): 코사인 유사성에 **정규화된 시그모이드 변환(normalized sigmoid transformation)**을 적용한다:
   $$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$$
   여기서 $m > 0$은 기울기(steepness)를 제어하고, $\tau \in [0, 1]$는 변곡점(inflection point)을 설정한다.

하이퍼파라미터 $m$과 $\tau$는 평균 예측 집합 크기를 최소화하기 위해 교정 세트에서 **5-겹 교차 검증(5-fold cross-validation)**을 통해 튜닝된다. 최종 파라미터는 여러 폴드(fold)에 걸친 $m$의 중앙값과 $\tau$의 평균값으로부터 도출된다.

2.3 실험 설계

• 데이터셋: 9개의 다양한 이미지 분류 데이터셋 (SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101).
• 모델: 4개의 VLM 백본 (ViT-B/16, ViT-L/14, RN50, RN101).
• 지표:
  • 효율성(Efficiency): 평균 집합 크기 (Mean Set Size, MSS).
  • 유효성(Validity): 커버리지 갭 (Coverage Gap, CovGap) 및 최소 클래스 조건부 커버리지 (Minimum Class-Conditional Coverage, MCCC).
• 베이스라인: 동일한 스코어를 사용하는 표준 비국소적(non-local) CP 방법들.

3. 주요 결과

3.1 평균 집합 크기 (효율성)

제안된 비선형 변환은 비국소적 베이스라인 및 나이브 국소화 접근법 모두와 비교하여 효율성을 크게 향상시킨다.

• 성능: 제안된 방법은 4개의 백본 중 3개(ViT-B/16, ViT-L/14, RN50)에 걸쳐 9개 데이터셋 전체에서 비국소적 TopK 베이스라인과 비교했을 때 통계적으로 유의미한 평균 집합 크기 감소를 달성했다.
• 나이브 방식의 실패: 나이브 접근법(원시 코사인 유사성 사용)은 종종 성능을 저하시켜, 여러 사례(예: ViT-B/16을 사용한 DTD, RN50을 사용한 UCF101)에서 집합 크기를 비국소적 베이스라인보다 크게 증가시켰다.
• 일관성: 이러한 개선은 다양한 컨포멀 스코어(LAC, APS, RAPS)에 걸쳐 유지되었으나, 그 정도는 상이했다.

3.2 커버리지 지표 (유효성)

조건부 유효성에 관한 결과는 더 미묘했다:

• CovGap: 국소화된 접근법(나이브 및 제안된 방식 모두)은 모든 데이터셋과 백본에 대해 비국소적 베이스라인과 거의 동일한 CovGap 값을 생성했다. 이는 국소화 자체만으로는 VLM을 이용한 이미지 분류에서 커버리지 갭을 최소화하기에 불충분함을 시사한다.
• MCCC: 최악의 경우 커버리지(MCCC)에 대한 개선은 일관되지 않았다. 제안된 방법이 일부 특정 사례(예: ViT-B/16을 사용한 Pets의 LAC 스코어)에서는 MCCC를 개선했지만, 다른 사례(예: 동일 데이터셋의 TopK 스코어)에서는 성능을 저하시켰다.

4. 기여

본 논문은 세 가지 주요 기여를 한다:

1. 분류를 위한 LCP: VLM을 사용한 이미지 분류에 대한 LCP를 벤치마킹하고, 코사인 유사성을 사용하는 직관적인 방식이 차선책임을 입증한다. 또한 로컬라이저의 효과를 높이기 위한 간단한 비선형 시그모이드 변환을 제안한다.
2. 광범위한 벤치마킹: 9개의 다양한 데이터셋과 4개의 VLM 백본에 대한 포괄적인 평가를 제공하여, 제안된 방법이 평균 예측 집합 크기를 일관되적으로 줄인다는 것을 보여준다.
3. 오픈 소스 구현: 다양한 데이터셋 및 모델과 호환되도록 설계된, 분류를 위한 최초의 오픈 소스 LCP 구현을 공개한다.

5. 의의 및 주장

본 논문은 LCP가 국소적 분포 특성에 예측 집합을 적응시키는 유망한 프레임워크이지만, 그 성공은 로컬라이저 함수의 설계에 매우 의존적이라고 주장한다.

• 핵심 발견: 시각적 잠재 공간에서 원시 코사인 유사성을 사용하는 "나이브"한 직관은 불충분하며, 심지어 효율성을 해칠 수도 있다.
• 해결책: 한계적 커버리지 보장을 유지하면서 통계적으로 유의미한 예측 집합 크기 감소를 달려내기 위해서는 코사인 유사성에 대한 간단하고 튜닝 가능한 비선형 변환이 필수적이다.
• 한계: 저자들은 효율성은 개선되었지만, 이 특정 설정에서 커버리지 갭(CovGap)이 비국소적 베이스라인과 유사하게 유지된다는 점을 들어, 현재의 방법이 조건부 커버리지 불균형 문제를 완전히 해결하지는 못한다고 겸허히 언급한다.

본 연구는 견고한 오픈 소스 도구를 제공하고 VLM 기반 분류를 위한 필요한 전처리 단계를 명확히 함으로써, 실세계 응용 분야에서 국소적 컨포멀 예측의 배포를 용이하게 하는 것을 목표로 한다.