기술 요약: 비전 및 언어 모델을 위한 경험적 베이지안 컨포멀 예측

문제 정의

컨포멀 예측 (CP) 은 현대 비전 및 언어 모델을 위한 예측 집합을 생성하여 보장된 커버리지를 제공하는 분포 자유 (distribution-free) 프레임워크를 제공합니다. 그러나 표준 CP 는 후보를 순위 매기기 위해 단일 실현된 비동일성 점수 (nonconformity score) 에만 의존합니다. 이 접근법은 모델 파라미터, 학습 무작위성, 또는 프롬프트 문구에서 비롯된 인지적 불확실성과 점수 변이를 무시합니다.

여러 후보 레이블이나 응답이 유사한 점수를 받을 때, 작은 변동성만으로도 순위가 극적으로 바뀔 수 있습니다. 결과적으로 표준 CP 는 단일 노이즈가 있는 실현으로 인해 강력해 보였을 뿐일 뿐, 높은 분산을 가진 잘못된 후보를 예측 집합에 포함시키고, 약간 낮지만 더 일관된 점수를 가진 안정적인 후보는 제외할 수 있습니다. "평균 후 보정 (average-then-calibrate, CPavg)"과 같은 기존 대안들은 보정 전에 점수를 평균화하여 이러한 변이를 완화하지만, 후보 순위의 안정성에 대한 정보를 폐기합니다. 핵심 문제는 현재 CP 방법들이 점수 변이를 안정적 증거와 노이즈에 의한 변동성을 구분하는 신호로 활용하지 못하여, 덜 효율적 (더 큰) 이고 덜 안정적인 컨포멀 집합을 초래한다는 점입니다.

방법론: $r$-value 프레임워크

저자들은 점수 변이를 불확실성을 고려한 비동일성 점수인 $r$-value로 변환하는 경험적 베이지안 컨포멀 예측 프레임워크인 $CPr$-value를 제안합니다.

핵심 개념

관찰된 점수 $f(x)_i$만을 기반으로 후보를 순위 매기는 대신, 이 방법은 순위를 경험적 베이지안 문제로 다룹니다. 각 후보는 관찰되지 않은 잠재 점수 $\theta_i$(안정적인 신호) 와 $\theta_i$의 노이즈가 있는 실현인 관찰 점수 $f(x)_i$를 가진다고 가정합니다. $r$-value 는 추정된 점수와 그 불확실성을 모두 고려하여, 후보의 잠재 점수가 상위 그룹에 속할 확률을 측정합니다.

추정기

이 프레임워크는 $r$-value 를 위한 두 가지 추정기를 제공합니다:

1. 모수적 (Normal-Normal 모델): 잠재 점수가 정규 분포를 따르고 관측 노이즈가 가우시안이라고 가정합니다. 이는 $r$-value 에 대한 폐쇄형 식을 도출합니다. 이는 점수 크기와 분산 간의 균형을 명시적으로 모델링하여, 고분산 점수를 경험적 평균 쪽으로 수축시킵니다.
2. 비모수적 (후부 샘플링): 가설 없는 몬테카를로 추정기입니다. 여러 후부 샘플 (예: 모델 앙상블, MC-dropout, 또는 프롬프트 재문장화에서 얻은 샘플) 에 걸쳐 후보를 순위 매기고, 후보가 상위-$k$위치에 나타나는 빈도를 계산합니다. 이 빈도는 경험적 꼬리 확률로 작용하며, 이를 $r$-value 로 변환합니다.

알고리즘

1. 변동성 추정: 비전 모델의 경우 Weighted Bayesian Bootstrap 어댑터를, VLM/LLM 의 경우 프롬프트 재문장화를 통해 여러 모델 출력을 생성하여 각 후보에 대한 점수 분포를 추정합니다.
2. 보정: 보정 세트의 실제 레이블에 대해 $r$-value 를 계산합니다. $\lceil(n+1)(1-\alpha)\rceil$번째로 작은 $r$-value 를 임계값 $\hat{r}$로 결정합니다.
3. 예측: 테스트 입력에 대해 모든 후보의 $r$-value 를 계산합니다. $r(x, u_j) < \hat{r}$인 후보들을 예측 집합에 포함시킵니다.

주요 기여

• 이론적 보장: 교환 가능성 (exchangeability) 하에서, $r$-value 를 비동일성 점수로 사용하면 목표 컨포멀 커버리지 보장 ($1-\alpha$) 이 유지됩니다.
• 효율성 개선: 이론적으로 $r$-value 는 표준 CP 및 CPavg 에 비해 고분산 잘못된 후보의 포함 확률을 줄입니다. 이는 특히 변이가 정보적일 때 예상 예측 집합 크기를 줄여줍니다.
• 통합 프레임워크: 이 방법은 모수적 및 비모수적 접근법을 통합하여 로짓, 확률, 이산 평가자 점수 등 다양한 점수 유형과 ViT, CLIP, LLM 등 다양한 모델 아키텍처에 적용할 수 있게 합니다.
• 순위 안정성: 고점수 분산을 가진 후보에 페널티를 부과함으로써, 이 방법은 더 안정적인 순위를 생성하여 일관되게 상단에 나타나는 후보를 간헐적으로 높은 점수를 가진 후보보다 우선시합니다.

실험 결과

저자들은 이미지 분류, 비전 - 언어 모델 (VLM), 그리고 대규모 언어 모델 (LLM) 전반에 걸쳐 $CPr$-value 를 평가했습니다.

• 비전 모델 (이미지 분류): ViT 및 ResNet 모델에 Weighted Bayesian Bootstrap (WBB) 어댑터를 사용하여 후부 변이를 근사화했습니다.
  • 변동성이 작을 때 (강력한 백본, 경량 어댑터), $CPr$-value 는 표준 CP 와 유사하게 작동하여 커버리지와 집합 크기를 유지합니다.
  • 변동성이 정보적일 때, $CPr$-value 는 더 작고 안정적인 집합을 생성하며, 종종 표준 CP 보다 실제 클래스를 집합 내에서 더 높은 순위로 배치합니다.
• VLM 및 LLM (CLIP, SigLIP, MobileCLIP, LLaMA): 프롬프트 재문장화를 통해 변이를 유도했습니다.
  • 커버리지: $CPr$-value 는 명목 수준 (예: $\alpha=0.05$인 경우 95%) 에 가까운 커버리지를 유지했습니다.
  • 집합 크기: 집합 크기가 크게 감소했습니다. 예를 들어, ImageNet 에서 $CPr$-value 는 표준 CP 대비 평균 집합 크기를 거의 절반으로 줄였습니다.
  • 모델 강도 경향: 효율성 향상은 정확도가 낮고 고유한 변동성이 높은 모델 (예: SigLIP2) 에서 가장 두드러졌습니다. 모델 정확도가 증가하고 변동성이 감소함에 따라 (예: MobileCLIP2), 향상 효과는 감소하며 이론적 예측과 일치하게 자연스럽게 CP 와 유사한 동작으로 회귀했습니다.
  • 개방형 작업: TruthfulQA 와 같이 거친 평가자 점수를 가진 LLM 작업에서, $r$-value 는 재문장화를 통한 점수 안정성을 활용하여 동일한 평균 점수를 가진 응답 간의 동점을 깨뜨리고 더 정교한 순위 해상도를 제공했습니다.

중요성 및 주장

이 논문은 $CPr$-value 가 대형 모델의 지각된 약점인 불일치성이나 변동성을 컨포멀 효율성을 위한 유용한 신호로 변환한다고 주장합니다.

• 강건성: 이는 통계적으로 유효할 뿐만 아니라 불안정하고 노이즈에 의해 주도되는 후보를 필터링함으로써 더 효율적인 예측 집합을 구성하는 방법을 제공합니다.
• 실용성: 이 프레임워크는 비전 및 언어 영역 모두에 적용 가능하며, 기본 모델을 재학습할 필요 없이 어댑터, 앙상블, 프롬프트 변형과 같은 기존 불확실성 추정 기술을 활용합니다.
• 한계: 저자들은 이 방법의 효과가 변동성 추정의 품질에 달려 있다고 지적합니다. 추정된 변동성이 낮거나 무시할 수 있을 때 (매우 안정적인 모델의 경우), 이득은 미미합니다. 또한, 이 방법은 여러 샘플을 생성하기 위한 계산 오버헤드를 도입하지만, 경량 어댑터나 병렬 추론을 통해 종종 실현 가능합니다.

요약하자면, $CPr$-value 는 인지적 불확실성을 컨포멀 예측에 통합하는 원칙적인 방법을 제공하여, 현대 AI 시스템을 위한 더 작고, 안정적이며, 신뢰할 수 있는 예측 집합을 산출합니다.