Post-hoc Probabilistic Vision-Language Models

이 논문은 대규모 시맨틱-언어 모델 (Vision-Language Models, VLMs) 인 CLIP, SigLIP 등에 대한 사후 (Post-hoc) 확률적 불확실성 추정 방법론을 제안합니다. 기존 VLM 들이 결정론적 (Deterministic) 방식으로 작동하여 도메인 이동 (Domain Shift) 이나 다운스트림 작업에서 발생하는 개념적 불확실성을 포착하지 못하는 문제를 해결하기 위해, 추가적인 학습 없이도 불확실성을 정량화할 수 있는 BayesVLM을 소개합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 결정론적 매핑의 한계: CLIP 및 SigLIP 와 같은 사전 학습된 VLM 은 이미지와 텍스트를 공동 잠재 공간 (Joint Latent Space) 에 매핑하여 코사인 유사도로 유사성을 판단합니다. 그러나 이는 결정론적이므로, 모델이 잘못된 예측을 할 때 이를 인지하지 못하거나 (과신, Overconfidence), 새로운 도메인이나 분포 외 (OOD) 데이터에 대해 불확실성을 제공하지 못합니다.
• 기존 방법의 제약: 기존 불확실성 추정 방법은 모델 재학습 (Fine-tuning), 어댑터 추가, 테스트 시간 적응 (Test-time adaptation) 등을 요구하여 계산 비용이 크거나 실시간 적용이 어렵습니다. 또한, 일부 방법은 베이지안 프레임워크를 따르지 않아 인지적 불확실성 (Epistemic Uncertainty) 을 제대로 포착하지 못합니다.
• 요구사항: 실제 안전 중시 (Safety-critical) 응용 및 능동 학습 (Active Learning) 에 활용하기 위해서는 모델 아키텍처 변경 없이, 재학습 없이, 계산 오버헤드가 적으면서도 효과적인 불확실성 추정 방법이 필요합니다.

2. 방법론 (Methodology: BayesVLM)

저자들은 **라플라스 근사 (Laplace Approximation)**를 기반으로 한 사후 확률적 모델링을 제안합니다.

• 사후 확률 추정 (Posterior Estimation):

  • VLM 의 마지막 레이어 (이미지 및 텍스트 프로젝션 레이어 $P, Q$) 에만 확률적 모델을 적용합니다.
  • i.i.d. 가정: 이미지와 텍스트 모달리티 간의 상호작용을 복잡하게 모델링하기보다, 각 모달리티를 독립적인 확률적 모델로 가정하여 (조건부 독립), 계산 효율성을 확보합니다. 이는 라플라스 근사의 국소적 특성 (MAP 추정치 기준) 을 활용하여 모달리티 간 상호작용을 여전히 포착할 수 있음을 보장합니다.
  • 헤시안 근사: 전체 파라미터에 대한 헤시안 행렬 계산은 불가능하므로, **KFAC (Kronecker-factored Approximate Curvature)**를 사용하여 GGN (Generalised Gauss-Newton) 근사를 적용합니다. 이를 통해 공분산 행렬을 효율적으로 추정합니다.

• 코사인 유사도 분포의 분석적 유도 (ProbCosine):

  • 확률적 프로젝션 레이어를 통해 생성된 임베딩은 가우시안 분포를 따릅니다.
  • 두 확률적 벡터 간의 코사인 유사도 분포를 직접 샘플링 (Monte Carlo) 하는 대신, 1 차 및 2 차 모멘트 (기댓값과 분산) 를 사용하여 가우시안 분포로 근사하는 ProbCosine 방법을 제안합니다.
  • 이를 통해 불확실성이 모델 출력 (클래스 조건부 확률) 으로 효율적으로 전파 (Propagation) 됩니다.

• 적용: 능동 학습 (Active Learning):

  • 추정된 불확실성 (예: BALD, EPIG 점수) 을 활용하여 가장 정보량이 많은 데이터를 선별하고, 이를 기반으로 모델을 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. BayesVLM 제안: 아키텍처 변경이나 추가 학습 없이 사전 학습된 VLM 에 적용 가능한 효율적인 사후 불확실성 추정 방법론을 제시했습니다.
2. 코사인 유사도 분포의 분석적 유도: VLM 의 핵심인 코사인 유사도에 대한 확률적 분포를 분석적으로 유도하여 (ProbCosine), 불확실성 전파를 위한 효율적인 수식을 제시했습니다.
3. 범용성 및 효율성 검증: 제로샷 (Zero-shot) 분류 및 능동 학습 시나리오에서 기존 베이스라인 (Temperature Scaling, TTA 등) 대비 우수한 성능과 보정 (Calibration) 능력을 입증했습니다.
4. 강건성 평가: 훈련 데이터에 접근할 수 없는 폐쇄형 데이터 (Proprietary Data) 환경에서도 프록시 데이터를 사용하여 헤시안을 추정할 때에도 robust 한 결과를 보임을 확인했습니다.

4. 실험 결과 (Results)

• 제로샷 분류 (Zero-shot Classification):
  • 다양한 벤치마크 (CIFAR, ImageNet-R, Flowers 등) 에서 BayesVLM 은 기존 CLIP/SigLIP 과 유사한 정확도 (ACC) 를 유지하면서도 **NLPD (Negative Log Predictive Density)**와 **ECE (Expected Calibration Error)**를 크게 개선했습니다.
  • 특히 TTA(Test-Time Augmentation) 보다 계산 비용이 훨씬 낮으면서도 더 잘 보정된 불확실성을 제공했습니다.
• 능동 학습 (Active Learning):
  • OfficeHome 및 ImageNet 변형 데이터셋에서 BayesVLM 의 불확실성을 기반으로 한 데이터 선택 (EPIG, BALD) 은 무작위 선택이나 엔트로피 기반 선택보다 더 적은 샘플로 더 높은 정확도를 달성했습니다.
  • 미세 조정 후 모델의 과신 (Overconfidence) 현상이 크게 감소하여, 잘못된 예측에 대한 신뢰도를 낮추는 데 효과적이었습니다.
• 계산 효율성:
  • 추론 시 계산 오버헤드는 CLIP-Base 기준 약 5% 미만, Huge 모델 기준 1% 미만의 증가에 그쳤습니다. (TTA 는 80 배 이상의 증가 발생)
• 강건성:
  • 훈련 데이터 (LAION-400M) 대신 프록시 데이터 (CC12M) 를 사용하여 헤시안을 추정하더라도 성능 저하가 미미하여, 폐쇄형 모델에서도 적용 가능함을 보였습니다.
  • 입력 데이터의 노이즈 (Corruption) 가 증가함에 따라 불확실성 (분산) 이 적절히 증가하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 대규모 VLM 을 안전하고 신뢰할 수 있는 실용적 응용 (안전 중시 시스템, 의료, 자율 주행 등) 에 적용하기 위한 핵심 과제를 해결합니다.

• 실용성: 모델을 재학습하거나 구조를 변경하지 않고도 불확실성을 추정할 수 있어, 기존 모델 배포 환경에 즉시 적용 가능합니다.
• 신뢰성: 모델이 "무엇을 모르는지"를 정량화하여, 위험한 상황에서 인간 개입을 유도하거나 능동 학습을 통해 데이터 효율성을 극대화할 수 있습니다.
• 확장성: 제안된 방법론은 CLIP, SigLIP 뿐만 아니라 다른 VLM 아키텍처나 OOD(Out-of-Distribution) 탐지, 신뢰할 수 있는 검색 (Retrieval) 시스템 등 다양한 분야로 확장 적용될 수 있습니다.

요약하자면, BayesVLM은 대규모 멀티모달 모델의 "블랙박스" 성격을 완화하고, 계산 비용 없이 신뢰할 수 있는 불확실성 추정을 가능하게 하는 획기적인 사후 처리 기법입니다.