Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

기술 요약: REPVLM – 리만 흐름 매칭을 통한 사전 훈련된 VLM 의 인식적 불확실성 정량화

1. 문제 제기

CLIP, BLIP, SigLIP 와 같은 사전 훈련된 비전 - 언어 모델 (VLM) 은 대규모 대비 학습을 통해 교차 모달 표현 학습에서 놀라운 성과를 거두었습니다. 그러나 이러한 모델은 본질적으로 결정론적이며, 입력을 고차원 임베딩 공간의 단일 고정점으로 매핑합니다. 이러한 아키텍처는 자신의 표현에 대한 무지나 지식 부족을 의미하는 **인식적 불확실성 (epistemic uncertainty)**을 정량화할 수 있는 내재적 메커니즘이 부족합니다.

VLM 을 위한 기존 불확실성 정량화 (UQ) 프레임워크가 존재하지만, 대부분 확률적 임베딩을 학습함으로써 **우연적 불확실성 (aleatoric uncertainty, 데이터 모호성)**을 주로 다룹니다. 인식적 불확실성을 위해 설계된 방법들 (딥 앙상블 또는 몬테카를로 드롭아웃 등) 은 대규모 사전 훈련 모델에 적용 시 계산 비용이 과도하게 높거나, 최적화되지 않고 배치에 의존적인 추정치를 산출하는 경향이 있습니다. 따라서 값비싼 재학습이나 매개변수 공간 샘플링 없이 모델이 자신의 표현에 대해 갖는 신뢰도를 직접 정량화할 수 있는 확장 가능하고 내재적인 지표에 대한 시급한 필요성이 존재합니다.

2. 방법론: REPVLM

저자들은 VLM 임베딩의 확률 밀도를 그 고유의 매니폴드 (manifold) 상에서 직접 추정함으로써 인식적 불확실성을 정량화하는 REPVLM 프레임워크를 제안합니다.

이론적 동기
이 논문은 임베딩 밀도와 인식적 불확실성 간의 이론적 연결을 3 단계 체인을 통해 확립합니다:

1. 공분산에서 야코비안 노름으로: 표준 베이지안 가정과 국소 선형성 하에서, 높은 인식적 불확실성은 매개변수 - 야코비안 (Parameter-Jacobian) 노름이 크다는 것을 의미하며, 이는 매개변수 교란에 대한 민감도를 나타냅니다.
2. 야코비안 노름에서 데이터 밀도로: 훈련 데이터의 고밀도 영역에서는 인코더의 야코비안 노름이 작아지는 경향이 있습니다 (부드러움). 반면, 저밀도 (분포 외, OOD) 영역에서는 제약받지 않습니다.
3. 데이터 밀도에서 임베딩 밀도로: 대비 학습의 정렬 - 균일화 역학에 영감을 받아, 저자들은 입력 데이터의 밀도 $p(x)$가 초구 (hypersphere) 상의 결과 임베딩 밀도 $p(z)$와 상관관계가 있다는 실증적 가정을 제시합니다.
   결과적으로, 음의 로그 가능도 $-\log p(z)$는 인식적 불확실성을 위한 원칙적인 대리 지표 (proxy) 로 작용합니다: 저밀도 영역은 모델의 무지를 의미합니다.

리만 흐름 매칭 (Riemannian Flow Matching, RFM)
$\ell_2$-정규화된 VLM 임베딩이 존재하는 초구 $S^{d-1}$ 위에서 $p(z)$를 효율적으로 계산하기 위해, REPVLM 은 **조건부 리만 흐름 매칭 (Conditional Riemannian Flow Matching, CRFM)**을 활용합니다:

• 매니폴드 네이티브 모델링: 표준 유클리드 흐름 매칭과 달리, REPVLM 은 직접 초구 위에서 작동합니다. 이는 단순한 균일 기본 분포 $P_0 = \text{Unif}(S^{d-1})$를 경험적 모달별 분포 $P_1$(이미지 및 텍스트) 로 운반하는 벡터장 $v_t$를 학습합니다.
• 측지선 보간: 확률 경로는 직선이 아닌 측지선 (대원) 을 따라 구성되어 의미 공간의 내재적 기하학을 존중합니다.
• 통합 조건부 프레임워크: 단일 신경망이 모달리티 ($c \in \{\text{image}, \text{text}\}$) 에 조건부인 벡터장을 학습하여, 작업에 구애받지 않는 불확실성 추정을 가능하게 합니다.
• 가능도 계산: 정확한 로그 밀도는 학습된 벡터장의 발산을 역방향 ODE 궤적을 따라 적분하여 계산합니다. 고차원 임베딩을 효율적으로 처리하기 위해 저자들은 최소한의 계산 오버헤드로 발산을 근사하는 매니폴드 제약 후치커 (Hutchinson) 추적 추정기를 사용합니다.

3. 주요 기여

• 이론적 동기: 논문은 대비 인코더에서 $-\log p(z)$가 인식적 불확실성의 단조 대리 지표임을 보여주는 공식적 유도를 제공하며, 베이지안 불확실성과 임베딩 밀도를 연결합니다.
• 매니폴드 네이티브 방법 (REPVLM): 저자들은 리만 흐름 매칭을 VLM 임베딩 공간으로 확장하는 확장 가능한 UQ 방법을 도입하여, 사전 훈련된 백본을 수정하지 않고도 시각 및 텍스트 모달리티 모두에 대한 내재적 확률 밀도 계산을 가능하게 합니다.
• 실증적 검증: 이 방법은 여러 벤치마크에서 검증되었으며, 불확실성 점수와 예측 오류 간의 거의 완벽한 상관관계를 보여주어, 선택적 분류 (selective classification) 와 OOD 탐지 분야에서 기존 베이스라인을 크게 능가했습니다.

4. 실험 결과

저자들은 Conceptual Captions, DataComp-1B, LAION-2B 의 세 가지 다른 프록시 데이터셋을 사용하여 훈련한 후, ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch 의 여섯 가지 다운스트림 벤치마크에서 REPVLM 을 평가했습니다.

• 선택적 분류: REPVLM 은 표준 벤치마크 전반에 걸쳐 불확실성과 예측 오류 간에 거의 완벽한 스피어만 상관관계 ($S \ge 0.988$) 를 달성했습니다. 모델 오류를 식별하는 데 있어 ProbVLM, 몬테카를로 드롭아웃, 임베딩 노름과 같은 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 분포 변화에 대한 강건성: 분포가 이동된 데이터셋 (ObjectNet, ImageNet-R, ImageNet-Sketch) 에서 REPVLM 은 모든 이동 셀에서 $S=1.000$을 달성한 유일한 방법이었으며, 다른 방법들 (예: ProbVLM, GMM) 은 높은 분산이나 음의 상관관계를 보였습니다.
• 응용 분야:
  • OOD 탐지: 불확실성 점수는 분포 내 (ID) 데이터를 근접 OOD 및 원거리 OOD 데이터와 효과적으로 분리하여 높은 ROC 및 정밀도 - 재현율 곡선을 산출했습니다.
  • 자동 데이터 큐레이션: REPVLM 이 플래그로 표시한 고불확실성 샘플은 노이즈가 있거나 흐릿하거나 nonsensical 한 입력에 해당하여 대규모 웹 데이터셋 정제에 유용함을 입증했습니다.
• 효율성: REPVLM 은 백본 외에 약 0.55 GFLOPs 의 추가 오버헤드만 요구하여, 약 10 배의 순전파가 필요한 몬테카를로 드롭아웃보다 훨씬 효율적이며, ProbVLM 보다 더 신뢰할 수 있는 인식적 추정을 제공합니다.

5. 의의 및 한계

의의
이 논문은 매니폴드 상의 임베딩 밀도가 사전 훈련된 VLM 에서 인식적 불확실성을 위한 작동 변수 (operative quantity) 라고 주장합니다. 리만 흐름 매칭을 통해 임베딩 공간의 기하학적 구조를 활용함으로써, REPVLM 은 모델 신뢰도에 대한 확장 가능하고 내재적이며 매우 신뢰할 수 있는 지표를 제공합니다. 이는 앙상블 방법의 계산 비용 없이 자동화된 데이터 큐레이션 및 강건한 OOD 탐지와 같은 실용적 응용을 가능하게 합니다.

한계
저자들은 명시적으로 몇 가지 한계를 인정합니다:

1. 이론적 프록시: 베이지안 인식적 불확실성과 임베딩 밀도 간의 연결은 (비가역적 대비 인코더에서의 밀도 보존과 관련된) 실증적 가정에 기반한 동기 부여용 프록시 주장일 뿐, 공식적 동일성이 아닙니다.
2. 프록시 의존성: 모든 사후 (post-hoc) 방법과 마찬가지로, REPVLM 은 대상 VLM 의 사전 훈련 도메인을 대표하는 프록시 데이터셋이 필요합니다. 전문화된 VLM 의 경우 도메인 내 프록시가 필요할 수 있습니다.
3. 기하학적 가정: 이 이론은 코사인 유사도로 훈련된 인코더 (CLIP 등) 로부터 얻은 $S^{d-1}$ 상의 $\ell_2$-정규화된 임베딩을 가정합니다. 저자들은 결과가 다른 기하학을 가진 모델 (예: SigLIP; 텍스처 기반 밀도 변화로 인해 분포 내 벤치마크에서 성능이 저하됨) 로는 외삽되지 않을 수 있다고 지적합니다.
4. 공정성 위험: 저자들은 밀도 기반 불확실성이 희소성을 무지와 혼동할 수 있다고 경고합니다. 드물지만 유효한 입력 (예: 소수 집단에서 비롯된 경우) 이 고불확실성 이상치로 플래그될 수 있습니다. 안전이 중요한 설정에서는 이러한 샘플이 자동 제거 대상이 아닌 인간 검토 대상이 되어야 합니다.