기술 요약: GeoFlowVLM

문제 정의

CLIP 및 SigLIP와 같은 표준 이중 인코더 비전 - 언어 모델 (VLM) 은 $\ell_2$-정규화를 통해 이미지와 텍스트를 공유 단위 초구 (unit hypersphere) 위의 결정론적 점으로 매핑합니다. 검색 및 제로샷 전이에는 효과적이지만, 이러한 결정론적 표현은 예측 불확실성을 정량화하지 못합니다. 구체적으로, 이는 알레атор릭 불확실성(하나의 입력이 여러 유효한 출력으로 매핑되는 본질적인 교차 모달 모호성) 과 에피스테믹 불확실성(학습 분포 밖의 쿼리에 대한 지원 부족) 을 모두 드러내지 못합니다.

기존의 사후 (post-hoc) 불확실성 정량화 (UQ) 방법은 두 가지 주요 한계를 겪습니다:

1. 기하학적 무관심: 많은 방법들이 VLM 임베딩 공간을 정의하는 $\ell_2$-정규화 제약을 무시한 채 주변 유클리드 공간에서 작동합니다.
2. 불완전한 불확실성 모델링: 대부분의 방법은 알레이터릭 또는 에피스테믹 중 한 가지 유형의 불확실성만 포착하거나, 두 모달리티에 대해 동시에 초구 기하학을 존중하지 못합니다. 예를 들어, ProbVLM 은 둘 다 포착하지만 초구 구조를 놓치고 백본 밀도 대신 어댑터 불확실성을 측정하는 휴리스틱 접근법을 사용합니다.

핵심적인 과제는 기본 인코더를 재학습하지 않고도 고정된 VLM 임베딩으로부터 두 가지 불확실성 유형을 정량화하면서, 엄격하게 곱 초구 기하학 ($S^{d-1} \times S^{d-1}$) 을 존중하는 것입니다.

방법론: GeoFlowVLM

저자들은 곱 초구 위의 쌍 $\ell_2$-정규화 임베딩의 결합 분포를 학습하는 사후 확률적 어댑터인 GeoFlowVLM을 제안합니다.

핵심 아키텍처 및 학습

• 리만 흐름 매칭 (Riemannian Flow Matching): 이 모델은 매니폴드 $M = S^{d-1} \times S^{d-1}$ 위의 결합 밀도 $p_\phi(e_I, e_T)$를 학습하기 위해 리만 흐름 매칭을 활용합니다. 이는 비용이 많이 드는 열 커널 근사를 피하면서 폐형 지오데식 접선 타겟으로 회귀합니다.
• 단일 마스크된 속도장: 핵심 설계 선택은 블록 구조 이진 마스크 $m \in \{0, 1\}^{2d}$를 가진 단일 신경망을 사용하는 것입니다. 이 단일 속도장 $v_\phi(z_t, m)$은 서로 다른 마스크를 통해 세 가지 다른 모드를 처리합니다:
  1. 결합 흐름 ($m_{joint}$): 이미지 및 텍스트 임베딩 모두를 생성합니다.
  2. 조건부 흐름 ($m_{I \to T}$): 고정된 이미지를 기반으로 텍스트를 생성합니다.
  3. 조건부 흐름 ($m_{T \to I}$): 고정된 텍스트를 기반으로 이미지를 생성합니다.
• 학습 목적 함수: 모델은 마스크된 조건부 흐름 매칭 (CFM) 목적 함수를 사용하여 학습됩니다. 마스크는 생성된 차원에 대한 감독을 제한하는 반면, 조건부 차원은 관측된 값 ($t=0$) 에서 고정합니다. 학습은 소스 및 타겟 샘플을 쌍으로 묶어 매니폴드 위의 궤적을 곧게 펴기 위해 엔트로피 최적 수송을 사용합니다.
• 일관성: 정리 1 은 인구 한계 (population limit) 에서 이 단일 마스크 네트워크가 보조 일관성 손실 없이 교차 모달 방향과 결합 분포 모두에 대한 유효한 리만 조건부 흐름 속도장을 회복함을 증명합니다.

불확실성 판독값

단일 학습된 결합 모델에서 두 가지 불확실성 지표를 유도합니다:

1. 알레атор릭 불확실성 (검색 엔트로피):

   • 조건부 사후 $p_\phi(e_T | e_I)$ (또는 그 반대) 에서 유도됩니다.
   • 샘플은 조건부 흐름에서 추출되어 검색 갤러리에 집계되어 이산 사후 분포 $\pi$를 형성합니다.
   • 섀넌 엔트로피 $H(\pi)$는 검색 모호성을 정량화합니다.
   • 이론적 근거: 파노 부등식을 사용하여 엔트로피는 MAP 베이지안 위험에 대한 엄격한 하한을 제공하며, 높은 엔트로피가 높은 검색 난이도에 해당함을 인증합니다.

2. 에피스테믹 불확실성 (주변 전형성):

   • 결합 음의 로그 가능도 (NLL) 의 정확한 연쇄 법칙 분해를 통해 유도됩니다:
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{에피스테믹 전형성}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{교차 모달 매칭}}$$
   • 저자들은 포인트와이즈 상호 정보 (PMI) 항이 구조적으로 구별력 (호환성 측정) 을 가지며 에피스테믹이 아니라고 주장합니다.
   • 에피스테믹 점수는 주변 전형성의 합으로 정의됩니다: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$.
   • 이러한 주변 분포는 베이즈 항등식과 흐름 ODE 의 역시간 적분을 사용하여 결합 모델에서 계산되며, 추가 파라미터가 필요하지 않습니다.

주요 기여

1. GeoFlowVLM 어댑터: 단일 마스크된 속도장을 사용하여 곱 초구 위에서 리만 흐름 매칭을 통해 학습된 사후 확률적 어댑터입니다. 이는 인코더 재학습 없이 결합, 주변 및 조건부 밀도를 제공합니다. 제거 실험은 보정된 불확실성을 위해 초구 기하학을 존중하는 것이 구조적으로 필수적임을 확인시켜 줍니다.
2. 조건부 검색 엔트로피: 교차 모달 모호성을 정량화하는 새로운 알레이터릭 추정기입니다. 이는 벤치마크 전반에 걸쳐 거의 이상적인 단조 보정을 통해 검색 난이도를 추적하며, 베이지안 위험에 대한 결정론적 하한을 제공합니다.
3. 연쇄 법칙 분해: 결합 NLL 이 주변 전형성 (올바른 에피스테믹 신호) 과 교차 모달 PMI (구별 신호) 로 분해됨을 보여주는 이론적 유도입니다. 이는 REPVLM 과 같은 모달리티별 밀도 방법의 경험적 성공을 설명하고, 이를 결합 모델의 일관된 확장으로 프레임합니다.

실험 결과

이 방법은 Conceptual Captions(CC-1M) 에서 학습된 고정된 OpenCLIP ViT-H/14 백본에 대해 평가되었으며, 일곱 개의 벤치마크에서 제로샷으로 테스트되었습니다.

• 알레이터릭 불확실성 (검색):

  • MS-COCO, Flickr30k, CUB-200(이미지 - 텍스트 및 텍스트 - 이미지 모두) 에서 평가되었습니다.
  • GeoFlowVLM 은 예측 엔트로피와 Recall@1 사이에 거의 완벽한 단조 보정 (Spearman $\rho \approx -1.0$) 을 달성하여 기준선 (ProbVLM, AsymVLM, GroVE) 을 크게 능가했습니다.
  • ProbVLM 은 양의 상관관계를 보였으며 (정확한 쿼리에서 불확실성 증가), 다른 기준선들은 불안정하거나 비단조적인 경향을 보였습니다.

• 에피스테믹 불확실성 (제로샷 분류):

  • ImageNet-1K, Food-101, CIFAR-100, ObjectNet 에서 평가되었습니다.
  • 주변 전형성 합 ($u_{ep}$) 은 커버리지가 감소함에 따라 (높은 불확실성 샘플 거부) 일관되게 증가하는 선택적 정확도를 보였습니다.
  • 구성 요소 분석은 PMI 가 단독 에피스테믹 점수로는 부적절하며 (종종 올바른 예측을 거부함) 주변 전형성이 신뢰할 수 있는 신호를 제공함을 확인했습니다.
  • GeoFlowVLM 은 REPVLM 과 맞먹거나 능가했으며, ObjectNet(시점 이동) 에서 주목할 만한 우위를 보였습니다. 이는 독립적인 모달리티별 흐름이 놓치는 교차 모달 구조를 결합 모델이 포착할 수 있기 때문으로 귀결됩니다.

• 제거 실험:

  • 기하학: 유클리드 기준선 (동일한 아키텍처이지만 $\mathbb{R}^d \times \mathbb{R}^d$에서 작동) 은 알레이터릭 및 에피스테믹 지표 모두에서 치명적으로 실패하여 리만 기하학의 필요성을 확인시켰습니다.
  • 효율성: 신뢰할 수 있는 추정은 10 개의 ODE 적분 단계와 발산 추정을 위한 단일 허치슨 프로브로 달성되었습니다.
  • 백본: 결과는 SigLIP 백본으로 이전되었으나, 밀도 기반 방법은 SigLIP 의 더 등방성 임베딩으로 인해 ImageNet-1K 에서 성능이 저하되었습니다.

중요성 및 주장

이 논문은 GeoFlowVLM 이 단일 기하학 인식 모델을 제공함으로써 고정된 VLM 에 대한 사후 UQ 의 중요한 격차를 해소한다고 주장합니다. 이 모델은 알레이터릭 및 에피스테믹 불확실성을 모두 드러냅니다.

• 이론적 통찰: 이 연구는 왜 주변 전형성이 이 설정에서 올바른 에피스테믹 신호이며, 왜 교차 모달 PMI 를 불확실성 점수로 사용해서는 안 되는지에 대한 원칙적인 설명을 제공합니다. 또한 곱 초구 위의 결합 모델링이 모달리티별 모델링보다 엄격히 더 풍부함을 보여줍니다.
• 실용적 유용성: 이 방법은 사전 학습된 VLM 백본을 수정하지 않고도 검색 난이도에 대한 보정된 방향 대칭 추정기와 제로샷 분류에서 분포 밖 (out-of-distribution) 감지를 위한 강력한 밀도 기반 점수를 제공합니다.
• 한계: 저자들은 일관성 정리가 인구 한계 결과임을 지적하며, 유한 샘플 한계는 여전히 열려 있다고 언급합니다. 에피스테믹 점수는 베이지안 (파라미터 사후 분산) 이 아닌 밀도 기반 (전형성) 입니다. 또한, 이 방법은 대규모 데이터에 대한 일회성 학습과 쿼리당 여러 ODE 해를 필요로 하여 학습이 필요 없는 접근법과 구별됩니다.

저자들은 결합 임베딩 모델링이 의료 검색 및 자율 시스템과 같은 안전이 중요한 응용 분야를 특히 비전 - 언어 표현에 대한 더 풍부한 확률적 추론을 위한 일반적인 전략이라고 결론지었습니다.