기술 요약: 시각적 의미론적 엔트로피 (Visual Semantic Entropy, VSE)

1. 문제 정의

시각-언어 모델(VLMs)은 시각적 질의응답(VQA)에서 뛰어난 성능을 보이지만, 시각적으로 모호한 입력에 대해 확신에 찬 예측을 내놓는 경우가 많아 편향되고 신뢰할 수 없는 결과를 초래할 수 있습니다. 신뢰할 수 있는 불확실성 추정(Uncertainty Estimation, UE)은 이러한 예측을 필터링하는 데 매우 중요합니다. 그러나 기존의 UE 방법들은 VLM에 적용될 때 다음과 같은 세 가지 구체적인 실패 모드를 보입니다:

1. 출력 다양성 억제 (Suppressed Output Variation): 시맨틱 엔트로피(Semantic Entropy, SE)와 같은 표준 엔트로피 기반 방법은 다양한 출력을 생성하기 위해 확률적 디코딩(stochastic decoding)에 의존합니다. 저자들은 VLM이 매우 확신에 찬 시각적 임베딩을 형성할 경우(심지어 모호한 이미지에 대해서도), 확률적 디코딩이 거의 동일한 출력만을 생성한다는 것을 입증했습니다. 결과적으로, SE는 시각적 입력에 내재된 모호성을 포착하지 못함으로써 불확실성을 과소평가하게 됩니다.
2. 표현 방식에 따른 거리 팽창 (Inflated Distances from Wording): 쌍별 시맨틱 거리(예: SNNE)를 집계하는 방법들은 답변을 범주형 레이블로 취급하거나 임베딩 거리에 의존합니다. 언어는 이산적이기 때문에, 표현 방식이 다른 의미론적으로 동일한 답변들이 임베딩 공간에서는 멀리 떨어진 것처럼 보일 수 있습니다. 이러한 언어적 변이는 실제 의미론적 불일치가 없음에도 불구하고 불확실성 추정치를 팽창시킵니다.
3. 결합 섭동에서의 텍스트 지배성 (Textual Dominance in Joint Perturbations): 최근의 접근법들은 텍스트 패러프레이징이나 텍스트-이미지 결합 섭동을 포함한 입력 섭동을 통해 불확실성을 조사합니다. 저자들은 텍스트 패러프레이징이 시각적 섭동보다 멀티모달 임베딩 공간에서 훨씬 더 큰 시맨틱 변화를 유발한다는 것을 보여줍니다. 결과적으로, 이러한 방법들의 출력 가변성은 시각적 증거보다는 프롬프트 민감도(언어적 변화)에 의해 주도되며, 이는 불확실성 추정치가 시각적 증거가 아닌 텍스트 민감도를 반영하게 만듭니다.

2. 방법론: 시각적 의미론적 엔트로피 (VSE)

이러한 한계를 해결하기 위해, 저자들은 언어적 노이즈를 완화하면서 시각적 모호성을 조사하도록 설계된 프레임워크인 **시각적 의미론적 엔트로피 (VSE)**를 제안합니다. 이 방법은 세 가지 핵심 단계로 구성됩니다:

A. 시각적 섭동 (고정된 텍스트)

질문을 섭동하거나 텍스트와 이미지를 함께 섭동하는 방법과 달리, VSE는 텍스트 쿼리 $q$를 고정하고 오직 입력 이미지 $v$만을 섭동합니다.

• 메커니즘: 시각적 섭동 연산자 $\mathcal{T}$가 $M$개의 섭동된 뷰 $v_m = \mathcal{T}(v; \xi_m)$를 생성합니다. 저자들은 높은 수준의 의미적 내용을 변경하거나 원래 입력의 로컬 이웃 영역 밖으로 벗어나지 않으면서 국소적인 시각적 변화를 유도하기 위해, 고정된 작은 표준 편차($\sigma=20$)를 가진 가우시안 노이즈를 사용합니다.
• 근거: 이는 시각적 불확실성을 격리합니다. 텍스트의 변화를 피함으로써, 패러프레이징이 출력 다양성을 지배하는 "프롬프트 민감도" 문제를 방지합니다.

B. 답변 샘플링 (Answer Sampling)

VLM은 $M$개의 섭동된 이미지 뷰에 대응하는 $M$개의 답변 샘플 $\{a_m\}$을 생성합니다. 이 과정은 확률적 디코딩만으로는 시각적 임베딩이 과잉 확신을 가질 때 놓칠 수 있는 대안적인 해석들을 이끌어냅니다.

C. 프로토타입 의미론적 집계 (Prototype Semantic Aggregation, ProtoSem)

언어적 변이가 불확실성을 팽창시키는 것을 방지하기 위해, VSE는 답변을 가공되지 않은 토큰으로 취급하는 대신 의미론적 수준에서 집계합니다.

1. 클러스터링 (Clustering): 답변 변이들은 시맨틱 유사도 모델(DeBERTa와 같은 사전 학습된 모델 사용)을 기반으로 $K$개의 그룹 $\{c_k\}$로 클러스터링됩니다.
2. 프로토타입 선택 (Prototype Selection): 각 클러스터 $c_k$에 대해, 해당 클러스터 내의 다른 멤버들과의 평균 거리를 최소화하는 프로토타입 답변 $p_k$가 선택됩니다.
3. 불확실성 계산 (Uncertainty Calculation): 불확실성은 프로토타입 간의 질량 가중치 쌍별 분산(mass-weighted pairwise dispersion)으로 계산됩니다:
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   여기서 $w_k = |c_k|/M$은 클러스터 $k$의 경험적 확률(질량)입니다. 이 지표는 클러스터 내부의 표현 방식 차이는 무시하면서, 서로 다른 의미론적 의미 사이의 불일치를 포착합니다.

3. 주요 기여

1. 실패 모드 분석: 본 논문은 현재 VLM 불확실성 추정기의 세 가지 구체적인 한계를 식별하는 체계적인 분석을 제공합니다: (1) 출력 다양성을 억제하는 과잉 확신된 시각적 임베딩, (2) 거리 기반 지표를 팽창시키는 표현 방식의 변이, (3) 결합 섭동 체계에서 출력 가변성을 주도하는 텍스트 섭동.
2. 시각적 의미론적 엔트로피 (VSE): 저자들은 시각적 모호성을 조사하기 위해 이미지만을 섭동하고, 프로토타입 기반의 의미론적 집계를 사용하여 불확실성을 정량화하는 새로운 UE 방법인 VSE를 도입합니다. 이 설계는 프롬프트 민감도와 언어적 노이즈라는 혼란 변수를 명시적으로 회피합니다.
3. 포괄적 벤치마킹: 본 연구는 5개의 현대적 VLM(Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL)과 5개의 다양한 벤치마크(OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased)를 통해 VSE를 평가하여, VQA 불확실성 추정의 새로운 SOTA(State-of-the-Art)를 확립했습니다.

4. 실험 결과

평가는 정답과 오답 예측을 불확실성 점수가 얼마나 잘 구분하는지 측정하기 위해 AUC(Area Under the ROC Curve)를 사용합니다.

• 일반 성능: VSE는 테스트된 모든 모델과 데이터셋에서 기존 방법들(Verbalized, Logit-based, Consistency-based, Entropy-based)을 일관되게 능가합니다. 예를 들어, AOKVQA 데이터셋에서 VSE는 다양한 모델에 대해 0.724에서 0.798 사이의 AUC 점수를 기록했으며, 이는 차세대 엔트로피 기반 방법(VL-Uncertainty)보다 일부 사례에서 최대 9.2% 더 높은 성능을 보였습니다.
• 시각적 모호성 집중: 시각적 편향을 드러내도록 설계된 적대적 데이터셋(VILP 및 VLM-are-biased)에서 VSE는 가장 유의미한 이득을 보였습니다. 예를 들어, Qwen2.5-VL을 사용한 VILP에서 VSE는 0.650의 AUC를 달성하여, 베이스라인인 SE(0.535)와 VL-Uncertainty(0.489)를 크게 앞질렀습니다. 이는 시각적 모호성으로부터 발생하는 불확실성을 포착하는 VSE의 능력을 입증합니다.
• 절제 연구 (Ablation Studies):
  • 기존 엔트로피 방법(SE 및 SNNE)에 시각적 섭동을 추가하는 것은 성능을 일관되게 향상시켰으며, 이는 시각적 입력 공간을 조사해야 할 필요성을 입증합니다.
  • 가공되지 않은 답변 샘플링을 프로토타입 의미론적 집계(ProtoSem)로 교체하는 것은 결과를 더욱 개선하였으며, 이는 의미론적으로 동일한 답변들을 클러스터링하는 것이 언어적 변이로부터 오는 노이즈를 줄인다는 것을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 모호함의 근원인 시각적 입력을 직접 다룸으로써 VSE가 VQA 불확실성 추정의 새로운 SOTA를 구축한다고 주장합니다. 저자들은 신뢰할 수 있는 불확실성 추정을 위해 다음이 필요하다고 주장합니다:

• 디코딩의 확률성에만 의존하는 대신 시각적 입력 공간을 조사하는 것.
• 프롬프트 민감도를 유발하는 텍스트 섭동을 피하는 것.
• 언어적 노이즈를 완화하기 위해 예측을 의미론적 프로토타입 수준에서 집계하는 것.

저자들은 VSE를 특히 시각적 증거가 모호한 시나리오에서 더 신뢰할 수 있는 VLM 배포를 위한 단계로 포지셔닝합니다. 저자들은 섭동 기반 샘플링과 관련된 추가적인 계산 비용과 클러스터링에 사용되는 시맨틱 거리 함수의 민감도와 같은 한계를 인정하면서도, 이들의 접근 방식이 현재의 대안들보다 시각적 불확실성을 더 충실하게 반영한다고 강조합니다.