技术摘要：视觉语义熵 (Visual Semantic Entropy, VSE)

1. 问题定义

视觉语言模型 (VLMs) 在视觉问答 (VQA) 方面表现出色，但面对视觉模糊的输入时，往往会产生过度自信的预测，从而导致偏差和不可靠的结果。可靠的不确定性估计 (Uncertainty Estimation, UE) 对于过滤这些预测至关重要。然而，现有的 UE 方法在应用于 VLM 时表现出三个特定的失效模式：

1. 输出多样性受抑制： 标准的基于熵的方法（如语义熵 SE）依赖于随机解码来生成多样化的输出。作者证明，当 VLM 形成高度自信的视觉嵌入时（即使对于模糊图像），随机解码也会产生几乎相同的输出。因此，SE 低估了不确定性，因为它未能捕捉到视觉输入中固有的歧义性。
2. 措辞导致的距离膨胀： 聚合成对语义距离的方法（例如 SNNE）将答案视为类别标签或依赖于嵌入距离。由于语言是离散的，语义等价但措辞不同的答案在嵌入空间中可能显得距离较远。这种语言层面的变化会人为地膨胀不确定性估计，即使不存在真正的语义分歧。
3. 联合扰动中的文本主导性： 最近的方法通过输入扰动（包括文本改写或文本-图像联合扰动）来探测不确定性。作者指出，文本改写在多模态嵌入空间中引起的语义偏移显著大于视觉扰动。因此，这些方法中的输出变异性主要由提示词敏感性（语言变化）驱动，而非视觉歧义，导致其不确定性估计反映的是文本敏感性而非视觉证据。

2. 方法论：视觉语义熵 (VSE)

为了解决这些局限性，作者提出了 视觉语义熵 (VSE)，这是一个旨在探测视觉歧义并减轻语言噪声的框架。该方法由三个核心阶段组成：

A. 视觉扰动（固定文本）

与扰动问题或联合扰动文本与图像的方法不同，VSE 保持文本查询 $q$ 固定，仅扰动输入图像 $v$。

• 机制： 视觉扰动算子 $\mathcal{T}$ 生成 $M$ 个扰动视图 $v_m = \mathcal{T}(v; \xi_m)$。作者使用具有固定且微小标准差（$\sigma=20$）的高斯噪声来诱导局部视觉变化，而不改变高层语义内容，或使其脱离原始输入的局部邻域。
• 原理： 这隔离了视觉不确定性。通过避免文本变化，该方法防止了“提示词敏感性”问题，即避免了改写导致的输出多样性主导问题。

B. 答案采样

VLM 为 $M$ 个扰动后的图像视图生成 $M$ 个答案样本 $\{a_m\}$。这一过程能够引导出对视觉证据的不同解释，而这些解释在视觉嵌入过度自信时，仅靠随机解码可能会遗漏。

C. 原型语义聚合 (Prototype Semantic Aggregation, ProtoSem)

为了防止语言变化导致不确定性膨胀，VSE 在语义层面而非原始 Token 层面聚合答案。

1. 聚类： 根据语义距离（使用预训练的语义相似度模型如 DeBERTa），将答案变体聚类为 $K$ 个组 $\{c_k\}$。
2. 原型选择： 对于每个簇 $c_k$，选择一个使到同簇内其他成员平均距离最小的答案作为原型答案 $p_k$。
3. 不确定性计算： 不确定性通过这些原型之间的质量加权成对离散度来计算：
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   其中 $w_k = |c_k|/M$ 是簇 $k$ 的经验概率（质量）。该指标捕捉了不同语义含义之间的分歧，同时忽略了簇内措辞的变化。

3. 核心贡献

1. 失效模式分析： 本文通过系统分析，指出了当前 VLM 不确定性估计器的三个特定局限性：(1) 过度自信的视觉嵌入抑制了输出多样性；(2) 措辞变化膨胀了基于距离的度量；(3) 在联合扰动方案中，文本扰动主导了输出变异性。
2. 视觉语义熵 (VSE)： 作者引入了 VSE，这是一种通过扰动图像来探测视觉歧义、并利用基于原型的语义聚合来量化不确定性的新颖 UE 方法。该设计明确避开了提示词敏感性和语言噪声这两个干扰因素。
3. 全面基准测试： 研究在五种现代 VLM（Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL）和五个多样化的基准数据集（OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased）上评估了 VSE，确立了 VQA 不确定性估计的新 SOTA（先进水平）。

4. 实验结果

评估使用 ROC 曲线下面积 (AUC) 来衡量不确定性得分区分正确与错误预测的能力。

• 通用性能： VSE 在所有测试的模型和数据集上均一致优于现有方法（包括言语化方法、基于 Logit 的方法、基于一致性的方法以及基于熵的方法）。例如，在 AOKVQA 数据集上，VSE 在不同模型上的 AUC 得分在 0.724 到 0.798 之间，在某些情况下比次优的熵类方法 (VL-Uncertainty) 高出 9.2%。
• 视觉歧义聚焦： 在旨在暴露视觉偏差的对抗性数据集（VILP 和 VLM-are-biased）上，VSE 展现了最显著的提升。例如，在带有 Qwen2.5-VL 的 VILP 数据集上，VSE 的 AUC 为 0.650，大幅超过了基准 SE (0.535) 和 VL-Uncertainty (0.489)。这证实了 VSE 捕捉源自视觉歧义之不确定性的能力。
• 消融实验：
  • 将视觉扰动加入现有的熵方法（SE 和 SNNE）能持续提升其性能，验证了探测视觉输入空间的必要性。
  • 使用原型语义聚合 (ProtoSem) 替代原始答案采样进一步提升了结果，证实了通过聚类语义等价的答案可以减少语言变化带来的噪声。

5. 重要性与主张

论文声称，VSE 通过直接针对歧义的来源（视觉输入），建立了 VQA 不确定性估计的新 SOTA。作者认为，可靠的不确定性估计需要：

• 探测视觉输入空间，而非仅仅依赖解码的随机性。
• 避免引入提示词敏感性的文本扰动。
• 在语义原型层面聚合预测，以减轻语言噪声。

作者将 VSE 定位为迈向更可靠的 VLM 部署的重要一步，特别是在视觉证据存在歧义的场景下。他们也承认了局限性，包括与扰动采样相关的额外计算成本，以及对用于聚类的语义距离函数的敏感性，但强调其方法比目前的替代方案能更真实地反映视觉不确定性。