技术摘要：用于缓解视觉语言模型幻觉的视觉驱动偏好合成技术

问题陈述

视觉语言模型（VLMs）在视觉理解方面展现了显著的能力，但仍容易出现幻觉问题，即模型生成的文本内容与输入图像不一致，经常凭空捏造不存在的对象。这一问题的根源在于语言与视觉模态之间的失衡，即强大的语言先验导致模型过度依赖文本统计信息而非视觉证据。

虽然偏好对齐（特别是直接偏好优化，即 DPO）已成为提高视觉忠实度的有效方案，但其效能高度依赖于构建的偏好对（优选响应与非优选响应）的质量。现有的偏好对构建方法存在两个主要局限性：

1. 基于干预的方法（例如幻觉注入或修正）通常会引入与模型自然策略分布显著偏离的响应，从而产生分布失配。
2. 基于采样的方法（例如外部评判采样或 SFT 引导采样）虽然减少了这种分布失配，但往往无法充分利用视觉信息，而是依赖语言先验来确定偏好。

方法论：ViPSy

作者提出了 ViPSy（视觉驱动偏好合成），这是一个旨在构建既具有策略对齐性（接近模型的响应分布）又具有视觉接地性（依赖图像证据）的偏好数据的两阶段框架。

第一阶段：用于一致性线索提取的自描述语义合成

为了在没有外部偏差的情况下提取可靠的视觉线索，ViPSy 利用了策略模型自身的能力：

1. 自描述（Self-Captioning）： 策略模型 ($\pi_\theta$) 使用标准的描述提示词，为源图像 $m$ 生成 $N_c$ 个描述。
2. 语义合成（Semantic Synthesis）： 这些描述作为提示词驱动文本生成图像（T2I）扩散模型 ($P_\psi$)，合成 $N_c$ 个语义对齐的图像变体 ($m'_j$)。
3. 线索提取（Cue Extraction）： 评判模型 ($\pi_\phi$) 将每个合成变体 $m'_j$ 与原始图像 $m$ 进行比较，以提取两者之间一致的物体级证据 ($c_j$)。
4. 聚合（Aggregation）： 评判模型将这些成对的线索聚合为一个单一且一致的视觉线索 ($c$)。其直觉在于：在源图像衍生的多样化合成变体中反复出现的物体，极有可能植根于原始图像之中。

第二阶段：用于偏好合成的线索调节自蒸馏

一旦确立了视觉线索 $c$，该框架便开始生成偏好对：

1. 线索调节的展开（Cue-Conditioned Rollouts）： 策略模型在原始图像 $m$、提示词 $x$ 和提取的视觉线索 $c$ 的共同调节下，采样 $N_s$ 个候选响应 ($y^{(s)}$)。这确保了候选响应既保持接近策略分布，又受到视觉证据的明确引导。
2. 偏好选择（Preference Selection）： 评判模型根据原始图像 $m$ 对候选集 $\{y^{(s)}\}$ 进行评估，从而选择一个优选响应 ($y_w$)（最具视觉接地性）和一个非优选响应 ($y_l$)（视觉接地性最差）。
3. 优化（Optimization）： 生成的数据集 $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ 被用于通过**直接偏好优化（DPO）**来训练模型。至关重要的是，视觉线索和合成图像仅在数据构建阶段使用；最终的优化步骤仅以原始提示词-图像对为条件，从而将视觉接地能力蒸馏到模型中。

核心贡献

1. ViPSy 框架： 一种新型视觉驱动的偏好合成方法，它在构建具有视觉接地性的偏好对的同时，保持了与策略响应分布的一致性。
2. 两阶段策略：
   • 自描述语义合成： 利用模型自身的描述来驱动 T2I 合成，并通过聚合重复出现的物体级证据来提取一致的视觉线索，从而减少对语言先验的依赖。
   • 线索调节的自蒸馏： 利用这些线索引导策略自身的展开过程，以生成在视觉接地质量上存在差异的候选响应，从而实现高质量偏好对的选择。
3. 最先进的性能（SOTA）： 该框架在缓解幻觉方面达到了新的 SOTA 水平，并提升了通用的视觉接地能力。

实验结果

作者在 LLaVA-1.5 (7B 和 13B) 以及其他多种策略模型（如 Qwen2.5-VL, InternVL3.5 等）上对 ViPSy 进行了评估，并将其与解码方法、基于卸载（unlearning）的方法以及现有的偏好对齐基准进行了对比。

• 幻觉缓解：
  • 在 LLaVA-1.5-7B 上，与之前的 SOTA 方法（SENTINEL）相比，ViPSy 在 AMBER 上降低了 35.7% 的幻觉率，在 Object HalBench 上降低了 24.5%。
  • 在 LLaVA-1.5-13B 上，它在所有幻觉基准测试中均优于所有基准模型，显示出较之前最优方法的显著提升。
• 通用视觉接地能力：
  • 不同于某些会导致性能下降的基准方法，ViPSy 提升了需要视觉接地能力的通用基准测试得分：7B 模型在 MMStar 上提升了 6.0%，在 MMVP 上提升了 31.3%，在 CV-Bench 上提升了 4.0%。
• 视觉编码器改进：
  • 在 ImageNet-1k、ImageNet-O 和 MS COCO 上的线性探测（linear probing）和分割评估显示，准确率和召回率均有所提高。这表明 ViPSy 不仅增强了响应层面的生成，还增强了底层的视觉表示。
• 泛化性：
  • 该方法在多种不同的策略模型（Qwen, InternVL, mPLUG-Owl, Kimi）上均表现出一致的改进，表明其并不局限于特定的架构。
• 消融实验：
  • 研究发现**自展开（Self-rollouts）**优于外部 VLM 展开，证实了保持接近策略分布的重要性。
  • 基于扩散模型的合成优于简单的图像变换（缩放、裁剪）及基于视频的变体，凸显了在提取线索时需要丰富的语义多样性。
  • 该方法在不同的评判模型（如 Qwen3-VL, GPT-5 mini）下依然保持稳健。

重要性与主张

论文指出，ViPSy 解决了偏好构建中的根本权衡问题：即如何在策略对齐与视觉接地之间取得平衡。通过从策略自身的语义理解与合成图像变体的交集中推导出视觉线索，ViPSy 既避免了基于干预方法的分布偏移问题，也避免了标准采样方法中存在的视觉忽视问题。

作者断言，其方法不仅在降低幻觉方面树立了新的标杆，还增强了模型的通用视觉能力以及视觉编码器的表示质量。他们强调，该框架有效地将视觉接地能力蒸馏到策略中，且无需复杂的奖励建模或在线强化学习，是提升 VLM 在现实应用中可靠性的一个实用且有效的解决方案。