💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

本文介绍了感知增强型对齐直接偏好优化（PEA-DPO），这是一个通过显式利用视觉偏好信号来解决多模态大语言模型视觉不敏感问题的创新框架，从而在保持语言能力的同时，显著减少幻觉并提升多模态对齐水平。

原作者： Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，新一代系统已经涌现，它们能够同时进行视觉观察与语言表达。这些多模态大语言模型经过训练，可以观察图像并描述其所见，或者回答有关照片的问题。为了使这些机器真正有用且安全，它们必须与人类价值观对齐，这意味着它们的回答需要准确、有帮助，并且基于其所呈现的视觉现实。教导这些系统的一个主要挑战是它们存在“幻觉”倾向，即自信地描述那些根本不存在的物体或动作。为了解决这个问题，研究人员转向了一种称为“直接偏好优化”的技术，这种方法通过向模型展示成对的答案——一个好的和一个坏的——并要求它学习为什么第一个更好，从而对其进行教学。这种方法在纯文本模型上取得了显著成效，但当应用于同时也处理图像的系统时，却被发现了一个隐藏的缺陷，阻碍了它们真正“看清”清晰照片与关键细节被遮挡的照片之间的区别。

来自中国科学技术大学和新加坡国立大学的研究团队识别出了这一特定弱点，并开发了一个新的框架来治愈它。他们发现，标准的训练方法通常将图像仅仅视为背景，即对话的一个静态环境，而不是模型必须依赖的主要事实来源。正因如此，这些模型变得对视觉不敏感。在实验中，研究人员发现这些模型无法区分人们在野餐的照片和人们在阅读的照片，即使其中一张照片的视觉证据已被完全移除。模型会生成几乎相同的响应，未能注意到关键的视觉线索已经缺失。它们在区分单张图像中的特定物体时也存在困难，例如将厕所刷误认为普通的工具，因为它们没有足够关注定义该物体的关键视觉线索。

为了解决这个问题，研究人员创建了一种被称为“感知增强对齐”（Perception-Enhanced Alignment）的方法。他们不再仅仅教导模型选择更好的文本答案，而是重新设计了训练过程，强制模型去关注视觉语境本身。他们首先获取一张清晰的图像，并创建一系列经过修改的版本，在这些版本中随机遮蔽掉部分区域。通过使用一个独立的、高度敏感的视觉系统，他们识别出哪个修改后的版本丢失了最关键的信息，从而有效地创造了一个“被拒绝”的图像，该图像缺少正确回答问题所需的关键细节。然后，他们将这个信息缺失的图像与原始的完整图像进行配对。在训练期间，模型会被展示同一个问题和同一个文本答案，但先展示完整图像，然后再展示不完整的图像。模型被教导：当拥有完整的视觉证据时，它应该强烈偏好该答案；而当关键视觉语境缺失时，它应该识别出该答案的可靠性较低。

这种双重方法同时教会了模型两件事。首先，它学会了如何区分好的文本响应和坏的文本响应，就像以前一样。第二，更重要的一点是，它学会了识别视觉证据是否不足以支持某个说法。研究人员在两种不同规模的图文模型（一个具有70亿参数，另一个具有130亿参数）上测试了这种新方法。结果令人瞩目。在旨在衡量模型编造内容的标准测试中，新方法大幅降低了幻觉率。对于较小的模型，在某项主要基准测试中，编造细节的比例下降了近三分之一，而在另一项测试中下降了超过百分之九十。较大的模型也表现出类似的改进，通常甚至优于一些最先进的商业系统。模型在描述图片中确切内容方面变得更加出色，例如能正确识别书名或特定的工具，而不是基于通用知识进行猜测。

研究人员还检查了这种对视觉准确性的新关注是否会导致模型在其他任务上的表现变差。他们发现，模型保留了遵循指令和回答一般性问题的能力，在某些情况下，它们在这些通用任务上的表现甚至略有提升。唯一的明显权衡是，模型变得稍微保守了一些；当它们不确定时，不太可能进行猜测，这意味着它们提供的细节总量有时会减少，但它们提供的细节更有可能是真实的。通过明确教导模型像重视文本一样重视视觉证据，研究人员证明了构建不仅是在“看”图片，而且是在真正“看见”图片的智能系统是可能的。这项工作表明，对于想要成为理解视觉世界可靠伙伴的机器来说，它们必须学会感受信息缺失的分量，以确保它们的信心始终与眼前实际呈现的清晰度相匹配。

技术摘要：PEA-DPO

问题陈述

虽然直接偏好优化（Direct Preference Optimization, DPO）已被证明在使纯文本大语言模型（LLMs）与人类偏好对齐方面非常有效，但将其直接应用于多模态大语言模型（MLLMs）时却显现出一个关键局限性：视觉不敏感性（visual insensitivity）。作者指出，标准的多模态 DPO 通常仅将图像视为静态的条件输入，而非积极的偏好目标。因此，模型无法区分原始图像与移除了关键视觉上下文的图像，导致其生成的响应对视觉证据的锚定能力较弱。

通过表示分析和理论分解，作者将这种失效形式化为两种截然不同的表现形式：

跨图像不敏感性（Across-Image Insensitivity）： 模型对从不同图像生成的响应分配了几乎相同的偏好得分（例如，无法区分户外阅读活动图像与野餐图像），这表明模型缺乏对不同视觉上下文的辨别能力。
图像内不敏感性（Within-Image Insensitivity）： 模型无法从同一图像中区分语义关键线索与无关线索（例如，将马桶刷误认为通用工具），即使存在正确的视觉证据也会导致幻觉。

方法论：PEA-DPO

为了解决这些局限性，作者提出了感知增强对齐 DPO（Perception-Enhanced Alignment DPO, PEA-DPO）。该框架将优化范式从将图像视为静态上下文转变为联合优化响应质量与视觉上下文偏好。

1. 构建感知增强偏好数据

该方法通过显式移除关键视觉上下文来生成高质量的视觉偏好对：

扰动（Perturbation）： 从选定图像 ( $m_w$ ) 开始，系统应用随机掩码以生成一组候选扰动图像。
通过 CLIP 进行选择： 利用 CLIP 嵌入计算原始图像与扰动图像之间的语义相似度。选择具有最低相似度得分的扰动图像（表明移除了最关键的视觉上下文）作为拒绝图像 ( $m_l$ )。
数据结构： 这创建了一个偏好三元组 $(x, m_w, m_l, y_w)$ ，其中模型必须学习在以完整图像 $m_w$ 为条件时，相比于以上下文缩减后的图像 $m_l$ 为条件，更倾向于选择响应 $y_w$ 。

2. 联合优化目标

PEA-DPO 引入了一个双重目标损失函数，同时优化两个互补的信号：

响应质量偏好优化（Response Quality Preference Optimization, RPO）： 标准的多模态 DPO 项，模型学习在给定相同图像 ( $m_w$ ) 的情况下，偏好高质量响应 ( $y_w$ ) 而非低质量响应 ( $y_l$ )。
视觉上下文偏好优化（Visual Context Preference Optimization, VPO）： 一个新颖的项，模型学习在以完整图像 ( $m_w$ ) 为条件时，相比于以上下文缩减后的图像 ( $m_l$ ) 为条件，更倾向于选择响应 $y_w$ 。

最终目标函数结合了这两项：
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

为了降低计算开销并提高可控性，作者通过以下方式将其进一步精炼为 mPEA-DPO：

使用长度归一化的对数概率取代对数概率比值（从而无需参考模型）。
使用 ReLU 取代 Sigmoid 函数，以过滤平凡的数据点。
引入目标边际（target margins, $\gamma_r, \gamma_m$ ）以强制实现偏好对与拒绝对之间的最小间距。

理论分析

论文提供了一个理论证明，表明 mPEA-DPO 直接缓解了所识别的失效模式：

跨图像不敏感性 对应于接近零的图像级边际 ( $G_m$ )，代表模型无法区分 $m_w$ 与 $m_l$ 。 $\mathcal{L}_{VPO}$ 项显式地在此处强制执行正向边际。
图像内不敏感性 对应于接近零的响应级边际 ( $G_r$ )，代表即使有正确的视觉输入，模型也无法区分 $y_w$ 与 $y_l$ 。 $\mathcal{L}_{RPO}$ 项强制执行此边际。
作者证明，mPEA-DPO 中这些项的线性组合可以证明能够扩大这两个边际，从而同时解决这两种失效模式。

实验结果

作者在 LLaVA-v1.5 模型（7B 和 13B 参数）上针对三个幻觉基准测试进行了评估：MMHal-Bench、Object HalBench 和 AMBER。

幻觉减少： mPEA-DPO 显著降低了幻觉率。对于 7B 模型，与基础模型相比，它将 MMHal-Bench 的幻觉率降低了 33%。在 Object HalBench 上，它实现了响应级（response-level）92% 和物体级（object-level）87% 的幻觉率降幅。
与 SOTA 对比： 该方法在大多数幻觉指标上优于现有的基于 RLHF/RLAIF 的开源基准（如 LLaVA-RLHF、mDPO、OPA-DPO、DAMA）。虽然像 GPT-4V 和 Gemini-2.5-Pro 这样的专有模型在 MMHal-Bench 上取得了更高的整体得分并在 Object HalBench 上获得了更低的 CHAIR 分数，但 mPEA-DPO 在降低幻觉率方面表现出优于其他开源方法的性能。值得注意的是，在 AMBER 基准测试中，mPEA-DPO (7B) 实现了 10.3 的幻觉率和 0.6 的认知得分，显著优于 GPT-4V（后者记录了 30.7 的幻觉率和 2.6 的认知得分）。
消融实验：
- 研究发现 RPO 和 VPO 组件各自都是有效的，但两者的结合产生了最佳性能。
- 所提出的用于构建拒绝图像的“感知增强”策略（通过 CLIP 选择移除关键上下文）优于其他策略，如随机块掩码、旋转、裁剪或全黑处理。
- 性能随训练数据规模正向扩展，即使在较小的数据集（2.8k 个实例）上也显示出有效性。
通用能力： 在通用基准（MMStar, AI2D, LLaVA-Bench, MMMU）上的评估表明，mPEA-DPO 保留或略微提升了模型的指令遵循和通用推理能力，这表明该方法不会降低通用性能。

重要性与主张

论文声称 PEA-DPO 解决了当前多模态对齐中的一个根本差距：即在优化文本偏好时，模型倾向于忽略视觉证据。通过显式建模视觉不敏感性并引入双重偏好学习框架，作者证明了：

视觉不敏感性是多模态 DPO 中一种可测量且可纠正的失效模式。
通过显式利用视觉偏好信号（比较完整图像与上下文缩减图像）对于将 MLLM 响应锚定在视觉证据中是必要的。
所提方法在降低幻觉的同时保持了基础模型的通用语言能力，在开源方法中达到了最先进的性能，优于其他开源基准，并在特定幻觉指标上展现出与专有模型竞争的实力。

作者指出了局限性，包括生成感知增强数据的额外计算成本，以及在覆盖率指标上的轻微权衡（表明需要一种更保守的生成策略），但结论认为该框架为实现更可靠、更具视觉锚定能力的 MLLM 提供了一条稳健的路径。