💻 computer science

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

本文指出标准的直接偏好优化（DPO）对上下文信息的利用不足，导致多模态大语言模型中出现物体幻觉问题，并据此提出了上下文校准 DPO（C²-DPO），该方法通过显式地最大化上下文偏好增益，在显著减少幻觉的同时保留了通用的推理能力。

原作者： Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人如何描述它周围的世界。你给它看一张狗的照片，并问：“你看到了什么？”理想情况下，机器人应该说：“我看到一只狗。”但有时，这些 AI 模型会变得有点过于“有创意”。它们可能会说：“我看到一只戴着红帽子的狗”，尽管照片里根本没有帽子。这被称为“幻觉”（hallucination）。这就像机器人在观察实际存在的事物时，却在白日做梦。

为了解决这个问题，科学家们使用了一种叫做“偏好优化”（Preference Optimization）的训练方法。把它想象成一场“热与冷”的游戏。你向机器人展示两个答案：一个是真实的（“热”答案），另一个是编造的（“冷”答案）。机器人学习去选择那个“热”的答案。最近，研究人员尝试通过提供额外的线索（比如图片的文字描述）来让这种方法变得更好，希望它能利用这些线索来停止白日做梦。但这里有一个巨大的疑问：机器人是真的在使用这些线索，还是仅仅在忽略它们并进行瞎猜？

这正是论文《DPO 中的上下文盲性》（Context Blindness in DPO）所调查的问题。作者们是来自高丽大学和韩国科学技术院（KAIST）的研究团队，他们发现即使有了这些额外的线索，许多 AI 模型仍然遭受着“上下文盲性”的困扰。他们发现，标准的训练方法实际上并没有教会机器人去关注额外的辅助信息。为了解决这个问题，他们发明了一种新的训练技术，叫做 C2-DPO（上下文校准直接偏好优化）。C2-DPO 不仅仅是告诉机器人哪个答案更好，它还教导机器人：当拥有额外线索时，要对正确答案表现得更加自信，并且即使在缺少线索时也要保持这种逻辑一致性。他们的实验表明，这种新方法显著减少了机器人的“白日做梦”现象，使其成为一个更可靠的观察者。

问题所在：机器人的白日做梦习惯

多模态大语言模型（MLLMs）就像是带有大脑的超级相机。它们可以观察照片并进行交谈。但它们有一个讨厌的习惯：经常编造细节。如果你给它们看一个纯白盘子的照片，它们可能会自信满满地说：“盘子里有一片比萨。”这句话听起来很完美，但它是谎言。这就是“物体幻觉”（object hallucination）。

为了阻止这一点，科学家们使用了一种叫做**直接偏好优化（DPO）**的方法。想象你是一位正在批改学生作文的老师。你有两个版本：一个是准确的，另一个是充满谎言的。你告诉学生：“我更喜欢准确的那一个。”随着时间的推移，学生就会学会像写准确的版本那样去写作。在 AI 世界中，研究人员给模型成对的答案——一个是真实的，一个是幻觉产生的——并训练它始终选择真实的那一个。

最近，一些研究人员尝试通过提供更多的帮助来辅助 AI。他们在提问前向图片添加了一个“辅助文本”（比如一段说明文字）。其初衷是：“如果机器人既阅读了说明文字，又观察了图片，它就不会编造东西。”但本文的作者提出了一个怀疑性的问题：机器人是真的在阅读这段文字，还是仅仅在忽略它并进行瞎猜？

发现：“盲目”的机器人

为了找到答案，作者创建了一个简单的测试，称为上下文偏好增益（CPG）。把 CPG 想象成一个“信心计”。

测试流程如下：

全上下文（Full Context）： 你给机器人展示一张图片加上一段有用的说明文字。你问：“盘子里有比萨吗？”机器人回答：“没有，它是空的。”你检查它有多自信。
退化上下文（Degraded Context）： 你拿掉说明文字。你只给机器人展示图片，并问同样的问题。机器人回答：“没有，它是空的。”你再次检查它的自信程度。

如果机器人真的在关注上下文，它在拥有说明文字时应该更加自信。这个“信心计”（CPG）应该上升。这才是聪明、具备落地能力的机器人该有的表现。

然而，当作者测试标准 AI 模型（使用常规的 DPO 训练）时，他们发现了一些令人震惊的事情。信心计几乎没有移动。无论机器人拥有说明文字还是没有，它感受到的自信程度都完全一样。机器人是上下文盲目的。它忽略了额外的帮助，转而依赖自己的猜测，这导致了那些讨厌的幻觉。

作者发现了一个强关联：当给予额外线索时，模型的信心计上升得越高（高 CPG），它所说的谎言就越少。但标准模型在面对这种情况时，其 CPG 接近于零。它们本质上对所要使用的上下文是“盲目”的。

解决方案：C2-DPO（“上下文校准”训练器）

那么，如何教一个盲目的机器人去观察呢？作者提出了一种新的训练方法，叫做 C2-DPO。

C2-DPO 不仅仅是说“选出正确答案”，它改变了游戏的规则。它迫使机器人学习一个特定的教训：“当你拥有额外线索时，你必须比没有线索时对你的答案更加确定。”

他们通过一个特殊的数学技巧（损失函数）来实现这一点，该函数会奖励机器人扩大其不同置信度之间的差距。

场景 A（全上下文）： 机器人看到了图片和说明文字。它必须对答案的正确性感到非常确定。
场景 B（退化上下文）： 机器人只看到图片。它仍需保持自信，但训练确保了“全上下文”下的自信度要显著高于此场景。

这就像是在训练一名侦探。一名普通的侦探在有证人或没证人的情况下都能破案。但一名 C2-DPO 侦探接受的训练是：如果我有证人，我百分之百确定！如果没有证人，我仍然很有把握，但我知道我需要更多证据。这迫使 AI 真正去使用额外的信息（证人/说明文字）来强化其推理过程。

结果：减少白日做梦，增加真实性

作者在几个著名的 AI 模型上测试了这种新方法，包括 LLaVA-v1.5-7B 和 Qwen2-VL-Instruct-2B。他们将 C2-DPO 与旧的标准方法在名为 Object HalBench 的测试（旨在捕捉编造物体的机器人）上进行了对比。

结果令人印象深刻：

对于 Qwen2-VL-Instruct-2B 模型，C2-DPO 将幻觉响应率降低了 36%，并将幻觉提及（特定词汇）的比例降低了 60%。
在 AMBER 基准测试中，幻觉得分从使用旧方法的 39.9 降至 C2-DPO 的 16.1。
至关重要的是，这些模型并没有在其他任务上变得“变笨”。它们回答一般问题和解决逻辑谜题的能力与之前一样出色。它们只是不再胡编乱造了。

作者还展示了这种技巧在没有图片的情况下也同样有效。当他们将同样的逻辑应用于纯文本模型（仅使用问题和答案）时，它仍然提高了准确性。这表明问题不仅仅在于“看”图像，而在于模型如何学习去重视它所获得的信息。

这为什么很重要

这篇论文表明，我们目前训练 AI 变得“诚实”的方式可能缺少了一个关键要素。我们一直在给它们提供额外的线索，并希望它们能使用这些线索，但训练方法并没有强制它们去关注。通过简单地调整训练，以奖励“具备上下文意识的自信心”，作者证明了我们可以显著提高 AI 模型的可靠性，而无需大规模的新数据集或复杂的全新架构。

这提醒我们，有时，阻止机器人“白日做梦”最好的方法不是给它更多的数据，而是教会它如何去重视它已经拥有的数据。正如作者所发现的，当我们将模型校准为尊重上下文时，幻觉就会消退，机器人开始讲述真相。

技术摘要：DPO 中的上下文盲性：通过上下文校准偏好优化缓解 MLLM 中的物体幻觉

1. 问题陈述

多模态大语言模型（MLLMs）在视觉-语言任务中取得了显著进展，但仍容易出现物体幻觉问题，即模型生成的语义上看似合理的描述与视觉输入相矛盾。虽然**直接偏好优化（DPO）**及其变体已被用于通过训练模型偏好非幻觉响应而非幻觉响应来缓解这一问题，但近期通过丰富相关上下文（例如辅助说明文字）来增强偏好数据的尝试，在模型对该上下文的实际利用率方面，其结果仍不明确。

作者发现现有偏好优化目标存在一个根本性的局限：它们是**上下文盲（context-blind）**的。标准的 DPO 为固定的输入 $x$ 优化偏好间隔，但并未明确奖励模型在提供更丰富的上下文信息时增强其偏好强度的行为。因此，即使在包含有助于理解的上下文数据的训练中，模型也往往无法利用这些信息来进行视觉落地（grounding），从而导致持续的幻觉现象。

2. 方法论

2.1 诊断指标：上下文偏好增益（CPG）

为了研究模型是否真正利用了上下文，作者引入了上下文偏好增益（CPG）。该指标量化了在提供额外的相关上下文时，模型偏好强度的变化。

给定全上下文输入 $x$ （图像、查询和辅助说明文字）以及退化上下文输入 $x'$ （仅包含图像和查询，移除了说明文字），偏好得分定义为偏好响应（ $y_w$ ）与非偏好响应（ $y_l$ ）之间的隐式奖励间隔：
$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$

CPG 计算为这两个得分之差：
$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$

关键观察：

相关性： CPG 与幻觉率之间存在强负相关性；具有较高 CPG 的模型一致表现出较低的幻觉率。
上下文盲性： 标准 DPO 及其变体（SimPO, RDPO）的 CPG 分布集中在零附近。这表明移除辅助上下文会导致模型的偏好发生极小的变化，揭示了这些模型无法有效地利用上下文信息进行落地。

2.2 提出的解决方案：C2-DPO

为了解决上下文盲性问题，作者提出了 C2-DPO，这是一个旨在显式最大化 CPG 同时保持在退化条件下正确偏好顺序的框架。该方法被公式化为一个约束优化问题：

目标： 在全上下文（ $x$ ）下最大化偏好间隔。
约束 1： 全上下文下的偏好间隔必须大于退化上下文（ $x'$ ）下的间隔，以确保正向的 CPG。
约束 2： 退化上下文下的偏好间隔必须保持为正，以确保即使在缺乏辅助线索的情况下，模型仍然偏好正确的响应。

这些约束被放宽为一个包含三项的微分训练目标：
$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$

$\mathcal{L}_{\text{DPO}}(x)$ ： 在全上下文上的标准 DPO 损失，以维持对齐。
$\mathcal{L}_c(x, x')$ （上下文偏好校准损失）： 一种对比损失，将全上下文视为正样本，将退化上下文视为负样本，显式地扩大两者之间的差距（CPG）。
$\mathcal{L}_{\text{DPO}}(x')$ ： 在退化上下文上的标准 DPO 损失，以确保模型即使在缺失上下文时仍能保持正确的偏好顺序，防止模型通过单纯降低偏好响应的得分来人为地夸大 CPG。

3. 核心贡献

识别上下文盲性： 作者揭示了现有的偏好优化方法无法有效利用上下文信息，这可以通过接近于零的 CPG 分布得到证实。
引入 CPG： 一种诊断指标，量化了上下文利用与幻觉率之间的关系，并证明了较高的 CPG 与降低幻觉率相关。
C2-DPO 框架： 一种通用的偏好对齐方法，通过显式优化上下文偏好增益来实现。该方法设计为与模型无关，可以无缝集成到各种偏好优化变体（DPO, SimPO, RDPO）中，并可应用于多模态及纯文本设置。

4. 实验结果

作者在两个 MLLM（LLaVA-v1.5-7B 和 Qwen2-VL-Instruct-2B）上通过多个基准测试评估了 C2-DPO。

减少幻觉：
- 在 Object HalBench 上，与基线相比，C2-DPO 将 Qwen2-VL-Instruct-2B 的幻觉率降低了 36%（响应层面）和 60%（提及层面），优于 C-DPO 和 HA-DPO 等最先进的方法。
- 在 AMBER 上，C2-DPO 达到了 16.1 的幻觉分数，显著低于 vanilla-DPO (39.9) 和 C-D：(17.5)。
- 改进在不同模型规模和架构上是一致的。
通用推理保持：
- C2-DPO 在通用多模态推理基准测试（ScienceQA, MM-Vet, TextVQA）中保持了强大的性能，表明减少幻觉并不会损害通用的指令遵循或推理能力。
泛化性：
- 变体： 将校准损失集成到 SimPO 和 RDPO 中（得到 C2-SimPO 和 C2-RDPO）带来了持续的改进，证实了该方法与底层优化目标具有正交性。
- 纯文本： 在纯文本 LLM 设置（AlpacaEval 2）中，应用该校准策略提升了 DPO 和 SimPO 的性能，表明上下文感知偏好建模的原则可以扩展到多模态领域之外。
鲁棒性：
- 使用噪声上下文（随机遮蔽说明文字）进行的实验表明，C2-DPO 保持了鲁棒性，且随着噪声增加，C2-DPO 与基线之间的性能差距进一步扩大。
学习动态：
- 训练分析显示，C2-DPO 在整个训练过程中稳步增加 CPG，而基线方法（如 C-DPO）则保持在零附近。
- 观察到 CPG 随相关上下文（句子和单词数量）的增加而线性增加，证实了模型对上下文丰富度的敏感性。

5. 重要性与主张

本文主张，当前 MLLM 偏好优化的主要局限性不在于数据的质量，而在于优化目标无法强制执行上下文落地（context grounding）。通过显式地建模上下文如何塑造偏好，C2-DPO 提供了一种缓解物体幻觉的有原则的方法。

作者强调，其方法具有以下特点：

不需要复杂的架构更改或额外的奖励模型。
仅依赖于全上下文与退化输入之间的对比，使其适用于可以定义上下文的其他模态和任务。
提供了一种提高可靠性的统一策略，将从多模态落地中获得的益处扩展到纯文本的事实对齐。

该工作得出结论，显式地针对上下文信息校准偏好得分，是增强生成模型事实可靠性的一个广泛适用的原则。