💻 computer science

Mitigating Object Hallucinations via Sentence-Level Early Intervention

本文介绍了 SENTINEL，这是一个通过开放词汇检测器自举领域内偏好数据并应用句子级上下文感知偏好学习，从而在无需人工标注的情况下于生成过程早期干预以减轻多模态大语言模型中物体幻觉的框架。

原作者： Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、富有艺术感的挚友，他热衷于为你描述画面。这位朋友擅长把握整体图景，但他有个古怪的习惯：随着描述的深入，他开始编造一些实际上并不存在的东西。

如果你给他看一张安静厨房的照片，他可能会先说：“我看到一张桌子和几把椅子。”这是真的。但随着他继续描述场景，他可能会突然补充道：“看，桌上还有一瓶花”，尽管实际上并没有花。接着，他可能会越说越起劲，说道：“还有一只猫正睡在花瓶上”，尽管根本没有猫。

这篇论文将这种现象称为物体幻觉。模型并非故意撒谎；它只是沉浸在自己的故事中，编造出与视觉现实相矛盾的细节。

现有解决方案的弊端

作者解释说，其他研究人员曾尝试解决这个问题，但他们的方案就像用大锤砸坚果：

“人工编辑”方法：一些方法要求昂贵的人工编辑或超强大的 AI 模型在故事写完后对其进行重写。这种方法既缓慢又昂贵，而且往往会改变原始模型的“风格”。
“停顿检查”方法：另一些方法试图在每句话之后暂停模型，以检查物体是否存在。这就像要求司机每走 10 英尺就停车查看地图。虽然有效，但会让整个过程变得极其缓慢且笨拙。

重大发现：“雪球效应”

这篇论文的作者 SENTINEL 做出了一个关键观察。他们意识到，幻觉并非一次性发生；它们往往在早期出现，随后像滚雪球一样越积越大。

这就像玩“传话”游戏。如果队伍中的第一个人说错了一个事实，后面的人就会重复这个错误，并在此基础上添加更多的谎言。论文发现，如果模型在第二句话中出现幻觉，那么它在第三、第四和第五句话中出现幻觉的可能性就会大大增加。错误会不断传播。

解决方案：SENTINEL（早期干预者）

作者提出了一种名为SENTINEL的新框架。SENTINEL 不像传统方法那样等到整篇故事写完后再进行修正，而是像一位警觉的编辑，在第一句谎言说出的瞬间就介入。

以下是 SENTINEL 的工作原理，通过一个简单的类比来说明：

预演（Bootstrap）：
想象模型是一位正在排练场景的演员。SENTINEL 要求模型多次表演该场景（描述图像）。
- 第 1 次运行：“我看到一张桌子。”（真实）
- 第 2 次运行：“我看到一张桌子和一个花瓶。”（花瓶并不存在！）
- 第 3 次运行：“我看到一张桌子和一只猫。”（没有猫！）
事实核查（交叉验证）：
SENTINEL 使用两个简单、快速的“侦探”（物体检测器）来审视照片和模型的剧本。
- 如果剧本说“花瓶”但照片中没有花瓶，侦探们就会将其标记为幻觉。
- 如果剧本说“桌子”且照片中确实有桌子，则标记为事实。
- 如果侦探们无法达成一致，则忽略该情况（以避免混淆）。
学习（偏好学习）：
现在，SENTINEL 为模型创建了一种“选择你自己的冒险”风格的学习课程。
- 选项 A（正确路径）：“桌子周围环绕着椅子。”（这与照片相符）。
- 选项 B（错误路径）：“桌子周围环绕着椅子和一个花瓶。”（这包含了谎言）。
  模型被训练去认识到：“啊！选项 A 是我应该选择的。选项 B 是错误的，因为它包含了那个虚假的花瓶。”
“上下文”转折：
这是其中的秘诀。模型不仅仅是学习在孤立的情况下选择正确的句子，而是学习基于前文内容来选择正确的句子。
- 如果前一句话是真实的（“我看到一张桌子”），模型就会学会让下一句话也保持真实。
- 它了解到，一旦“谎言”（幻觉）开始，整个故事就会脱轨。因此，它学会在谎言首次出现时立即将其制止。

结果

论文声称，通过在最初阶段（句子级早期干预）捕捉这些谎言，SENTINEL 阻止了“雪球”的滚动。

减少幻觉：与原始模型相比，它将物体幻觉减少了 90% 以上。
提升通用能力：与其他使模型“变笨”或变慢的方法不同，SENTINEL 实际上提高了模型回答问题以及准确描述事物的能力。
无额外成本：它不需要昂贵的人工编辑或超级计算机来运行。它教会模型成为自己的事实核查员。

总结

可以将原始 AI 模型想象成一个过于兴奋、喜欢编造故事的说书人。

旧方法试图聘请一位严厉的编辑，在故事讲完后重写整个故事（昂贵且缓慢）。
SENTINEL则教导说书人倾听自己的内心声音。一旦他们即将说出虚假的内容，他们就会学会暂停、核实事实，并说出真相。这种方法在谎言传播之前就将其制止，从而产生既准确又富有创意的故事。

技术摘要：SENTINEL

问题陈述

多模态大语言模型（MLLMs）在跨模态理解方面取得了进展，但存在物体幻觉问题，即模型生成的文本在语义上连贯，但在事实层面上与视觉输入不一致。现有的缓解策略面临显著局限：

基于解码的方法（例如对比解码）通常会产生高昂的计算成本并增加推理延迟。
偏好对齐方法经常依赖昂贵的外部资源，例如使用专有大语言模型（LLMs）进行重写，或依赖人工标注者进行数据策展。此外，这些方法往往在训练数据（由外部模型重写）与目标模型原始输出分布之间引入分布不匹配，从而损害泛化能力。

方法论：SENTINEL

作者提出了SENTINEL（通过域内偏好学习进行句子级早期干预，Sentence-level Early iNtervention Through IN-domain prEference Learning），这是一个旨在通过干预幻觉发生的最早阶段来缓解幻觉的框架，且无需依赖外部重写或人工标注。该方法通过六个关键步骤运行：

域内候选项引导（In-domain Candidate Bootstrapping）：
- 当前的 MLLM 通过采样生成多个候选响应。
- 使用场景图解析器（Scene-GraphParser）提取这些输出中提到的物体。
- 交叉验证： 使用两个开放词汇物体检测器（GroundingDINO 和 YOLO World）交叉检查这些物体在输入图像中是否存在。
- 物体被分类为事实性（两个检测器均确认存在）、幻觉性（两个检测器均确认不存在）或不确定。包含幻觉物体的句子被标记为负样本；仅包含事实性物体的句子被标记为正样本。不确定物体被忽略以确保数据质量。
上下文感知偏好数据生成：
- 该框架构建偏好对 $(y_w^+, y_l)$ ，其中 $y_w^+$ 是非幻觉句子， $y_l$ 是幻觉句子。
- 关键在于，正样本 $y_w^+$ 被选为上下文连贯的，即句子中描述的物体被明确引用或与前述上下文逻辑相连。这与上下文无关的样本形成对比，作者发现后者对泛化的效果较差。
迭代上下文引导（Iterative Contextual Bootstrapping, ICB）：
- 为了增强在多样化场景中的鲁棒性，该框架迭代地扩展生成上下文。在识别出一个非幻觉的正样本后，将其附加到上下文 $c$ 中以用于下一次迭代。这使得模型能够从逐渐复杂和多样的上下文中学习，同时保持无幻觉的基础。
上下文感知偏好学习（C-DPO）：
- 模型使用修改后的直接偏好优化（DPO）损失进行训练，称为C-DPO。
- 策略模型的输入通过上下文 $c$ 进行增强： $x' = [v, q, c]$ 。
- 损失函数最大化生成上下文连贯的正样本 $y_w^+$ 的可能性，同时最小化幻觉负样本 $y_l$ 。
- 关键设计： 上下文 $c$ 被排除在损失计算之外（被屏蔽）。梯度仅源自 $y_w^+$ 和 $y_l$ 之间的判别，确保模型学会在句子级别区分幻觉，而不会在优化过程中受到上下文标记的偏差影响。

主要贡献

早期干预洞察： 作者通过分析证明，幻觉强度随文本长度增加而升级，且在幻觉首次出现时进行干预能显著防止其在后续输出中传播。
高效、域内框架： SENTINEL 消除了对外部专有模型或人工标注者的依赖。通过使用模型自身的输出和轻量级开放词汇检测器，它构建了高质量、风格一致的偏好数据。
模型无关的性能： 该方法在幻觉基准测试中取得了最先进的结果，同时保持或提升了通用能力，证明了域内偏好学习优于基于重写的方法。

实验结果

实验在 LLaVA-v1.5（7B 和 13B）模型上于多个基准测试中进行：

幻觉缓解：
- 在Object HalBench上，SENTINEL 将 7B 模型的响应级幻觉率从基线的 52.7% 降低至4.3%，显著优于之前的 SOTA（TPO）。
- 在AMBER上，与原始模型相比，幻觉减少了约92%（Object HalBench）和65%（AMBER）。
- 该方法有效降低了所有六个类别（存在性、属性、状态、关系、动作、数量）的幻觉。
通用能力：
- 与许多会损害通用性能的缓解方法不同，SENTINEL 在VQAv2、TextVQA、ScienceQA和MM-Vet上保持或提高了分数。
- 例如，在 MM-Vet 上，7B 模型从 31.0 提升至32.6，13B 模型从 36.0 提升至36.2。
消融研究：
- 重写与域内： 在重写数据（通过 GPT-4）上训练导致性能下降，证实了保留模型固有分布的重要性。
- 上下文连贯性： 使用上下文连贯的正样本（ $y_w^+$ ）比使用上下文无关的样本效果更好。
- 交叉验证： 使用两个检测器进行验证的表现显著优于单检测器方法。
- 可扩展性： 随着训练数据规模的增加，性能得到提升，证明了该方法在利用更大数据集时无需昂贵标注的高效性。

意义与主张

该论文声称 SENTINEL 提供了一种可扩展、高效且模型无关的解决方案，用于增强 MLLM 的可靠性。其主要意义在于将范式从昂贵且导致分布偏移的外部干预转变为域内、句子级的早期干预。通过聚焦于幻觉出现的精确时刻并利用模型自身的分布，SENTINEL 成功遏制了错误的传播，同时未损害模型的通用推理或语言生成能力。

作者指出了一个局限性：当前框架缺乏时空推理能力，意味着它可能无法完全解决需要长期推理的基于视频的多模态大语言模型中的幻觉问题。然而，对于静态图像理解，它确立了高效幻觉缓解的新标准。