💻 computer science

Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

本文提出了 AVES-DPO，这是一种自校正偏好学习框架，它通过基于共识的验证机制生成分布内偏好对，从而减轻大型视觉 - 语言模型中的幻觉问题，进而克服了因依赖专有模型而导致的分布不匹配问题。

原作者： Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、富有艺术感的机器人，它热衷于描述图片。你给它看一张厨房的照片，它说：“我看到一个棕色的橱柜、木地板，还有一个人站在狗旁边。”但等等——照片里根本没有狗！机器人只是凭空捏造了它。这被称为幻觉。就像机器人看着照片时在做白日梦。

很长一段时间以来，科学家们试图通过聘请一位“超级专家”（例如像 GPT-4V 这样庞大而昂贵的 AI 模型）来查看机器人的错误并告诉它：“不，那里没有狗。修正它。”然后，他们利用这些修正来训练机器人。

旧方法的弊端
这篇论文的作者意识到，这个计划存在缺陷。想象一下，让学生通过完全复制另一位艺术家的杰作来学习绘画。学生可能会学到大师的风格，但这并不符合他们自己自然的绘画方式。

同样地，当“超级专家”纠正机器人时，这种修正听起来像专家，而不像机器人。这就造成了不匹配。机器人感到困惑，因为“正确答案”对它的“大脑”来说显得格格不入，导致学习过程效率低下，并需要海量数据。

新方案："AVES-DPO"（自我修正的艺术家）
作者提出了一种名为AVES-DPO的新方法。他们不再聘请外部专家，而是教导机器人检查自己的工作并自行修正。

以下是他们的“自我修正”过程，分解为简单步骤：

初稿（错误）： 机器人查看图片并写下描述。它可能会意外地编造出一只狗，或者搞错橱柜的颜色。
侦探工作（验证）： 在机器人尝试修正之前，他们使用一组“侦探”（专门的开源 AI 工具）来扫描描述。
- 机器人是否说那里有狗？ 侦探检查照片。“没有，没有狗。”
- 它是否说橱柜是蓝色的？ 侦探检查。“不，它们是棕色的。”
- 它是否说那个人拿着杯子？ 侦探检查。“没有杯子。”
- 如果侦探们达成一致，错误即被确认。如果不确定，他们会寻求第二意见以确保无误。
自我修正（修复）： 现在，机器人查看已确认的错误列表，重写它的描述。
- 它移除了那只假狗。
- 它将“蓝色橱柜”改为“棕色橱柜”。
- 关键在于，它不仅仅是删除错误的部分；它还补充了更多它遗漏的真实细节，比如“地板很亮”或“那里有一扇窗户”。
课程（偏好学习）： 现在，机器人有了两个版本的描述：
- 版本 A： 原始的、充满错误的描述（“坏”答案）。
- 版本 B： 新的、经自我修正且细节丰富的描述（“好”答案）。
- 机器人被训练为偏好版本 B。因为它自己写出了版本 B，所以这个“好”答案听起来完全像它自己。它完美地融入了它自己的“大脑”。

为何这意义重大
该论文声称，这种方法之所以是游戏规则的改变者，原因有三：

高效： 因为机器人是从自己的“声音”中学习，所以它学得更快。他们只需要大约5,200 个示例就能教会机器人。其他方法需要 25 倍多的数据（超过 120,000 个示例）才能达到类似的效果。这就像对着镜子自言自语来学习一门语言， versus 试图模仿外国口音。
捕捉更多错误： 旧方法主要捕捉“大”错误，比如凭空捏造整个物体（一只狗）。这种新方法也能捕捉“微小”错误，比如搞错关系（说狗在左边，而实际上在右边）或颜色错误。
更便宜： 你不需要付费给昂贵的“超级专家”AI 模型来进行修正。机器人承担了繁重的工作。

结果
当他们测试这种新方法时，机器人在准确描述图片方面变得好得多。它不再编造物体，并能正确把握细节，同时仅使用了极少量的训练数据。

关于局限性的说明
作者诚实地指出了他们的方法目前尚未做到的事情。

它在一次观察一个物体时效果最好。如果一张图片里有 50 个人以复杂的方式相互交织，系统可能会变得有点困惑。
对于最大、最强大的机器人（130 亿参数模型），修正幻觉使它们稍微变得“谨慎”了一些。它们变得如此擅长不编造事物，以至于有时会忘记提及它们过去所知道的通用知识。这是在保持 100% 事实准确与保持 100% 健谈之间的权衡。

简而言之，AVES-DPO 是关于教导机器人成为自己最好的编辑，确保它所学到的“真理”是那种能自然地融入它自己心智的真理。

以下是论文《Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs》（与自身声音对齐：用于大语言视觉模型幻觉缓解的自校正偏好学习）的详细技术总结。

1. 问题陈述

大语言视觉模型（LVLMs）经常遭受幻觉困扰，生成与输入图像不一致的内容（例如：不存在物体、错误属性或错误关系）。虽然**直接偏好优化（DPO）**已成为通过使模型与人类偏好对齐来缓解此问题的主流方案，但现有方法面临两个关键局限性：

分布不匹配：大多数方法依赖专有模型（如 GPT-4V）来生成“优选”（事实性）响应。这引入了分布偏移，因为外部教师模型的校正模式与目标 LVLM 的内在分布不同，阻碍了高效的对齐。
偏向物体存在性：现有数据集和训练目标主要关注物体存在（二元存在性），忽视了涉及属性（如颜色、材质）和关系（如空间位置）的细粒度幻觉。

2. 方法论：AVES-DPO

作者提出了AVES-DPO（通过验证自校正 DPO 进行对齐），这是一个利用目标模型内在知识生成分布内偏好数据、从而消除对外部专有模型依赖的框架。该框架包含两个不同的阶段：

A. 幻觉验证

此阶段使用基于共识的验证机制诊断模型初始响应（ $y_{init}$ ）中的错误：

场景图提取：将响应解析为包含物体（ $O$ ）、属性（ $A$ ）和关系（ $R$ ）的结构化场景图。
共识验证：两个独立的验证模型（ $V_1, V_2$ $V_{1}, V_{2}$ ）检查每个元素的事实性。
- 物体验证：使用鲁棒的开源检测器（YOLO, Grounding DINO）。模糊案例通过 Qwen3-VL 模型进行二次验证解决。
- 属性与关系验证：仅使用 Qwen3-VL 模型检查已验证物体的属性和关系。
- 共识规则：仅当两个模型达成一致时，标签才最终确定；否则标记为“模糊”。
校正候选项：如果某个元素是幻觉，系统会根据语义子类型，从预先构建的词汇表（源自 GQA 和 MS-COCO）中检索正确的替换项。

B. 自校正

在验证诊断的引导下，LVLM 分两个阶段细化其自身输出：

事实修正：模型移除幻觉元素或将其替换为已验证的正确内容，生成简洁且事实准确的响应。
详细丰富：为防止响应变得过于稀疏，模型添加基于图像的真实视觉细节。
- 迭代过滤：循环管道确保质量。丰富后的文本被反馈回验证模块。如果检测到幻觉，则重新生成。此循环最多运行 3 次（针对 7B 模型）或 5 次（针对 13B 模型）。
- 负向约束：明确指示模型不要提及之前被识别为幻觉的物体。

C. 偏好学习

该过程生成偏好数据集 $\mathcal{D}_{SC}$ ，由三元组 $(x, y^+, y^-)$ 组成，其中：

$y^-$ ：初始的幻觉响应。
$y^+$ ：最终经过自校正和丰富后的响应。
训练目标：模型使用标准 DPO 损失函数进行优化，以最大化 $y^+$ 相对于 $y^-$ 的可能性，有效地教导模型偏好其自身经过验证的事实性输出。

3. 主要贡献

分布内对齐：AVES-DPO 是首个严格从目标模型内在知识生成偏好对的框架，解决了使用外部“教师”模型固有的分布不匹配问题。
全面的幻觉缓解：与主要关注物体存在性的先前工作不同，AVES-DPO 通过其细粒度的验证管道，解决了广泛的幻觉类型，包括属性和关系。
高数据效率：该方法仅使用5.2k 个样本（针对 7B 模型）即实现了最先进（SOTA）的性能，这比 LLaVA-RLHF 等方法所需的数据量少约25 倍，且无需昂贵的专有 API 调用。
鲁棒的验证管道：引入基于两阶段共识的验证策略（结合检测器和 VLM），确保了高质量、无噪声的偏好数据。

4. 实验结果

作者在多个基准测试上评估了 LLaVA-1.5 (7B 和 13B) 的 AVES-DPO：

幻觉基准（Object-Hal, AMBER, MMHal-Bench）：
- AVES-DPO 在 7B 模型的超过 60%的评估指标上实现了SOTA 性能。
- 与 POVID、oDPO 和 SENTINEL 等基线相比，它显著降低了CHAIR 分数（幻觉率）。
- 细粒度提升：该方法在关系和属性类别上显示出实质性改进，而其他方法在这些领域往往表现挣扎。例如，在 AMBER 基准测试中，7B 模型在“关系”类别中取得了 66.6 的分数，优于那些通常在此领域性能下降的基线。
通用多模态能力（MME 基准）：
- 7B 模型在通用感知和识别任务中显示出显著改进，证实了幻觉缓解并未损害通用能力。
- 注：13B 模型在通用基准测试中显示出轻微的权衡，表明需要规模感知策略来平衡事实基础与广泛知识检索。
消融研究：
- 分布不匹配：可视化偏好边界显示，自校正与模型的内部分布保持一致（边界接近零或为正），而外部 GPT-4V 监督则导致负向偏移（分布不匹配）。
- 数据效率：即使样本少至 600 个，性能提升也显著，而在超过 5.2k 个样本后观察到收益递减。

5. 意义

本文提出了 LVLM 幻觉缓解的范式转变。通过证明自校正优于外部监督用于偏好学习，AVES-DPO 提供了一种具有成本效益、可扩展且数据高效的解决方案。它消除了对昂贵专有 API（如 GPT-4V）的依赖，同时解决了更广泛的幻觉类型（物体、属性、关系）。该框架证明，LVLM 可以有效地学习与其自身内部知识库对齐，以生成更真实可靠的输出。