🤖 AI

Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization

本文介绍了推理条件直接偏好优化（RC-DPO），这是一种新颖的训练框架，通过将答案生成与逻辑一致且视觉可验证的推理链显式对齐，而非将其视为单一整体输出，从而缓解多模态大型推理模型中的幻觉问题。

原作者： Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization》（推理至关重要：通过推理条件偏好优化缓解多模态大推理模型中的幻觉）的解释。

问题：自信的“说谎者”

想象一位非常聪明的学生（即人工智能）正在参加一场关于图片的考试。这位学生擅长解决难题，但有一个坏习惯：经常产生幻觉。

过去，如果学生最终答案错了，老师只会说：“不，那个答案是错的。”但这篇论文发现，“推理模型”（即在回答前先进行思考的 AI）存在一个新问题。

这些模型不仅会在最终答案上出错，它们还经常在思考过程中撒谎。

场景：学生看着一张沙漠中卡车的图片。
谎言：在他们的“思考”步骤（思维链）中，他们编造了一个故事：“我看到前景里有一张蓝色的餐桌。”（实际上并没有桌子）。
结果：因为他们让自己相信了有一张桌子，所以自信地回答：“是的，那里有一张餐桌。”

论文指出，当前的训练方法就像只给最终答案打分的老师。他们看到“是”或“否”，试图修正这些，却忽略了学生的思考过程充满了谎言。学生学会了靠运气猜对答案，或者死记硬背捷径，而没有真正学会如何正确观察图片。

解决方案：RC-DPO（“思维教练”）

作者提出了一种新的训练方法，称为RC-DPO（推理条件直接偏好优化）。

这就像教练训练运动员的新方式。教练不再只说：“你跑得太慢了，再试一次”，而是将其分解：

条件：教练说：“如果你以良好的姿态（真实的思考过程）奔跑，你应该获得金牌。如果你以糟糕的姿态（撒谎的思考过程）奔跑，即使你 somehow 先冲过了终点线，你也应该受到处罚。”
目标：AI 会明白，只有当“好答案”由“好思考过程”支持时，它才是有效的。这迫使 AI 将其思考与视觉证据对齐。

如何构建训练数据（“搜索与剪枝”策略）

为了教会 AI 这一新教训，研究人员需要“好思考”与“坏思考”的示例。他们不是仅仅让人类来编写这些，而是构建了一个系统来自动生成：

寻找“好思考”（MCTS）：
想象一位侦探试图解开谜团。侦探不是只猜测一条路径，而是尝试许多不同的路径（使用一种称为蒙特卡洛树搜索的方法）。他们检查每条路径：“这一步是否与图片匹配？逻辑是否严密？”
- 他们选择最合乎逻辑且视觉上最准确的路径。这成为了正样本（即“好思考”的示例）。
制造“坏思考”（注意力剪枝）：
为了教会 AI 什么不该做，他们拿一个普通的答案并故意破坏它。他们查看“思考”部分中哪些词与图片联系最紧密（如“红色”、“卡车”、“灰尘”）。
- 他们剪枝（剔除）了这些重要的视觉词汇。
- 这创造了一个“坏思考”样本，听起来像是在思考，但实际上忽略了图片。这成为了负样本。

结果：更诚实的思考者

通过训练 AI 偏好“好思考”路径而非“坏思考”路径（即使最终答案相同），模型学会了在思考过程中停止撒谎。

之前：AI 会幻觉出一张桌子，思考它，然后回答“是”。
之后：AI 看着图片，没看到桌子，思考“我看到一辆卡车和一个棚屋，但没有桌子”，然后回答“否”。

总结

该论文声称，要阻止 AI 产生幻觉（编造事物），我们不能只修正最终答案。我们必须修正思考过程本身。他们的新方法 RC-DPO 就像一位严格的教练，说道：“如果你的推理是谎言，你就无法得到正确答案。”通过将模型训练为将好答案严格与基于证据的良好推理联系起来，他们显著减少了这些复杂视觉 - 语言模型中的幻觉数量。

技术摘要：推理至关重要：通过推理条件偏好优化缓解多模态大推理模型中的幻觉

问题陈述

多模态大推理模型（MLRMs）通过在生成最终答案之前显式生成中间推理步骤（思维链，即 CoT），在复杂的视觉 - 语言任务中展现了强大的能力。然而，这些模型仍容易产生幻觉，即生成看似合理但与视觉输入不一致的内容。与传统的多模态大语言模型（MLLMs）不同（其幻觉通常出现在最终输出中），MLRM 的幻觉可能产生于中间 CoT 中，并随后传播至最终答案。

现有的基于训练的缓解方法，如直接偏好优化（DPO），通常将 CoT 和最终答案视为一个整体输出。本文观察到，这种响应级别的优化行为类似于仅针对答案的优化，主要学习答案级别的偏好，而未能充分利用 CoT 级别的监督。因此，推理链中残留的幻觉往往持续存在，并主导了整个响应的总体错误率。

方法论：RC-DPO

为了解决粗粒度监督的不足，作者提出了推理条件直接偏好优化（RC-DPO）。该框架通过将 CoT 视为答案生成的条件，显式地对推理链与最终答案之间的关系进行建模。

1. 核心目标

RC-DPO 不再联合优化整个响应 $(c, a)$ ，而是对比在不同 CoT 条件下生成相同优选答案（ $a_w$ ）的可能性：

优选条件（ $c_w$ ）： 具有视觉依据且逻辑有效的推理链。
拒绝条件（ $c_l$ ）： 包含幻觉或损坏的推理链。

目标函数隔离了推理链对答案生成的影响。它最大化了给定高质量 CoT 与给定损坏 CoT 时，优选答案的条件概率之间的差距：
$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$
最终训练目标将此推理条件损失与标准的响应级别 DPO 相结合：
$L = L_{DPO} + \lambda L_{RC}$

2. 偏好数据构建

RC-DPO 需要构建偏好对 $(x, c_w, a_w, c_l, a_l)$ ，且无需依赖外部真实标注或更强的模型。作者引入了一条利用模型自身输出的流水线：

正样本构建（MCTS）： 作者采用蒙特卡洛树搜索（MCTS）来发现高质量的推理轨迹。从监督微调（SFT）模型开始，MCTS 扩展候选推理步骤，并使用验证器根据视觉一致性、逻辑有效性和答案正确性对轨迹进行评分。得分最高的轨迹被选为正样本 $(c_w, a_w)$ 。
负样本构建（注意力引导剪枝）： 为了创建具有挑战性的负样本，作者采用了一种图像注意力引导的令牌剪枝策略。他们计算每个 CoT 令牌到图像令牌的注意力分数。识别出具有高视觉相关性的令牌，并从原始 CoT 中将其剪枝（移除）。这破坏了推理链的视觉依据，生成了损坏的 CoT（ $c_l$ ），使其作为同一答案的负条件。

3. 训练流水线

CoT 格式对齐： 一个热身 SFT 阶段使模型与结构化的 CoT 格式（逐步推理后接答案）对齐，以促进 MCTS 操作。
数据生成： MCTS 和注意力引导剪枝生成偏好数据集。
优化： 使用组合的 $L_{DPO} + \lambda L_{RC}$ 目标对模型进行训练。

主要贡献

现有 DPO 的分析： 本文揭示了标准响应级别 DPO 偏向于答案级别优化，导致 CoT 级别的幻觉未得到充分解决。
RC-DPO 框架： 提出了一种细粒度的偏好优化框架，通过在不同 CoT 条件下对比同一优选答案，显式地对齐推理链。
数据生成策略： 引入了一种自包含的偏好数据生成流水线，利用 MCTS 进行正采样，利用注意力引导的令牌剪枝进行负样本构建。
实证验证： 在四个 MLRM 和九个基准测试上进行了广泛实验，证明了该方法的有效性。

实验结果

作者在四个代表性的 MLRM 上评估了 RC-DPO：R1-Onevision-7B、MM-Eureka-7B、ThinkLite-VL-7B 和 OpenVLThinker-7B。

幻觉缓解： 在 Object HalBench 上，RC-DPO 在所有模型中均取得了最低的 CHAIRS 和 CHAIRI 分数，显著优于 VCD、SID、RLAIF-V 和 OPA-DPO 等基线。例如，在 R1-Onevision 上，CHAIRS 分数从 36.7（原始模型）降低到了 21.7（RC-DPO）。
对象存在性： 在 POPE 基准测试上，RC-DPO 在随机、流行和对抗设置中均取得了最佳准确率和 F1 分数，表明对象存在性识别得到了改善。
开放式生成： 在 MMHal-Bench 和 GPT-4 辅助评估中，RC-DPO 降低了幻觉率，同时保持或提高了描述质量和流畅度。
通用能力： 在 MME、MMBench、VMCBench 和 MMVP 上的评估表明，RC-DPO 并未牺牲通用的多模态感知或推理能力；在许多情况下，它提高了细粒度视觉任务（如 OCR 和位置识别）的性能。

意义与主张

本文主张，中间推理链的显式对齐对于构建忠实可靠的多模态大推理模型至关重要。通过将优化从粗粒度的响应级别转变为细粒度的推理条件级别，RC-DPO 解决了推理模型中幻觉传播的根本原因。作者强调，他们的方法有效地缓解了中间 CoT 和最终答案中的幻觉，从而在不牺牲通用能力的情况下实现了更可信的多模态推理。这项工作突显了将 CoT 视为答案生成条件，为学习支持答案的推理偏好提供了直接的训练信号。