💬 NLP

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

该论文提出了 F-DPO（事实感知直接偏好优化），一种仅需二元事实性标签即可通过标签翻转和事实性感知边界机制有效抑制大语言模型幻觉并提升事实准确性的方法，且无需辅助奖励模型或多阶段训练。

原作者： Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 F-DPO 的新方法，旨在解决大型人工智能（LLM）模型中一个令人头疼的问题：“一本正经地胡说八道”（即幻觉）。

为了让你轻松理解，我们可以把 AI 想象成一个才华横溢但有点爱吹牛的实习生。

1. 问题出在哪里？（实习生的“自信陷阱”）

想象一下，你正在培训这个实习生。

以前的做法（标准 DPO）： 你给实习生看两篇回答，让他选一篇更好的。
- 回答 A：内容完全正确，但说话有点干巴巴，不够自信。
- 回答 B：内容全是瞎编的（比如把澳大利亚首都说成悉尼），但说话非常流利、自信、甚至带点文采。
- 结果： 实习生往往会被回答 B 的“自信”和“流畅”迷惑，觉得它更好。于是，他学会了：只要说话好听、自信，哪怕内容是错的，也是对的。 这导致 AI 越来越爱“一本正经地胡说八道”。

2. 我们的新方案：F-DPO（给实习生装上“事实核查员”）

作者提出了一种叫 F-DPO 的新训练方法，就像给实习生的培训手册里加了一条铁律：“事实正确”的优先级永远高于“说话好听”。

这个方法主要做了两件事，我们可以用两个生动的比喻来理解：

第一招：标签翻转（Label Flipping）—— “纠正错误的裁判”

场景： 在训练数据中，有时候“裁判”（人类标注者或旧模型）会犯错，把那个“胡说八道但很自信”的回答（回答 B）标记为“赢家”，把“正确但平淡”的回答（回答 A）标记为“输家”。
F-DPO 的做法： 在正式训练前，F-DPO 会先检查一遍。如果发现“赢家”其实是胡说八道的，而“输家”才是讲真话的，它会直接把标签对调！
比喻： 就像足球比赛，如果裁判误判把红牌给了无辜的球员，F-DPO 会立刻冲上去把红牌拿回来，重新判给那个犯规的人。它确保**“赢家”永远在事实层面上不低于“输家”**。

第二招：事实性惩罚（Factuality Margin）—— “给谎言加个千斤顶”

场景： 即使标签对了，如果“赢家”是真话，“输家”是假话，普通的训练方法可能只是让模型稍微多喜欢一点真话。
F-DPO 的做法： 它给模型加了一个**“事实性惩罚系数”。如果模型试图选择那个“胡说八道”的回答，它会受到加倍的惩罚**。
比喻： 想象你在玩一个游戏，选对答案得 1 分，选错答案（尤其是那种编造得很像真的错答案）会被扣掉 100 分。这个巨大的惩罚力度，迫使模型不敢再为了“说话好听”而牺牲“事实真相”。

3. 效果如何？（实习生的蜕变）

作者用 7 种不同大小的 AI 模型（从 10 亿参数到 140 亿参数）做了实验，效果非常惊人：

大幅减少胡说八道： 在某个模型（Qwen3-8B）上，胡说八道的比例从 42.4% 降到了 8.4%，相当于减少了 5 倍！
事实性大幅提升： 事实得分提高了 50%。
举一反三： 即使遇到训练时没见过的难题（比如 TruthfulQA 测试集），这个新方法依然能让 AI 变得更诚实，准确率提升了 17% 到 49%。
简单高效： 不需要额外的复杂系统，也不需要给每个字都打标签，只需要简单的“真/假”二元标签就能完成。

4. 总结

简单来说，F-DPO 就像是给 AI 装上了一副**“事实眼镜”**。

以前的 AI 训练，就像是在教它“如何把故事讲得最精彩”，结果它学会了为了精彩而编造故事。
现在的 F-DPO 训练，告诉它：“你可以讲得精彩，但前提是你必须讲真话。如果为了精彩而撒谎，惩罚加倍！”

这种方法简单、有效，而且不需要昂贵的额外计算资源，让 AI 从“自信的骗子”变成了“诚实的专家”。这对于医疗、法律、金融等需要高度准确性的领域来说，是一个巨大的进步。

论文技术总结：通过事实感知偏好学习减少大语言模型的幻觉

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在生成内容时，往往表现出“自信但错误”的幻觉现象，这在医疗、法律等高风险领域构成严重风险。现有的对齐方法（如 RLHF 和直接偏好优化 DPO）旨在通过人类反馈使模型更有帮助、无害且诚实。然而，这些方法存在一个关键缺陷：

偏好与事实性的错位：在偏好数据中，标注者往往倾向于选择流畅、自信的回答，即使这些回答包含事实错误（幻觉）。
现有方法的局限：传统的 DPO 直接优化偏好对，如果偏好数据中标注者更喜欢幻觉回答（因其风格更好），DPO 反而会强化这种幻觉行为。
现有解决方案的不足：现有的事实性对齐方法通常依赖辅助奖励模型、多阶段训练流程或细粒度的 Token 级监督，这增加了计算复杂度和训练成本。

核心问题：如何在不引入复杂辅助模型或多阶段训练的前提下，修正偏好数据中的事实性噪声，防止模型因优化流畅度而牺牲事实准确性？

2. 方法论 (Methodology)

作者提出了 F-DPO (Factuality-aware Direct Preference Optimization)，这是对标准 DPO 的一种简单但有效的扩展。F-DPO 仅利用二元事实性标签（事实性/幻觉），通过两个核心机制解决偏好与事实性的错位问题：

2.1 数据构建与增强

基于 Skywork 偏好数据集，利用 GPT-4o-mini 作为自动裁判，为每个回答分配二元事实性标签： $h=0$ （事实正确）或 $h=1$ （幻觉）。
通过合成生成技术，构建包含幻觉变体的数据对，确保数据在事实性配置上的平衡。

2.2 核心机制

F-DPO 包含两个关键步骤：

(1) 标签翻转 (Label Flipping)

针对偏好数据中“被选中的回答（Winner）是幻觉，而被拒绝的回答（Loser）是事实”的错位情况（即 $h_w=1, h_l=0$ ），F-DPO 执行确定性翻转：

交换 $y_w$ 和 $y_l$ 的角色，确保在优化前，被选中的回答在事实性上绝不劣于被拒绝的回答。
公式化表示：若 $\Delta h = h_l - h_w < 0$ ，则交换 $(y_w, y_l, h_w, h_l)$ 。

(2) 事实感知边际 (Factuality-Aware Margin)

在标准 DPO 的损失函数中引入一个基于事实性差异的惩罚项，以放大事实性差异明显的样本的学习信号。

事实性差异： $\Delta h = h_l - h_w$ $Δ h = h_{l} - h_{w}$ 。
- 当 $\Delta h = 1$ （选中事实，拒绝幻觉）时，施加惩罚。
- 当 $\Delta h = 0$ （两者均事实或均幻觉）时，退化为标准 DPO。
修改后的边际：
$m_{fact} = m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h$
其中 $\lambda$ 是事实性惩罚系数。
损失函数：
$L_{F-DPO} = -\mathbb{E} \left[ \log \sigma(\beta \cdot m_{fact}) \right]$
该机制使得模型在面对“事实 vs 幻觉”的对比时，必须赋予事实回答显著更高的概率，从而强化事实性。

2.3 训练流程

单阶段训练：无需训练额外的奖励模型（Reward Model）。
响应级监督：仅需二元标签，无需 Token 级标注。
算法流程：先对数据进行标签翻转预处理，然后在训练循环中动态计算 $\Delta h$ 并应用修正后的边际损失。

3. 主要贡献 (Key Contributions)

提出 F-DPO 框架：一种简单的事实感知 DPO 扩展，通过标签翻转和基于边际的目标函数，直接纠正偏好数据中的事实性噪声。
广泛的实证验证：在 7 个开源 LLM（参数量从 1B 到 14B，涵盖 Qwen, LLaMA, Gemma 系列）上进行了测试，证明了其通用性。
卓越的泛化能力：在分布外（OOD）基准测试 TruthfulQA 上表现出显著的性能提升，证明了模型学到了更本质的事实性约束。
高效性与简洁性：无需辅助奖励模型、Token 级监督或多阶段训练，计算效率高，易于部署。

4. 实验结果 (Results)

4.1 幻觉率与事实性评分

在 7 个模型上的对比实验显示，F-DPO 在降低幻觉率和提升事实性评分方面均优于基线模型（Base Model）和标准 DPO：

Qwen3-8B：幻觉率降低了 5 倍（从 0.424 降至 0.084），事实性评分提升了 50%（从 5.26 升至 7.90）。
Qwen2.5-14B：达到了最低的绝对幻觉率 0.008，相比基线提升了近一个数量级。
对比标准 DPO：标准 DPO 在某些模型（如 Qwen2-7B, Gemma-2-9B）上甚至增加了幻觉率，证实了标准偏好优化可能强化幻觉；而 F-DPO 在所有模型上均实现了事实性提升。

4.2 分布外泛化 (TruthfulQA)

在 TruthfulQA 基准测试中，使用 Qwen2.5-14B 模型：

MC1 准确率：从 0.500 提升至 0.585 (+17%)。
MC2 准确率：从 0.357 提升至 0.531 (+49%)。
相比之下，标准 DPO 导致 MC1 准确率下降至 0.472。

4.3 消融实验

标签翻转的作用：单独使用边际惩罚（无翻转）已有改善，但结合标签翻转后效果最佳，证明了纠正错误偏好对的重要性。
惩罚系数 $\lambda$ ：在 $\lambda \in [10, 100]$ 范围内表现稳定， $\lambda=100$ 为推荐默认值。
数据效率：仅使用 25% 的训练数据即可达到接近全量数据 95% 的性能，显示出极高的数据效率。
移除 (1,1) 样本：即使移除“两者均为幻觉”的样本，F-DPO 仍优于标准 DPO，但保留这些样本能进一步提升绝对性能。

4.4 有用性 (Helpfulness)

F-DPO 在提升事实性的同时，保持或提升了模型的有用性（Helpfulness）评分，并未出现严重的“事实性 - 有用性”权衡（Trade-off），仅在 Qwen3-8B 上观察到微小的有用性下降，但幻觉减少幅度最大。

5. 意义与影响 (Significance)

解决“流畅性陷阱”：F-DPO 证明了通过简单的二元事实性标签和数学修正，可以有效打破“流畅但错误”的偏好循环，使模型在保持流畅的同时坚守事实。
降低对齐门槛：该方法不需要昂贵的奖励模型训练或复杂的 Token 级标注，为资源受限的研究者和开发者提供了一种低成本、高效率的事实性对齐方案。
安全性与事实性的协同：定性分析表明，F-DPO 不仅能减少幻觉，还能更好地拒绝有害请求（如生成破解加密指南），说明事实性约束与安全对齐是互补的。
未来方向：虽然二元标签简化了训练，但也可能忽略部分细微的事实性差异（如部分正确）。未来的工作可以探索结合不确定性感知或更细粒度的事实性信号。

总结：F-DPO 通过极简的架构设计（标签翻转 + 事实边际），在多个模型和基准上实现了显著的事实性提升和幻觉抑制，为大语言模型的可信对齐提供了一条高效、可扩展的新路径。