💬 NLP

Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

本文介绍了事实性控制生成（Factuality-Controlled Generation, FCG），这是一个允许用户在文本生成中指定事实性约束，以权衡准确性与信息量之间关系的框架，并证明了在合成数据上进行训练能显著增强模型平衡这些竞争性目标的能力。

原作者： Ziwei Gong, Yanda Chen, Julia Hirschberg, Chen Zhao, He He, Zhou Yu, Kathleen Mckeown

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziwei Gong, Yanda Chen, Julia Hirschberg, Chen Zhao, He He, Zhou Yu, Kathleen Mckeown

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、博学多才的机器人助手。这个机器人知识渊博，但有着一个古怪的性格：有时它对某个事实百分之百确定，而有时它又只是在瞎猜或者编造一些有趣的内容来吸引注意力。

当你问机器人问题时，它面临着一个两难的选择：

选项 A： 它可以用非常简短、枯燥的方式给出 100% 正确的答案，但这可能会错过一些有趣的细节。
选项 B： 它可以用长篇、精彩且详细的方式给出答案，但其中的一些细节可能会是编造的或错误的。

通常情况下，机器人只会在这两者之间选其一，而你无法告诉它：“嘿，我需要一个 90% 准确的答案，”或者“不管多短，只要给我绝对 100% 的事实。”

问题所在：机器人听不进话

研究人员试图通过简单地告诉机器人“请更注重事实！”或“给我一个 80% 准确的答案！”来解决这个问题。

不幸的是，机器人并没有听进去。这就像是在朋友讲故事的中途对他说“请简短一点”一样；他们只会继续滔滔不绝。即使研究人员要求它非常严谨（100% 准确），它也无法可靠地做到这一点。它要么给出一个错误的答案，要么干脆停止说话。

解决方案：用“事实过滤器”训练机器人

团队创建了一个名为 事实性控制生成 (Factuality-Controlled Generation, FCG) 的新系统。他们不再只是礼貌地请求机器人，而是像对待学生一样去训练它。

以下是他们如何做的，使用了一个简单的类比：

1. “起草”阶段：
首先，他们要求机器人按照没有任何规则的要求，写一篇关于一位名人的详细传记。机器人写出了一个宏大的故事。

2. “信心检查”阶段：
接下来，他们要求机器人审视它写的每一句话，并评估它对该句子真实性的确定程度。

句子： “月球是由奶酪组成的。” -> 机器人说：“我对这句话的真实性是 0% 确定。”
句子： “月球绕着地球运行。” -> 机器人说：“我对这句话的真实性是 100% 确定。”

3. “编辑”阶段：
现在，他们制定了一个特定的规则。他们告诉机器人：“如果你想给我一个 80% 准确的答案，你必须删除那些让你最没把握的句子，直到达到 80% 这个目标为止。”

他们是用数学方法进行操作的。如果机器人被要求提供 80% 准确度的答案，他们会取出它的长篇草稿，剪掉那些“站不住脚”的事实，只保留“稳固”的事实。他们针对不同的水平进行了多次操作（80%、90%、100%）。

4. “学习”阶段：
他们将所有这些编辑过的示例（问题 + “请保持 80% 准确度” + 编辑后的答案）收集起来，用于重新训练机器人。他们教导机器人：“当你看到数字 80 时，你就知道该如何精确地编辑自己的想法以达到那个目标。”

结果：可以自我调节的机器人

经过这种训练后，机器人变得能够更好地遵循指令。

训练前： 如果你要求 100% 的准确度，机器人经常失败或者给出一个空白答案。
训练后： 当被要求 100% 准确时，机器人能成功给出完全真实的内容。当被要求 80% 准确时，它能给出更长、更有趣且大部分正确的答案。

“权衡”类比：
把机器人的输出想象成一碗 水果沙拉。

事实性 (Factuality) 是指有多少水果是新鲜且真实的。
信息量 (Informativeness) 是指这碗水果有多大。

通常，如果你想要一碗 100% 新鲜的水果，你不得不扔掉几乎所有的水果，最后只剩下一小碗。如果你想要一碗巨大的水果，你可能就会包含一些变质或有疑问的水果。

研究人员发现，他们的新训练方法可以让机器人做出一个更大的碗（更多信息），同时保持与之前相同的新鲜度（事实性）。它移动了极限，让机器人可以在不加入坏水果的情况下，提供更多美味的水果沙拉。

总结

论文表明，你不能仅仅告诉一个聪明的 AI “要更注重事实”，并期望它奏效。相反，你必须向它展示如何通过编辑自己的答案来达到特定的准确度目标。一旦经过这样训练，机器人就可以像一个旋钮一样：你可以将旋钮转到“高准确度、低细节”或“中等准确度、高细节”，它都能可靠地给出你所要求的精确内容。

注：研究人员专门针对编写人物传记进行了测试。他们并未在本论文中针对医疗建议、法律文件或其他特定的现实世界应用进行测试。

技术摘要：事实性控制生成 (Factuality-Controlled Generation, FCG)

1. 问题陈述

大语言模型（LLMs）拥有可靠程度不一的内部知识，这造成了事实性（准确性）与信息量（细节丰富度）之间固有的权衡。在高度敏感的领域（如医疗、法律），用户需要保守且高度真实的内容；而在创意或头脑风暴任务中，用户往往优先考虑内容的丰富性，即便存在潜在的事实风险。

目前的尖端 LLM 缺乏一种内置机制来控制这种权衡。虽然用户可以尝试通过提示词（例如“更加注重事实”）来引导行为，但实证研究表明，这些模型并不能可靠地调整其输出以满足特定的事实性目标。现有的评估基准（如 FactScore）显示，开箱即用的模型往往无法满足中等或严格的事实性约束，因此需要一种可控的替代方案，允许用户指定所需的事实性水平。

2. 方法论：事实性控制生成 (FCG)

作者提出了事实性控制生成 (FCG) 框架。在该框架中，LLM 接收一个查询和一个数值形式的事实性约束 $c \in [0, 1]$ 作为输入，生成的响应中支持事实陈述的比例需达到或超过 $c$ ，同时最大化信息量。

A. 合成数据生成流水线
由于不存在现成的（问题、事实性约束、金标准响应）三元组标注数据集，作者引入了一个置信度引导的合成流水线来构建训练数据：

初始生成： 基座模型针对给定问题生成一个不受约束的详细响应 ( $r_0$ )。
事实切分： 将响应切分为原子事实陈述。
置信度评分： 提示模型评估每个原子事实的置信度（例如，“这是真还是假？”），从而得出概率得分。
迭代剪枝： 根据置信度对事实进行排序。为了满足目标约束 $c$ ，系统逐步移除置信度最低的事实，直到剩余的子集满足事实性阈值。
重构： 将剩余的高置信度事实重新合并为流畅的响应，并在可能的情况下保留原始措辞。
该过程在不同的 $c$ 值（例如 0.1 到 1.0）范围内重复进行，以创建用于监督微调的对齐答案集。

B. 训练与推理
作者在合成的 $(question, c, response)$ 三元组上对 Mistral-7B 模型进行微调。在推理过程中，模型以用户指定的事实性水平 $c$ 为条件，使其能够动态调整输出以满足约束，而无需进行迭代过滤或事后重排序。

C. 评估指标
使用 FactScore 在两个维度上评估性能：

事实性遵循度 (Factuality Adherence)： 生成内容中事实性得分 $f(o) \ge c$ 的比例。
信息量 (Informativeness)： 输出中经过验证的原子陈述数量，按长度归一化。

3. 核心贡献

任务定义： 引入了 FCG 任务，将 LLM 输出的控制建立在用户指定的事实性阈值之上。
合成训练框架： 开发了一种新型流水线，通过系统地从不受约束的生成内容中剪枝低置信度事实来生成训练数据，从而实现对事实性-信息量权衡的监督学习。
实证验证： 证明了在合成数据上进行微调，在遵循事实性约束方面显著优于基于提示词（prompting-based）的基准方法。

4. 结果

实验在包含 500 个实体（450 个用于训练，50 个用于验证，183 个用于测试）的人物传记生成任务上进行。

事实性遵循度：
- 提示词基准： 标准提示法（事实性控制推理，FCI）未能提高遵循度；在某些情况下（例如 $c=0.9$ ），其遵循度甚至比不受约束的基准还要低（3.8% 对比 5.5%）。
- FCG 训练： 微调后的模型表现出实质性的提升。相对于基准，在 $c=0.8$ 时遵循度提高了 17.2%，在 $c=0.9$ 时提高了 130.0%。
- 严格约束： 在最严格的水平（ $c=1.0$ ，要求所有信息均正确）下，基准和 FCI 方法的遵循度均为 0%，而 FCG 模型达到了 23.6%。
事实性–信息量权衡：
- FCG 模型将权衡前沿（trade-off frontier）向外推移。对于任何给定的事实性水平，FCG 产生的响应比基准具有更高的信息量（即包含更多受支持的事实）。
- 值得注意的是，在 $c=1.0$ 时，FCG 模型提供了非空的、完全符合事实的响应，而推理基准为了避免幻觉，实际上必须剪掉所有内容，导致信息量为零。

5. 重要性与主张

本文声称 FCG 提供了一种可靠的机制，使用户能够根据特定应用需求定制 LLM 输出的事实性-信息量平衡。通过在合成数据上进行监督训练，模型内化了这种权衡，学习在请求高事实性时“丢弃最不确定的细节，但保留其他所有内容”。

作者将这项工作定位为迈向更可靠、更灵活的 LLM 的一步，特别是在知识密集型任务中。他们强调，该方法在提高可控性的同时，避免了其他框架中使用的事后过滤或拒绝采样所带来的计算开销。

承认的局限性：

目前研究仅限于英文和人物传记生成任务。
实验是在中型模型（Mistral-7B）上进行的；其在更大规模先进架构上的可扩展性尚未经过测试。
该框架在其他语言及复杂生成任务（如多模态理解）中的适用性仍需进一步研究。