💬 NLP

ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence

本文介绍了 ConflictScore，这是一种新颖的指标和基准，旨在通过将回答分解为原子级断言，并测量冲突断言的比例以及支持性证据与矛盾性证据之间的平衡，来量化语言模型在多大程度上能够承认其依据文档中的冲突证据。

原作者： Siyi Liu, Aaron Halfaker, Dan Roth, Patrick Xia

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Siyi Liu, Aaron Halfaker, Dan Roth, Patrick Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解谜题的侦探，但你面对的不是一个证人，而是满屋子十个人在提供证词。有人发誓嫌疑人在公园；也有人言之凿凿地看到他在图书馆。

问题所在：“是的，但是……”盲点
目前的 AI 模型（比如你正在使用的聊天机器人）非常擅长寻找信息。但当它们遇到相互矛盾的故事时，它们往往表现得像个固执的孩子，只挑声音最大的那个人听，而忽略了其他所有人。它们可能会说：“嫌疑人在公园！”然后就此打住，完全忘记了还有另外五个人持有异议。

现有的检查 AI 是否在说实话的工具就像是一个简单的“通过/失败”测试。它们会问：“是否有任何证人支持这个故事？”如果有一个人说了“公园”，AI 就会得到一个合格的分数，即使其他九个人都说了“图书馆”。这会给人一种虚假的安全感。

解决方案：ConflictScore
这篇论文的作者引入了一个名为 ConflictScore 的新工具。你可以把它想象成一个“冲突侦探”，它不仅仅是询问一个故事是否得到了支持，而是询问：“这个故事是否受到了其他证人的反驳？”

它是如何运作的，分为三个简单的步骤：

拆解（主张分解）：
想象 AI 写了一段很长的文字。ConflictScore 会将这段文字拆解成一个个微小的、独立的句子（原子主张）。这就像把一个大蛋糕切成一小块一小块，以便逐一检查。
证人席（证据评估）：
对于每一个单独的句子，该工具都会对照 AI 使用的每一份文档进行检查。它会问：“文档 A 支持这个句子吗？文档 B 是否反驳了这个句子？”
- 支持 (Support)： 文档表示同意。
- 反驳 (Contradict)： 文档表示不同意。
- 无关 (Irrelevant)： 文档没有提到这件事。
计分卡（指标）：
该工具会给出两个分数：
- ConflictScore-Count (CS-C)： 这就像是一个“麻烦计数器”。它会告诉你 AI 的句子中有多少百分比是在与证据发生冲突。如果 6 个句子中有 4 个遭到了证人的反驳，那么分数就会很高（意味着 AI 遇到了麻烦）。
- ConflictScore-Ratio (CS-R)： 这是一个“平衡秤”。它衡量证据是如何分布的。是 50/50 的对峙（一场真正的辩论），还是 9 比 1 的碾压（一边倒）？这有助于理解分歧的严重程度。

实战演练：ConflictBench
为了测试这个新侦探工具是否有效，作者建立了一个名为 ConflictBench 的健身房。他们收集了数千个答案非常混乱的问题：

歧义性 (Ambiguity)： 比如“克利夫兰有多大？”（世界上有很多个叫克利夫兰的城市）。
矛盾性 (Contradiction)： 文档明确表达了相反的意思（例如，“活动在 1990 年举行”对比“活动在 1995 年举行”）。
观点 (Opinion)： 在这些问题上，人们确实存在分歧（例如，“这种网页设计技术好吗？”）。

他们用这个“健身房”测试了他们的工具，发现该工具在识别 AI 是否忽略了那些持反对意见的证人方面表现得非常出色。

他们的发现

AI 过度自信： 即使文档明显存在分歧，AI 模型也倾向于选择其中一方，并将其当作绝对真理。它们经常忽略“图书馆”的证人，却对着“公园”大声疾呼。
“说话”并不能解决问题： 作者尝试在指令中给 AI 提供“温柔的提醒”（比如“请谨慎并考虑各方观点”）。这虽然有一点帮助，但 AI 仍然经常出错。这就像告诉一只固执的狗要“友善一点”，但它还是会咬邮递员。
“重做”技巧： 最令人兴奋的发现是在 TruthfulQA 实验中。当他们使用 ConflictScore 告诉 AI，“嘿，你漏掉了一个矛盾点，再试一次”时，AI 竟然变得更好了。这就像学生在考试中得到了红笔批改，意识到自己的错误并重新写出了正确的答案。

底线
ConflictScore 是一种衡量 AI 是否在诚实面对现实世界中复杂性和冲突性的新方法。它不仅检查 AI 是否拥有一些证据，还检查 AI 是否足够勇敢，能够承认证据本身是混乱且相互矛盾的。

局限性（代价）
作者承认，运行这个工具需要大量的计算能力，因为它必须检查每一个句子与每一份文档的关系。这就像雇佣一支由 100 名律师组成的团队来审查一个段落——它很准确，但也很昂贵且缓慢。此外，该工具将所有文档视为同等地位；它不知道一份文档是著名的报纸，而另一份只是一个随机的博客。它只看到“文档 A”对比“文档 B”。

简而言之，ConflictScore 帮助我们看清，AI 是如何因为忽视了眼前的争论，而变得自信满满地犯错。

技术摘要：ConflictScore：识别并衡量语言模型如何处理冲突证据

问题陈述

大型语言模型（LLM）越来越多地被部署在检索增强生成（RAG）场景中，用于问答和报告生成等任务，其中它们必须综合来自多个来源的信息。然而，这些来源经常因为歧义、观点分歧或事实矛盾而包含冲突的证据。现有的事实性和忠实度评估指标（例如 FactScore、SAFE）通常将整个证据集视为一个统一的参考语料库。因此，如果至少有一个文档支持某个断言，该指标通常会将该断言标记为“受支持”，从而忽略了其他文档可能存在的矛盾。这种全局性的框架未能捕捉到证据间分歧的细微差别，导致无法识别出那些忽略了冲突视角、表现出过度自信或具有误导性的回答。

方法论

作者引入了 ConflictScore，这是一种新型指标，旨在量化模型响应如何识别并处理其接地文档中的冲突证据。与以往折叠证据集的做法不同，ConflictScore 基于单个文档进行操作。该框架由三个阶段组成：

断言分解（Claim Decomposition）： 将模型的响应分解为一组原子化的、最小的事实陈述（即断言）。
证据评估（Evidence Evaluation）： 每个断言都独立地针对每一个接地文档进行评估。每个文档相对于该断言会被标记为支持（SUPPORT）、矛盾（CONTRADICT）或无关（IRRELEVANT）。至关重要的一点是，即使一个文档仅部分支持某个断言，它也会被视为支持该断言，这鼓励了更细致的推理。如果支持文档集（ $D^+$ ）和矛盾文档集（ $D^-$ ）同时非空，则判定该断言存在“冲突证据”。
指标计算（Metric Calculation）： 该框架将这些标签聚合为两个互补的度量标准：
- ConflictScore-Count (CS-C)： 响应中表现出冲突（即同时具有支持性和矛盾性证据）的断言比例。分数越低，表示争议性断言越少。
- ConflictScore-Ratio (CS-R)： 支持证据与矛盾证据之间的平衡程度。对于每个冲突的断言，它计算比率 $|D^-| / (|D^+| + |D^-|)$ ，并在所有断言中取平均值。这捕捉了分歧的严重程度（例如，1:1 的对峙与 9:1 的失衡）。

为了评估该指标，作者构建了 ConflictBench，这是一个通过聚合并转换现有数据集（ContraQA、MacNoise、AmbigDocs、ConflictingQA）而成的基准测试，以覆盖包括反事实、歧义和观点分歧在内的多种冲突类型。

核心贡献

本文提出了三个主要贡献：

ConflictScore 指标： 一种鲁棒的、具备冲突感知能力的原子断言事实性流水线扩展，它明确衡量了响应如何处理来自接地文档的同时支持与矛盾。
ConflictBench： 一个系统性的基准测试，旨在评估跨越不同冲突类型的冲突检测与校准能力，填补了现有评估协议的空白。
诊断与纠正效用： 证明了 ConflictScore 不仅是识别过度自信断言的诊断工具，也是一种纠正信号。通过将冲突信号反馈给模型，作者展示了模型在真实度上的提升。

结果

冲突检测性能：
在 ConflictBench 上使用前沿模型（如 Gemini-3.5-Flash、GPT-5.4-Mini）进行的实验表明，底层的冲突检测子程序实现了高精确度（0.98）和高召回率（0.90），整体 F1 分数为 0.94。这表明该指标在检测不同数据集和模型家族的冲突方面经过了良好的校准。

LLM 基准测试：
在处理具有矛盾证据的报告生成任务时，将该指标应用于最先进的 LLM（GPT-5.4-Mini、GPT-5.4-Nano、Qwen3-32B），结果显示出显著的冲突意识差距。尽管采用了鼓励“平衡”或“超平衡”响应的显式提示策略，模型仍频繁地倾向于单一立场。CS-C 分数始终保持在较高水平（约 0.50–0.55），这表明即使在有指令要求进行对冲的情况下，模型也往往无法识别冲突证据的全貌。

纠正反馈（TruthfulQA）：
在关于 TruthfulQA 的案例研究中，作者测试了将冲突信号反馈给模型是否能提高真实度。通过使用“再生 RAG（Regenerated-RAG）”设置——即在告知模型检测到的冲突后让其重新生成答案——作者观察到相比于标准 RAG 和基于提示词的控制设置，模型表现出了持续的改进。

对于像 gemini3.1-flash-lite 这样的模型，再生过程纠正了高达 74% 的原始错误答案，且几乎没有引入新的错误（有害率 < 3%）。
这表明冲突信号可以有效地引导模型走向更谨慎、更准确的推理，尤其是在多项选择设置中。

重要性与局限性

论文认为，ConflictScore 为 RAG 系统中的“过度自信”问题提供了必要的诊断，在这种问题中，模型会将相互矛盾的来源综合成确定性的、可能具有误导性的答案。通过量化支持证据与矛盾证据之间的张力，它为实现更真实、更细致的 AI 响应提供了一条路径。

作者承认存在以下局限性：

计算成本： 将每个断言与每个文档进行评估的二次方复杂度对于长文本输出来说可能非常昂贵，尽管文中提出了轻量级变体（例如，采样显著断言）。
来源可靠性： 当前框架平等对待所有接地文档，未根据来源的可信度进行加权。虽然该框架兼容未来的可靠性感知扩展，但它本身并不区分高质量证据驱动的冲突与低质量证据驱动的冲突。
上游依赖： 该指标依赖于上游断言分解和证据标记的准确性。这些步骤中的错误会传播到最终得分，且断言粒度的选择也会影响评估结果。

总之，本文确立了当前的 LLM 在自然处理冲突证据方面存在困难，并且显式的冲突检测与反馈机制是提高生成内容真实性和可靠性的有效工具。

技术摘要：ConflictScore：识别并衡量语言模型如何处理冲突证据

问题陈述

方法论

核心贡献

结果

重要性与局限性

类似论文