💬 NLP

Verifiable by Construction: Claim-Level Evaluation of Verbatim Citation in Clinical Question Answering

本文评估了十二个大语言模型通过将逐字引文附加至事实性陈述来生成可验证临床答案的能力，结果显示，尽管大多数模型能够成功地为超过 90% 的陈述附加引文，但这些引文往往无法充分证实其所伴随的陈述细节。

原作者： Jiashuo Zhang, Yuling Chen, Yvonne Commodore-Mensah, Michael Oberst

发布于 2026-09-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiashuo Zhang, Yuling Chen, Yvonne Commodore-Mensah, Michael Oberst

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代医学的高风险世界中，时间往往是最稀缺的资源。当医生面临复杂的病例时，他们需要的答案不仅要准确，还要具有即时的可信度。多年来，人工智能一直承诺提供帮助，通过将海量的医学文献转化为清晰、易读的建议。然而，一个持久的问题始终笼罩着这些工具：即“幻觉”现象，也就是捏造事实的倾向。在一个哪怕一个错误都可能伤害患者的领域，医生不能仅仅凭计算机的一面之词就去信任它。他们必须能够验证每一项陈述的来源。传统上，当人工智能提供带有引用的答案时，该引用通常指向一份广泛的文件，例如整篇医学指南或研究论文。这迫使忙碌的临床医生必须在数百页的内容中搜寻支持该主张的具体句子，这一过程违背了拥有高效助手的初衷。因此，目标是构建这样的系统：它们不仅要指向来源，还要通过在答案旁边展示来自该来源的精确原话来证明其工作的正确性。

约翰斯·霍普金斯大学的研究人员开展了一项研究，旨在测试当前的人工智能模型是否真的能做到这一点。他们构建了一个专门的系统，用于回答关于心脏病、血压、胆固醇和糖尿病的四大主要医学指南中的临床问题。研究人员并没有让模型仅仅对信息进行总结，而是指示它们逐句构建答案，并为它们提出的每一个事实性主张都附上一段来自原始指南的直接、逐字逐句的引用。为了测试这是否奏效，他们创建了一个严谨的测试框架，充当数字审计员的角色。该系统将每个答案分解为组成部分，并根据三个特定标准对其进行检查：首先，模型是否为该主张附上了引用？第二，所附引用的内容是否是原始指南文本的精确、逐字副本，没有任何改动或转述？第三，该特定引用是否包含足够的信息来证明该主张是真实的，而无需读者再去查看其他地方？

研究人员使用了 222 个源自这些指南的合成临床问题，测试了十二种不同的语言大模型，涵盖了从功能强大、复杂的系统到较小、较快的系统。结果显示，这些模型的能力与实现真正可靠性之间存在显著差距。大多数先进的模型在执行前两个步骤方面表现得相当出色。它们成功地为超过 90% 的主张附上了引用，并且在许多情况下，它们提供的引用与源文本完全匹配。然而，系统在最后一步——也是最关键的一步——即“证明主张”时，表现得极其糟糕。虽然模型可能会提供一个完美的引用，但该引用往往无法支撑模型所做出的完整陈述。例如，一个模型可能会引用一个表示某种药物对特定人群是“首选”的句子，但随后却利用这个引用来支持该药物对所有人都是“必须”的更广泛主张。在一个显著的案例中，一个名为 Claude Opus 5 的顶级模型成功为其 98% 的主张附上了逐字引用，但其中只有 37.1% 的主张仅凭这些引用就能得到充分证实。引用确实存在，也十分准确，但它们不足以证明论点。

研究还强调了模型的大小和类型至关重要。较小的轻量化模型往往根本无法为其主张附上引用，或者提供的引用不是源文本的精确副本，导致其验证率大幅下降。在测试的模型中，规模最小的模型之一 Claude Haiku 仅能完全支持约 25% 的主张。相比之下，最大的模型表现要好得多，最好的系统能用精确且充分的证据支持约 75% 的主张。研究人员发现，失败的主要原因并不是模型在撒谎或编造事实，而是它们在选择正确的证据方面遇到了困难。它们经常抓取一个与主题相关但并不包含支持整个句子所需具体细节的引用。为了测试证据是否确实存在，研究人员要求另一个 AI 搜索原始文档，寻找那些能够完全支持这些主张的引用。他们发现，对于许多模型来说，缺失的证据就在它们已经阅读过的文本中；模型只是未能提取并附上正确的片段。

最终，这项工作表明，尽管人工智能在检索和格式化医学信息方面变得越来越强大，但在临床环境中，若没有人工监督，它尚不足以获得完全信任。生成流畅答案的能力与构建可验证答案的能力是截然不同的。研究表明，目前的模型通常可以提供用于验证的原材料，但它们经常无法将这些材料组装成一个完整的、自洽的证明。未来的路径在于构建这样的系统：它们不仅要引用来源，还要确保其建议中的每一个字都有来自原始指南的特定、充分且未经篡改的证据支持。在模型能够稳定地弥合“拥有引用”与“证明观点”之间的差距之前，验证的责任仍将牢牢掌握在人类临床医生手中。

技术摘要：构建式可验证性：临床问答中逐字引用的层面级评估

问题陈述
大语言模型（LLMs）正越来越多地被用于临床问答（QA），以辅助医疗专业人员。虽然目前的系统可以将引用附加到其输出中，但这些引用通常指向广泛的文档（例如，整篇论文或指南），这要求时间紧迫的临床医生必须手动定位具体的证据。此外，引用的存在本身可能会产生一种虚假的验证感。本文旨在解决“构建式可验证性”（verifiability by construction）的需求，即响应应提供来自参考资料的细粒度、逐字引用的语句，以证实特定的事实性主张，从而允许用户在无需查阅外部文档的情况下验证答案。作者研究了当前的 LLMs 是否能够端到端地执行此任务：为每个主张附加引用，生成逐字引用的语句，并确保这些引用能充分证实所述主张。

方法论
作者开发了一个标准化的评估工具和一个端到端的自动化框架，以模拟用户可能遵循的验证过程。

数据与设置： 本研究利用了一个包含四个临床实践指南（来自 AHA 和 ADA）的语料库，涵盖心血管风险因素。研究生成了一个包含 222 个合成临床查询的数据集，确保每个问题均可由指南的特定章节推导得出。
系统架构： 构建了一个包含两个主要阶段的临床问答系统：
1. 检索： 一个由 LLM 引导的语义检索系统（使用 deepseek-v4-flash）选择了相关的指南章节。该阶段被“冻结”，以确保检索质量不会干扰对生成模型的评估。
2. 生成： 提示来自五个供应商的十二种主流 LLMs 生成短促的散文式回答。系统提示词要求模型在每个临床主张处附加行内引用标记。每个标记将一个章节标识符与从该章节中逐字复制的短句配对。
评估框架（主张漏斗）： 作者通过一个包含四个阶段的顺序流水线评估了输出：
1. 主张过滤器（Claim Filter）： 识别生成回答中的单个事实性主张句子。
2. 引用覆盖率（Citation Coverage）： 确定每个主张句子是否由随附的引用覆盖（使用归因窗口 $k=1$ ）。
3. 逐字合规性（Verbatim Compliance）： 检查引用的语句是否存在于源文本中。这包括精确匹配、规范化匹配（处理大小写/格式）以及省略匹配（允许使用省略号）。
4. 主张支持度（Claim Support）： 使用 LLM 裁判（deepseek-v4-flash）来判断逐字引用的语句是否充分证实了该主张。判定结果包括“完全支持”、“部分支持”、“不支持”或“矛盾”。
指标： 主要指标是认证主张率（Certified Claim Rate, CCR），定义为至少有一个符合逐字规则的引用且被该引用完全支持的所有主张之份额。次要指标包括引用覆盖率（CC）、逐字合规率（VCR）以及支持主张率（Supported Claim Rate, SCR），后者考虑了如果证据存在于检索到的文本中但未被模型正确引用，则可以被恢复为完全支持的主张。

关键结果
对十二种 LLMs 的评估揭示了端到端可验证性的显著差距：

整体性能： 没有模型完美地完成了任务。表现最好的模型（例如 gpt-5.4, deepseek-v4-pro）实现的 CCR 约为 72–78%，而较小的模型表现明显较差（例如 gpt-4.1-mini 为 13.2%，gpt-5.4-mini 为 60.3%）。
引用与逐字合规性： 大多数模型（除 claude-haiku-4.5 等轻量级模型外）成功地为其超过 90% 的主张附加了逐字引用。然而，轻量级模型经常无法生成引用或无法通过逐字检查。
支持差距： 一个关键发现是引用存在与主张证实之间的差异。例如，claude-opus-5 为其 98.0% 的主张生成了逐字引用，但其中仅有 37.1% 的主张被引用内容完全支持。大多数失败归因于“不支持的添加”，即引用支持了部分主张，但未能涵盖所有细节（例如范围或推荐强度）。
可恢复性： 当 LLM 裁判在检索到的章节中搜索可以支持这些主张的证据时（即使模型未能正确引用），支持主张率（SCR）大幅上升。对于 claude-opus-5，其率从 37.1% (CCR) 上升到了 85.1% (SCR)，这表明证据存在于上下文中，但模型未能进行适当的提取或引用。

核心贡献

评估框架： 作者开发了一个端到端的框架，通过检查主张与支持性引用之间的关系来探测回答的可验证性。这包括针对逐字合规性的确定性检查，以及用于评估主张支持度的经人工验证的 LLM 裁判。
全面基准测试： 本研究在一个包含 222 个合成临床查询的数据集上对比了十二种主流 LLMs，通过分解主张漏斗中的各个阶段来识别特定的失效模式（例如，引用失败 vs. 支持失败）。
产出物： 作者发布了问答框架、评估工具和合成问题集，以促进未来的研究。

意义与主张
本文声称提供了关于当前 LLMs 在构建可验证临床问答系统方面能力差距的见解。它强调，虽然模型通常可以生成带有引用的流畅文本，但它们难以确保这些引用既是逐字的，又能充分证实每一个主张的细节。这项工作表明，对于临床应用，“构建式可验证性”不仅需要检索和生成，还需要生成的结论与所提供的具体证据之间实现严格的一致性。作者将他们的工作定位为迈向更可靠的临床 AI 的一步，提供了一种审计模型输出中“支持密度”的方法。他们保持了谦逊的态度，指出其局限性（如使用合成数据集和单一系统提示词），并将其贡献界定为为未来研究提供工具和见解，而非解决一个已完成的问题。

类似论文