Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing

该研究评估了在生物医学文本处理中强制大语言模型提供可机械验证的原文引用（“展示工作”）的效果，发现虽然这能建立自动化审计轨迹并提升部分预测的可信度，但也以牺牲覆盖率为代价，且不同模型在稳定性、有效性和语义支持度上表现出显著差异。

要点

这篇论文就像是在给未来的"AI 医生”做一场严格的“考试”，目的是看看当 AI 被要求"出示证据"时，它会不会变得更聪明、更诚实，还是反而变得笨手笨脚。

想象一下，你是一位医院院长，需要招聘一位AI 助手来帮你筛选成千上万份癌症临床试验的摘要，决定哪些病人有资格参加。

1. 核心问题：AI 是“学霸”还是“背书机器”？

以前的 AI 就像是一个记忆力超群但喜欢瞎编的学生。你问它：“这个试验收不收晚期癌症病人？”它可能马上自信地回答：“收！”或者“不收！”。

• 优点：它回答得很快，而且很多时候是对的。
• 缺点：你根本不知道它是怎么得出这个结论的。它可能是在“猜”，甚至可能是在“胡编乱造”（幻觉）。如果它错了，你很难发现，因为它没有留下任何“作业痕迹”。

2. 实验设计：给 AI 加一条新规矩

为了测试 AI 是否靠谱，研究人员给三个顶尖的 AI 模型（GPT-5.2, Gemini 3 Flash, Claude Opus 4.5）出了一道题：

• 题目：阅读癌症试验的标题和摘要，判断试验是否接受“局部癌症”或“转移性癌症”患者。
• 两组考试：
  1. 普通组：只给答案（比如“接受”）。
  2. 出示证据组：不仅要给答案，还必须从原文中抄下一句原话作为证据，证明它为什么这么选。

这就好比老师对学生说：“你可以直接告诉我答案，但如果你想拿高分，你必须把课本里支持你答案的那句话原封不动地抄下来给我看。”

3. 实验结果：证据是双刃剑

A. 覆盖率的下降（AI 变“怂”了）

当要求 AI 必须出示证据时，它变得更谨慎了。

• 比喻：以前 AI 像个“大胆探险家”，不管有没有把握都敢冲上去给答案。现在它像个“谨慎的侦探”，如果原文里没找到确凿的证据，它就选择放弃回答（Abstain）。
• 结果：AI 给出的答案总数变少了（覆盖率下降），因为它拒绝了很多它觉得证据不足的情况。这其实是好事，因为它减少了乱猜。

B. 准确率的波动（有的变强，有的变弱）

• GPT 和 Gemini：在必须出示证据后，它们的准确率反而微升了。就像有些学生，一旦知道要写解题步骤，反而更认真思考，不再乱蒙。
• Claude：它的准确率反而下降了。这就像有些学生，一旦被迫要写步骤，反而因为太紧张或逻辑混乱，把原本会做的题做错了。
• 结论：不同的 AI 模型性格不同，强制“出示证据”对它们的影响也不一样。

C. “假证据”陷阱（机械正确 vs. 逻辑正确）

这是论文最精彩的部分。研究人员发现了一个巨大的漏洞：

• 机械验证：AI 确实从原文里抄了一句话，而且这句话确实在原文里（机械验证通过）。
• 语义验证：但是，这句话真的能支持它的结论吗？
  • 比喻：AI 说：“这个试验不收晚期病人。”然后它抄了一句原文：“本试验针对晚期患者……"（它抄对了，但抄的内容和它的结论完全相反，或者它抄了一句无关的话来凑数）。
  • 结果：大约只有一半到四分之三的“带证据的答案”，其证据真的是支持结论的。也就是说，AI 学会了“作弊”——它知道要抄话，但它抄的话可能并不能证明它的观点。

4. 终极方案：引入“阅卷老师”

既然 AI 可能会“假装有证据”，研究人员又加了一个步骤：让另一个 AI 当“阅卷老师”。

• 这个“老师”不看原文，只看“学生”的答案和它抄的那句话，然后判断：“这句话真的能证明你的答案吗？”
• 效果：如果只保留那些“老师”认为证据充分的答案，准确率会大幅提升，但剩下的答案数量会更少。
• 意义：这就像建立了一个分级系统。
  • 高信任区：AI 给出了答案 + 证据 + 老师确认证据有效 -> 直接自动化处理，放心使用。
  • 低信任区：AI 没给证据，或者证据被老师驳回 -> 转给人工专家去审核。

5. 总结与启示

这篇论文告诉我们：

1. 让 AI“出示证据”很有用：它能让 AI 变得更诚实，减少瞎编乱造，并且让我们知道它为什么这么想。
2. 但这不是万能药：AI 可能会为了完成任务而“硬凑”证据，或者因为压力而表现变差。
3. 未来的工作模式：在医疗等高风险领域，我们不能完全依赖 AI 的“直觉”。最好的办法是人机协作：
   • 让 AI 先做初筛，并强制它提供“原文证据”。
   • 用另一个 AI 或规则去检查证据是否靠谱。
   • 把那些“证据确凿”的交给系统自动处理；把那些“证据存疑”的交给人类医生去把关。

一句话总结：
这就好比在法庭上，法官不再只听律师的口头陈述（AI 直接给答案），而是要求律师必须出示原始文件（AI 给证据），并由陪审团（第二个 AI 或人类）来确认这份文件是否真的能证明律师的观点。虽然这样会慢一点，处理不了所有案子，但判错的概率会大大降低，让决策更加安全可靠。

技术摘要

这是一份关于论文《Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing》（展示你的工作：大型语言模型在生物医学文本处理中的逐字证据要求与自动化评估）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心痛点：大型语言模型（LLMs）在生物医学文本处理（如临床试验匹配、资格筛选）中应用日益广泛，但其决策过程往往缺乏透明度，难以审计。现有的评估主要关注最终任务的准确率，而忽视了决策的可验证性和信任度。
• 具体挑战：
  • LLM 可能生成流畅但缺乏依据的“幻觉”输出，甚至伪造参考文献。
  • 在临床高 stakes（高风险）任务中，仅知道模型“答对了”是不够的，必须知道它是基于什么文本证据得出的结论。
  • 目前的“引用”往往指外部文献，容易出错；而基于输入文本的逐字引用（Verbatim Quote） 是一种更可靠的可验证证据形式，但缺乏对其对模型性能影响的实证研究。
• 研究目标：探究强制要求模型提供可机械验证的逐字引用（即“展示你的工作”）是否会改变 LLM 在临床试验资格范围分类任务中的准确性、稳定性及可验证性。

2. 方法论 (Methodology)

• 数据集：
  • 来源：200 篇 2005-2023 年间发表的肿瘤学随机对照试验（RCT）摘要（来自 BMJ, JAMA, Lancet 等六大期刊）。
  • 任务：仅根据标题和摘要，判断试验是否允许纳入局部疾病（Localized）、转移性疾病（Metastatic）、两者皆可（Both） 或 都不/不明确（Neither/Unclear） 的患者。
  • 金标准：基于全文的人工标注（作为 Ground Truth）。
• 模型设置：
  • 测试了三个主流旗舰模型：GPT-5.2, Gemini 3 Flash, Claude Opus 4.5。
  • 设置：使用默认 API 配置，无微调。
• 实验条件：
  1. 基线条件 (Label-only)：模型仅输出分类标签。
  2. 证据要求条件 (Label + Quote)：模型必须输出标签，并附带一个逐字引用（Verbatim Quote），该引用必须是摘要文本中的精确子串（经空白字符规范化后）。
  • 每个条件对每个样本重复运行 3 次，以评估稳定性。
• 评估指标：
  • 覆盖率 (Coverage)：模型给出非“不明确”且有效输出的比例。
  • 条件性能：在给出有效输出的样本上计算的准确率和宏观 F1 分数。
  • 机械验证 (Mechanical Validity)：引用是否严格是摘要的子串。
  • 语义支持 (Semantic Support)：使用另一个 LLM 作为“裁判（Judge）”，判断引用是否真正支持该标签。
  • 稳定性：使用 Fleiss' κ 评估标签一致性，使用 Jaccard 相似度评估引用文本的一致性。

3. 关键贡献 (Key Contributions)

1. 提出了“可机械验证的逐字引用”作为审计机制：不同于容易幻觉的外部引用，强制模型从输入文本中提取精确子串，实现了无需人工干预的自动化格式和来源验证。
2. 揭示了“准确性”与“可验证性”之间的权衡：证明了强制要求证据会改变模型行为，虽然提高了部分模型的可信度，但也引入了新的失败模式（如覆盖率下降、无效输出增加）。
3. 引入了“裁判（Judge）”评估框架：展示了即使引用在机械上是有效的（是子串），在语义上也可能无法支持结论。通过引入第二层 LLM 裁判，可以筛选出“高置信度”的子集。
4. 量化了证据的稳定性：发现不同厂商模型在标签生成上很稳定，但在引用片段的选择上存在显著差异（特别是 Gemini），这对审计的可重复性提出了挑战。

4. 主要结果 (Results)

• 覆盖率与有效性：
  • 要求提供证据导致覆盖率下降（GPT-5.2: 86.2% → 84.3%; Gemini: 98.3% → 92.8%; Claude: 96.0% → 94.5%），主要原因是模型更倾向于选择“不明确（Unclear）”或生成无效格式。
  • 机械验证通过率：GPT-5.2 (83.3%), Gemini (91.2%), Claude (91.2%)。
• 分类性能变化：
  • GPT-5.2 & Gemini：在要求证据后，条件宏观 F1 略有提升（GPT: 0.910→0.916; Gemini: 0.933→0.945）。
  • Claude Opus 4.5：性能显著下降（0.828→0.777），且准确率下降具有统计学显著性。
• 语义支持度：
  • 尽管引用是机械有效的，但只有 48.0% - 78.8% 的引用被裁判模型判定为在语义上真正支持标签。
  • 关键发现：如果仅保留被裁判判定为“语义支持”的预测，宏观 F1 分数会显著提升（例如 GPT-5.2 从 0.92 提升至 0.95），但这会进一步牺牲覆盖率。
• 稳定性：
  • 标签生成非常稳定（Fleiss' κ > 0.8）。
  • 引用片段的选择稳定性因模型而异：GPT 和 Claude 较高（Jaccard ~0.90），而 Gemini 较低（Jaccard ~0.66），表明其证据选择具有随机性。

5. 意义与结论 (Significance & Conclusion)

• 审计与信任：强制“展示工作”（提供逐字引用）为 LLM 在生物医学领域的决策提供了自动化审计轨迹。这使得人类审查者可以快速验证决策依据，而无需重新阅读全文。
• 选择性预测（Selective Prediction）：研究提出了一种实用策略：利用“语义裁判”机制，自动过滤掉证据不足的预测，从而获得一个更小但更准确、更可信的自动化子集。剩余的不确定案例可转交人工审核。
• 模型依赖性：证据要求的效果因模型而异（GPT 和 Gemini 受益，Claude 受损），表明在部署此类系统时需针对特定模型进行验证。
• 局限性：
  • 仅使用摘要作为输入，Ground Truth 基于全文，导致部分“错误”实则是摘要信息不足导致的合理 abstention（放弃判断）。
  • 严格的子串约束可能过于僵化，忽略了多片段证据或微小的格式差异。
  • LLM 作为裁判本身存在局限性，其判断并非绝对真理。
• 未来方向：建议将证据片段的稳定性作为评估指标之一；探索更灵活但可验证的证据约束（如字符偏移量）；将评估扩展到临床电子病历（EHR）等更复杂的文档类型。

总结：该论文证明了在生物医学 NLP 任务中，强制要求逐字引用不仅能提供可审计的决策依据，还能通过“语义过滤”机制提升高置信度预测的准确性，尽管这需要以牺牲部分覆盖率为代价。这为构建更安全、可信赖的医疗 AI 系统提供了重要的方法论指导。