EditPropBench: Measuring Factual Edit Propagation in Scientific Manuscripts
本文介绍了 EditPropBench，这是一个基准测试，表明当前的 LLM 编辑工具难以可靠地将事实性编辑传播至科学手稿中的隐含、非局部主张，从而凸显了需要具备级联感知能力的验证工具以确保事实一致性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在编辑一本食谱书。你决定将蛋糕食谱中的面粉用量从"2 杯”改为"1 杯”。
如果你只修改这一个数字，食谱就会出错。诸如“搅拌至面糊浓稠"或“此配方可制作大量批次”之类的说明将不再合理。要妥善修复这本食谱，你必须找出所有依赖原始用量的句子，并一并重写这些描述。
这正是论文EditPropBench所解决的问题，只不过它关注的不是食谱，而是科学研究论文。
问题：事实的“蝴蝶效应”
作者们注意到，当科学家（或协助他们的 AI 工具）在论文中修改某个具体事实时——例如将数据集规模从 215 项改为 80 项——他们往往忘记更新其周围的“修饰性内容”。
- 修改内容：“我们在215份文档上进行了测试。”
- 被遗忘的陈述：“这是一项中等规模的研究。”（如果只有 80 份，这实际上属于小规模研究。）
- 被遗忘的陈述：“我们研究了数百个项目。”（80 个算不上数百。）
如果 AI 编辑器修正了数字却保留了原有描述，论文表面上看似已更新，实际上却在误导读者。这就像更换了汽车引擎，却将速度表仍停留在旧设定上。
解决方案：“事实图谱”基准测试
为了测试 AI 编辑器是否足够智能，能够发现这些隐藏的错误，研究人员构建了一个名为EditPropBench的测试。
可以将此基准测试视为 AI 编辑器的训练障碍赛。
- 设置：他们创建了虚构的科学论文，其中每句话都与特定事实相关联，就像一张地图，显示哪些句子依赖于哪些数字。
- 测试：他们指示 AI：“将这个数字从 215 改为 80。”
- 目标：AI 不仅要更改数字，还必须找出并重写所有依赖该数字的句子（例如将“中等规模”改为“小规模”）。
他们创建了一个名为ERA（编辑涟漪一致性）的评分指标，用于衡量 AI 将变更“涟漪”式地贯穿整个文档的程度。
结果：AI 表现良好，但尚不完美
研究人员在此障碍赛上测试了五种不同的 AI 系统。以下是他们的发现：
- 简单部分：如果 AI 只需在句子中将数字"215"替换为"80"，它就能获得满分。它在简单数学运算方面表现出色。
- 困难部分：真正的考验在于那些不重复数字、而是用“中等”、“巨大”或“数百”等词语来描述数字的句子。
- 在这些棘手的、基于词语的变更中，表现最好的 AI 系统仅正确完成了约70%。
- 表现最差的系统正确率不足15%。
- 即使是“最聪明”的 AI 也遗漏了约**30%**的必要修改。
“人工”核查
研究人员还检查了互联网（arXiv）上的真实科学论文。他们发现，该领域近期发表的论文中，有**37%**存在此类“依赖事实”的陈述。这证明该问题真实且普遍，并非虚构场景。
核心结论
该论文得出结论：虽然 AI 编辑器在重写文本方面日益精进，但尚未可靠到足以独立处理科学论文。如果你要求 AI 更新某个事实，它可能会修正数字，却让整个故事的其余部分变得不合逻辑。
关键启示：我们需要这样的 AI 编辑器：它们不应仅仅充当“查找并替换”工具，而应像一位谨慎的人类编辑那样，理解数字背后的含义。在此之前，人类仍需对 AI 的工作进行双重核查，以确保整个故事依然合理。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。