PatchWrite: One Line, Not One Section -- Compile-Gated, Validity-Preserving Editing for AI-Drafted Manuscripts
PatchWrite 是一种针对 AI 起草手稿的编译门控式、保持有效性的编辑协议，它通过强制执行致命日志检查和证据锁定来防止无关的指标与引用漂移，从而确保只有经由参考注册表或实验日志证实的编辑才会被提交，同时维护整个文档的完整性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代科学写作的格局中，研究人员越来越多地依赖人工智能来起草手稿，将原始数据和想法转化为出版所需的结构化文本。这些文档通常遵循严格的格式规则，就像建筑蓝图一样，每一处引用都必须指向真实的来源，每一个数字都必须与原始实验相匹配。挑战在于，当人工智能试图修复一个小错误（例如缺失的参考文献或拼写错误）时。在许多现有系统中，软件通过重写整个章节来应对局部问题。虽然文档在表面上看起来仍然正确，但这种宽泛的方法可能会在无形中改变无关的事实，例如改变计算机模型的层数或移动一个关键测量值，而作者却对此毫无察觉。文档能够成功编译，但科学记录已被悄然破坏。
杨伟伟针对这一特定的脆弱性提出了一种名为 PatchWrite 的新方法，旨在成为一把精准的手术刀，而非笨重的钝器。PatchWrite 不允许人工智能重写整个章节，而是强制系统仅在极窄的文本窗口内进行更改，限制在单行或几个句子之内。至关重要的是，系统不会立即接受更改。它在保存每一次提议的编辑之前，都要经过两项严格的检查。首先，它尝试使用标准的排版引擎构建文档；如果更改破坏了格式或导致错误，该编辑将被拒绝，原始文本保持不变。其次，它会验证人工智能引入的所有新数字或引用是否确实存在于研究人员的原始日志和书目中。如果人工智能虚构了一个伪造的来源或一个从未记录过的数字，系统会拦截该更改。这确保了最终文档不仅在视觉上正确，而且在事实层面忠实于原始数据。
为了测试这种方法是否有效，研究人员创建了一项压力测试，涉及 24 篇短篇科学论文和 8 种不同类型的错误，范围从简单的拼写错误到损坏的格式。他们将这种新方法与重写整个章节的传统方法进行了对比。结果是显著的：当传统方法试图修复一个错误时，它在每一种情况下都会意外地改变一个关于模型结构的无关句子，将一个事实从 12 层改成了 16 层。相比之下，PatchWrite 系统在所有 192 个测试案例中都保留了原始事实。当研究人员移除安全检查以观察会发生什么时，系统要么无法接受任何更改，要么允许幻觉引用的混入，这证明了格式检查和事实检查门槛对于安全性都是必不可少的。
该研究还考察了真实的 AI 作家在没有人类明确告知其要修改什么的情况下，能否自主提出这些精确的编辑。最初，AI 在处理一种特定类型的指令时遇到了困难：当被要求删除一行时，它有时会尝试留下空白，而系统的语法规则拒绝了这一点。在研究人员仅仅是在指令中澄清“删除应由注释代替而非留空”之后，AI 的成功率跃升至 100%。即便有了这一改进，系统依然保持严苛；它会拒绝那些虽然在技术上修复了错误、但以微妙方式改变了文本含义的编辑，例如在数字周围添加不必要的符号。在对最终文档进行的盲审中，人类读者一致认为 PatchWrite 生成的版本更优，因为其中的科学事实保持完好，而传统方法则悄然篡改了数据。
这项工作表明，若要使人工智能成为可靠的科学写作伙伴，它必须受到优先考虑真实性而非流畅性的规则约束。研究人员发现，防止错误最有效的方法不是信任 AI 对“看起来不错”的判断，而是验证每一次更改是否通过了针对原始证据的机械检查。虽然该系统是在短篇论文和特定类型的错误上进行的测试，但其核心原则——即编辑应当是微小的、可验证的且可逆的——为构建更值得信赖的工具提供了一条清晰的路径。研究结论指出，如果没有这些严格的门槛，即使是一份能够成功编译的文档，也可能不再代表它所声称的科学内容。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。