原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在建造一座核电站。运行控制系统的软件就像核电站的大脑；如果其中存在一个微小的缺陷，后果可能是灾难性的。数十年来，一直遵循着这样的规则：“只有人类编写这些代码，并且其他人类必须逐行复核每一行代码。”这确保了安全性、可追溯性和问责制。
现在，想象一位新来的、极其聪明且才华横溢的学徒：一个AI 编程代理。它可以在几秒钟内编写代码、运行测试并起草文档。但这里有个问题：这位学徒有时会“产生幻觉”。它可能会写出看起来完美无缺、运行也不会崩溃的代码，但实际上在数学上却做着错误的事情——就像一位厨师完美地切好了蔬菜，却不小心把盐换成了糖。
这篇题为《通过透明度和可追溯性弥合 AI 辅助科学软件开发差距》的论文，探讨了一个重大问题：我们如何让这位 AI 学徒在帮助我们构建关键软件的同时，又不让它暗中引入危险的错误？
作者们认为，禁止 AI 并非解决之道（它只会转入地下，变得更加危险）。相反，我们需要一个治理框架——一套严格的规则——来管理 AI 如何提供帮助。
核心理念：“试验场”
为了测试这些规则，作者们没有仅仅停留在理论探讨上，而是利用一种名为TMAP8的特定科学软件工具，构建了一个“训练场”。
将 TMAP8 想象成一种氚模拟器（氚是聚变能源中使用的一种放射性燃料）。该软件早已因其极高的安全性和严格的监管而闻名（遵循"NQA-1"标准，这相当于核安全的“黄金标准”）。
作者们利用 TMAP8 测试了两种场景，就像为他们的新规则构建了一个“飞行模拟器”：
- “复制 - 粘贴”挑战：他们要求 AI 根据已发表论文重现一个已知的科学实验。AI 必须将人类编写的数学模型转化为代码。
- 结果：AI 在处理枯燥的工作（如格式化文件、制作图表）方面非常迅速。然而，它遗漏了原论文中的一个细微细节（一个“缺陷湮灭”项）。如果没有人类进行检查，模拟结果将是错误的。AI 忠实地复制了论文中的错误。
- “发明家”挑战：他们要求 AI 解决一个没有已发表模型的问题。AI 必须推测物理原理、建立假设，并用真实数据对其进行验证。
- 结果：AI 在头脑风暴方面表现出色。它迅速尝试了不同的方法来模拟金属表面上的薄氧化层（氧化层），而人类构建原型可能需要数周时间。它找到的可行解决方案比人类单独工作要快得多。
新规则："AGENTS.md"契约
论文提出了一种简单而强大的解决方案：一个名为**AGENTS.md**的文件。
将此文件想象成存在于软件项目内部的契约或飞行手册。它明确告知 AI 应如何行事。该契约要求如下：
- 没有秘密：每次 AI 编写代码时，必须留下“收据”（元数据），说明“这是我写的，以及我的思考过程是什么”。
- 人类是机长：AI 是副驾驶，但必须由人类最终签署确认。人类对最终产品在法律上和科学上负有责任。
- “红队”检查：AI 不能仅仅说“我完成了”。它必须运行一系列自动化测试（类似于碰撞测试），以证明其代码有效。如果失败，它将被送回绘图板重新设计。
- 可追溯性：你必须在数年后查看代码时，能够清楚地看到使用了哪种 AI 工具、哪个版本，以及人类进行了哪些修复。
主要经验教训
通过实验，作者们发现了三个关键点：
- AI 是加速器，而非替代品：AI 可以承担输入和格式化等繁重工作，让人类专注于艰难的思考。但人类必须仍然掌舵。
- “静默”的幻觉是真正的危险：最可怕的 AI 错误并非它写出胡言乱语，而是它写出看似正确但在科学上错误的代码。捕捉这种错误的唯一方法是依靠一位理解物理原理而不仅仅是代码的人类。
- 规则必须硬编码：你不能仅仅告诉 AI“请记得小心”。AI 会忘记。相反，规则必须内置于软件本身（就像一扇门，除非 AI 附上其“收据”并通过测试，否则不会打开）。
结论
论文得出结论，我们不必在“仅人类”和“仅 AI"之间做出选择。我们可以拥有受监管的 AI。
通过将 AI 辅助开发视为一个受监管的核能项目——其中每一步都有记录，每一个输出都经过测试，且人类保持最终权威——我们可以在享受 AI 速度的同时，不牺牲科学发现所需的安全性和信任。目标不是阻止 AI，而是确保 AI 的“学徒期”是安全、透明且可问责的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。