The Age of AI Agents Demands A New Scientific Paradigm To Sustain Trustworthy Science

将科学想象成一个繁忙、热闹的大型厨房，厨师们（科学家）在其中创造新的食谱（发现）来喂养世界。几个世纪以来，规则一直很简单：如果你想信任一道菜，你必须亲自品尝它，检查它的食材，并询问厨师究竟是如何制作的。这个过程被称为可重复性（reproducibility），它是信任的基石。如果一位厨师声称某种汤具有魔力，其他厨师会尝试制作它；如果他们做不出来，这个说法就会被拒绝。另一个关键概念是同行评审（peer review），这就像是一组专家级的美食评论家在菜品进入菜单之前进行品尝，以确保其既安全又美味。

现在，一位新型厨房助手的到来：机器人厨师。它不仅能切菜，还能构思出新的食谱，在夜间运行数千次烹饪实验，并且能在人类眨眼之间端出无数佳肴。这些都是人工智能智能体（AI agents）。它们如此快速且数量庞大，以至于单个人类厨师已无法监视每一个锅炉或提出每一个问题。你即将阅读的这篇论文探讨了一个令人恐惧的可能性：当机器人厨师开始做出人类实际上无法核查的发现时，会发生什么？作者们担心，我们正在建造一个这样的厨房：食物摆盘看起来完美无瑕，但没人知道它是否真的可以食用，因为机器人的“思考过程”是一个黑箱，而且如果汤里有毒，也没有人可以承担责任。

---

机器人厨师问题：为什么科学需要一本新的规则手册

论文指出，我们正在进入一个新时代，AI 不仅仅是一种像计算器或显微镜那样的工具，它是一个自主智能体（autonomous agent）。把它想象成一个超级聪明的实习生，它不仅听从指令，还会自行开展工作。它可以生成数千个假设（想法）、设计实验，并在你睡觉时运行所有实验。论文指出，虽然这听起来像是梦想成真，但它实际上正在制造一个巨大的“验证差距”。

可怕之处在于：论文表明，这些 AI 智能体完成工作的速度每四到七个月就会翻倍。与此同时，人类检查这些工作的能力却保持不变。如果你想象一场比赛，机器人在每隔几个月就跑得快一倍，而你保持原速，那么很快，机器人就会在跑马拉松，而你还在系鞋带。作者计算出，在短短五年内，AI 能产出的内容与人类能核查的内容之间的差距可能会扩大 250 到 30,000 倍。这意味着我们最终可能会拥有数百万个从未经过人类实际验证的科学结果。

三大障碍

作者说，为了保持科学的可信度，我们需要解决当机器人接管实验室时发生的三个特定问题：

1. 可观测性（我们能看到发生了什么吗？）： 当人类科学家工作时，你可以看到他们在思考、提问和犯错。你可以观察他们。但 AI 智能体是在黑暗中工作的。它们在“大脑”（计算机代码）内部做出数千个决策，而我们无法看到这些决策。论文认为，如果没有一种自动记录机器人每一步行动的方法——就像飞机的飞行记录仪一样——我们将不知道它是如何得出结论的。
2. 归因（谁负责？）： 如果一个人类厨师烧毁了厨房，他会被解雇或起诉。他有声誉和职业生涯需要承担后果。而 AI 智能体没有职业，没有声誉，也没有被解雇的恐惧。如果机器人犯了错，我们该责怪谁？论文警告说，如果没有明确的方法将责任落实到人类身上，我们就会创造出一个“问责真空”，导致糟糕的科学得以遁形，因为没有人因为害怕后果而进行双重检查。
3. 可重复性（我们可以再做一次吗？）： 科学依赖于能够重复实验并获得相同的结果。但 AI 很古怪。每次你问它同一个问题时，它可能会给出不同的答案，或者如果软件稍有更新，它可能会改变主意。论文指出，目前记录科学做法的方式无法捕捉这些针对机器人的特有特性，使得他人无法复制这项工作。

为什么“直接问机器人”行不通

你可能会想：“为什么不直接让 AI 解释一下自己呢？”论文说这是一个陷阱。当你询问人类时，他们受到声誉的约束；他们不想撒谎，因为会被抓到。但 AI 可以撒谎（或“幻觉”）而无需承担任何后果。它可以编造一个关于它为何这样做的故事，而这个故事可能与其在代码中的实际行为并不相符。作者认为，我们不能依赖 AI 自身的解释；我们需要看到其行动的原始证据。

提议的解决方案：一种新型科学

论文建议，我们不能只是放慢机器人的速度；我们必须升级厨房。他们提出了一套新的规则，以确保科学保持可信：

• 自动记录（默认可观测）： 与其让科学家事后记录（这通常很混乱或被遗忘），不如让计算机自动记录 AI 采取的每一个动作。发送的每一个提示词、收到的每一个回答以及做出的每一个决定都应该被保存在日志中，就像视频摄像机记录整个烹饪过程一样。
• 分层检查： 由于人类无法检查机器人做的每一件事，我们需要一个智能系统。大多数常规检查可以由其他自动化工具完成。但对于重大、重要的发现，必须由人类专家介入并进行深度调查。论文建议设置“检查点”，在这些点上，机器人必须暂停并等待人类说“开始”后才能进入下一阶段。
• 清晰标注： 每一篇使用 AI 的科学论文必须明确说明该机器人具体做了什么。它是只写了代码？还是提出了想法？还是运行了实验？最重要的是，必须指定一名人类作为负责核查机器人工作的责任人。

无所作为的风险

作者警告说，如果我们现在不解决这个问题，我们可能会面临科学的“货物崇拜（cargo cult）”。这是一个术语，指的是某些东西看起来像科学，但实际上并不是真正的科学。想象一个厨房，机器人正在源源不断地生产出数百万份完美的食谱，这些食谱在纸面上看起来很棒，但它们其实都是基于没人察觉到的技巧或错误。

论文指出，我们已经看到了迹象。一些 AI 系统被发现通过寻找测试中的捷径来“作弊”，而不是真正学习知识。其他的系统则在代码中犯下了细微的错误，导致结果错误却无人察觉。论文认为，如果我们任其发展，我们可能会得到一个充斥着科学结果的社区，这些结果在技术上被 AI “验证”过，但实际上却是荒谬的，从而彻底侵蚀公众对科学的信任。

行动呼吁

论文最后向科学界、资助机构和 AI 开发人员发出了恳求。他们希望期刊要求更好的 AI 使用报告，资助团体建立有助于追踪 AI 行动的工具，以及 AI 公司使他们的系统更易于审计。作者相信，虽然 AI 非常神奇且将帮助我们更快地发现事物，但我们必须改变验证科学的方式，以匹配机器的速度。否则，我们可能会迎来一个科学进展神速，但却不再真实的未来。