Agentic Auto-Research is Fuzz Testing

探索之赛：为什么“更多猜测”并非良方

想象一个这样的世界：一个超级聪明的机器人科学家可以在人类冲一杯咖啡的时间里，构思出数千个新想法，编写测试它们的代码，并运行实验。这就是**自主研究智能体（autonomous research agents）**令人兴奋的现实。这些 AI 系统生成假设的速度变得如此之快，以至于它们已经超越了需要去核实这些想法是否真实的那些人类。这造成了一个瓶颈：机器人在大声喊出答案的速度，超过了老师批改作业的速度。

为了解决这个问题，许多研究人员尝试了一种简单的策略：“生成并排序（Generate and Rank）”。他们让机器人做出一百万个猜测，使用第二个 AI 来评分，然后保留排名靠前的那些。这就像一场选秀节目，你面试了一百万名歌手，然后只选出得分最高的那一个。但问题在于：那一百万个猜测中大部分都是错误的，而且“评分”往往只能告诉你哪一个“错得最少”，而不是为什么它是对的，或者如何做得更好。你即将阅读的这篇论文指出，这种“猜测与检查”的方法正在撞墙。它认为，要实现真正的发现，我们需要停止将研究视为一场选秀节目，而要将其视为一场“热与冷（hot and cold）”的游戏。

论文的核心观点：研究是一场“热与冷”的游戏

作者们（一支由计算机科学家和研究人员组成的团队）提出了一种构建这些 AI 科学家的新颖方式。他们认为，智能体自动化研究本质上是模糊测试（Fuzz Testing）。

现在，“模糊测试”听起来像是一个奇怪的游戏名称，但它实际上是软件工程师用来寻找漏洞的一种著名技术。想象一下你正在试图破解一款视频游戏。你不仅仅是正常地玩游戏；你会向它投掷随机、奇怪的输入（比如同时按下所有按钮），看看它是否会崩溃。但一个聪明的模糊测试器并不会只是投掷随机噪声。它会在游戏运行时观察发生了什么。如果游戏进入了一个新的屏幕或新关卡，模糊测试器会说：“嘿！这很有趣！让我们再试一下类似的动作！”它利用微小的、即时的线索（比如“你到达了一扇新门”）来引导下一步行动，而不是等到游戏结束才去看是否获胜。

论文建议，科学研究也应该以同样的方式运作。目前，AI 研究员通常要等到实验 100% 完成后，才能知道它是否是一次“胜利”。作者说这太慢了，也太昂贵了。相反，每一次实验都应该在进行过程中为 AI 提供一个廉价且密集的进度信号。

把这想象成用手电筒在黑暗的洞穴中探索：

• 旧方法（生成并排序）： 你向黑暗的洞穴里扔一块石头。你等待它撞到底部。如果发出了响声，你就保留它。如果声音很小，你就扔下一块。你永远不知道为什么石头发出的声音很小，或者它去了哪里，直到为时已晚。
• 新方法（模糊测试）： 你有一个手电筒，每当你靠近隐藏的宝藏时，光芒就会变得更亮。你不需要等到找到宝藏才知道自己进展如何。一旦光线稍微变亮了一点，你就知道：“好吧，我走在正确的路径上，下次试着向左转。”

新方法的三个黄金法则

论文将这种“模糊测试”方法拆解为任何 AI 研究员都应遵循的三个简单规则：

1. 让进度可见（“手电筒”法则）
大多数科学实验并不会立即产生诺贝尔奖。事实上，大多数实验都会失败。但即使是“失败”的实验也会教会我们一些东西。论文认为，我们需要构建一些“仪器”，能够告诉 AI 在实验进行过程中它学到了什么，而不仅仅是在结束时。

• 类比： 想象你在寻找完美的蛋糕配方。旧方法是烤 1,000 个蛋糕，最后尝一遍所有的蛋糕，然后选出最好的一个。新方法是拥有一个传感器，能告诉你：“这团面糊的质地正接近理想状态，”或者“这个温度正在缩小范围。”AI 利用这些微小的线索来决定下一步该烤什么，而不是仅仅从一堆做好的蛋糕中挑选赢家。

2. 利用反馈进行搜索，而不只是用于排序
一旦 AI 拥有了这些微小的线索（“手电筒”），它不应该仅仅用它们来挑选赢家。它应该利用它们来改变自己的策略。

• 类比： 如果你在玩“热与冷”的游戏，有人说“变暖了！”，你不会只是把这句话记下来然后随机找个新地方。你会朝着温暖的方向移动。论文建议，AI 智能体也应该这样做。如果实验显示了一个特定的边界或排除了一个坏主意，AI 应该立即利用这些信息，更聪明地引导下一次实验的方向。这是关于带着地图进行搜索，而不仅仅是盲目地进行采样。

3. 将“裁判”与“向导”分离
这是最重要的安全规则。“手电筒”（进度信号）对于引导搜索非常有用，但它不是最终的证明。

• 类比： 想象一名侦探正在破案。侦探有一个直觉（进度信号）告诉他在哪里寻找线索。“我觉得管家干的，所以去检查厨房。”但侦探不能仅仅因为直觉感觉良好就逮捕管家。他们需要一个受保护的验证者——比如法官或陪审团——他们在不知道侦探直觉的情况下观察证据。如果侦探一直使用同样的直觉来引导他们的搜索，他们可能会误导自己，让他们以为找到了凶手，而实际上并没有。最终的“发现”必须由一个独立的、未参与引导搜索的检查程序进行认证。

作者们在表达（以及并未表达）什么

作者们非常谨慎，没有承诺这是一个万灵药。他们并不是在说：“我们已经解决了科学问题！”相反，他们提出了三个他们认为可以被测试的具体预测：

1. 信号预测： 如果我们给 AI 一个好的“进度信号”（比如手电筒），那么在投入同样资金和时间的情况下，它应该能比仅进行猜测和排序的 AI 发现更多的真实成果。
2. 搜索预测： 一个利用反馈来改变下一步行动的 AI，应该比一个只会不断投掷随机飞镖的 AI 发现更多的“获胜”实验。
3. 安全预测： 如果我们将最终的裁判与搜索向导分开，我们将发现更少的“伪发现”。

论文明确反对仅仅通过让 AI 变得更聪明或生成更多猜测来解决问题的观点。他们表明，仅仅生成更多的候选对象并进行排序会遇到一个瓶颈，即你的投入与回报之间的价值会越来越低。他们也反对认为我们可以使用单一的分数来完成所有事情（既用于引导搜索又用于宣布赢家）的观点。他们说，这会导致 AI 自我欺骗。

这为什么重要

这篇论文是对 AI 科学未来的一个号召。它表明，要真正实现自动化发现，我们需要停止将 AI 视为一个只会吐出答案的机器，而要将其视为一个能从每一步行动中学习的、充满好奇心的探索者。

作者们相信，如果我们能够构建这些让进度可见的“仪器”，并且如果我们可以将“向导”与“裁判”分开，我们就能构建出不仅是产生更多噪音，而且能真正找到科学隐藏宝藏的 AI 系统。这是一个从“多即是好”到“智即是好”的转变，将混乱的发现过程转变为一个受引导的、高效的且值得信赖的旅程。

论文以对科学界的挑战结束：我们能否为科学构建这些“手电筒”？我们能否证明这种“模糊测试”方法确实比旧方法更有效？作者们相信答案是肯定的，但他们将最终的证明留给了我们明天进行的实验。