Experimental reasoning in large language models

科学始终是问题与物理世界之间的一场对话。研究人员提出一个想法，设计一个测试来观察世界是否认同，然后观察结果。如果结果出乎意料，研究人员就会改变计划并再次尝试。这种提问、行动和调整的循环是发现的引擎。几十年来，科学家们一直试图制造能够为他们完成这些工作的机器。早期的尝试侧重于自动化：机器人可以遵循一套严格的指令，就像厨师严格按照食谱烹饪一样。这些机器非常擅长重复工作，但当厨房着火或缺少某种原料时，它们就会陷入困境。它们无法随机应变。现在的疑问是，新一代的人工智能，特别是大语言模型，是否能做得不仅仅是听从命令。这些计算机程序是否真的能够像人类科学家那样，通过推理来进行科学实验，并根据所见情况决定下一步该做什么？

杜克大学的一个研究小组通过构建一个名为 PEARL 的系统来回答这个问题。他们将一个旨在理解和生成人类语言的标准计算机程序，连接到了一个简单的实验室机器人和一个摄像头。机器人可以将液体在小型容器之间移动，而摄像头可以观察结果。研究人员给出了一个目标，例如“在容器托盘中创造一道彩虹”，但并没有提供实现该目标的逐步指南。他们没有告诉系统要混合哪些颜色、以什么顺序混合，甚至没有说明哪些瓶子里装有哪种染料。系统必须自行摸索整个过程。它必须观察可用的工具，决定混合什么，执行动作，观察结果，然后判断自己是否成功，或者是否需要尝试不同的方法。

该系统通过将思考过程划分为相互通信的不同角色来运作。系统的一部分负责规划实验，另一部分负责预测结果，第三部分则负责监控错误。当机器人混合两种液体导致颜色出错时，系统并没有只是继续运行。它停了下来，观察证据，并意识到自己的预测是不正确的。随后，它修改了计划并尝试了一种新的混合方式。在一次测试中，研究人员要求系统仅使用红色和绿色染料制作紫色。系统正确地意识到这在逻辑上是不可能的，并拒绝混合它们，转而请求更好的指令。在另一项测试中，一名人类在系统工作时偷偷旋转了容器托盘。系统注意到颜色位置发生了变化，更新了它对托盘的心理地图，并调整了动作，以便在新的位置混合正确的液体。它在未被告知托盘移动的情况下完成了这一操作。

研究人员通过要求系统执行一项真实的生化测试来测量酶的工作速度，进一步推进了这项研究。这需要精确的测量和仔细的时机掌控。系统必须决定混合多少液体、何时拍摄照片以及如何分析随时间变化的颜色。当研究人员引入一个问题（例如误将过多的液体加入其中一个容器）时，系统发现了错误，忽略了错误数据，并利用剩余的有效数据完成了计算。当初始混合物浓度过高以至于无法准确测量时，系统意识到它需要更多信息。它没有进行猜测，而是设计了一个新的小型实验，专门用于稀释混合物并观察真实的颜色。随后，它利用这个新信息修复了主要的实验。在每种场景下，系统都成功地将一个模糊的目标转化为物理行动，解释了结果，并决定了下一步该做什么。

该研究还测试了系统取得成功需要多少帮助。研究人员尝试使用一个结构更简单、角色更少且没有实验历史共享记忆的设置来运行相同的任务。这个简化版本经常无法将它所看到的现象与下一步该做什么联系起来。它可能会发现问题，但会忘记去修复它，或者在步骤序列中迷失方向。然而，当系统拥有实验的持久记录以及几个相互检查工作的专门角色时，它几乎每次都能成功。这表明，通过实验进行推理的能力主要来自于语言模型本身的底层智能，但一定的结构有助于让它保持专注和可靠。

这些发现表明，我们看待实验室自动化的方式可能会发生转变。我们可能不再需要预先为机器人编写应对每一种可能情况的程序，而是可以给它们一个目标，让它们自行解决细节。该系统不需要一份预先写好的、用于处理旋转托盘或浓缩染料的“食谱”；它在当下即时解决了这些情况。研究人员强调，这还不是一个能够发明新理论或对宇宙提出深刻问题的完全自主的科学家。这些实验仅限于具有视觉结果的特定任务。然而，这项工作表明，通用计算机模型已经可以作为科学目标与物理世界之间的“思考层”。它们可以观察、解释和适应，将实验行为本身转化为推理过程的一部分。这使该领域从简单的自动化迈向了一个未来，即机器可以直接参与科学过程，处理突发状况并从观察中学习。