Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows

在现代实验室中，一种新型助手正在兴起，它不握移液枪，而是进行对话。这些是旨在充当“协同科学家”的人工智能系统，它们是自主智能体，能够阅读生物序列，决定使用哪些数字工具，并将碎片信息拼凑成对复杂问题的答案。它们通过将一个大目标分解为较小的步骤、检查工作并完善路径来运行，就像人类研究人员从假设走向结论的过程一样。然而，构建这些系统涉及一个艰难的选择。一条路径依赖于大规模、灵活的语言模型，这些模型可以处理不确定性中的推理，但成本高昂、速度慢且有时表现不稳定。另一条路径则使用经典的学习策略——通过试错法训练出的系统，旨在遵循一套严格的规则。这些系统廉价、快速且完全一致，但缺乏解释其思维过程或适应新情况的能力。随着科学家们开始在不同的机构和计算机网络中部署这些工具，一个关键问题出现了：这些智能体的连接方式或其使用的特定“大脑”，是否比它们遵循的策略更为重要？

太平洋西北国家实验室（Pacific Northwest National Laboratory）的一个研究小组试图通过在一个受控环境中测试这些不同的方法来回答这个问题。他们专注于一项常规但至关重要的生物学任务：蛋白质表征。蛋白质是执行生命细胞内特定功能的分子，其功能通常由其氨基酸序列决定。研究人员要求他们的 AI 智能体观察蛋白质序列，并通过将其引导至一系列数字工具（如比较序列的数据库或预测 3D 结构的软件）来预测其功能。他们在两种不同的网络设置下测试了这些智能体：一种是简单的单服务器设置，所有工具都位于附近；另一种是更复杂的联邦设置，其中工具分散在不同的服务器上，模拟了现实世界中的科学实验室如何跨越国界共享数据。

该研究对比了两类主要的智能体。第一类使用强大的语言模型（本质上是一个复杂的聊天机器人）来决定下一步使用哪个工具。这些模型被赋予了简单的指令或详细的专家级提示词，以引导其推理过程。第二类使用了经典的强化学习智能体，这是一种通过数千轮练习训练出的系统，旨在学习到达正确答案的最有效路径，而无需任何自然语言推理。研究人员进行了数百次实验，测量了智能体获得正确答案的频率、耗时、成本，以及在被问及相同问题时是否能给出相同的答案。

结果揭示了一个清晰的优先级关系。决定成功的最显著因素不是网络设置或具体的指令，而是模型本身的底层智能。当智能体使用顶尖语言模型时，其准确率约为 92% 到 94%。而当使用较小、能力较弱的模型时，准确率骤降至 40% 到 50% 之间。工具在网络中的连接方式对性能几乎没有影响；无论智能体是在一个房间内工作还是在分布式网络中工作，其成功率都保持几乎一致。这表明，对于这类任务，工具之间的物理或数字距离并不是科学发现的主要障碍。

或许最令人震惊的发现是关于灵活性与可靠性之间的权衡。强大的语言模型可以产生高质量的结果，但它们既昂贵又不稳定。即使是最好的语言模型，在面对同一种蛋白质时，也会在约 2% 到 3% 的案例中给出不同的答案，且运行这些模型的成本显著，每个蛋白质约为 63 美分到 93 美分不等。相比之下，那个虽然无法解释其推理过程或调整策略，但表现完美的经典学习智能体，在每次试验中都表现得完美无缺。它的准确率达到了 88%，几乎追平了最好的语言模型，但完成任务仅需约 15 秒，且成本为零。它还具有完全的一致性，在连续五次被问及相同问题时，从未改变过答案。

研究人员发现，策略的选择完全取决于工作的性质。对于可以根据已知数据进行验证的常规任务（例如识别具有已知功能的蛋白质），廉价、快速且完全一致的经典智能体是更优的选择。它能提供接近前沿水平的准确度，且没有高昂的成本或随机错误的风险。然而，对于需要灵活性且答案未知的开放式科学探索，昂贵的语言模型仍然是必要的。研究表明，语言模型提供的详细推理轨迹的价值，会随着任务新颖性的增加而提升；对于简单事实的检索，推理过程的价值不如固定策略带来的确定性。最终，这项工作为构建此类系统的科学家提供了实践指南：不要假设一个更复杂、更灵活的“大脑”总是更好的。对于许多科学工作流而言，一个简单的、习得的规则不仅足够，而且是更高效的路径。