AI Models Excel at Orchestration but Falter at Biological Judgment: Findings from an Agentic Gene Annotation Study
本研究表明，虽然大语言模型（LLM）智能体通过减少不必要的分析，在高效编排生物学工作流方面表现出色，但在处理证据并做出最终生物学判断的任务时，其表现显著逊于确定性工具。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在现代实验室中，科学家们正越来越多地转向人工智能，以帮助他们理解研究生命过程中产生的庞大且复杂的数据。这些人工智能系统通常被称为“智能体”（agents），它们被设计用来执行两种截然不同的任务。首先，它们充当“管理者”，决定下一步该运行哪些实验、使用哪些工具以及如何高效地收集信息。其次，它们充当“裁判”，观察这些实验的结果，并判定这些结果对于所研究生物体的生物学意义究竟是什么。虽然人们很容易假设一个擅长管理实验室的聪明人工智能也一定擅长解释科学，但这两项任务需要不同类型的思维方式。管理工作流就像是在迷宫中选择正确的路径，而解释结果则是要理解目的地。随着研究人员致力于实现更多生物学过程的自动化，了解同一个计算机程序是否能同时胜任这两项工作，还是在擅长其中一项的同时在另一项上表现不佳，变得至关重要。
由里科克大学（University College Cork）的 Aritra Sinha 进行的一项近期研究，正是通过针对细菌遗传学中的一个特定挑战——识别细菌是否携带使之对四环素产生抗性的基因——来测试这一问题的。研究人员构建了一个名为“基因怀疑论者”（Genome Skeptic）的受控系统，旨在将收集证据的任务与做出最终决定的任务分离。在这种设置中，细菌 DNA 的实际测量值是由已知可靠且恒定的标准计算机程序生成的。人工智能的角色被限制在两种截然不同的可能性中：在一种情景下，人工智能仅作为“管理者”，决定运行哪些后续测试以获取更多信息；在另一种情景下，人工智能则作为“最终裁判”，观察同样的证据堆，并判定细菌是否具有抗性。该研究使用了一组包含二十个细菌基因组的数据集，其中一半已知具有抗性基因，另一半则不具备，从而确保了测试的公平性。
结果揭示了人工智能能力的剧烈分化。当人工智能充当“管理者”时，其表现异常出色。它能够引导分析得出正确结论的频率，与固定的、循序渐进的计划或运行所有可能测试的策略一样高。然而，人工智能做得更加高效，它所需的后续测试比固定计划减少了 32%，比穷举法减少了 47%。它成功地导航了工作流，准确知道何时停止收集数据，因为此时已足以得出结论。这种表现如此高效，以至于一个更简单的非人工智能决策模型也能达到同样的结果，这表明对于组织工作流的任务，未必需要高度复杂的语言模型。
然而，当同一个人工智能被要求担任“最终裁判”时，情况发生了彻底的变化。在面对管理者所收集的完全相同的证据时，该人工智能做出正确生物学决策的能力崩溃了。其准确率显著下降，在二十个案例中仅正确识别出十一个，而使用一套固定的规则进行最终判定时，识别数为十八个。人工智能并非仅仅是犯随机错误，它往往表现得过于谨慎。它并没有自信地判定某个基因确实不存在，而是频繁地将明显的阴性案例标记为“未解决”，本质上是拒绝做出决定。它未能纠正基于规则系统所犯下的少量错误，并在此过程中通过在原本可以做出决定的情况下犹豫不决，引入了新的错误。
这一实验表明，擅长组织科学过程并不意味着人工智能擅长解释数据的生物学意义。人工智能证明了它可以高效地决定下一步分析什么，但在判定证据的生物学含义方面却显得力不从心。研究表明，在科学工作流中，最好针对不同的任务使用不同的工具：一个快速、高效的系统来管理实验流程，以及一个严格的、基于规则的系统来做出最终的高风险生物学判定。通过保持这些角色的分离，科学家可以确保人工智能带来的效率不会以牺牲对生命代码解释的可靠性为代价。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。