The Generalist Strikes Back:\\A General LLM Agent Outperforms Specialist Bioinformatics Agents on Free-Form, End-to-End Benchmark Analysis
本文证明了仅使用现成编程工具的通用前沿大语言模型智能体（Claude Opus 5.5）在综合基准测试中的表现优于专门的生物信息学智能体，这表明当前衡量进展的局限性主要源于基准测试的可靠性问题，而非智能体本身的能力问题。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在广袤而复杂的生物学世界中，科学家们正不断试图从海量数据中理出头绪。他们研究生命的蓝图、构建身体的蛋白质，以及细胞沟通的复杂方式。为了实现这一目标，他们依赖于专门的计算机程序，这些程序就像数字助手一样，引导研究人员穿过由计算构成的迷宫，去寻找隐藏在数字中的答案。多年来，主流观点认为，要处理这些困难的任务，你需要一位经过高度训练的定制化助手。这些数字专家是根据特定的工具和规则设计的，就像一位熟练的木匠只携带木工所需的锤子和凿子，而留下其他一切。人们曾假设，一个通用的计算机程序——即一个能做很多事情但对生物学一无所知的程序——会因为过于笨拙而无法与这些专家竞争。
然而，人工智能的格局已发生了迅速的变化。出现了一些更强大、更新型的计算机模型，它们能够阅读、推理并编写代码，其技能水平足以媲美许多领域的领域专家。这向科学界提出了一个实际的问题：我们是否仍需要那些定制化的专业助手，还是说通用模型已经足够聪明，可以独立承担这项工作？最近的一项研究旨在通过让一个通用人工智能与目前最优秀的专业生物信息学智能体进行对决，来回答这个问题。研究人员希望观察，一个聪明的全能型计算机程序是否能像那些为该工作量身打造的机器一样，甚至比它们更好地解决现实世界的生物学问题。
该研究聚焦于一项名为 PromptBio-Bench 的严格测试，其中包含 244 个不同的挑战，范围从简单的数据检查到复杂的生物分析。这些任务并非只有单一正确答案的选择题；相反，它们要求计算机生成实际的文件，例如数字表格、图表和遗传变异列表，且这些文件的质量和格式必须符合人类专家的标准。研究人员使用了一个最先进的通用模型，使其在一个标准的编码环境中运行，并要求它解决每一个任务。他们以两种方式对其进行了测试：一次是让它可以使用一个包含 667 条专业生物学指令的海量库，另一次是不提供任何此类指令，完全依靠其自身的知识。随后，他们将该模型的表现与三个专门为生物信息学设计的领先专业智能体进行了对比。
结果令人惊讶。那个在没有任何专业生物工具辅助下运行的通用模型，成功完成了全部 244 项任务。当其答案根据专家参考标准进行评分时，它的成功率接近 87%。这显著高于那些专门设计的智能体，后者的得分在 72% 到 76% 之间。通用模型在处理最困难的任务时表现尤为出色，而专门的智能体在这些任务中往往显得力不从心。更令人震惊的发现在于关于专业指令的部分。研究人员发现，通用模型实际上从未动用过它所获得的 667 项生物学技能中的任何一项。它是利用自身的内部推理来解决问题的。版本之间得分的微小差异并非由于技能本身，而是由于模型在处理过程中做出某些特定决策时产生的细微随机偏差。
研究还揭示了该测试本身存在的一些缺陷。当研究人员仔细检查通用模型失败的任务时，他们发现许多失败并非源于计算机的错误，而是源于测试本身评分系统或测试创建者提供的“正确”答案的错误。例如，一些参考答案是基于过时的数据，或者基于未在原问题中明确说明的假设。在修正了评分系统中的这些问题后，通用模型的成功率进一步攀升，达到了 92% 以上。这表明，该基准测试所衡量的不仅是计算机从事生物学工作的能力，更多是在衡量计算机猜测测试创建者意图的能力。
最终，研究表明，对于定义明确的生物分析任务，强大的通用人工智能现在已经能够达到甚至超越专门为该领域构建的系统的性能。那些拥有精选工具和复杂结构的专门化智能体，不再是唯一的路径。研究指出，衡量进步的主要限制不再是智能体本身的能力，而是用于评判它们的测试的可靠性。随着这些通用模型的不断改进，科学界的关注焦点可能需要从构建更多专业化工具，转向创造更稳健、更公平的方式，来评估这些智能系统究竟运作得如何。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。