Comparative benchmarking of AI research agents for omics data interpretation
本研究对三种专门化的 AI 研究智能体（K-Dense、Finch 和 Biomni）针对组学数据解释的能力进行了全面的定量基准测试，并将其与 ChatGPT 进行对比，结果表明没有哪一个智能体能在所有模态中占据主导地位，且智能体架构而非基础模型能力是决定输出质量及其对特定生物信息学工作流适用性的主要因素。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，人体就像一座繁忙且规模宏大的城市。为了理解这座城市是如何运作的，科学家们不仅观察街道，还会对每一位居民进行人口普查——从微小的快递卡车（代谢物）到建筑施工队（蛋白质），再到发送指令的城市规划师（基因）。这就是所谓的“组学”（omics）数据。这是一座信息大山，讲述着健康与疾病的故事。但问题在于：这座城市增长得太快了，数据的堆积速度超过了任何人类侦探团队的处理能力。我们需要帮助。
于是，“AI 研究智能体”（AI Research Agents）登场了。请不要把它们仅仅看作简单的搜索引擎，而要将它们视为高度训练过的、自动化的实习生。你交给它们一盒杂乱的数据和一个问题，比如“是什么导致了这种疾病？”，它们理应负责清洗数据、进行数学运算、绘制图表，并写出一份解释答案的报告。最近，新一波的 AI 实习生涌现而来，承诺能在几秒钟内完成整个科学家团队的工作。但随着这么多新实习生的到来，一个大问题仍然存在：究竟哪一个才是真正胜任工作的佼佼者，而哪一个只是擅长把事情做得看起来很漂亮？
这篇论文就像是一场巨大且有组织的“实习生竞赛”，旨在找出谁才是真正的优胜者。研究人员设计了一个公平的测试，让四种不同的 AI 智能体去分析三种截然不同的生物学数据：身体的化学汤（代谢组学）、细胞的构建模块（蛋白质组学）以及遗传指令（转录组学）。他们不仅仅是让 AI 去猜测；他们提供了具体的、真实的数据库，并全程观察这些 AI 是如何一步步开展工作的。
结果令人惊讶，并告诉我们并没有一个能通杀所有领域的“超级实习生”。事实证明，AI 的“个性”以及它的构建方式，比它所运行的计算机模型的原始算力更为重要。
以下是这场比赛的过程：
- K-Dense（严谨的建筑师）： 这个基于强大的 Gemini 2.5 Pro 模型构建的智能体，是“化学汤”（代谢组学）领域的冠军。它能产出最详尽、最具可重复性的报告，就像一位会反复检查每一项测量数据的建筑师。然而，它有时会陷入自己的思维定式，需要人类提醒它“再试一次”，因为它觉得自己目前的工作还不够完美。
- Finch（有条理的管理者）： 这个来自 Edison Scientific 的智能体，在另外两个类别（蛋白质组学和转录组学）中成为了明显的赢家。Finch 不一定会在“为什么”的问题上挖掘得最深，但它能产出组织最严密、最一致的报告。它就像一位项目经理，总是能按时交付一份整洁、完整的文档，即便其中的细节可能略显程式化。
- Biomni（富有创意的讲述者）： 这个基于 Claude 系列的智能体非常擅长“大局观”层面的生物学解读。它能讲述一个关于数据含义的动人故事。然而，它经常跳过那些枯燥但至关重要的步骤，比如清洗数据或检查错误。它就像一个写出了精彩结局却忘了解释角色是如何到达那里的讲述者。
- ChatGPT（全才型选手）： 研究人员加入了著名的通用型 ChatGPT 作为基准。在没有经过专门生物学训练的情况下，它表现挣扎。它大多只做基础数学运算，并且经常无法生成一份完整的报告，在每个类别中都排名垫底。这表明，仅仅依靠一个聪明的通用工具对于专门的科学工作是不够的。
这场比赛最重要的教训不在于谁拿了第一名。研究人员发现，“框架”（harness）——即围绕 AI 构建的具体工具和规则——比 AI 本身的“大脑”更为重要。一个拥有强大的安全网和清晰工作流的智能体（如 Finch），可以击败一个虽然更聪明但缺乏结构的智能体。
他们还发现，“可重复性”是一件复杂的事情。其中一个智能体 ChatGPT 在化学类别中表现得非常一致，但那仅仅是因为它一直在给出简短且浅薄的回答。而另一个智能体 K-Dense 则始终保持着深度和细节。保持一致并不总是意味着正确或有用；有时，这仅仅意味着固执地保持原样。
最后，论文指出，我们不应该寻找一个能取代所有人类科学家的单一 AI 机器人。相反，未来的景象更像是拥有一个专门化的 AI 工具团队，每个工具各司其职，而人类则在旁监督，以确保它们讲述的故事是真实的。这场竞赛表明，虽然 AI 可以承担数据分析的繁重工作，但我们仍需担任编辑的角色，去审核它们的工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。