BiomniBench: Process-level Evaluation of LLM Agents for Real-world Biomedical Research

本文介绍了 BiomniBench，这是一个新颖的流程级评估框架，它利用专家设计的评分标准，在真实世界的生物医学研究任务上评估大语言模型智能体，从而克服仅关注结果的基准测试的局限性，并揭示推理与方法选择中的关键缺陷。

要点

想象一下，你正在招募一支初级科学家团队，去解决一个基于著名真实医学发现的复杂谜题。过去，要评估他们是否表现出色，你只会查看他们的最终答案。如果答案正确，你就给他们一颗金星；如果错误，就给他们一个红叉。

本文指出，这种“仅看最终答案”的方法存在两大缺陷：

1. 幸运猜测：学生可能并非因为理解了科学原理而得出正确答案，而是因为他们背下了答案、作弊，或者纯粹是偶然猜对了。
2. 错误路径：学生可能采用了一种 brilliant、有效且富有创意的解题方式，与教师指定的具体方法不同。在旧规则下，仅仅因为他们的解题路径与教科书不完全一致，他们就会得到一个红叉。

为了解决这一问题，作者们创建了 BiomniBench。不妨将其想象成一场对学生整个思维过程的详细视频复盘，而非一次期末考试。他们不再仅仅检查最终得分，而是观看 AI 智能体如何工作的完整“电影”。他们使用由真实人类专家设计的特殊“评分细则”（检查清单），对 AI 采取的每一步进行评分，确保其真正理解了生物学知识，而非仅仅是在猜测。

他们测试了什么：
他们构建了一个名为 BiomniBench-DA 的特定版本，这就像拥有 100 个不同训练站的健身房。这些训练站涵盖了 17 种不同类型的数据分析、5 种不同的疾病领域以及普通生物学知识。这些“训练项目”基于《自然》（Nature）、《细胞》（Cell）和《科学》（Science）等顶级期刊中真实的、高风险的科学论文。关键在于，原始论文的撰写者（或对其了如指掌的专家）协助设计了这些测试，以确保其公平性和准确性。

他们发现了什么：
他们用这套新系统测试了当时最先进的人工智能模型，并发现了三个重大现象：

1. 最聪明的模型领先，但仍需学习：最先进的 AI 模型表现最佳，但在达到完美之前，它们仍有很长的路要走。
2. 工具与大脑同等重要：AI 模型有多聪明并不足以决定一切；“ harness”（运行 AI 的软件封装或工具）对结果的影响与模型本身同样巨大。这就好比一位优秀的司机也可能在故障车辆中发生车祸。
3. 特定弱点：AI 智能体在以下三个领域 consistently 表现不佳：选择正确的分析方法、理解生物学结果的实际含义，以及通过真正的科学推理将各个线索串联起来。

简而言之，BiomniBench 是首个能够让我们观察 AI 在真实世界医学研究中“思考”过程的工具，它揭示了许多简单的“对或错”评分完全会忽略的错误。

技术摘要

技术摘要：BiomniBench

问题陈述
当前针对生物医学研究中大型语言模型（LLM）智能体的评估方法严重依赖仅关注结果的基准测试，作者指出这些方法对于严格评估而言根本不足。这些传统指标在两个关键方面存在缺陷：首先，它们无法区分基于真实推理得出的正确答案与源于记忆、奖励劫持或随机概率得出的答案；其次，它们仅仅因为偏离单一参考解而惩罚有效的替代分析路径。因此，现有评估未能捕捉科学过程的细微差别，导致大量失效模式未被发现。

方法论
为了解决这些局限性，本文提出了BiomniBench，这是一个过程级评估框架，旨在根据专家设计的、特定任务的评分标准，对智能体行动的全轨迹进行评分，而不仅仅是对最终输出进行评分。

该框架的初始实例化版本BiomniBench-DA包含 100 个数据分析任务，其结构涵盖：

• 17 种分析任务类型
• 5 个疾病领域以及一个通用生物学类别
• 源材料：每个任务均基于顶级期刊（如《Nature》、《Cell》、《Science》）发表的高影响力论文。

至关重要的是，基准测试的开发过程涉及与原始论文作者或经验丰富的领域专家的直接合作，以确保评分标准和任务的有效性。评估方法论包括在四种不同的智能体框架下对前沿模型和开源权重模型进行基准测试，以隔离基础模型与智能体架构各自的影响。

主要贡献

1. 过程级框架：BiomniBench 被提出为首个专门针对执行现实世界生物医学研究的 AI 智能体的过程级基准测试，将焦点从智能体“回答了什么”转移到它“如何得出该答案”。
2. 专家验证的数据集：BiomniBench-DA 的创建包含 100 个与领域专家共同开发的任务，提供了一个高保真测试床，反映了实际科学探究的复杂性。
3. 综合评估协议：该框架支持对完整智能体轨迹进行评分，从而能够检测到仅关注结果的指标所遗漏的推理错误。

结果
对前沿模型和开源权重模型的基准测试得出了三项主要发现：

1. 性能差距：虽然前沿模型目前在性能上领先，但仍存在巨大的提升空间，表明当前的能力尚不足以支持完全自主的研究。
2. 框架敏感性：智能体框架的选择对性能有显著影响，框架架构对分数的影响程度甚至可与基础模型的选择相提并论。
3. 特定失效模式：智能体在三个特定领域 consistently 表现不佳：方法选择、生物学解释和科学推理。

意义
本文声称 BiomniBench 具有重要意义，因为它揭示了仅关注结果的评估无法检测到的 LLM 智能体失效模式。通过从简单的答案验证转向基于评分标准的科学过程评估，该框架为智能体开展生物医学研究的能力提供了更严格、更现实的衡量标准，突显了在这些系统能够可靠地部署于现实世界科学环境之前，必须解决的具体推理和解释差距。