LABBench2: An Improved Benchmark for AI Systems Performing Biology Research

该论文介绍了 LABBench2，这是一个包含近 1900 项任务的改进版基准，旨在通过更贴近现实的科学任务来评估 AI 系统在生物学研究中的实际工作能力，并揭示了当前前沿模型在此类任务上仍面临显著挑战。

要点

这篇论文介绍了一个名为 LABBench2 的新工具，你可以把它想象成是给 AI 科学家进行的一场"超级升级版的生物实验大考"。

为了让你更容易理解，我们可以把这项研究比作从“做数学题”到“真正开一家餐厅”的跨越。

1. 背景：为什么需要这场新考试？

以前，AI 在科学领域主要是在做“填空题”或“选择题”。就像学生背熟了教科书，能回答“光合作用的公式是什么”这种问题。这被称为 LAB-Bench（第一代考试）。

但是，真正的科学研究不是背公式，而是像在一家繁忙的餐厅里当主厨：

• 你需要去查最新的食谱（文献检索）；
• 你需要看懂复杂的厨房监控图（图表理解）；
• 你需要去仓库找特定的食材（数据库访问）；
• 如果菜做失败了，你得知道是盐放多了还是火候不对（实验排错）；
• 你甚至要自己设计一道新菜（实验规划）。

第一代考试（LAB-Bench）虽然是个好开始，但题目太简单、太理想化了（比如直接把图片给 AI 看，而不是让 AI 自己去书里找）。现在的 AI 太聪明了，做这些简单题已经像“切菜”一样轻松，甚至超过了人类。所以，我们需要一个更难、更真实的考试，看看 AI 到底能不能真正帮科学家干活。这就是 LABBench2 诞生的原因。

2. LABBench2 考什么？（新考场的五大关卡）

这次考试包含了近 1900 道 题目，难度大幅提升，主要考察 AI 在五个方面的“实战能力”：

• 关卡一：文献侦探 (Literature)

  • 旧考法：直接给你一篇文章，问“作者说了什么？”
  • 新考法 (LABBench2)：只给你一个模糊的问题（比如“治疗这种病的最新专利是什么？”），AI 必须自己去茫茫书海里搜索正确的文章，甚至还要去查专利局和临床试验的数据库，并且要能判断哪些资料是靠谱的，哪些是垃圾信息。
  • 比喻：以前是让你读给定的菜单，现在是让你自己去菜市场找最新鲜的食材，还要辨别哪个摊主在吹牛。

• 关卡二：数据寻宝 (Data Access)

  • 旧考法：简单的数据库查询。
  • 新考法：面对成千上万个复杂的生物数据库，AI 需要像寻宝猎人一样，在成千上万条记录中找到那个特定的基因序列或蛋白质数据。这就像在图书馆的几百万本书里，凭一个模糊的线索找到唯一一本特定的书。

• 关卡三：分子乐高 (Molecular Biology)

  • 内容：处理 DNA 序列。
  • 新挑战：以前 AI 可以直接看到 DNA 序列（像看乐高图纸）。现在，AI 必须学会读取文件，或者从数据库下载序列，然后像拼乐高一样，精确地设计引物或克隆方案。哪怕错一个字母，整个实验就失败了。
  • 比喻：以前是照着图纸拼积木，现在是要自己从仓库搬积木，还要保证每一块都严丝合缝，不能多也不能少。

• 关卡四：故障排除 (Protocol Troubleshooting)

  • 内容：给 AI 一个有错误的实验步骤，让它找出问题。
  • 新挑战：错误变得更隐蔽，实验步骤更长、更复杂。就像给 AI 一个故障的机器，让它找出是哪个螺丝松了，而不是直接告诉它“这里坏了”。

• 关卡五：实验规划师 (Experiment Planning)

  • 内容：从头设计一个完整的分子克隆实验。
  • 新挑战：AI 需要像总建筑师一样，从零开始规划整个实验流程，选择什么试剂、分几步走，并且要能生成机器可执行的代码来验证方案是否可行。

3. 考试结果：AI 表现如何？

这次考试的结果有点“喜忧参半”，但也揭示了真相：

• 难度确实大了：相比第一代考试，AI 的得分普遍下降了 26% 到 46%。这说明 LABBench2 真的很难，不再是简单的“背题”能过的了。
• 工具是双刃剑：
  • 当 AI 能使用搜索工具和代码工具时，它在查资料、写代码方面表现很好（就像给了主厨一把好用的刀）。
  • 但是，一旦涉及到从复杂的 PDF 文件里找图，或者在专业的数据库里精准提取数据，AI 就经常“迷路”或“抓瞎”。
• 视觉能力很强，但“找图”能力弱：如果你直接把一张图表给 AI 看，它能看懂（就像看图说话）。但如果让它自己去一篇几百页的论文里找到那张图，它经常找不到。
• 细节决定成败：在处理 DNA 序列时，AI 经常因为“粗心”（比如把文件读错了，或者代码写错了一个字符）而失败。这说明 AI 在处理精确的、长串的字符时，还不够像人类专家那样严谨。

4. 总结与启示

这篇论文的核心观点是：AI 在科学领域已经不再是“只会背书的优等生”，但离“能独当一面的科研助手”还有很长的路要走。

• 现在的 AI：能看懂你给它的东西，也能做简单的搜索。
• 未来的 AI 需要：
  1. 更强的导航能力：能在复杂的科学文献和数据库里精准定位，不迷路。
  2. 更严谨的执行力：在处理 DNA 序列等精确数据时，不能出错。
  3. 真正的判断力：不仅能找资料，还能判断资料的质量（比如区分哪些临床试验是靠谱的）。

一句话总结：LABBench2 就像给 AI 科学家发了一张真实的“上岗证”考试卷。虽然现在的 AI 已经能考个及格分，但要想真正帮人类科学家发现新药、攻克疾病，它们还需要在“找资料”、“读图表”和“精准操作”上再练练级。

技术摘要

LABBench2 技术总结：面向真实世界生物学研究的 AI 系统改进基准

1. 研究背景与问题 (Problem)

随着人工智能（AI）在科学发现中的应用日益深入，从训练专用基础模型到自主代理（Agentic）假设生成系统，再到 AI 驱动的自动化实验室，人们对其加速科学发现的期望不断高涨。然而，现有的评估基准往往存在以下局限性：

• 脱离真实场景：许多基准（如早期的 LAB-Bench）为了便于评分，采用了多项选择题（MCQ）形式，且任务设置不够真实（例如直接提供图表而非在论文上下文中检索）。
• 能力评估单一：现有基准多侧重于死记硬背的知识或简单的推理，缺乏对 AI 执行有意义、多步骤科研工作的实际能力的评估。
• 模型能力溢出：随着前沿大模型能力的提升，旧版基准（LAB-Bench）的部分子任务已出现“饱和”甚至超人类表现，无法有效区分模型间的真实差距。

核心问题：如何构建一个更贴近真实科研流程、难度更高、能全面评估 AI 系统在生物学领域执行实用任务能力的基准？

2. 方法论 (Methodology)

本文提出了 LABBench2，作为 LAB-Bench 的进化版，旨在通过更真实的任务框架来评估 AI 系统的实际科研能力。

2.1 数据集构建

• 规模：包含近 1,900 个任务。
• 任务分类：任务分布在五大核心类别中，涵盖了从文献检索到实验设计的全流程：
  1. 文献理解与检索 (Literature)：包括 LitQA3（开放式问答）、PatentQA（专利检索）、TrialQA（临床试验检索）、SourceQuality（文献来源质量评估）、SuppQA2（补充材料检索）。
  2. 数据访问 (Data Access)：DbQA2，涉及从 43 种特定的生物数据库中检索精确信息。
  3. 协议排查 (Protocol Troubleshooting)：ProtocolQA2，要求识别经过修改的、包含错误的实验协议中的具体错误。
  4. 分子生物学辅助 (Molecular Biology)：SeqQA2（序列处理）和 CloningQA（克隆方案设计）。
  5. 实验规划 (Experiment Planning)：涉及端到端的分子克隆协议设计。

2.2 关键改进策略

• 从封闭到开放：将多项选择题改为开放式回答 (Open-response)，迫使模型生成具体内容而非选择选项。
• 增加上下文复杂度：
  • 检索模式 (Retrieval)：模型需自主检索正确的源文件（论文、专利、临床试验），而非直接提供。
  • 文件交付 (File Delivery)：要求模型从提供的 PDF 或数据文件中解析信息，而非仅通过文本提示注入。
  • 多模态理解：在 FigQA2 和 TableQA2 中，区分了“仅看图”、“在整篇论文中找图”和“检索后看图”三种模式。
• 引入新领域：增加了专利（Patents）和临床试验（Clinical Trials）的检索任务，以及评估文献来源质量（SourceQuality）的任务，模拟真实的证据合成过程。
• 自动化验证：对于分子生物学任务（如引物设计、克隆方案），开发了自定义的验证函数（Verifier functions），通过 in silico（计算机模拟）PCR 或酶切反应来验证模型输出的正确性，而非依赖人工评分。

2.3 任务构建流程

任务由持有生物学博士学位的领域专家构建。专家使用专用平台编写问题，确保问题只能通过指定的源文件回答，且答案不与源文件其他部分冲突。所有任务经过多轮审查和修订，以保证高质量和答案的确定性。

3. 主要贡献 (Key Contributions)

1. 发布了 LABBench2 基准：包含近 1,900 个任务，显著扩展了 LAB-Bench 的范围和真实性，涵盖了文献、数据、协议、分子生物学和实验规划。
2. 引入了更真实的评估范式：
   • 全面采用开放式回答。
   • 增加了基于检索（Retrieval）和文件解析（File-based）的任务变体。
   • 新增了专利、临床试验和文献质量评估任务。
3. 提供了基准数据集与评估工具：公开了任务数据集（Hugging Face）和公共评估框架（GitHub），供社区使用。
4. 确立了新的性能基准：通过评估当前最先进（Frontier）的模型，揭示了现有 AI 在真实科研场景中的显著差距。

4. 实验结果 (Results)

对当前前沿模型（包括基础模型及配备工具如网络搜索、代码执行的模型）的评估显示：

• 难度显著提升：相比 LAB-Bench，LABBench2 导致模型准确率大幅下降。不同子任务中，模型特定准确率的差异范围在 -26% 到 -46% 之间。
• 工具增强的局限性：
  • 虽然工具（如网络搜索、代码执行）显著提升了信息检索类任务（如 LitQA3）的表现，但在文档定位（在长文中找到特定图表）和非结构化数据解析（如补充材料中的 Excel/PDF）方面，性能提升有限。
  • DbQA2（数据库访问） 是最具挑战性的类别之一，即使使用工具，模型在导航专业科学数据库和提取精确信息方面仍表现不佳。
• 视觉理解的差距：模型在直接提供图片时表现良好，但在需要从整篇论文中检索并理解图表时，性能显著下降。
• 分子生物学任务的脆弱性：
  • 对于序列处理（SeqQA2）和克隆设计（CloningQA），输入模态影响巨大。直接提示注入（In-line）通常优于文件读取，而基于检索的任务表现最差。
  • 模型在处理长序列（如 3000bp 以上）和精确字符串操作时容易出错，但专用工具（如代码执行）能显著缩小模型间的差距，起到“均衡器”的作用。
• 科学判断力：在 SourceQuality 任务中，模型难以像人类专家那样独立识别排除某项研究的深层原因，往往过度依赖预设的检查清单。

5. 意义与启示 (Significance)

• 重新定义科研 AI 的评估标准：LABBench2 证明了仅靠推理能力的提升不足以应对真实科研任务。未来的 AI 系统必须具备鲁棒的检索能力、文档导航能力以及对非文本数据（数据库、图表）的精确处理能力。
• 揭示关键瓶颈：
  • 检索与定位：模型难以在海量文献中精准定位特定信息。
  • 精确性：在处理 DNA 序列等需要严格字符串一致性的任务时，模型表现脆弱。
  • 科学判断：模型缺乏独立进行科学甄别（Scientific Discernment）的能力，难以超越机械的规则遵循。
• 指导未来开发方向：
  • 需要开发更强大的检索增强生成（RAG） 机制，特别是针对异构科学文档。
  • 需要构建专用工具链（如序列分析工具、数据库 API 交互代理），以弥补模型在精确操作上的不足。
  • 未来的基准应进一步向长周期任务组合（从文献搜索到湿实验执行）和模糊结果评估方向发展。

总结：LABBench2 不仅是一个更难的测试集，更是一个风向标，表明 AI 在科学领域的应用正从“知识问答”向“执行真实科研任务”转型，而目前的模型在这一转型中仍面临巨大的挑战，特别是在数据访问、文档理解和精确操作方面。