技术摘要：TadA-Bench

问题陈述

AI 用于科学发现的领域正在向“智能体”（agentic）工作流转型，即模型不再是被动地拟合静态数据集，而是积极参与迭代决策。在蛋白质工程领域，这意味着系统能够阅读湿实验历史、分析数据，并为未来的实验优先排序候选者。然而，现有的基准测试往往无法评估模型从过去的实验轮次泛化到未来轮次的能力。标准的基准测试通常依赖于随机数据拆分，这测试的是插值能力（预测已知分布内的内容），而非关键的未来轮次发现（对仅在后续实验轮次中出现的变体进行排序）任务。目前缺乏能够保留真实定向进化活动中时间顺序结构的、可复现的大规模基准测试，以测试模型能否基于记录的既往证据来优先排序未来的湿实验结果。

方法论

1. 基准构建：TadA-Bench

作者引入了 TadA-Bench，这是一个源自 31 轮 TadA（腺苷脱氨酶）定向进化的固定数据、湿实验重放基准。

• 规模： 该数据集涵盖了通过二代测序（NGS）观察到的约一百万个变体。
• 视图： 它提供了对齐的 DNA、RNA 和蛋白质序列视图，允许在同一底层活动基础上评估基因组、转录本和蛋白质语言模型。
• 协议： 该基准定义了一个“未来轮次重放”任务。模型在早期轮次的变体和测量值（$D_{\le k}$）上进行训练，并评估其对仅出现在后续轮次中（$D_{> k}$）的变体的排序能力。在主要实例中，模型在第 1–27 轮上训练，在第 28 轮上验证，并在第 29–31 轮上测试。拆分是序列不相交的，以防止记忆效应。

2. 数据整合：Seq2Graph

一个核心方法论贡献是 Seq2Graph，这是一个基于图的流水线，旨在将嘈杂的多轮富集测量值统一为一致的活性标签。

• 挑战： 原始选择数据包含批次效应、嘈杂的富集估计以及跨 31 轮的局部成对不一致性。
• 机制：
  • 图构建： 在每一轮内，变体按读数计数富集程度进行排序。构建一个有向图，其中边连接排序列表中相邻的变体，权重由局部富集比例决定。
  • 锚定： 出现在多个轮次中的变体（序列重叠）作为“锚点”，用于连接整个活动过程中的局部排序图。
  • 消除不一致性： 该流水线将移除矛盾环（例如 $A > B > C > A$）的过程表述为加权反馈弧集（Weighted Feedback Arc Set）问题。使用贪心启发式算法移除低置信度的边，将图转化为有向无环图（DAG）。
  • 活性分配： 活性量表锚定在一个参考变体（TadA8e = 1.0）上。得分通过在对数域（乘性比例）中，从参考点经由最短边路径传播到所有其他节点。
• 输出： 这产生了针对 DNA、RNA 和蛋白质视图的序列定义相对活性标签，而无需推断生物学祖先或谱系树。

3. 评估框架

评估将生物语言模型视为智能体循环中的一个“排序模块”。

• 模型： 研究评估了 DNA 模型（Evo 2, Nucleotide Transformer）、RNA 模型（OmniGenome）和蛋白质模型（ESM2, ProtTrans, ESMC）。
• 协议：
  • 冻结编码器： 主要评估通过冻结预训练编码器并训练下游回归头来进行。
  • 适配检查： 包括全量微调和提示词微调（prompt tuning），以排除协议伪影的影响。
  • 指标： Spearman 秩相关系数 ($\rho$)、Recall@10% 以及 nDCG@10%。
  • 发现模式： 在有限预算（96 和 384 个变体，模拟标准板大小）下评估候选者优先排序情况。

关键结果

1. 未来轮次差距

代表性的生物语言模型在插值与未来轮次发现之间表现出显著的性能差距：

• 插值（随机拆分）： 在 8:1:1 的随机拆分下，蛋白质模型实现了很强的 Spearman 相关性 ($\rho \approx 0.8$)，表明标签空间是可学习的。
• 未来轮次发现： 在固定的时间顺序拆分下，性能急剧下降。DNA、RNA 和蛋白质视图的 Spearman 相关性均降至 $\rho \approx 0.03$–$0.05$。
• 适配性： 全量微调和提示词微调未能缩小这一差距（观测到的最佳 $\rho \approx 0.06$），这表明问题在于表示层能否优先考虑未来的证据，而不仅仅是回归头的问题。

2. 发现模式下的优先排序

在仅能测试有限数量候选者（例如 96 个）的“发现模式”设置下：

• 模型无法富集真正的具有高活性的未来变体。
• 前 5% 候选者的命中率接近随机水平（约为 3%–5%，而预期为 5%），这表明目前的模型无法有效地识别下一轮实验中具有前景的变体。

3. 进化覆盖度 vs. 局部密度

作者研究了训练数据的组成是否影响未来轮次的表现：

• 密度： 仅仅增加来自相同进化轮次的样本数量（随机子采样）收益递减。
• 覆盖度： 优先考虑进化覆盖度（选择来自不同轮次的变体或最大化与目标验证集的相似性）的子集，其表现优于来自有限轮次的大规模、高密度子集。
• 结论： 在 TadA-Bench 上，覆盖广泛的进化或功能区域对于未来轮次的发现比增加局部数据密度更具信息量。

4. 鲁棒性

• 生物学验证： 对关键变体进行的正交低通量 GFP 报告基因实验显示，与高通量 NGS 衍生的标签具有很强的一致性 ($\rho > 0.99$)。
• 计算鲁棒性： 通过自助法（Bootstrapping）分析（对轮次或序列进行子采样）证实，Seq2Graph 流水线生成的得分是稳定的 ($\rho > 0.90$)，验证了标签的一致性。

意义与主张

本文将 TadA-Bench 定位为一个可复现的基准，用于在部署到昂贵的闭环湿实验活动之前，测试未来智能体蛋白质工程系统的“排序”组件。

• 揭示瓶颈： 该基准揭示了当前的生物基础模型虽然在插值方面表现出色，但在处理特定任务——即对出现在未来实验轮次中的变体进行排序时，面临着巨大的困难。这被确定为迭代蛋白质工程工作流的一个具体瓶颈。
• 基准设计： 文章认为，蛋白质发现的基准必须保留活动结构（时间顺序和跨轮次一致性），而不是将所有变体视为独立的数据点。文中强调了“局部密度”与“进化覆盖度”之间的区别是一个关键的设计原则。
• 范围： 作者明确指出 TadA-Bench 隔离了排序问题。它并不评估规划策略、工具调用或自主执行，而是提供了一个稳定的、固定数据的测试，以验证表示层是否能够利用记录的实验历史来优先排序未来的候选者。

作者在 Hugging Face 和 GitHub 上发布了数据、代码和基准协议，以便在这一特定的、记录的实验轨迹上进行可复现的模型比较。