🧬 biology

AgentPLM: Agentic Protein Language Models with Reasoning-Augmented Decoding for Protein Sequence Design

AgentPLM 引入了一种智能体蛋白质语言模型，该模型结合了推理增强解码与外部生物物理工具以及对比智能体策略优化，以实现在线错误纠正并在多种蛋白质序列设计任务中达到最先进的性能。

原作者： Sahil Rahman, Maxx Richard Rahman

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Sahil Rahman, Maxx Richard Rahman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下你正在尝试为一道新菜编写一份完美的食谱。

旧的方法（被动蛋白质模型）：
目前，大多数用于设计蛋白质的 AI 工具就像一位读过数百万本食谱、却从未真正品尝过自己写的食物的厨师。它们通过一次性的快速生成来产生一份食谱（蛋白质序列）。它们完全依赖于对“通常”有效情况的记忆。

问题在于： 如果厨师写了一份需要用 500°F 高温烘焙蛋糕（这会把蛋糕烤焦）或者混合会导致爆炸的食材的食谱，AI 直到最后才知道。它没有办法停下来、品尝面糊、检查烤箱，或者询问营养师这些食材是否安全。它只是不停地写，直到食谱完成，结果往往是做出的菜肴在纸面上看起来很好，但在现实世界中却失败了。

新的方法 (AgentPLM)：
这篇论文介绍了 AgentPLM，它就像是给那位厨师配备了一个专家顾问团队和一套可以在写作过程中使用的工具。

以下是它的工作原理，分为几个简单的部分：

1. “思考”的停顿（推理增强解码）

它不是从头到尾直接写完食谱，而是在关键时刻停下来询问它的专家：

“这个结构能撑得住吗？”（它调用一个名为 ESMFold 的工具来检查形状）。
“这是否太不稳定了？”（它调用 FoldX 来检查能量）。
“它会与目标结合得紧吗？”（它调用 AutoDock Vina 来检查结合程度）。

如果专家说：“嘿，这部分可能会塌陷，”AI 不仅仅是忽略它。它会回去修改成分（氨基酸），然后再次尝试。这就像厨师在端上饭菜之前先品尝酱汁并调整盐分，而不是等到顾客投诉才行动。

2. “智能记忆”（轨迹记忆缓冲区）

由于 AI 在编写一个蛋白质的过程中可能会多次询问这些问题，它需要记住专家之前说过的话。AgentPLM 有一个特殊的记忆库，记录了它收到的所有建议。这确保了当它决定最后一种成分时，它还记得第一个成分需要足够强壮以支撑整个结构。

3. 从错误中学习（对比代理策略优化）

这是最重要的一部分。AI 不仅仅是复制它以前见过的“好”食谱。它学习何时去寻求帮助。

想象你在训练一名学生。你可以只是向他们展示一份“A+ 论文”列表，并告诉他们模仿这种风格。
或者，你可以展示两条路径：一条路径中，学生在正确的时机向老师寻求了帮助并得到了 A；另一条路径中，学生试图独自猜测一切并失败了。
AgentPLM 通过比较这两条路径来进行学习。它学到了向“神谕”（专家工具）求助不仅仅是浪费时间，更是将一个坏主意转化为好主意的特定时刻。它学习的是设计的“策略”，而不只是最终结果。

他们发现了什么？

研究人员在五种不同的困难任务上，将这种新型“智能体（Agentic）”厨师与旧有的“被动式”厨师进行了对比测试，这些任务包括设计抗体（用于对抗疾病）、制造酶（用于加速化学反应）以及创造耐热蛋白质。

结果： AgentPLM 表现得显著更好。例如，在设计抗体时，它发现成功候选物的频率比之前最好的 AI 高出 4 倍。
原因： 论文表明，该 AI 不仅仅是猜得更快，它实际上是在实时“纠正”自己的错误。当 AI 停下来检查自己的工作时，它成功修复了那些旧模型会完全错过的错误。

核心结论

AgentPLM 将蛋白质设计从“一次性猜测”转变为一场“对话”。它将一个仅仅预测下一个词的被动 AI，变成了一个能够思考、检查工作、寻求帮助并修正航向的主动智能体，从而构建出更好、更稳定且功能更强的蛋白质。

技术摘要：AgentPLM

1. 问题定义

目前的蛋白质语言模型（PLMs），如 ESM-2 和 ProtTrans，充当的是“被动预言机（passive oracles）”。它们基于在进化数据上训练的下一标记预测（next-token prediction），通过单次前向传播生成蛋白质序列。尽管这些模型在零样本适应度预测方面非常有效，但它们存在一个根本性的局限：缺乏在生成过程中咨询外部生物物理反馈的机制。因此，如果候选序列违反了热力学稳定性、结构约束或结合特异性，它们无法动态地重新引导序列生成。这种“结构盲视（structural blindness）”和“上位效应盲视（epistic blindness）”（即低估长程残基依赖性）使得 PLMs 在进化记录无法提供足够指导的分布外（out-of-distribution）设计目标面前显得非常脆弱。

本文将蛋白质设计框架化为一个受约束的优化问题，而非静态的序列生成任务，其目标是在最大化适应度函数 $f(S)$ 的同时，满足通过计算预言机（如 ESMFold、FoldX、AutoDock Vina）估计的生物物理约束 $C$ 。

2. 方法论：AgentPLM

AgentPLM 将预训练的 PLM 转化为一个能够将自回归序列生成与结构化工具调用交织在一起的智能体系统（agentic system）。该框架被建模为一个部分可观测马尔可夫决策过程（POMDP），由四个关键的架构与算法组件组成：

A. 架构

扩展词表与工具调用初始化： 标准氨基酸词表通过添加用于工具调用的标记（每个预言机一个）以及一个序列结束标记进行了扩展。至关重要的是，工具标记通过自然语言描述的预言机功能（例如“预测热力学稳定性的变化”）映射到 ESM-2 嵌入空间进行语义初始化。这确保了工具标记从一开始就处于与氨基酸相同的表示流形中，从而减少了学习所需的梯度步数。
工具上下文编码器（Tool Context Encoder, TCE）： 一个统一的编码器将异构的预言机输出（例如每残基 pLDDT 分数、标量 $\Delta\Delta G$ 、结合向量）投影到模型的潜空间中。它使用交叉注意力机制将预言机输出与模型当前的隐藏状态进行整合。
轨迹记忆缓冲器（Trajectory Memory Buffer, TMB）： 为了高效管理上下文窗口，TMB 维护了一个包含所有过去工具调用信息的恒定大小的压缩情节记忆（episodic memory）。它通过一个学习到的门控机制将此记忆注入 Transformer 的残差流中，从而使模型能够在不产生二次方注意力成本的情况下，根据完整的预言机交互历史对未来的生成进行条件化。
推理增强解码（Reasoning-Augmented Decoding, RAD）： 这是推理阶段的策略。在每一步，模型会选择氨基酸或工具调用。
- 动态回溯（Dynamic Backtracking）： 如果选择了工具调用，则调用预言机，由 TCE/TMB 更新上下文，并且模型在不推进序列索引的情况下重新评估当前位置。
- 结构自洽性（Structural Self-Consistency, SSC）： 这是一种新型的安全机制，当模型对部分序列的内部信念与预言机的潜在反馈不一致时（SSC 分数较低），会强制执行工具调用，这起到了主动不确定性解决的作用。
- 预算约束： 为防止退化循环，RAD 规定了调用之间的最小间隔以及每个序列的最大工具调用预算。

B. 训练目标：对比智能体策略优化（Contrastive Agent Policy Optimisation, CAPO）

本文引入了 CAPO，这是直接偏好优化（DPO）在轨迹层面的扩展。

数据构建： 使用参考策略生成轨迹。“获胜者（Winner）”轨迹（具有高适应度序列且工具使用连贯）与“失败者（Loser）”轨迹（适应度低或工具使用矛盾）进行配对。
损失函数： 该目标通过对比获胜轨迹与失败轨迹的对数概率（并由参考策略归一化）来进行学习。这教会了模型何时调用预言机以及如何利用其反馈，而不仅仅是模仿高适应度序列。
辅助损失： 工具一致性损失惩罚那些与观察到的预言机信号相矛盾的氨基酸选择，从而正则化策略以使其符合生物物理现实。

3. 核心贡献

推理增强解码（RAD）： 一种将生成与工具调用交织的解码策略，利用端到端在蛋白质工程目标上训练的学习型工具上下文编码器和轨迹记忆缓冲器。
对比智能体策略优化（CAPO）： 一种新型训练目标，通过对比高适应度轨迹与连贯工具使用，以及低适应度轨迹，来学习预言机反馈的时机和效用。
最先进的性能表现： 该框架证明了智能体推理（而非仅仅是增加计算量或扩大模型规模）驱动了复杂蛋白质设计任务中的性能提升。

4. 实验结果

AgentPLM 在五个基准任务上进行了评估：热稳定性（ThermoStab-75）、抗体优化（AntibodyOpt-VH）、酶设计（EnzymeDesign-EC3）、蛋白质-蛋白质相互作用（PPI-Interface）以及零样本适应度预测。

性能增益： AgentPLM 在所有任务中均达到了最先进水平。值得注意的是，相比于最强的被动基准模型（ESM-2），它将抗体前 10% 的命中率提高了 2.79 倍；在酶设计任务中，相比于次优基线（ProtAgent），其归一化 $k_{cat}/K_m$ 提升了 41%。
机制证据：
- 轨迹分析： 对工具调用密度的分析揭示了一种学习到的“时间分工”：ESMFold 调用在早期达到峰值（折叠兼容性），FoldX 调用在中段序列达到峰值（连接处的稳定性），而 AutoDock Vina 调用在序列后期达到峰值（结合界面形成）。这模拟了人类专家的推理策略。
- 在线错误纠正： 集成梯度归因显示，在发生破坏稳定性的 FoldX 调用后，注意力权重集中在受影响的残基上（增加了 1.8 倍），证实了模型可以在无需显式回溯的情况下，根据预言机反馈主动重新引导生成。
消融研究： 移除 RAD 会导致性能下降约 30%-46%，证实了在线反馈是主要的驱动力。将 CAPO 替换为标准的监督微调（SFT）会导致性能下降，证明了对比目标对于学习“何时”使用工具至关重要。

5. 重要性与主张

本文声称 AgentPLM 解决了当前 PLM 的静态特性与专家级蛋白质工程的迭代、反馈驱动特性之间的根本错位。通过将蛋白质设计视为具有在线生物物理反馈的顺序决策问题，AgentPLM 实现了被动模型无法复制的性能提升。

作者强调，这些增益源于性质不同的推理轨迹，而非额外的计算量。这项工作支持了这样一种观点：智能体范式与生成范式是互补的——像 ESM-2 这样的模型的进化先验是必要的，但对于复杂设计而言是不充分的，而 RAD 提供了满足同步、非加性约束（热稳定性、溶解度、结合）所需的迭代优化过程。论文总结道，该框架为在进化信号不足的情况下进行鲁棒的分布外蛋白质设计提供了一条路径。