🤖 machine learning

Towards A Generative Protein Evolution Machine with DPLM-Evo

本文介绍了 DPLM-Evo，这是一种新颖的进化离散扩散框架，它通过在解耦的潜在空间中对替换、插入和删除操作进行显式建模，使蛋白质生成与生物学直觉相一致，从而实现了最先进的突变预测，并支持灵活的可变长度蛋白质设计。

原作者： Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Yu Li, Shujian Huang, Quanquan Gu

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Yu Li, Shujian Huang, Quanquan Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Towards A Generative Protein Evolution Machine with DPLM-Evo》的通俗解读，辅以富有创意的类比。

宏观图景：教 AI 像自然一样“编辑”蛋白质

想象蛋白质是用 20 个字母（氨基酸）写成的长句。几十年来，科学家们一直试图教计算机写出新的、有功能的蛋白质句子。

大多数当前的 AI 模型运作起来就像一场“填词游戏（Mad Libs）”。它们拿一个句子，用黑框（掩码）遮住一些词，然后让 AI 猜测框里该填什么。虽然这种方法在填空方面效果不错，但它并没有真正模仿自然的进化方式。在自然界中，进化不仅仅是替换单词；它涉及添加新词、删除旧词，以及改变句子的长度，以使其运作得更好。

DPLM-Evo 是一个新的 AI 模型，它不再玩填词游戏，而是开始像一个真正的编辑那样行动。它学习显式地进行替换（交换字母）、插入（添加字母）和删除（移除字母），就像生物进化所做的那样。

核心问题：“固定尺寸画布”的陷阱

将现有的蛋白质 AI 模型想象成在固定尺寸的画布上作画的艺术家。无论他们画什么，画布的大小总是固定的。如果自然想要通过添加几个额外的氨基酸来延长一个环状结构从而进化出一种蛋白质，这些模型就会因为无法拉伸画布而陷入困境。它们被迫保持长度不变，这限制了其“进化”的真实程度。

解决方案：“可扩展素描本”（潜在对齐）

DPLM-Evo 通过一种称为**潜在对齐（Latent Alignment）**的巧妙技巧解决了这个问题。

想象你有一本素描本，每一页在每一个字母之间都画有额外的空白空间（间隙）。

观测序列：这是你看到的最终句子（例如："CAT"）。
潜在空间：这是带有间隙的素描本页面（例如："C _ A _ T _"）。

AI 在这个带有间隙的“素描本”上进行繁重的计算。

插入：AI 只需将空白间隙 _ 变成一个字母。句子变长了。
删除：AI 将一个字母变成空白间隙 _。句子变短了。
替换：AI 将一个字母交换为另一个字母。

因为 AI 是在带有间隙的素描本上工作，它可以自然地增长或缩短蛋白质，而不会破坏数学逻辑。这就像拥有一条磁性字母带，你可以滑入新字母或拉出旧字母，而不是被困在僵硬的网格中。

“智能噪声”引擎

在训练这些模型时，计算机通常从一个干净的蛋白质开始，向其添加“噪声”（随机变化），然后尝试学习如何将其修复回来。

旧方法（均匀噪声）：想象向蛋白质扔一支飞镖，随机将某个字母改为任何其他字母。这就像将“亮氨酸”（一种脂肪、油腻的氨基酸）随机改为“精氨酸”（一种带电、咸味的氨基酸）。在生物学中，这往往是一场灾难，会破坏蛋白质。这就像试图通过随机将轮胎换成烤面包机来修理汽车引擎。
DPLM-Evo 的方法（情境化进化噪声）：该模型使用智能噪声引擎。在做出改变之前，它会查看周围的字母，并问：“自然在这里可能会做什么？”它只建议生物学上合理的改变（例如，将一个油性字母换成另一个油性字母）。

这就像拥有一位懂得语法规则和物理定律的导师，而不是一个随机扔飞镖的普通人。AI 学得更快，并且能更好地理解“生命规则”，因为它试图修复的错误是现实的，而非不可能的。

这个模型实际上能做什么？

该论文展示了三种主要的超能力：

预测突变（“水晶球”）：
如果你给模型一个蛋白质并问：“如果我改变这个字母会发生什么？”它预测的效果优于几乎所有其他单序列模型。它在这方面做得如此出色，以至于仅凭理解进化的“语言”，就能击败那些使用复杂 3D 结构数据的模型。
生长和收缩蛋白质（“变形者”）：
因为它可以插入和删除，所以它可以生成不同长度的蛋白质。你可以让它从一个 100 个字母的蛋白质开始，将其进化为 120 个字母的蛋白质，或者将其缩减为 90 个字母，同时保持核心结构完整。这就像一位雕塑家可以添加黏土或将其雕刻掉以改变形状，而不仅仅是在固定的块上绘画。
优化现有蛋白质（“调音师”）：
作者在绿色荧光蛋白（GFP）（一种发绿光的蛋白质）上测试了这一点。他们利用该模型在计算机模拟中“直接进化”该蛋白质。
- 他们从原始的 GFP 开始。
- 模型进行小幅度编辑（替换、添加、删除）。
- 他们保留最佳版本并重复该过程。
- 结果：该模型创造了一个比原始版本显著更稳定（结构更强）的 GFP 版本，并且其速度比以前的方法更快。这就像凭听觉调校琴弦直到音符完美，而不是仅仅猜测随机的琴弦。

总结

DPLM-Evo 是一个新工具，它教导 AI 将蛋白质进化理解为一种动态的编辑、添加和移除过程，而不是填空游戏。通过使用灵活的“素描本”系统和用于训练的“智能导师”，它创造出更真实、更多样化和更优化的蛋白质，弥合了计算机科学与自然构建生命方式之间的差距。

以下是论文《Towards A Generative Protein Evolution Machine with DPLM-Evo》的详细技术总结。

1. 问题陈述

现有的离散扩散蛋白质语言模型（DPLMs）在理解和生成蛋白质序列方面已展现出潜力。然而，它们与生物现实存在根本性的错位：

掩码与进化： 当前的 DPLMs 依赖于掩码扩散，其前向过程用掩码 token 替换 token，而生成过程涉及迭代恢复这些掩码。这与蛋白质通过累积编辑（替换、插入和删除）而非从掩码的虚空中涌现这一生物直觉相悖。
固定长度限制： 掩码扩散在固定长度的序列上运行。它缺乏对**插入和删除（Indels）**的原生机制，而这些机制对于重塑柔性区域（loop）、调整连接子长度以及创制功能基序至关重要。
低效训练： 标准扩散模型通常使用均匀噪声进行破坏，这忽略了生物物理约束和进化依赖性，导致对突变模式的学习效率低下。

因此，现有模型在不依赖多序列比对（MSA）的情况下，难以实现可变长度生成、对现有蛋白质进行逼真的后编辑，以及准确预测突变效应（尤其是针对 indels）。

2. 方法论：DPLM-Evo

作者提出了DPLM-Evo，这是一个显式建模替换、插入和删除操作的进化离散扩散框架。

A. 潜在对齐空间解耦

为了在固定维度的计算框架内处理可变长度序列，DPLM-Evo 解耦了两个空间：

观测空间（ $X$ ）： 可变长度的蛋白质序列 $x$ 。
潜在对齐空间（ $Z$ ）： 一个上采样长度（例如 $2 \times L$ ）的空间，包含原始残基以及交错排列的间隙 token（ $\phi$ ）。

机制： 前向扩散过程定义在潜在空间 $Z$ 上。Indels 被表示为残基与间隙 token 之间的转换（ $\text{Residue} \leftrightarrow \phi$ ）。
坍缩： 确定性函数 $\Gamma^{-1}$ 移除间隙 token，将潜在序列映射回观测序列。这使得模型能够在扩展的潜在画布上执行改变长度的操作（插入/删除），同时在坍缩后的观测序列上高效运行。

B. 进化加噪核

前向加噪过程旨在模拟生物进化，而非随机破坏：

上下文感知的进化加噪核： 模型不使用均匀随机替换，而是使用数据依赖核。对于目标位置，它采样一个辅助的部分掩码上下文，查询模型以获取预测，并利用该分布来破坏 token。这生成了尊重局部序列上下文和进化约束的生物学上合理的突变。
预热策略： 由于模型在训练初期不可靠，最初使用简单的数据独立核（掩码）。一旦训练完成，模型切换到上下文感知核。
转移矩阵（ $Q_{noise}$ ）： 显式参数化替换、插入和删除的比例，从而允许控制进化轨迹。

C. 架构与训练

三头预测： 在去噪过程中，模型为观测序列中的每个 token 预测三个量：
1. 替换头： 预测氨基酸分布。
2. 删除头： 一个二分类器，预测该 token 是否应被移除（转换为 $\phi$ ）。
3. 插入头： 一个二分类器，预测是否应在右侧插入新残基。
损失函数： 训练目标被分解为三个组件（替换、删除、插入），并赋予特定权重以解决类别不平衡问题（替换频繁；indels 罕见）。删除和插入被视为**二元交叉熵（BCE）**任务，以防止模式崩溃。

D. 采样（生成）

反向过程涉及迭代去噪循环：

删除： 具有高删除概率的 token 被移除。
插入： 在高插入概率的位置插入掩码 token。
替换： 所有噪声 token 根据替换头进行更新。
重加噪： 使用上下文感知核对选定的低置信度 token 进行重加噪，以保持多样性并避免局部最优。

3. 主要贡献

进化离散扩散： 首个在统一离散扩散过程中显式建模替换、插入和删除的框架，超越了“掩码 - 恢复”范式。
长度自适应建模： 通过将潜在对齐空间与观测空间解耦，该模型实现了可变长度生成和编辑，且计算开销可忽略不计。
生物信息加噪： 引入了上下文感知的进化加噪核，生成进化上合理的突变，显著提高了训练效率以及模型捕捉进化依赖性的能力。
统一的理解与生成： 该框架弥合了生成式建模与进化生物学之间的鸿沟，实现了高质量序列生成和精确突变效应预测。

4. 实验结果

A. 变异效应预测（理解）

ProteinGym 替换基准： DPLM-Evo 在单序列模型中实现了**最先进（SOTA）**的性能，优于 ESM-2、ESM-1v 和原始 DPLM。即使在单序列设置下，它也超越了使用结构的 ESM-IF1。
ProteinGym Indel 基准： DPLM-Evo 实现了 0.495 的斯皮尔曼相关系数，显著优于其他单序列基线（例如 ProGen2 M 为 0.464），并接近基于 MSA 的方法。这验证了显式 indel 建模的有效性。
消融实验： 用均匀噪声替换上下文感知核会导致性能显著下降（斯皮尔曼相关系数从 0.42 降至 0.295），证明了基于生物学的噪声的重要性。

B. 无条件生成

可折叠性： 生成的序列实现了高 pLDDT 分数（83.6），与 DPLM（84.0）和 DiMA（83.3）相当。
多样性： 与掩码扩散模型相比，DPLM-Evo 表现出更高的序列熵和更低的重复率，有效缓解了模式崩溃。
长度控制： 该模型生成的序列长度集中在初始种子附近，展示了保守且受控的 indel 使用。

C. 条件生成与优化

基序支架： 在零样本和微调设置中，DPLM-Evo 利用动态长度调整，在支架化功能基序方面取得了比 EvoDiff 和 DPLM-Mask 更高的成功率。
定向进化（GFP）： 在优化绿色荧光蛋白（GFP）时，支持 indel 的 DPLM-Evo 在 7 次迭代中达到了 0.857 的 pTM 分数（比仅支持替换的方法快 65%），优于 ESM-2（0.737）。它成功保留了发色团结构，同时提高了全局稳定性。
计算机模拟家族扩展： 该模型可以从单个种子生成多样化的序列，这些序列保持结构相似性（低 RMSD），同时实现低序列一致性（<50%），有效地模拟了自然家族扩展。

5. 意义

DPLM-Evo 代表了蛋白质生成式建模的范式转变，它将扩散模型的数学框架与蛋白质进化的生物现实相统一。

实际影响： 它实现了可变长度蛋白质设计，允许工程师自然地插入/删除 loop 和连接子，这在以前的固定长度模型中是困难的。
科学洞察： 上下文感知核的成功表明，蛋白质进化高度依赖于上下文，模型必须学习这些依赖性才能有效。
效率： 它在突变预测方面实现了 SOTA 性能，且无需计算昂贵的 MSA，使其成为快速蛋白质工程和药物发现的强大工具。

总之，DPLM-Evo 将离散扩散从静态序列恢复工具转变为动态的进化模拟器，能够理解进化约束，并通过显式的编辑轨迹生成新颖的功能性蛋白质。