🧬 biology

Protein Folding with Neural Ordinary Differential Equations

本文提出了一种连续深度的神经常微分方程形式的Evoformer架构，该架构在保持预测合理蛋白质结构能力的同时显著降低了计算成本和内存占用，为AlphaFold等传统深度学习模型提供了一种轻量级且自适应的替代方案。

原作者： Arielle Sanford, Shuo Sun, Christian B. Mendl

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Arielle Sanford, Shuo Sun, Christian B. Mendl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正试图用一张纸折叠出一只复杂的折纸鹤。在生物学世界中，蛋白质就像这些纸张，但它们是由长链氨基酸构成的，必须扭曲和扭转成特定的三维形状才能发挥作用。如果折叠错误，它们就无法正常工作。

长期以来，预测这些蛋白质如何折叠的“黄金标准”是一个名为AlphaFold的系统。将 AlphaFold 想象成一位大师级折纸艺术家，他使用一本庞大的、循序渐进的说明书。为了获得正确的最终形状，这位艺术家必须经历48 个不同的步骤（称为“块”）。在每一步中，他们观察纸张，做出微小的调整，然后将其传递给下一步。当他们完成所有 48 个步骤后，纸张就被完美地折叠好了。

然而，这里有一个问题：经历 48 个步骤既缓慢又需要大量能量（计算能力）。这就像必须一步一步走上 48 层的楼梯，在每一层平台都要停下来查看地图。

新想法：平滑的滑梯代替楼梯

本文的作者 Arielle Sanford、Shuo Sun 和 Christian B. Mendl 提出了一个简单的问题：如果我们不必在每一步都停下来呢？如果我们能顺着平滑的斜坡滑下去呢？

他们从一种名为神经常微分方程（Neural ODEs）的数学概念中汲取灵感。简而言之，他们不再将折叠过程视为一系列 48 个独立的、僵硬的跳跃（离散步骤），而是将其建模为连续流。

想象一下以下两者的区别：

旧方法（AlphaFold）：走上 48 个不同的楼梯台阶。你必须确切记住在第 1 步、第 2 步……直到第 48 步时的位置。这占据了大量的心理空间（内存）和时间。
新方法（Neural ODE Evoformer）：顺着一条平滑弯曲的滑梯滑下。你不在特定点停留；你只是从顶部流向底部。因为你不需要在每一英寸都停下来“保存”你的位置，所以你不需要记住那么多。

他们是如何做到的

研究人员构建了 AlphaFold“引擎”（Evoformer）的新版本，使其像这个平滑的滑梯一样运作。

引擎：他们不是使用 48 套不同的指令，而是使用一套单一的指令，该指令随着时间流动而略有变化。
结果：他们用单个连续数学函数取代了 48 步楼梯。

他们的发现

他们使用蛋白质数据集测试了这个新“滑梯”与原始“楼梯”。结果如下：

速度更快，成本更低：新模型效率极高。原始 AlphaFold 预测蛋白质形状大约需要65 秒，而新模型仅需约5 秒。这快了10 倍以上。
节省内存：由于模型连续流动，它不需要存储每一步的“快照”。这意味着它可以在标准、单张计算机显卡（GPU）上运行，这种显卡你可能在台式游戏电脑中就能找到，而不需要庞大的超级计算机。
训练轻松：原始 AlphaFold 需要在数百个强大芯片上不间断计算11 天才能学会。而这个新模型在单台普通计算机上仅需17.5 小时就能学会同样的任务。
质量：新模型尚未完美。它就像一名优秀的折纸学徒。它能把握大局——正确折叠主要的“手臂”和“腿”（称为α螺旋），并理解整体形状。然而，它有时在处理微小、复杂的细节时会遇到困难，比如环和紧密的扭转，而原始的 48 步大师级模型能正确处理这些细节。

结论

本文并不声称已完全解决蛋白质折叠问题，或已准备好立即用于医疗用途。相反，它提供了一个概念验证。

它表明，我们可以用一点点精度换取巨大的速度和效率提升。通过将僵硬的 48 步过程转变为平滑的连续流，研究人员证明了我们可以构建轻量级、快速且能在日常硬件上运行的强大蛋白质折叠工具。这证明了，有时，顺着平滑的斜坡滑到底部比爬上 48 步的梯子要好得多。

技术摘要：基于神经常微分方程的蛋白质折叠

问题陈述

近期蛋白质结构预测领域的突破（以 AlphaFold 2 和 3 为代表）依赖于深度神经网络架构（如 Evoformer）来捕捉复杂的空间与进化约束。Evoformer 由 48 个堆叠的、非权重共享的模块组成，这些模块迭代地优化多序列比对（MSA）和残基对表示。尽管该架构精度极高，但因其深度和僵化的层离散化，在训练和推理过程中均产生了巨大的计算成本。此外，固定的深度限制了在运行时与精度之间进行动态权衡的能力。本研究旨在提供一种更高效、轻量级且可解释的替代方案，在保留 Evoformer 核心表征能力的同时，降低资源需求。

方法论

作者提出了一种基于神经常微分方程（Neural ODEs）的Evoformer 连续深度公式。该模型不再堆叠 48 个离散模块，而是将隐藏状态的导数参数化为时间（深度）的连续函数，并利用数值 ODE 求解器对其进行积分。

架构设计

提出的神经 ODE Evoformer用一个单一的共享向量场 $f(m, z, t, \theta)$ 取代了离散堆栈，该向量场控制 MSA（ $m$ ）和残基对（ $z$ ）表示在连续深度变量 $t$ 上的演化。

向量场构建：该函数近似单个 Evoformer 模块的累积变换。它计算一次完整的 Evoformer 风格更新以生成中间状态 $(m', z')$ ，然后计算差值 $(m'-m, z'-z)$ 。
时间依赖门控：为确保平滑演化，差值通过学到的门控函数 $\sigma_m(t)$ 和 $\sigma_z(t)$ 进行缩放，这些函数通过对标量深度变量 $t$ 的浅层 MLP 实现。由此得到的 ODE 为：
$\frac{d(m, z)}{dt} = (\sigma_m(t) \cdot (m' - m), \sigma_z(t) \cdot (z' - z))$
简化操作：为了降低内存开销并实现积分，该架构相较于原始 AlphaFold 简化了若干组件：
- 省略三角形注意力模块（传入/传出）。
- 使用直接的 QKV 投影，无需分块 softmax 或融合内核。
- 使用降秩外积均值替代完整的外积。
- 对三角形更新采用对称近似。
- 使用基础的双层 MLP 进行残基对转换。
内存效率：模型利用伴随灵敏度方法进行反向传播，使得内存成本相对于深度保持恒定，因为前向传播期间无需存储中间激活值。

训练策略

模型使用 OpenFold 作为参考来生成真实轨迹进行训练。

数据集：训练集包含 500 个蛋白质单体（经长度过滤后为 370 个），验证集和测试集各包含 50 个蛋白质。输入包括一级序列、MSA（聚类至最多 64 条序列）以及来自 PDB70 的结构模板。
两阶段训练：
1. 初步阶段：对从 OpenFold Evoformer 的第 0、8、16、24、32、40 和 48 块采样的中间表示进行监督，以捕捉增量演化动态。
2. 主要阶段：仅对端点（第 1 块的输入与第 48 块的输出）进行监督，以学习完整的变换轨迹。
配置：模型使用隐藏维度为 64（MSA 和残基对流统一使用，而 AlphaFold 中分别为 384/128），并采用经典的四阶龙格 - 库塔（RK4）求解器。训练在单块 NVIDIA Quadro P4000 GPU 上进行了 17.5 小时。

关键结果

计算效率

在 50 个测试蛋白质（21–852 个残基）上的基准测试显示了显著的速度提升：

运行时间：神经 ODE Evoformer 每个蛋白质的平均运行时间为 4.85 秒，而标准 OpenFold Evoformer 为 65.06 秒（每个残基速度提升超过 7 倍）。
扩展性：神经 ODE 模型表现出与序列长度的线性扩展（ $time \approx 0.0046 \times residues$ ），而 OpenFold 则表现出二次扩展（ $time \approx 0.0006 \times residues^2$ ）。这表明连续深度方法对于长蛋白质尤为有利。

结构精度

对蛋白质 1fv5、4epq 和 1ujs 预测结构的视觉检查显示：

优势：该模型可靠地捕捉了二级结构元件，特别是 $\alpha$ -螺旋，并反映了蛋白质的主要全局拓扑结构。
局限性：该模型未能完全复现原始 48 块架构的精度。在精细细节上可观察到偏差，具体体现在环区和全局堆积方面。
对比：尽管存在这些偏差，但基于 ODE 的模型生成的结构比截断的 24 块 OpenFold 模型更有序，且置信度更高。

意义与主张

本文将该工作定位为生物分子建模中连续深度模型的概念验证。作者声称：

可行性：连续时间模型可以近似 48 个离散 Evoformer 模块的累积效应，验证了增量优化可被建模为平滑动力系统的假设。
资源效率：与 AlphaFold 原始训练所需的庞大计算集群（数百个 TPU）相比，该方法以显著更少的资源（单块 GPU 运行 17.5 小时）实现了合理的结构预测。
灵活性：自适应 ODE 求解器的使用引入了运行时与精度之间的原则性权衡，这是固定深度架构所缺乏的灵活性。
可解释性：该公式提供了一种轻量级、理论上可解释的替代方案，以取代深度堆叠架构，为高效的蛋白质结构预测框架开辟了新的方向。

作者明确指出，虽然当前模型的精度尚未达到 AlphaFold 的水平，但它证明了连续深度近似能够以显著降低的计算足迹有效表征大规模模型行为。未来的工作建议包括使用更大的 MSA 聚类、增加隐藏维度、采用自适应求解器以及支持无上限的序列长度，以进一步缩小性能差距。