📄 molecular biology

FlexRibbon: Joint Sequence and Structure Pretraining for Protein Modeling

FlexRibbon 是一种新型蛋白质基础模型，它通过结合掩码语言建模和基于扩散的去噪技术，在氨基酸序列和 3D 结构上进行联合预训练，在多种任务中实现了最先进的性能——特别是在传统基于多序列比对（MSA）的方法难以应对的突变丰富型场景中——且无需依赖多序列比对。

原作者： Zhu, J., Shi, Y., Bi, R., Jin, P., Liu, C., Zhang, Z., Huang, H., Guo, Z., Hu, P., Ju, F., Huang, L., Tai, X., Li, C., Gao, K., Wei, X., Xia, H., Zhang, J., Min, Y., Wang, Z., Wang, Y., He, L., Liu, H

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhu, J., Shi, Y., Bi, R., Jin, P., Liu, C., Zhang, Z., Huang, H., Guo, Z., Hu, P., Ju, F., Huang, L., Tai, X., Li, C., Gao, K., Wei, X., Xia, H., Zhang, J., Min, Y., Wang, Z., Wang, Y., He, L., Liu, H., Qin, T.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下蛋白质的世界就像一座繁忙、喧闹的城市。长期以来，试图理解这座城市的科学家们不得不在这两种截然不同的地图之间做出选择。

第一张地图就像一本语法教科书。它只关注构成蛋白质的字母（氨基酸）序列，而忽略了城市实际长什么样。它擅长理解生命的“语言”，但在试图弄清建筑物的 3D 形状时经常会迷失方向。

第二张地图则像一份众包调查报告。它依赖于观察成千上万个相似的城市（进化上的近亲）来推测一座新城市的模样。对于标准的建筑，这种方法非常准确；但如果你试图绘制一个全新的、形状奇特的摩天大楼，或者一座布局改变太大的城市，这份调查报告就会失效，因为它找不到可以对比的类似案例。

于是，FlexRibbon 出现了——这是一种新型的绘图员，它决定不再在“教科书”和“调查报告”之间做选择。相反，它学会了同时阅读“语法”并观察“蓝图”。

核心秘诀：双向通道

大多数之前的模型就像单行道：它们接收一段字母序列，然后尝试猜测其形状。而 FlexRibbon 构建了一条双向车道。它了解到字母决定了形状，但形状同时也告诉了你字母应该是怎样的。

为了教导这一点，研究人员使用了一个聪明的训练游戏。他们取出一个蛋白质，用噪声对其 3D 形状进行扰动（就像摇晃一个雪花球），然后要求模型将其清理干净。与此同时，他们隐藏了序列中的一些字母，并要求模型去猜这些字母，但有一个转折：模型必须利用那团混乱的 3D 形状作为提示来进行正确的猜测。这迫使模型理解序列与结构是紧密结合在一起的，就像一把锁和一把钥匙，无法分离。

为什么这很重要：“混乱”的部分

真正的魔力发生在城市的“混乱”部分。在生物学中，一些蛋白质拥有灵活、易动的“手臂”（比如抗体环），或者在抓取某些东西时会改变形状。旧有的“调查报告”模型（依赖寻找相似近亲的模型）在这些地方经常卡壳，因为这些灵活的部分变化太大，以至于在进化数据中找不到清晰的模式。

然而，FlexRibbon 处理这些棘手区域的方式不同。它不再依赖“近亲群体”来寻找模式，而是绕过了对该调查报告的需求。通过直接模拟单个序列与其结构之间的联系，即使在进化信号微弱或缺失的情况下，它也能以惊人的准确度预测这些灵活且高度突变的区域。

证明：12 项挑战

团队不仅仅是口头说它有效；他们让 FlexRibbon 经历了一场由 12 项不同任务组成的严苛考验，以测试它能否处理现实世界的问题。以下是他们的发现：

抗体设计： 当被要求设计用于黏附病毒的抗体（身体的防御者）时，FlexRibналиon 在标准抗体上的成功率达到了 61.3%，在纳米抗体（微型抗体）上的成功率达到了 51.1%。这比之前最好的方法有了显著提升，后者分别停留在 46.7% 和 44.0% 左右。
多肽结合： 在预测小蛋白质链（多肽）如何黏附到较大的蛋白质上时，FlexRibbon 的成功率达到了 91.4%，领先于次优方法 7.0% 至 10.2%。
药物研发： 在尝试猜测药物分子如何与蛋白质结合时，FlexRibbon 实现了 0.848 的相关性得分和 1.150 的误差率，超越了所有测试中的其他方法。
形状变化： 该模型还可以预测蛋白质在药物结合时如何改变形状，在其中一个测试案例中，它实现的结构相似度得分（TM-score）为 0.985，这与真实情况极其接近。

它“不是”什么

需要明确的是，FlexRibbon 并不依赖于旧模型用来进行预测的“众包调查”（多序列比对/MSA）。如果你给它一个进化近亲非常少的蛋白质，旧模型可能会因为调查数据不足而陷入困境，但 FlexRibbon 通过依靠其对直接的“序列-结构”联系的内在理解而取得成功，使其能够在比对信号微弱的区域游刃有余。

总结

论文指出，通过教导模型将序列和结构一起学习，而不是先后学习，我们就能获得一个更加灵活且准确的工具。它不仅仅是一个更好的“猜测者”，更是一个更好的“设计者”。无论是创造新的抗体来对抗疾病，还是弄清楚药物如何契合其目标，FlexRibbon 都证明了：当你让序列与结构进行对话时，整个系统运作得会更好。

作者在 CASP15 挑战赛和 PoseBusters V1 数据集等特定基准测试中衡量了这些结果，发现 FlexRibbon 始终刷新了高分，尤其是在其他方法经常跌跤的、充满突变且复杂的棘手区域。这是迈向未来的一步——在未来，我们可以像写句子一样轻松地设计蛋白质。

技术摘要：FlexRibbon

问题陈述

蛋白质基础模型（PFMs）已取得飞速进展，但通常分为两种具有不同局限性的主导范式。基于序列的语言模型（如 ESM-2, ProtT5）在大规模尺度上捕捉序列语义，但缺乏物理相关性和三维几何信息，限制了其建模蛋白质功能结构基础的能力。相反，基于多序列比对（MSA）的预测器（如 AlphaFold 2/3）通过利用进化耦合实现高精度，但高度依赖同源序列。这种依赖性使其在比对稀疏、高度突变区域或柔性界面（如抗体 CDR 环和本质无序区域）等场景下可靠性较低。此外，现有的联合模型通常将结构视为辅助信号而非进行双向建模，或者在尝试全原子结构学习与序列语义结合时面临内存瓶颈。

方法论

FlexRibbon 是一个拥有 30 亿参数的预训练蛋白质模型，旨在无需多序列比对（MSAs）的情况下，联合学习氨基酸序列和三维结构。

1. 预训练策略

其核心创新在于一种统一的预训练目标，将掩码语言建模（MLM）与基于扩散的去噪相结合。这实现了双向的序列-结构学习：

结构启发式掩码语言建模（SIMLM）： 模型在序列恢复过程中，将扩散噪声集成到结构表示中。它采用了三种训练模式：(1) 序列到结构（标准扩散）、(2) 耦合扰动（掩码残基并对其局部结构添加噪声）、(3) 序列掩码全局扰动（掩码残基同时对所有结构应用噪声）。这促进了对序列身份与 3D 构象之间双向关系的鲁棒学习。
扩散预训练： 模型使用方差爆炸扩散过程来对重原子的 3 维坐标进行去噪。它通过数据增强（随机 SO(3) 旋转）而非沉重的等变架构来实现旋转不变性，并通过将结构中心化于质心来消除平移自由度。

2. 架构

FlexRibbon 利用分层三阶段架构来平衡效率与表达能力：

序列模块： 一个 Transformer 编码器，共同嵌入蛋白质残基和小分子原子。它通过学习到的投影引入二维共价键特征，使模型能够从原子身份中恢复键合模式。
粗粒度结构模块： 一个扩散 Transformer (DiT)，在给定序列嵌入的条件下，对蛋白质的残基级坐标和小分子的原子级坐标进行去噪。
全原子结构模块： 第二个 DiT，将粗粒度输出细化为全原子分辨率。它使用可学习的共价键注意力偏置以确保化学有效性，从而协调全局残基上下文与详细的原子相互作用。

3. 训练与损失函数

训练目标集成了四个组件：

扩散损失 ( $L_{MSE}$ )： 用于结构重建的去噪损失。
MLM 损失 ( $L_{MLM}$ )： 通过掩码残基预测实现的序列恢复。
距离损失 ( $L_{Dist}$ )： 正则化预测的残基间距离，以维持真实的层级几何结构。
Smooth-lDDT 损失 ( $L_{smooth-lDDT}$ )： 使训练与局部几何准确度指标保持一致。
自适应权重： 基于 pLDDT 派生的 Sigmoid 权重对置信度加权的扩散损失，减少来自低置信度区域（例如 AlphaFold 2 预测的结构）的噪声，同时强调可靠信号。

训练通过三个渐进阶段（A, B, C）进行，增加序列长度（384 $\to$ 768 $\to$ 1024 残基），并在后期引入 MLM 和置信度头训练。

核心贡献

新颖的预训练策略： FlexRibbon 通过结合 MLM 与基于扩散的去噪，统一了蛋白质结构预测与设计，学习的是双向的序列-结构映射，而非单向的序列到结构映射。
分层建模： 它引入了一种平衡序列与结构表示的可扩展容量策略，克服了以往全原子模型的内存瓶能，并实现了有效的规模化结构学习。
协同设计能力： 该模型支持蛋白质序列与结构的协同设计，特别是在 MSA 方法难以处理的柔性及高突变区域（如抗体/纳米抗体 CDR 环）表现出色。
广泛的泛化性： 它在 12 项多样化任务中展示了持续的增益，表明序列-结构预训练的迁移能力超越了简单的蛋白质折叠。

实验结果

Flex

FlexRibbon 在三个任务族上进行了评估：柔性界面预测/设计、分子间相互作用预测以及蛋白质功能预测。

柔性界面： 在抗体和纳米抗体界面预测（SAb23H2）上，FlexRibbon 取得了 61.3%（抗原-抗体）和 51.1%（抗原-纳米抗体）的成功率，分别超过 IgGM 14.6% 和 7.1%。在蛋白质-多肽界面预测（FoldBench）中，它达到了 91.4% 的成功率，超越了 AlphaFold 3 和 PepGLAD。
抗体/纳米抗体设计： FlexRibbon 在抗体设计中实现了 41.4% 的氨基酸恢复率（AAR），在纳米抗体中为 21.8%，其成功率分别为 46.0% 和 43.7%，优于 dyMEAN 和 IgGM 等基准模型。
分子间相互作用：
- 对接（Docking）： 在 PoseBusters V1 基准测试中，FlexRibbon 取得了 71.82%（random-1）和 78.70%（oracle）的成功率，达到了与 AlphaFold 3 等基于 MSA 的方法相当的水平，并显著优于单序列基准模型。
- 构象变化： 在配体诱导的构象变化预测中，FlexRibbon 实现了 0.889 的 TM-ens 分数（zero-shot），比 ESMDiff 提升了 0.038。
- 结合亲和力： 在 CASF-2016 上，FlexRibbon 取得了最优的 RMSE (1.150) 和 Pearson 相关系数 (0.848)，在对比的基准模型中表现最佳。
功能预测： 在基因本体（GO）和酶学委员会（EC）任务中，FlexRibbon 取得了 F1 分数：0.891 (EC), 0.539 (GO-BP), 0.694 (GO-MF) 和 0.560 (GO-CC)，优于仅基于序列和混合型的基准模型。
结构预测： 在 CASP15 上，FlexRibbon 达到了 0.703 的 TM-score，超越了 ESMFold 和 ESM3。
置信度估计： 模型预测的 pTM 分数与 CASP15 中观察到的 TM-score 表现出强相关性 (R = 0.89)。

意义与主张

论文声称 FlexRibbon 在 12 项多样化任务中建立了新的 SOTA（最先进）性能，尤其是在 MSA 方法经常失效的富含突变的场景中表现尤为突出。作者断言，结果凸显了联合序列-结构预训练的一致优势，证明了这种方法能够实现序列与结构的协同设计，并捕捉对生物功能至关重要的柔性构象。通过在不依赖 MSA 的情况下成功建模双向依赖关系，FlexRibbon 被呈现为一个通用的基础模型，将蛋白质建模的优势从单纯的折叠扩展到了复杂的设计与相互作用预测任务。