💻 computer science

Enhancing Protein Representation Learning via Manifold Restore Mixing

本文提出了流形恢复混合（Manifold Restore Mixing, MRM），这是一种通过混合隐藏表示并采用难度调度器来恢复蛋白质数据增强过程中丢失的结构信息，从而增强跨各种骨架和下游任务的蛋白质表示学习的数据增强方法。

原作者： Yizhou Dang, Chuang Zhao, Lianbo Ma, Guibing Guo, Xingwei Wang, Zhu Sun

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yizhou Dang, Chuang Zhao, Lianbo Ma, Guibing Guo, Xingwei Wang, Zhu Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《通过流形恢复混合增强蛋白质表示学习》（Enhancing Protein Representation Learning via Manifold Restore Mixing）的解释，通过简单的概念和日常类比进行了拆解。

大局观：教计算机理解蛋白质

想象蛋白质是复杂的、由一长串珠子（氨基酸）组成的 3D 折纸雕塑。为了理解一个蛋白质如何工作（比如钥匙如何契合锁孔），计算机需要学习折纸的形状以及珠子的顺序。这被称为蛋白质表示学习（Protein Representation Learning）。

问题在于，科学家们并没有足够的这些折纸雕塑的照片来很好地教导计算机。因此，研究人员尝试通过对真实的图像进行轻微改动来创造“假”的额外照片。这被称为数据增强（Data Augmentation）。

问题所在：弄坏了折纸

该论文指出，目前制作这些“假”照片的方式实际上是在破坏折纸。

类比： 想象你正在教一个孩子识别一种特定的鸟。你给他看一张照片，然后你试图通过用剪刀剪掉鸟的翅膀，或者把鸟的喙涂成不同的颜色，来创造更多的例子。
结果： 孩子看到了一只鸟，但那是一个破碎、奇怪的版本。如果你给孩子看太多这种“破碎的鸟”，他们会感到困惑。他们可能会学到“鸟没有翅膀”或“鸟有蓝色的喙”，而这是错误的。
论文的发现： 作者测试并发现，当他们使用这些“破碎的”蛋白质样本来训练计算机时，计算机在执行任务时的表现反而变差了。计算机无法理清蛋白质真实的形状或功能，因为训练数据被破坏得太严重了。

解决方案：流形恢复混合（MRM）

作者提出了一个聪明的疑问：我们能否创造出用于增加多样性的“破碎”版本，但又能神奇地修复它们，让计算机重新看到原始的形状？

他们发明了一种称为**流形恢复混合（Manifold Restore Mixing, MRM）**的方法。其步骤如下：

1. “秘密酱料”层（流形混合）

计算机并不是试图修复实际的图像（3D 坐标），而是观察其大脑内部关于图像的“想法”（隐藏的数学层）。

类比： 想象你有一张完美的鸟的照片（原始数据）和一张翅膀被剪掉的鸟的照片（增强数据）。与其尝试把翅膀粘回照片上，不如将两张照片中关于鸟的“想法”放入搅拌机中进行混合。
神奇之处： 当你将完美鸟类的“想法”与破碎鸟类的“想法”混合在一起时，产生的新“想法”既拥有了破碎鸟类的多样性，又保留了完美鸟类的正确结构。这就像创造了一只看起来很独特但依然能完美飞翔的新鸟。

2. “难度调度器”（学习曲线）

计算机不应该立刻被扔进深水区。

类比： 想象学习骑自行车。你不会从陡峭的山坡开始，而是从平地开始。
运作方式： 系统开始向计算机展示大部分完美的鸟（容易）。随着计算机变得越来越聪明，系统会逐渐加入更多“破碎的”鸟（更难）。这有助于计算机在学习变化的同时，不会在初期感到困惑。

3. 两阶段训练（热身）

类比： 在尝试同时玩三个球之前，你应该先学会稳稳地拿住一个球。
运作方式： 计算机首先仅在完美的、真实的数据上进行训练。一旦它掌握了基础知识，就会开启“混合”和“修复”工具。这可以防止计算机在刚开始阶段就被破碎的数据搞糊涂。

他们发现了什么？

作者在许多不同的计算机模型和任务（例如猜测蛋白质的功能或它属于哪个家族）上测试了这种方法。

结果： 当他们使用这种新的“修复”方法时，计算机在任务中的表现显著提升。
对比： 他们将自己的方法与图像识别中使用的其他“混合”技巧（例如将猫和狗的两张照片混合在一起）进行了比较。由于蛋白质过于脆弱，你不能直接把它们揉在一起，因此那些技巧在处理蛋白质时失败得很惨。他们特定的“恢复”方法是唯一奏效的方法。
性能： 在多个特定任务上，他们的这种方法甚至击败了一些先进的预训练蛋白质模型（这些模型就像是关于蛋白质知识的巨型百科全书），而且无需事先在海量数据集上进行预训练。

总结

论文的核心观点是：“目前的各种方法在试图创造更多训练数据时会破坏蛋白质。我们构建了一个新工具，它能以保持‘完美’结构完整的方式，将破碎数据与完美数据进行混合，同时增加‘破碎’的多样性。这使得计算机变得更聪明、更准确，并能更好地理解蛋白质是如何工作的。”

核心要点： 你可以用虚假数据来教导计算机，但前提是你必须有一种方法来“治愈”这些虚假数据，使它们在计算机的大脑看来仍然看起来像真实的东西。

技术摘要：通过流形恢复混合（Manifold Restore Mixing）增强蛋白质表示学习

1. 问题陈述

蛋白质表示学习（PRL）高度依赖数据增强（DA）来克服实验 3D 结构数据的稀缺性。然而，主流的 DA 方法——如残基替换、坐标噪声注入和子结构采样——往往会破坏蛋白质 1D 氨基酸序列与其 3D 构象之间关键的对应关系。

作者指出一个根本性的困境：虽然基于扰动的方法可以生成多样化的变体，但它们面临着破坏核心功能域结构完整性的风险，使得增强后的数据在生物学上不合理或在功能上不一致。相反，同源建模或基于扩散的生成工具则往往缺乏足够的结构多样性。论文中的实证分析表明，将这些标准增强技术应用于下游任务时，往往会导致性能显著下降而非提升，因为模型难以从结构受损的样本中学习到准确的表示。

2. 方法论：流形恢复混合 (MRM)

为了解决现有数据增强带来的结构缺陷，作者提出了流形恢复混合（Manifold Restore Mixing, MRM），这是一种在潜层表示空间而非原始输入空间进行操作的方法。该方法由三个核心组件组成：

A. 流形恢复混合

受 Manifold Mixup 的启发，MRM 在神经网络的特定中间层 $k$ 处融合原始蛋白质数据 ($GP $) 和增强蛋白质数据 ($ GP_a$) 的隐藏表示。

过程： 网络处理 $GP $和$ GP_a $直至第$ k $层，得到表示$ R_k(GP) $和$ R_k(GP_a)$。
混合： 通过线性插值生成混合表示 $\tilde{R}_k$ ：
$\tilde{R}_k = \lambda \cdot R_k(GP_a) + (1 - \lambda) \cdot R_k(GP)$
其中 $\lambda \sim \text{Beta}(\alpha_1, \alpha_2)$ 。
恢复机制： 通过在表示层面进行混合，该方法旨在通过重新引入 $GP $中完整的结构特征，来“恢复”在$ GP_a$ 增强过程中丢失的结构信息，同时保留增强所引入的多样化变体。随后将混合表示传递至剩余层以计算损失。

B. 样本难度调度器

标准的 Mixup 使用固定的 Beta 分布（通常 $\alpha_1 = \alpha_2 < 1$ ），这可能导致“垄断效应”，即样本完全被原始数据或增强数据之一所主导。MRM 引入了一种课程学习方法：

初始状态： 训练开始时 $\alpha_1 > \alpha_2 > 1$ ，使混合向原始数据（较易样本）倾斜。
演进过程： 随着训练轮数的增加，调整参数使得 $\alpha_1$ 减小且 $\alpha_2$ 增加，从而将分布转向包含更多增强数据（较难样本）。
目标： 这为模型提供了一个渐进的学习曲线，从易（保持结构）过渡到难（富含变体）的样本。

C. 两阶段正则化训练

为了防止由于模型参数随机初始化时混合表示导致的收敛不稳定，MRM 采用了两阶段策略：

第一阶段： 模型仅在原始数据上进行训练，以建立稳定的基准表示。
第二阶段： 激活 MRM 模块。总损失结合了原始数据上的经验风险最小化（ERM）和混合样本上的近邻风险最小化（VRM）：
$L_{second} = L_{CLS}(Net(GP), y) + \gamma L_{CLS}(\tilde{R}_f, y)$
这确保了模型在探索恢复表示的近邻空间时，仍能保持分布内拟合的准确性。

3. 核心贡献

DA 缺陷的实证分析： 论文提供了系统性的分析和实证证据，表明标准的蛋白质 DA 操作会破坏 1D-3D 结构对应关系，导致下游任务的性能下降。
MRM 框架： 提出了流形恢复混合，通过在潜空间融合原始和增强的表示，恢复了增强过程中丢失的结构信息。
训练增强： 开发了样本难度调度器和两阶段正则化训练策略，以稳定训练并优化结构保真度与变体多样性之间的平衡。
全面验证： 在多种 PRL 主干网络（如 GearNet, CDConv）和多样化的下游任务（折叠分类、酶反应、基因本体、EC 编号预测）上进行了广泛实验，证明了其优于现有 DA 方法和 mixup 变体的性能。

4. 实验结果

作者在四个主要任务上评估了 MRM：蛋白质折叠分类、酶反应分类、基因本体 (GO) 术语预测和酶学委员会 (EC) 编号预测。

性能提升： MRM 一致优于基准模型和其他增强策略。例如，在折叠分类任务中，MRM 将 GearNet-Edge 的准确率提高了 3.1%，将 CDConv 提高了 4.1%。在基因本体预测中，它在传统增强方法失效或导致性能下降的所有子任务（BP, MF, CC）中均实现了提升。
与 Mixup 变体的比较： 直接将标准 Manifold Mixup 或 NFM 应用于蛋白质数据会导致性能下降。这些方法的“两阶段”（TS）变体虽显示出轻微改善，但仍落后于 MRM，这证实了 MRM 特有的“恢复”机制至关重要。
与蛋白质 LLM 的比较： 尽管没有使用大规模预训练，MRM 增强的模型在折叠和酶反应任务上达到了与预训练蛋白质大语言模型（如 ESM-2, ProtBERT）相当或具有竞争力的水平，并在所有评估方法中取得了最佳平均排名。
泛化能力： 该方法在不同序列相似性阈值（30% 到 95%）下表现出鲁棒性，表明即使对于与训练集同源性较低的蛋白质，也具有强大的泛化能力。
消融研究： 移除任何组件（1D/3D 增强、两阶段训练或难度调度器）都会导致性能下降，验证了完整框架的必要性。

5. 意义与主张

论文声称 MRM 通过解决蛋白质数据的结构脆弱性，为计算生物学中的数据增强提供了一种新的范式。其意义在于：

恢复结构完整性： 它使得使用多样化的增强数据成为可能，同时不会牺牲准确预测蛋白质功能所需的本质结构信息。
弥合差距： 它使得传统的增强操作（这些操作对于 PRL 而言往往过于破坏性）能够有效地应用于下游任务。
预训练潜力： 作者建议“恢复混合”范式可以为构建蛋白质 LLM 的自监督信号提供启发，从而潜在地提高它们从增强视图中学习的能力。

作者在生物学解释方面保持谦逊，指出“恢复”发生在潜空间中，并不重建坐标空间中完全符合物理规律的 3D 构象。他们承认未来的工作可以整合贝叶斯优化或强化学习，以动态调整增强操作。