← 最新论文
🤖 machine learning

LC-SEPLM: long-range contact-supervised adaptation for sequence-only protein representation learning

LC-SEPLM 通过利用 LoRA 和交叉注意力机制集成长程残基对接触监督,增强了 ESM2 蛋白质语言模型,在显著提升远程同源性识别等下游任务性能的同时,保持了仅基于序列的推理能力。

原作者: Chen Wang, Boming Kang, Qinghua Cui

发布于 2026-07-28
📖 1 分钟阅读☕ 轻松阅读

原作者: Chen Wang, Boming Kang, Qinghua Cui

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象一下,你正试图教一台计算机理解生命的秘密语言。多年来,科学家们一直在利用海量的氨基酸序列(即构成你体内每种蛋白质的化学字母)来训练“蛋白质语言模型”。你可以将这些模型想象成超级聪明的读者,它们背诵了数十亿本书籍。它们非常擅长猜测句子中的下一个单词,这有助于它们理解蛋白质是如何进化和发挥功能的。然而,这里有一个问题:这些模型是按行逐一阅读故事的,从头到尾进行。它们并不会自然地“看到”句子的第一个词可能正与最后一个词物理接触,因为整个段落已经折叠成了一个紧密的 3D 球体。在现实世界中,蛋白质会折叠成复杂的形状,链条上相距较远的部分经常会相互碰撞,以维持其结构。现在的关键问题在于:我们能否教会这些“文本阅读型”计算机去理解蛋白质的 3D 形状,而无需实际向它们展示形状的图像?如果我们能做到这一点,我们或许能开辟设计新药或理解疾病的更好途径,同时还能保持系统足够简单,仅靠文本即可运行。

这时,LC-SEPLM 登场了,它像是一位聪明的导师,为这些蛋白质阅读型计算机提供了指导。研究人员采用了现有的一个强大的模型(称为 ESM2),并给了它一项特殊的训练练习。他们不再只是要求模型预测序列中的下一个字母,而是增加了一个“接触测验”。他们向模型展示一个蛋白质的序列,并问道:“如果这个蛋白质折叠起来,位置 10 的氨基酸会与位置 500 的氨基酸接触吗?”为了回答这个问题,模型必须同时观察整个序列,从而学会识别那些只有在蛋白质折叠时才会存在的、隐藏在氨基酸之间的长程“友谊”。令人兴奋的部分在于,模型在训练过程中使用了来自超精确结构预测 AI(AlphaFold)的预测结果作为“小抄”,但一旦训练完成,这张“小抄”就被扔掉了。最终的模型仍然是一个“仅限序列”的阅读器;它不需要 3D 坐标来工作,它只是在脑海中携带了关于形状如何形成的知识

这项实验的结果相当乐观,尽管它并非解决所有问题的万灵药。当研究人员在八个不同的蛋白质相关任务上测试他们的模型时,它在每一项任务中都击败了原始模型。最大的胜利出现在**远程同源性识别(remote-homology recognition)**任务中,即模型需要寻找那些虽然关系疏远但具有相似形状的“远房亲戚”蛋白质。在这里,模型的得分从 0.6122 跳升至 0.6769,实现了 0.0647(或 6.47 个百分点)的显著飞跃。这表明,教导模型寻找长程接触确实有助于它理解蛋白质构建过程中的“大局观”。

然而,论文也谨慎地指出了这种新技巧失效的地方。当模型被用于需要观察微观局部细节的任务时——例如预测单个突变如何改变蛋白质的功能(ProteinGym),或寻找化学标签附着的特定位点(PTM 位点)——它的表现实际上略有下降或保持不变。这告诉我们,虽然该模型在理解全局 3D 结构方面变得更出色了,但它在精细的局部化学性质理解上并没有变得更好。这就像是一个学生成为了理解整部小说情节的大师,却并没有提高分析单个句子语法能力的能力。

研究人员还将他们的模型与另一个著名的结构感知模型 ESM-S 进行了对比。在某些特定的酶分类任务中,LC-SEPLM 的表现要好得多,增幅高达 0.1771。但在其他任务(如宽泛的蛋白质家族分类)中,它并未能胜出。这表明,虽然加入结构监督是一个强大的工具,但它并不是一种能让模型在所有方面都趋于完美的通用方案。该研究得出结论,这种“接触监督适配”(contact-supervised adaptation)是一种实用且有界限的策略:它是在无需在实际应用中使用复杂 3D 数据的情况下,丰富蛋白质模型对全局形状理解的一种极佳方式,但在处理局部、残基层级的预测时,它有着明显的局限性。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →