💻 bioinformatics

TEDlm: domain-centric protein language models with optional structural pre-training

该论文介绍了 TEDlm，这是一种以结构定义域片段为预训练基础的领域中心蛋白质语言模型，其在远程同源性检测和分子功能预测方面优于规模更大的全序列模型，证明了专注于结构域内在信号可以产生紧凑且具备结构信息的表示。

原作者： Wei, T., Kandathil, S. M., Buchan, D. W. A., Jones, D. T.

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei, T., Kandathil, S. M., Buchan, D. W. A., Jones, D. T.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

将蛋白质想象成巨大的、错综复杂的乐高城堡。长期以来，试图通过阅读其“说明书”（氨基酸序列）来理解这些城堡的科学家们，一直是在同时阅读整本书。问题在于？这些书很杂乱。它们包含了建造城堡的指令，但也包含了关于桥梁、花园以及将一切连接在一起的随机涂鸦（连接子和无序区域）的指令。当你试图通过阅读整本杂乱的书来学习一个特定塔楼的形状时，信号会被噪声淹没。

于是，TEDlm 登场了——这是一支全新的 AI 侦探团队，他们决定不再阅读整本书，而是开始只阅读那些单独的、形态完美的乐高塔楼（称为“结构域”）。

核心理念：更小的书，更强大的大脑

研究人员（由 David T. Jones 和 Tiejun Wei 领导）构建了一种新型 AI，名为 TEDlm。它不再是在全长蛋白质序列上进行训练，而是从一个名为“结构域百科全书”（The Encyclopedia of Domains, TED）的海量库中，喂入数百万个这些干净、孤立的“结构域”片段。

可以这样想：如果你想学习如何烤出一个完美的巧克力蛋糕，你不会去读一本包含汤的食谱、汽车手册和面粉历史的食谱。你只会阅读关于蛋糕的章节。这就是 TEDlm 所做的。它学习了“蛋糕配方”（蛋白质结构域的具体形状和折叠），而没有被“汤的配方”（全长蛋白质中的杂乱部分）所干扰。

结果：小即是强

这里有一个令人惊讶的转折：尺寸并非决定一切。

通常在 AI 世界里，越大越好。一个拥有 30 亿个神经元的巨大大脑（比如著名的 ESM2 3B 模型）理应碾压一个只有 6.5 亿个神经元的小型大脑。但在这次竞赛中，这个较小的、专注于结构域的大脑赢了。

TEDlm 650M 模型（那个较小的、专注的模型）在名为 CATH S40 的一项艰巨测试中（该测试衡量模型识别蛋白质远亲的能力）得分 0.28 AUROC1。
巨大的 ESM2 3B 模型（那个庞大的、不专注的模型）仅得分为 0.22。

论文指出，通过在更干净的数据上进行训练，较小的模型比那个被全长噪声分散注意力的巨大模型，更好地学习了蛋白质的“折叠”。这就像那个专注于线索的小侦探，比那个试图阅读整个案卷每一页的巨大侦探更快地破解了谜团。

超能力：看见“隐形”的结构

团队还创建了一个增强版本，称为 TEDlm3D。这个模型不仅阅读乐高说明书，还获得了一份“秘密小抄”，展示了这些积木在 3D 空间中应该如何接触（具体来说，是“α-碳原子”，即结构核心积木之间的距离）。

这种额外的训练成为了一个游戏规则的改变者。

TEDlm3D 达到了 0.50 AUROC1。
这与使用实际 3D 结构来寻找匹配项的工具 Foldseek（得分为 0.53）非常接近。

令人惊叹的是，TEDlm3D 只需要文本（序列）即可工作。 在测试时，它不需要 3D 结构。它在训练期间学习了 3D 规则，现在仅通过阅读字母就能“看见”形状。论文表明，这种结构信号不仅仅存储在一个单独的“输出头”（类似于连接在大脑上的计算器）中，而是被编织进了大脑自身的思考过程中。

关于其他任务

研究人员还在其他任务上测试了这些模型，例如预测蛋白质的“功能”（分子功能）或其结合金属的能力。

分子功能： 专注于结构域的模型（TEDlm）表现出色，击败了大型 ESM2 模型。这很好理解，因为蛋白质的主要工作通常是由单个乐高塔楼（结构域）完成的。
生物过程与定位： 在这些方面，大型 ESM2 模型守住了阵地。为什么？因为了解一个蛋白质在细胞中的位置或它如何帮助整个生物体，通常需要看到整个“城堡”，而不仅仅是一个塔楼。仅关注结构域的模型错失了大局背景。

“中间层”的惊喜

最酷的发现之一是关于 AI 在何处存储其知识。在许多 AI 模型中，最后一层是最“聪明”的。但在本研究中，研究人员发现 TEDlm 模型的中间层 实际上最擅长识别结构关系。最终层似乎变得过于专注于仅仅预测序列中的下一个字母，从而忘记了宏大的结构图景。这就像一个学生在备考后，由于太专注于背诵章节的最后一句，反而忘记了故事的主线剧情。

该论文排除了什么

作者谨慎地说明了他们没有做的事情。他们没有使用多序列比对（观察进化家族树）来训练这些模型；他们完全依赖于纯粹的序列和输入的结构数据。他们还指出，虽然他们的模型在寻找结构亲缘关系方面表现出色，但它们并不完美，无法预测依赖于整个蛋白质上下文的事物，例如热稳定性（即蛋白质在热量下的稳定性），因为热稳定性通常取决于不同塔楼之间如何相互作用，而不仅仅是塔楼本身。

总结

这篇论文表明，我们并不一定需要构建更大、更昂贵的 AI 大脑来理解蛋白质。相反，我们可能只需要喂给它们更干净、更专注的数据。通过教 AI 一次观察一个“结构域”，研究人员创造了紧凑且智能的模型，它们预测蛋白质形状和功能的能力，几乎可以媲美那些需要实际 3D 蓝图的工具。这提醒我们，有时为了看清全貌，你必须放大细节。

技术摘要：TEDlm 与 TEDlm3D

问题陈述
传统的蛋白质语言模型（pLMs），如 ESM 系列，通常在全长蛋白质序列上进行预训练。这些序列往往交织着多个功能结构域、无序区域和连接子（linkers）。作者认为，在这些全长序列上进行训练会稀释特定折叠的信号，因为模型必须学习跨越更长、结构异质性更高的上下文模式。此外，虽然最近的双模态模型（例如 ProstT5、SaProt）引入了显式的结构标记，但它们在训练期间依赖于真实结构（ground-truth structures），或者在推理时需要结构输入，这限制了它们在仅序列场景下的适用性。目前的挑战在于开发紧凑且具有结构信息感知的 pLM，使其能够在不需要多序列比对（MSA）或在推理时不需要显式结构输入的情况下，检测远程同源性和预测功能。

方法论
本文介绍了 TEDlm 和 TEDlm3D，这是基于结构定义的结构域片段（而非全长蛋白质）进行预训练的 Transformer 蛋白质语言模型。

数据来源： 这些模型利用了 The Encyclopedia of Domains (TED)，这是一个源自 AlphaFold 蛋白质结构数据库（AFDB）、包含超过 3.65 亿个结构定义结构域的数据库。作者通过对这些结构域进行聚类，提取了特定的子集（TED50 和 TED90）以管理冗余。
TEDlm 架构： 该模型采用了标准的类 BERT 掩码语言模型（MLM）目标。它专门在单个结构域的氨基酸序列上进行预训练，旨在捕捉特定折叠和超家族固有的基序（motifs）和长程依赖关系，而不受结构域间连接子噪声的影响。
TEDlm3D 架构： 该变体通过添加结构辅助损失扩展了 TEDlm 框架。在预训练期间，除了 MLM 目标外，模型还通过优化来预测残基间的 C $\alpha$ 距离。这种接触引导的损失监督了注意力图（attention maps），促使模型显式地编码源自结构域结构的残基-残基接近度和几何关系。
评估策略： 模型在多个零样本（zero-shot）和迁移学习任务上进行了评估：
- 同源性检测： 使用 CATH S40 数据集（远程同源性，恒定性 <40%），以 AUROC1 作为指标。
- 接触预测： 使用类别雅可比分析（categorical Jacobian analysis）和注意力图探测，以评估残基-残基接触的编码情况。
- 功能预测： 通过在 CAFA3 和 Swiss-Prot 基准上进行 KNN 标签迁移，进行零样本基因本体（GO）术语预测（分子功能、生物过程、细胞组分）。
- 生物物理特性： 酶催化效率（ $K_{cat}$ ）、金属离子结合和热稳定性预测。

关键结果

同源性检测： 以结构域为中心的预训练在模型规模增加时表现出显著增益。一个 650M 参数的 TEDlm 在 CATH S40 基准测试中优于 ESM2 3B（一个 30 亿参数的模型）和基于比对的工具 MMseqs2。引入结构损失的 TEDlm3D 实现了 0.50 的 AUROC1，在仅使用序列输入的情况下，接近于基于结构的搜索工具 Foldseek（0.53）的性能。值得注意的是，即使是 160M 参数的 TEDlm3D 变体也超越了所有仅基于序列的基准模型。
层级分析： 研究发现，在所有测试模型中，中间层包含比最终层更丰富的结构信息。然而，与 ESM2 模型最终层性能显著低于中间层峰值不同，TEDlm3D 模型即使在最终层也能保留强大的结构信号。
接触预测： 对注意力图和类别雅可比进行的探测证实，TEDlm3D 比 TEDlm 或 ESM2 编码了更强的共进化和接触信号。TEDlm3D 中的监督接触头在单次前向传播中实现了高精度（1.3B 模型的 P@L/5 $\approx$ 0.789），显著优于无监督的雅可比基准。
功能与生物物理任务：
- 分子功能 (MF)： TEDlm 变体在零样本 MF 预测方面大幅超越了 ESM2，这与“许多分子功能本质上属于单个结构域”的假设一致。
- 生物过程 (BP) 与细胞组分 (CC)： ESM2 模型在这些任务中保持优势，这可能是因为这些注释依赖于多结构域上下文和蛋白质相互作用，而结构域层级的预训练无法捕捉这些信息。
- 生物物理特性： TEDlm 和 TEDlm3D 在酶催化效率和金属离子结合（由结构域水平的活性位点定义的任务）方面达到或略微超过了 ESM2。然而，ESM2 在跨物种热稳定性方面表现更好，这表明物种层级的适应性超出了单个结构域的属性。

意义与主张
本文认为，以结构域为中心的预训练是创建紧凑且具有结构信息感知的蛋白质语言模型的一种非常有效的策略。其主要贡献在于证明了预训练数据的质量和粒度（孤立、结构连贯的结构域）可以超过增加模型规模或全长序列训练带来的收益。

作者主张：

数据效率： 将训练限制在结构域片段，使得较小的模型（如 650M）在远程同源性检测上能够超越更大的模型（如 3B）。
结构归纳偏置： 添加 C $\alpha$ 距离引导的接触损失（TEDlm3D）能有效地将结构知识注入表示空间，使仅序列模型能够媲美基于结构的搜索工具（如 Foldseek）。
粒度至关重要： 性能增益具有任务依赖性。结构域层级的表示在处理属于单个结构域的任务（折叠识别、分子功能、催化效率）时表现出色，但在处理需要多结构域上下文的任务（亚细胞定位、物种水平的稳定性）时可能表现不佳。
表示质量： 结构信号被编码在模型的内部表示中（注意力图和嵌入），而不仅仅是在训练好的输出头中，这一点从无监督探测的强劲表现中得到了证实。

该研究结论指出，以结构域为中心的预训练提供了一条实现“紧凑、具有结构信息感知的蛋白质语言模型”的可行路径，这些模型可以在无需在推理时输入结构的情况下，在结构和功能预测任务中表现良好。