ProtSent: Protein Sentence Transformers
本文介绍了 ProtSent，这是一种对比微调框架，能够将蛋白质语言模型适配为通用嵌入模型，在无需任务特定监督的情况下，显著提升其在涉及蛋白质功能、结构和进化的 23 项下游任务中的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一座庞大的图书馆，里面藏书无数，但每本书都没有标题或摘要，只是一长串随机的字母。在生物学世界中，这些“书”就是蛋白质，而“字母”则是氨基酸。多年来，科学家们构建了超级智能的 AI 模型（称为蛋白质语言模型，或 pLMs），它们能够阅读这些字符串并理解生命的基本语法。
然而，存在一个问题。如果你问这些 AI 模型：“哪两种蛋白质最相似？”它们往往会给出令人困惑的答案。它们能告诉你字母是相似的，但并不总是理解：两种蛋白质即使字母略有不同，实际上可能执行完全相同的功能，或具有相同的三维结构。这就像拥有一本字典，它知道单词的拼写，却不理解"car"（汽车）和"automobile"（汽车）意味着同一个东西。
引入 ProtSent：蛋白质句子转换器
本文的作者创建了一种名为ProtSent的新训练方法。你可以将其视为对这些 AI 模型进行的一次严格的“再教育”计划。
以下是他们是如何做到的，使用一个简单的类比：
1. 问题：“平均池化”的混乱
在 ProtSent 出现之前，如果你想寻找相似的蛋白质，AI 会将整个蛋白质取平均，将其所有部分平均化，然后输出一个单一的数字（即“嵌入”）。这就像试图通过平均每一帧画面的颜色来描述整部电影。你会失去情节、角色和结构。AI 知道单词，却不知道故事。
2. 解决方案：“分组”游戏
ProtSent 使用了一种称为对比学习的技术。想象你是一位试图整理混乱房间的图书管理员。
- 旧方法： 你只是随机地把书放在架子上。
- ProtSent 方法： 你玩一个游戏，系统会给你成对的书籍。
- A 组： 两本关于“猫”的书。（这些是正样本对）。你被告知：“把它们紧挨着放！”
- B 组： 一本关于“猫”的书和一本关于“烤面包机”的书。（这些是负样本对）。你被告知：“把它们尽可能远地分开！”
AI 用不同类型的“书”（蛋白质）玩这个游戏数百万次，直到它学会整理整个图书馆，使相似的事物自然地成为邻居。
3. 他们从哪里获得这些“配对”？
为了教会 AI 什么是“相似”，他们并没有只使用一种规则。他们使用了五种不同的真理来源，就像五位不同的老师给 AI 布置作业：
- 家谱（Pfam）： 如果两种蛋白质属于同一个生物学家族，它们就是邻居。
- 三维形状（AlphaFold）： 如果两种蛋白质折叠成相同的三维形状（即使它们的字母看起来不同），它们就是邻居。
- 工作伙伴（STRING）： 如果两种蛋白质已知在细胞中协同工作，它们就是邻居。
- “困难”测试（Hard Negatives）： 他们制造了棘手的例子——那些看起来几乎完全相同，但有一个微小变化导致其功能失效的蛋白质。AI 必须学会识别这些微小差异并将它们推开。
- 适应度评分（DMS）： 他们使用了关于蛋白质如何耐受突变的数据，教导 AI：在“适应度”上的微小变化应在 AI 的内部图谱中导致微小的变化。
4. 结果：一张更好的地图
经过这种训练后，作者在 23 项不同的任务上测试了新的 AI 模型。他们甚至没有教 AI 如何执行这些特定任务；他们只是让 AI 查看其新的“图书馆”，并找到最近的邻居。
结果就像发现了一张宝藏地图，其中的地标突然变得清晰可见：
- 远程同源性（寻找远房表亲）： AI 在寻找那些相关但外观差异巨大的蛋白质方面，提高了105%。这就像终于认出狼和狗是表亲，即使一只在森林里，另一只被拴在牵引绳上。
- 结构搜索： 当被要求寻找具有相同三维形状的蛋白质时，AI 的准确率提高了近20%。
- 小模型，大收益： 即使是较小版本的 AI（3500 万参数）也显著变好了，证明这种方法适用于各种规模的模型。
5. 局限（注意事项）
本文诚实地指出了该方法不能做什么：
- 它是一张通用地图，而非专用工具。它非常适合寻找邻居，但如果你需要一个用于特定医疗诊断的超精确计算器，你可能仍然需要专用工具。
- 有时，如果 AI 在分组方面变得过于出色，它可能会意外地破坏那些依赖非常具体、微小细节的任务（例如精确预测单个突变如何改变蛋白质的稳定性）。
- 训练数据仅限于他们使用的五个来源。如果某种关系存在于家谱、三维形状或相互作用网络之外，AI 可能无法学到它。
总结
ProtSent就像是将一位聪明但缺乏条理的图书管理员，赋予了一套严格的规则来整理图书馆。这位图书管理员不再仅仅知道页面上的单词，而是理解了书籍之间的关系。这使得当你只有模糊的搜索目标时，也能极其容易地找到正确的书，而无需重新教导图书管理员从头开始阅读每一本书。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。