Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
本文表明，虽然基于 LeJEPA 的自监督预训练能够产生高质量的分子表示，其在冻结探测中显著优于随机初始化，并能对传统指纹形成补充，但其优势并不能通过标准微调稳健地转化为下游性能的提升，这表明特征层面的结合是利用这些预训练嵌入的最优策略。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
分子是生命与医药的基础构建模块，但对计算机而言，一种药物仅仅是原子通过化学键连接而成的复杂地图。几十年来，科学家们一直试图教会人工智能阅读这些地图，希望借此预测哪些新的化学结构能成为有效的药物。挑战在于，尽管存在数以亿计的类药物分子，但关于哪些分子真正有效的现有数据却非常稀缺且成本高昂。为了解决这个问题，研究人员转向了一种借鉴人类学习方式的策略：预训练。就像孩子在学习特定学科之前先学习关于世界的通用概念一样，计算机模型可以利用一个海量的、未标记的化学结构库进行训练，以学习化学的基本规则，并希望这种通用的知识能帮助它在稍后解决特定问题（例如寻找一种新的抗生素）。
一个研究小组着手测试一种新的、更精简的教学方法，该方法被称为 LeJEPA。这种方法不再试图重建分子的每一个微小细节，也不再将其与成千上万个其他示例进行对比，而是要求计算机根据局部视图来预测全貌。想象一下，向一个模型展示一个分子片段，并要求它猜测整个结构的属性。为了防止模型依赖简单的模式，研究人员添加了一条数学规则，强制要求计算机对分子的内部理解必须是多样化且组织有序的，而不是坍缩成一个单一且无用的答案。他们在两个主要挑战上测试了这种方法：一个是预测 HIV 药物活性的标准基准测试，另一个是寻找新抗生素的特定数据集，在该数据集中，只有极小比例的测试化合物实际上是有效的。
结果揭示了这些模型学习方式中一个令人惊讶的转折。当研究人员在预训练后“冻结”了计算机的大脑，并仅要求它进行分子分类而不进行进一步教学时，预训练模型的表现显著优于从零开始训练的模型。在 HIV 基准测试中，预训练模型达到了 0.788 的得分，较未经训练版本的 0.665 分有了大幅提升。这证明了该方法成功学习到了丰富且有用的化学结构表征。然而，当研究人员尝试通过微调（fine-tuning）来利用这些知识以提高模型的性能时，这种优势基本消失了。在抗生素数据集上，预训练模型并未持续超越未经训练的模型；而在 HIV 基准测试上，一旦允许模型调整其权重，这种提升便完全消失了。唯一一次预训练模型显示出清晰且可靠益处的情况，是在一个特定的、困难的测试中——即化学结构对于训练数据来说完全陌生的测试，即便如此，这种提升也是脆弱的，并且高度依赖于数据的划分方式。
研究人员发现，这种预训练的真正价值不在于取代现有工具，而在于补充它们。他们发现，计算机学到的分子理解力在与一种被称为“指纹”（fingerprint）的传统手工构建化学描述相结合时最为有效。当他们提取出预训练模型中最有用的部分，并将其与这种标准指纹结合在一起时，这个组合系统表现得比两者中的任何一方都更好。这种混合方法将 HIV 基准测试的成功率提高到了 0.830，这是一个无论是指纹还是预训练模型单独使用都无法达到的显著提升。这项研究表明，虽然这种新的预训练方法确实学习到了更深层、更稳健的化学理解，这种理解能够经受住化学结构变化的考验，但它并不会在以标准方式使用时自动转化为更好的性能。相反，它的最大力量在于提供了一层结构洞察力，这种洞察力在与既有方法配对时效果最佳，为构建更可靠的药物研发工具提供了一种新途径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。