Transformers Discover Molecular Structure Without Graph Priors
本文表明，在未经显式基于图的物理先验训练的情况下，通用 Transformer 模型能够仅从数据中自主发现关键的分子结构与相互作用模式，其准确率可与引入物理先验的架构相媲美，这表明此类归纳偏置可能是可学习的，而非严格必要的。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
长期以来，科学家们一直依赖计算机模拟来理解物理世界是如何运作的，从原子如何结合形成分子，到材料在压力下如何反应。传统上，这些模拟是通过将已知的物理定律直接手工编码进软件中来构建的。这种方法确保了结果的合理性，但往往既缓慢又昂贵。近年来，一种不同的方法出现了：利用机器学习在数据中寻找模式，而不是遵循预先编写的规则。虽然这种数据驱动的方法彻底改变了语言和图像识别等领域，但在物理学领域的应用却一直持谨慎态度。许多专家认为，如果不显式地教计算机几何和力的规则，它将无法理解原子之间复杂的舞蹈。主流观点认为，机器学习模型需要一个内置的地图，展示原子如何相互作用，才能产生可靠的结果。
加州大学伯克利分校和劳伦斯伯克利国家实验室的研究小组致力于测试这一假设的极限。他们提出了一个根本性的问题：如果你给一个功能强大的计算机模型大量关于分子的数据，但禁止它使用任何关于物理学的预编程规则，它是否仍能自行弄清楚物理世界是如何运作的？为了找到答案，他们使用一种被称为“Transformer”的人工智能对海量的分子结构数据集进行了训练。这个名为 OMol25 的数据集包含数百万个原子排列的示例，以及与每种排列相关的能量和力。至关重要的是，研究人员没有给模型任何关于原子应如何行为的特殊指令，也没有强迫它以特定的几何顺序观察原子。他们只是向其输入原始坐标，让其自行学习。
结果令人震惊。这个最初没有任何物理知识的模型，自主发现了科学家们花费数十年时间试图通过手工编码获得的规律。随着模型处理数据的进行，它学会了根据原子之间的距离为它们的关系分配不同的重要程度。在学习的早期阶段，模型高度关注附近的原子，随着距离增加，其注意力急剧下降。这种行为镜像了物理力（如静电斥力）随距离迅速减弱的方式。随着模型变得更深、更复杂，它转向包括长程相互作用，最终学习到了一种与经典物理学中能量随距离衰减方式相匹配的模式。值得注意的是，模型甚至发现了一个自然极限，即它需要观察多远才能理解一个原子的环境——这个截断距离与人类专家为传统模型手动选择的数值完美契合。
研究人员还观察到，该模型并非采用僵化的处理方式。它并没有使用固定的规则来决定观察原子的范围，而是根据周围空间的密度来调整其行为。在原子紧密堆积的拥挤区域，模型专注于直系邻居；在原子孤立的稀疏区域，它则扩大视野以包含远处的伙伴。这种灵活性使模型能够比僵化的、预编程的系统更有效地处理不同的分子环境。此外，模型还学会了以反映元素周期表的方式来组织化学元素，将惰性气体归为一类，并按化学家族对金属进行排序，而这一切都是在从未被告知什么是元素周期表的情况下完成的。
为了确保这些发现不仅仅是特定数据集带来的偶然现象，团队测试了模型的扩展能力。他们发现，随着数据量和模型规模的增加，其性能表现出可预测且一致的提升。这种被称为“缩放法则”（scaling law）的行为是强大机器学习系统的标志，表明模型的物理理解是真实且稳健的。在要求模型预测水分子能量的测试中，它产生的结果既符合高水平物理模拟，也符合现实世界的实验测量值。更令人惊讶的是，当研究人员训练一个规模巨大的模型版本时，它达到了与那些专门设计了内置物理定律架构的专业模型相当的准确度。
这些发现表明，人类设计的规则与习得知识之间的界限比此前认为的更加流动。研究表明，拥有足够的数据，通用型机器学习模型可以自主发现物理相互作用的基本原理。这并不意味着人类设计的模型已经过时；相反，它表明通用架构可以作为科学建模的一个强大的起点。通过依靠数据来揭示结构，科学家们或许能够发现难以预见或难以预先写下的灵活解决方案。这项工作为科学发现开辟了一条新路径，在这种路径下，计算机不再仅仅是遵循指令的计算器，而是能够从数据本身中发现宇宙规律的学习者。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。