How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls
本文通过将十四种通用机器学习原子间势函数与一个独立的密度泛函理论（DFT）数据库进行基准测试，旨在证明参考数据集之间固有的分歧确立了一个基础误差底限，从而揭示许多表观上的模型失效实际上是训练数据不一致所导致的伪影，并且适当的控制能显著改善能量和稳定性排名。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在探索新材料的过程中，科学家们经常依赖一种被称为密度泛函理论（density-functional theory）的强大计算机模拟方法。这种技术充当了虚拟显微镜，允许研究人员在从未在实验室中实际构建晶体的情况下，计算排列成晶体结构的原子能量和稳定性。然而，这些计算极其昂贵且缓慢，对于单个结构可能需要数小时甚至数天的时间。为了加速对有用合金和化合物的搜索，研究人员开发了新一代人工智能模型。这些被称为机器学习原子间势能（machine-learned interatomic potentials）的模型，旨在模仿那些缓慢且昂贵的模拟结果。它们可以在不到一秒钟的时间内预测原子的行为，使得筛选此前无法触及的数百万种候选材料成为可能。其前景在于，这些快速模型将引导科学家发现下一代电池、超导体或结构金属。
但一个关键问题仍然存在：这些快速模型的可靠性究竟如何？多年来，科学界一直根据这些人工智能工具与某个特定的、庞大的现有计算数据库之间的匹配程度来对其进行排名。其假设是，如果一个模型能很好地匹配这个数据库，那么它就学习到了支配原子的真实物理定律。最近的一项研究挑战了这一假设，揭示了该数据库本身并不是一个完美的标准。研究人员发现，针对完全相同的材料，不同的高质量计算机模拟之间往往存在微小但显著的差异。这意味着，一个模型之所以看起来高度准确，可能仅仅是因为它学习了某个特定数据库的特性，而不是因为它真正理解了底层的物理学。该研究表明，目前的模型排名往往具有误导性，将模型记忆特定规则的能力与预测现实的能力混为一谈。
为了获得更清晰的图景，来自杨百翰大学（Brigham Young University）和堪萨斯城国家安全校园（Kansas City National Security Campus）的研究小组着手测试了十四种最先进的人工智能模型。他们没有将模型与训练所用的数据库进行比较，而是将其置于一个完全独立的数据库 AFLOW 中进行测试，而这些模型从未见过该数据库。他们检查了大约 145 万个有序金属结构，这是一个化学成分丰富且难以预测的金属间化合物的大型集合。研究人员将不同高质量计算机模拟之间的分歧视为基准极限，或称之为“噪声底限”（noise floor）。他们发现，即使是最好的独立模拟，在典型结构上的分歧也在每原子 6 到 8 千分之一电子伏特左右，而在包含更复杂情况时，这种分歧会增加到 16 到 30 千分之一电子伏特。这设定了一个现实的目标：任何模型都不应该比人类制作的最佳计算结果更精确。
当研究人员应用这一新标准时，模型的排名发生了剧烈变化。此前占据绝对领先地位的一个模型，在研究人员考虑到该模型学习的能量计算规则与测试数据库所使用的规则略有不同后，其优势几乎消失殆票。另一个曾被视为稳居第二的模型，在两者被置于同一衡量标准下时，也被揭示为与领先者几乎不相上下。研究表明，许多模型表现出的所谓误差并非源于对物理学的理解失败，而是由于“记账”（bookkeeping）差异——即不同科学家在定义单个元素能量时存在的微小且一致的偏差。通过修正这些偏差，研究人员发现，顶尖模型与独立数据库的一致程度，几乎达到了两个不同高质量模拟之间的相互一致程度。
这项调查进一步深入探讨了那些并不依赖于这些能量定义的属性，例如材料的硬度或其维持形状的能力。在这些方面，模型表现出了不同的性能。虽然顶尖模型在预测能量方面表现出色，但在预测金属硬度方面的能力差异较大。研究人员还发现，一些模型存在“损坏的参考”（broken references），即它们错误地将一种奇怪且不稳定的原子排列识别为纯元素的稳定形式。这种错误导致了包含该元素的所有化合物的预测都出现了偏差。一旦修复了这些损坏的参考，多个模型的性能都得到了显著提升，并与其他模型趋于一致。
该研究的一个主要发现是，这些模型在推广到新的、未见过的材料方面表现得非常出色，但并非完美。当在从未遇到过的结构上进行测试时，最好的模型准确度会略有下降，但性能下降幅度很小。只有当材料远离其最稳定状态，处于高度不稳定、亚稳态的领域时，误差才会增加。这表明，虽然这些工具对于寻找新的稳定材料非常强大，但在处理最混乱和高能的构型时仍面临困难。研究人员还发现，在最大且最多样化的数据集上训练的模型表现最好，但即使是最好的模型也无法免受其输入数据局限性的影响。
该研究得出结论，目前对这些模型的排名方式需要改变。仅仅测量一个模型与特定数据库的匹配程度是不够的，因为该数据库本身并不是绝对的真理。相反，研究人员提出了一种新方法，即将模型的误差与不同高质量模拟之间的自然分歧进行对比。他们还建议在宣布一个模型成功或失败之前，先检查是否存在“记账”错误或损坏的参考。通过应用这些更严格的控制，团队发现，顶尖模型与其余模型之间的差距比之前认为的要小得多。顶尖模型现在被视为正处于目前计算机模拟所能达到的极限水平，达到了与人类最佳计算结果相当的精度。
这项工作并不是要宣布某个单一模型为最终的赢家，而是提供了一张更诚实的景观图。它表明，只要以正确的控制手段进行解释，人工智能工具在发现新材料方面是强大且可靠的。研究强调，材料发现的未来不仅在于构建更快的模型，还在于构建更好的基准，以考虑到数据本身固有的不确定性。通过理解模型及其测试数据的极限，科学家可以更有信心地开展工作。未来的路径在于利用这些快速模型来探索广阔的化学空间，同时始终牢记在计算同一事物时，不同计算方式之间存在的微小但真实的误差范围。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。