Materials representations organize transferable supervision for chemical extrapolation
本文证明了预训练晶体图表示能够通过其化合物所提供的可迁移监督信息,有效地对元素进行排序,从而在化学外推方面优于传统的元素属性相似性度量,并在不需要目标属性标签的情况下实现有信息的数据集评估。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
探索新材料的过程往往是一场基于合理推测的游戏。科学家需要在实验室合成物质之前,就预测其行为——例如它是否导电、能否储存能量或能否耐热。为了加速这一过程,研究人员使用基于已知数据训练的计算机模型来进行这些预测。然而,当这些模型被要求预测全新的化学类型时,特别是包含模型从未见过的元素的化合物时,它们面临着一个重大障碍。如果一个模型只学习过铁和碳,它能可靠地预测含有某种它从未遇到过的稀有元素的化合物的行为吗?挑战在于找出已知材料中哪些对于教导模型理解这些未知物是有用的。
日本国家物质研究院(National Institute for Materials Science)的一个研究小组开发出了一种方法来回答这个问题,而无需预先知道目标材料的最终性质。他们发现,计算机模型“看待”和组织化学数据的方式,决定了哪些已知化合物是学习新颖未知化合物的最佳“老师”。通过分析材料在计算机内存中是如何被表征的几何结构,他们发现模型可以根据这些元素及其化合物对学习贡献的大小对其他元素进行排名。这种排名甚至在模型针对特定性质进行训练之前就能完成,这表明数据本身的结构就是成功预测的关键。
在这项研究中,研究人员关注了计算机表示化学化合物的两种不同方式。第一种方法依赖于手工制定的规则,即科学家手动选择特定的原子属性(如原子的尺寸或其电性吸引力)来构建材料的描述。第二种方法使用预训练的神经网络,这是一种通过研究数百万种化合物来学习自身描述的人工智能。研究人员通过提出一个简单的问题来测试这两种方法:如果我们从训练数据中删除所有含有特定元素的化合物,应该保留哪些其他元素,才能帮助模型预测那个缺失元素的性质?
为了找到答案,他们使用了一种称为“留一元素法”(leave-one-element-out)的技术。他们从庞大的已知材料数据库中暂时隐藏所有含有特定元素(例如镁)的化合物,将其作为目标。然后,他们根据剩余化合物中所含的其他元素将它们分组。利用这两种不同的表征方法,他们对这些组进行排名,以观察哪些组在计算机的内部地图中与隐藏的镁化合物最为相似。随后,他们在排名靠前的组上训练预测模型,并测试这些模型预测隐藏镁化合物性质的能力。
结果显示出一个清晰且一致的模式。当研究人员从训练数据中排除排名靠前的化合物组时,模型预测隐藏元素性质的能力就会崩溃。预测形成能(衡量稳定性的指标)的误差增加了约 100 到 110 毫电子伏特/原子,而预测带隙(与电导率相关)的误差增加了 42 到 85 毫电子伏特。相比之下,移除排名最低的组对模型的性能几乎没有影响。这证明了该排名系统成功识别了哪些已知化学成分为学习未知化学成分提供了最有价值的教训。
然而,这两种表征方法对这种监督信息的组织方式截然不同。依赖于预定义原子属性的手工方法,根据元素在基本物理特征(如电负性或原子半径)方面的相似性来对有用的化合物进行排名。这符合传统的化学直觉,即处于同一周期表列中的元素被预期表现出相似的行为。另一方面,预训练神经网络产生的排名并不符合这些传统的相似性。相反,它根据化合物在其计算机内部表征空间中发生位移的几何方向对元素进行排名。在这种学习到的视角下,即使基本原子属性差异很大,在复杂化合物中表现相似的元素也会被归为一组。
研究人员发现,这种学习到的排名比依赖于周期表分组或简单的属性相似性要有效得多。当他们使用神经网络列表中的排名靠前的元素来训练模型时,预测精度明显高于使用仅仅处于同一周期组的元素。这表明神经网络捕捉到了元素在化合物内部相互作用的更深层信息,而不仅仅是它们孤立存在时的样子。研究表明,这种排名是稳健的;它在不同的数据库、不同类型的材料性质以及不同的机器学习算法中均保持有效。
或许最重要的一点是,研究人员证明了这种排名可以在进行任何性质模型训练之前就确定下来。因为该排名仅取决于材料表征的几何结构,而不取决于特定的目标性质,所以科学家可以在不进行昂贵的实验或复杂的计算之前,评估数据集的哪些部分对于新的发现项目是最有用的。这种能力使研究人员能够识别其数据中的空白,并优先确定哪些新化合物需要进行标记和研究。如果排名靠前的来源元素与目标化学成分的关联较弱,则表明当前的数据表征方式可能需要改变。如果排名靠前的元素存在但未被标记,则能告诉科学家应该将精力集中在何处以收集新数据。
这些发现为机器学习如何处理“未知”提供了一个新的视角。研究表明,并非所有的已知数据都具有同等的价值,数据点的价值完全取决于模型如何被结构化以解释它。通过理解这些表征是如何组织监督信息的,科学家可以更好地设计他们的数据集,并选择合适的工具来探索新的化学领域。这种方法超越了仅仅希望模型能够良好泛化的阶段;它提供了一种具体的方法,用以识别哪些已知材料真正能教会模型如何处理未知,从而将化学发现的过程转变为一个更具引导性和高效性的过程。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。