🔬 materials science

ADAPT: Lightweight, Long-Range Machine Learning Force Fields Without Graphs

本文介绍了 ADAPT，这是一种基于 Transformer 架构的轻量级、无图机器学习力场，它通过显式建模所有原子对相互作用来克服现有基于图神经网络（GNN）方法的局限性，在硅点缺陷的预测中实现了显著降低的预测误差和计算成本。

原作者： Evan Dramko, Yihuang Xiong, Yizhi Zhu, Geoffroy Hautier, Thomas Reps, Christopher Jermaine, Anastasios Kyrillidis

发布于 2026-09-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Evan Dramko, Yihuang Xiong, Yizhi Zhu, Geoffroy Hautier, Thomas Reps, Christopher Jermaine, Anastasios Kyrillidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

材料科学家通常将完美的晶体视为一个无瑕疵的网格，就像一座由完全相同的砖块建造的城市，每一条街道和每一栋建筑都严丝合缝。但真实的材料永远不会是完美的。它们包含被称为“点缺陷”的微小瑕疵，即单个原子缺失、错位或被另一种不同类型的原子取代。这些微小的缺陷实际上是材料中最重要的部分，决定了材料如何导电、强度如何以及如何应对热量。为了理解这些特性，研究人员必须计算一个大规模模拟材料块中每个原子的能量和作用力。几十年来，标准的方法是使用复杂的物理方程来模拟电子的行为。虽然这些计算非常精确，但速度极慢且成本高昂，即使运行几小时也需要超级计算机。这种瓶al（瓶颈）使得研究设计更好材料所需的庞大缺陷组合变得十分困难。

为了提高速度，科学家们转向了机器学习，训练计算机程序在无需每次都求解沉重的物理方程的情况下预测这些力和能量。大多数此类程序通过将原子视为社交网络中的节点，根据谁与谁靠近来进行连接。这种被称为“图”（graph）的方法对于简单、均匀的材料效果很好。然而，当缺陷出现时，它会遇到困难，因为缺陷会产生一个向远方延伸的涟漪效应。这种“社交网络”方法往往会抹平这些长程涟漪，从而忽略了决定材料行为的微妙但关键的变化。一项新研究引入了一种不同的方法，完全放弃了网络概念。研究人员不再使用图来连接原子，而是将每个原子视为列表中的一个独立项目，允许计算机同时考虑每一对原子之间的关系，无论它们距离多远。

由埃文·德拉姆科（Evan Dramko）及其同事领导的研究小组开发了一个名为 ADAPT 的系统。他们在硅（一种用于计算机芯片的材料）的数据集上测试了这个系统，重点关注原子缺失或交换的复杂缺陷。在他们的设置中，计算机并不寻找邻居或构建连接图。相反，它获取模拟中每个原子的原始位置——其 x、y 和 z 坐标——以及其化学身份，并将这些信息输入到一个强大的学习引擎中。这个引擎受到帮助计算机理解人类语言的技术启发，将每个原子视为句子中的一个单词。它同时读取整个原子列表，关注每个原子如何影响其他所有原子。这使得模型能够看到缺陷如何扭曲整个晶体的宏观全景，而不仅仅是观察其直接周围的环境。

这项新方法的实验结果令人瞩目。当团队将 ADAPT 与现有的依赖于基于图的网络方法的最佳工具进行比较时，ADAPT 犯的错误显著减少。尽管它使用的计算能力仅为后者的一小部分，但它预测原子受力的误差比领先的基于图的模型减少了约 33%。该系统非常高效，可以在标准的移动工作站笔记本电脑上进行训练，而旧方法则需要大量高端计算机集群运行数天。在时间方面，训练新模型在单个强大芯片上仅需约三小时，而旧模型在相同数据上的训练则需要在许多芯片上运行近 700 小时的计算时间。这种巨大的速度和成本差异表明，这种新方法使得模拟以前难以负担的研究材料变得切实可行。

研究人员还发现，这种新方法能更好地处理缺陷带来的特定挑战。在一个带有缺陷的晶体中，远离缺陷的原子仍会为了适应变化而发生轻微移动。旧的基于图的模型往往无法捕捉到这些远距离运动，实际上模糊了缺陷的细节。新系统通过同时考虑所有相互作用，保留了这些长程效应。团队展示了，如果人为地限制新模型仅观察附近的原子（模仿旧的图方法），其性能就会大幅下降。这证实了能够一次性观察整个结构的能力是其成功的关键。该模型预测缺陷晶体能量和每个原子受力的准确度，足以媲美那些缓慢且昂贵的物理计算。

尽管取得了这些成功，研究人员也谨慎地指出了他们工作的局限性。该系统是专门针对硅中的缺陷进行训练的，尚未在其他材料或不同类型的结构问题上进行测试。他们还指出，由于使用了两个独立的计算机程序——一个用于预测力，另一个用于预测能量——该系统并不严格遵循通常将两者联系起来的物理定律。虽然这种分离带来了更高的速度和灵活性，但也意味着该模型无法用于某些需要力与能量之间保持完美物理平衡的模拟类型。然而，对于寻找缺陷材料稳定形状的特定目标，这种新方法被证明是非常有效的。

这项研究表明，远离传统的基于图的原子思维方式可以为材料科学开启新的大门。通过将原子视为独立的统计数据点而非连接的网络，研究人员能够捕捉到定义真实材料运作方式的复杂长程行为。这种视角的转变，结合现代学习工具的高效性，为更快、更廉价地发现新材料提供了一条充满希望的路径。这项工作证明，有时，理解一个复杂系统的最佳方式不是绘制它的连接图，而是让计算机一次性看到整个全景。

技术摘要：ADAPT —— 无图结构的轻量化、长程机器学习力场

1. 问题陈述

点缺陷是材料性质的核心，但对其进行建模面临着显著的计算挑战。诸如密度泛函理论（DFT）之类的第一性原理方法虽然精确，但在高通量筛选或大规模超胞（通常包含数百到数千个原子）的结构弛豫中，其计算成本高得令人望而却步。

虽然基于图神经网络（GNN）的机器学习力场（MLFF）提供了更具计算效率的替代方案，但这些最先进的方法在应用于点缺陷时面临特定的局限制：

过度平滑（Oversmoothing）： GNN 通常难以表示长程相互作用，而这对于缺陷的结构形成至关重要。
局部偏差（Local Bias）： GNN 架构本质上侧重于局部相互作用，需要深层的消息传递层来传播信息以跨越大型超胞。这可能导致“过度挤压”（over-squashing）以及长程信号的退化。
计算成本： GNN 中的消息传递算法对于大型周期性超胞而言计算量巨大，限制了其可扩展性。

2. 方法论：ADAPT 架构

作者引入了 加速深度原子势能 Transformer（ADAPT），这是一种放弃了图表示，转而采用基于坐标的直接表述形式的 MLFF。

2.1 核心设计原则

标记化（Tokenization）： 原子被视为“标记（tokens）”。一个包含 $n$ 个原子的结构被表示为一个由 $n$ 个标记组成的序列。
输入特征： 每个标记是一个 12 维向量，包含笛卡尔坐标（ $x, y, z$ ）和原子描述符（族、周期、电负性、共价半径、价电子、电离能、电子亲和力、原子半径、摩尔体积）。
无图归纳偏置（No Graph Inductive Biases）： 该模型避开了图拓扑和显式的几何先验（如键定义），依靠 Transformer 从原始坐标中学习关系的能力。

2.2 架构组件

系统采用了两个不同的网络：一个用于力预测，另一个用于能量预测。

A. 力预测（Transformer 编码器）

嵌入（Embedding）： 多层感知机（MLP）将 12 维的输入标记映射到更高维的潜在空间（ $d_{model}$ ）。
Transformer 编码器： 序列通过 $k$ $k$ 个编码器块，每个块包含：
- 层归一化（LN）： 确保训练稳定性。
- 多头缩放点积注意力（Multi-Head Scaled Dot-Product Attention）： 这是核心机制，其中标记进行交互。与 GNN 不同，它使用全量、无掩码的自注意力（full, unmasked self-attention），允许每个原子在单步内与所有其他原子进行交互，从而在无需基于深度的传播的情况下捕捉长程依赖关系。
- 前馈网络（FFN）： 对单个标记应用非线性变换。
力投影： 线性投影将编码后的标记映射为 3D 力向量（ $f_x, f_y, f_z$ ）。

B. 能量预测（MLP + 残差）

另一个模型用于预测整个结构的形成能。
作者测试了三种架构（解码器、MLP、MLP+残差），发现 带有残差连接的 MLP 表现最好。
输入处理： 由于 MLP 需要固定长度的输入，结构被填充（padding）至最大 220 个原子（基于其数据集中的 64 原子 Si 晶格加掺杂剂）。

2.3 损失函数与训练策略

重要性加权均方误差（Importance-Weighted MSE）： 为了解决缺陷核心处（高量级）与体相晶格（接近零）之间存在的力尺度失衡问题，作者引入了一种专门的损失函数。
- 应用重要性掩码 $m_i$ ，根据原子与缺陷位置（ $D$ ）的距离对其进行加权。
- 权重随距离的幂律衰减： $m_i = \prod_{j \in D} (1 + \frac{\lambda_1}{\|r_i - r_j\|^2 + \lambda_2})$ 。
- 这确保了模型优先考虑关键缺陷区域的准确预测，而不是最小化平凡体相原子的误差。
独立模型： 力和能量由独立的模型预测。这允许模块化部署和独立重训，尽管作者指出这会导致非保守力场（即力不保证是能量面的梯度）。

3. 主要贡献

无图 MLFF： ADAPT 证明了无需图表示，利用 Transformer 处理全局原子相互作用，即可构建高精度的力场。
显式长程建模： 通过使用全自注意力机制，ADAPT 显式地模拟了所有成对原子间的相互作用，克服了 GNN 中固有的过度平滑和长程信号退化问题。
计算效率： 该架构利用了高度优化的现代硬件（GPU）上的密集线性代数运算，避免了限制 GNN 性能的稀疏操作。
专门的损失函数： 引入了专门为缺陷模拟定制的重要性加权损失函数，提高了其在实际应用中的效用。

4. 结果

该模型在包含简单和复杂缺陷的 6,082 个硅缺陷 DFT 轨迹数据集上进行了评估。

精度：
- 力： ADAPT 实现了 0.0126 eV/Å 的平均绝对误差（MAE）（小构型），相比于重新训练的 MACE 模型，误差降低了约 33%。它显著优于预训练的通用模型如 MatterSim 5M。
- 能量： ADAPT 能量预测器的 MAE 为 0.5782 eV，优于重新训练的 MACE 和 MatterSim 5M。
计算成本：
- 训练时间： 训练 ADAPT 力模型需要 3 个计算小时（在 1 台 NVIDIA A100 上运行 80 个 epoch）。
- 对比： 重新训练 MACE 需要 680 个计算小时（在 16 台 NVIDIA A100 上运行 300 个 epoch）。在力预测方面，ADAPT 的训练速度比 MACE 快 >227 倍；在包含能量模型的整体计算中，速度快 >138 倍。
硬件可及性： 其紧凑的设计允许在包括工作站和消费级笔记本电脑在内的普通硬件上进行训练，而 GNN 训练通常需要大规模集群。

5. 重要性与主张

论文声称 ADAPT 为建模晶体缺陷提供了一种范式转变，通过以下方式实现：

绕过 DFT 弛豫： 凭借与 DFT 停止准则相当的力预测精度（~0.01 eV/Å），ADAPT 可作为加速结构弛豫流程的可行替代方案。
可扩展性： 能够高效处理大型超胞，且没有消息传递带来的计算开销，使其适用于高通量缺陷数据库。
性能超越归纳偏置： 结果挑战了在此特定领域中强几何归纳偏置（图）的必要性，表明通过足够的数据和全局注意力机制，Transformer 可以直接从坐标中学习必要的物理不变性（置换、平移、旋转）。

承认的局限性：

该模型目前是非保守的（力与能量解耦），这限制了其在需要严格能量守恒的分子动力学模拟中的应用。
它依赖于大型数据集；与 GNN 相比，在数据量有限时性能可能会下降。
目前的验证针对的是硅缺陷，其在多样化体相结构中的适用性仍是一个开放性问题。