Multi-objective optimization and quantum hybridization of equivariant deep learning interatomic potentials

本文表明，通过应用多目标超参数优化并在 Allegro 原子间势模型中引入量子-经典混合层，显著提升了力预测的准确性，特别是在铜-锂结构上，从而确立了量子-经典混合作为改进机器学习原子间势的一个极具前景的方向。

要点

想象一下，你正试图建造一个超级聪明的机器人厨师，它能够精确预测一个分子（一小簇原子）的行为。为了做到这一点，机器人需要学习一个叫做“原子间势能”（Interatomic Potential）的“食谱”。这个食谱会告诉机器人分子中储存了多少能量，以及原子之间是如何相互推挤或拉扯的（力）。

传统上，科学家们使用一种非常强大但极其缓慢的方法，叫做“密度泛函理论”（DFT），来计算出这些结果。这就像是通过计算每一粒糖和每一粒面粉的精确运动，来试图烤出一个完美的蛋糕。这种方法非常准确，但速度慢得惊人。

机器学习原子间势能（MLIPs） 是这种新颖且更快速的方法。它们就像是一个已经品尝过成千上万个蛋糕并掌握了规律的机器人厨师，因此可以瞬间猜出食谱。在这些优秀的“厨师”中，其中一位名叫 Allegro。

然而，即使是最优秀的厨师也面临着权衡：

1. 准确度（Accuracy）： 猜出的结果与真实的蛋糕有多接近？
2. 速度（Speed）： 厨师喊出答案的速度有多快？

通常情况下，如果你让厨师变得更准确，他就会变慢；如果你让他变快，他可能会犯更多错误。

实验：调整厨师并添加新工具

本文的作者想要解决这个权衡问题。他们不仅是对现有的 Allegro 厨师进行了微调，还尝试了两种新的“厨房升级”方案：

1. “额外层”升级（Allegro+MLP）： 他们在厨师的大脑中加入了更多标准的、经典的计算机层。这可以理解为给厨师一本更厚、步骤更详细的笔记本。
2. “量子混合”升级（Allegro+QDI）： 他们用一个量子层替换了一些标准步骤。想象一下，这相当于给厨师一个特殊的、神奇的香料罐，它能以普通香料罐无法做到的方式品尝复杂的风味。这是常规计算机与量子计算机的结合体。

为了找到这些厨师的最佳设置，他们使用了一种名为 SAMO-COBRA 的智能算法。你可以将这种算法看作是一位非常严格的美食评论家，他会进行成千上万次的品尝测试。这位评论家的目标是找到“帕累托前沿”（Pareto Front）——即在不变得过于缓慢的前提下，使厨师尽可能准确的那个平衡点。

数据集：品尝测试

他们用四种不同的“菜单”（数据集）对这些厨师进行了测试：

• QM9： 一个包含 133,000 个小型有机分子（如简单的糖类和气体）的庞大菜单。
• rMD17（阿司匹林与苯）： 用于医药和化学领域的特定复杂分子。
• Cu-Li（铜-锂）： 由作者创建的一个定制菜单，包含铜和锂原子。这就像是针对电池材料的专门测试。

结果：谁赢得了烹饪大赛？

以下是他们对比结果时发生的情况：

• “额外层”厨师（Allegro+MLP）： 这个版本始终优于原始的 Allegro。在几乎所有的菜单上，它在预测原子如何推挤和拉扯方面都表现得更加准确。它证明了仅仅增加经典的深度是有帮助的。
• “量子混合”厨师（Allegro+QDI）：
  • 在“铜-锂菜单”上： 这是大赢家。因为他们针对这个特定的菜单对这位厨师进行了全面优化，它比“额外层”厨师的准确度高出了 13%。它在预测铜和锂原子之间的作用力方面表现最佳。
  • 在其他菜单上： 尽管他们没有针对其他菜单重新调整量子厨师（只是使用了铜-锂测试中的设置），但它的表现依然非常有竞争力。它并没有因为食材的变化而失去优势。

总结

本文得出结论，量子-经典混合（Quantum-Classical Hybridization）（即将常规计算机层与量子层结合）是一个充满前景的方向。

你可以这样想：原始的 Allegro 是一位优秀的厨师。“额外层”版本让它变成了一位更出色的厨师。但“量子混合”版本，特别是在针对特定任务进行充分调优后，成为了该特定工作的冠军厨师。即使在没有重新训练的情况下用于不同的任务，它依然表现稳健。

作者强调，他们的主要目标不仅仅是打破世界纪录，而是为了证明，通过系统地调优这些模型并添加量子层，可以显著提高我们预测原子行为的准确度，这对于设计新材料和电池至关重要。

技术摘要

技术摘要：多目标优化与等变深度学习原子间势能的量子混合研究

问题陈述
机器学习原子间势能（MLIPs）提供了一种路径，能够以接近密度泛函理论（DFT）的精度预测分子能量、应力和力，但其计算成本仅为后者的极小部分。然而，训练这些模型通常涉及预测精度与推理时间之间的权衡。作者通过将多目标超参数优化应用于 Allegro 模型（一种专为大规模系统设计的 E(3) 等变神经网络）来解决这一挑战。此外，本文还研究了通过修改 Allegro 的架构——具体是通过引入经典深度或量子-经典混合层——是否能在不牺牲效率的情况下进一步提升性能。

方法论
本研究采用了一种涉及数据集生成、架构修改和多目标优化的系统化方法：

1. 数据集：

   • 公开数据集： 模型在 QM9（133,885 个有机分子）、rMD17-aspirin 和 rMD17-benzene 上进行了评估。
   • 自定义数据集： 利用 DFT 计算创建了一个自生成的 铜-锂 (Cu-Li) 结构数据集。该数据集包含 11,635 个结构，包括对称平板、表面空位、吸附原子以及通过熔融-淬火模拟生成的非晶界面。
   • 预处理： 对数据进行了归一化处理，并剔除了未能通过几何检查的特定分子。

2. 架构变体：

   • 基准模型 (Baseline)： 标准的 Allegro 模型。
   • Allegro+MLP： 一种通过增加额外的多层感知器（MLP）层来增加模型深度和复杂性的经典变体。
   • Allegro+QDI： 一种混合变体，其中特定的 MLP 组件被 量子深度注入 (QDI) 层所取代。这些层利用带有数据重上传策略的变分量子电路（VQC），以在有限的量子比特数下管理高维输入特征。

3. 优化算法：

   • 作者使用了他们实现的 SAMO-COBRA，这是一种最先进的多目标优化算法。
   • 目标： 该算法同时最小化两个相互冲突的目标：
     1. 验证集上力的平均绝对误差 (MAE)。
     2. 测试集上的总推理时间。
   • 超参数： 优化过程根据模型变体搜索了 6 到 9 个超参数，包括截断半径、学习率、批大小、层维度以及特定的量子参数（QDI 深度和输入特征）。

核心贡献

• 多目标优化框架： 应用 SAMO-COBRA 为 MLIPs 生成帕累托前沿（Pareto fronts），明确平衡了精度与推理速度。
• 架构探索： 构建并评估了两种截然不同的 Allegro 变体：纯经典的加深版本（Allegro+MLP）和量子-经典混合版本（Allegro+QDI）。
• 迁移性分析： 研究了针对特定无机数据集（Cu-Li）优化的超参数能否有效地迁移到有机数据集（QM9, rMD17）用于混合模型。

结果

• 帕累托优化： 对于所有数据集，均观察到了精度与推理时间之间的权衡。
  • Allegro+MLP： 在所有数据集的力预测精度方面一致优于基准 Allegro 模型，尽管有时是以增加推理时间为代价。
  • Allegro+QDI： 在 Cu-Li 数据集（在该数据集上进行了充分优化）上实现了最佳的整体力预测精度，比 Allegro+MLP 提高了约 13%。
• 迁移性： 当使用从 Cu-Li 优化中迁移而来的超参数（未针对 QDI 层进行数据集特定的调优）将 Allegro+QDI 应用于其余数据集（rMD17-aspirin, rMD17-benzene, QM9）时，它仍然取得了具有竞争力的结果。值得注意的是，它在 rMD17-benzene 数据集上实现了最佳的能量 MAE。
• 文献对比：
  • 在 rMD17-aspirin 上，Allegro+MLP 的力 MAE 为 9.0 meV/Å，优于原始 Allegro 和 BOTNet，但 MACE 报告了更低的误差（6.6 meV/Å）。
  • 在 rMD17-benzene 上，Allegro+MLP (0.28 meV/Å) 与 NequIP 和 MACE 具有竞争力。
  • 作者指出，能量预测在训练期间表现出更多的不稳定性，且由于优化侧重于力，因此在所有语境下并没有模型在能量预测方面具有绝对优势。

意义与主张
本文谦虚地声称，其主要贡献不在于建立标准数据集上的全新最先进精度基准，而在于 展示系统化多目标超参数优化的价值 以及 探索量子-经典混合在 MLIP 框架内的潜力。

结果表明：

1. 增加经典深度（MLP 层）可以持续提高相比于基准模型的力预测精度。
2. 量子-经典混合（QDI 层）为增强 MLIP 架构提供了一个充满前景的方向，特别是对于像 Cu-Li 这样复杂的无机系统，它提供了显著的增益。
3. 混合带来的益处可以延伸到对其量子参数进行优化的特定数据集之外，这从其混合模型在有机数据集上的竞争性表现中得到了证实。

作者总结道，探索不同的 ansatzes 或增加经典/量子层的数量可能会进一步改进这些模型，特别是对于那些难以进行解析求解的复杂分子。