🔬 materials science

BOOM: Benchmarking Out-Of-distribution Molecular Property Predictions of Machine Learning Models

本文介绍了 BOOM，这是首个用于系统性评估分子属性预测中分布外（OOD）泛化能力的化学启发式开源基准测试，它揭示了当前的机器学习模型在超越其训练数据进行外推方面存在困难，并强调了开发新方法以实现稳健 OOD 性能的必要性。

原作者： Evan R. Antoniuk, Shehtab Zaman, Tal Ben-Nun, Peggy Li, James Diffenderfer, Busra Sahin, Obadiah Smolenski, Everett Grethel, Tim Hsu, Anna M. Hiszpanski, Kenneth Chiu, Bhavya Kailkhura, Brian Van Esse

发布于 2026-09-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Evan R. Antoniuk, Shehtab Zaman, Tal Ben-Nun, Peggy Li, James Diffenderfer, Busra Sahin, Obadiah Smolenski, Everett Grethel, Tim Hsu, Anna M. Hiszpanski, Kenneth Chiu, Bhavya Kailkhura, Brian Van Essen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

探索新药和新材料的征程往往始于一个简单却又令人畏惧的问题：在数十亿种可能的化学结构中，究竟哪些才真正有效？几十年来，科学家们一直依赖于试错法，但新一波的人工智能有望通过在分子被实际构建之前预测其行为，来加速这一过程。这些计算机模型通过对已知化学物质的大规模库进行训练，学习识别将分子的形状与其属性（例如其在水中的溶解度或燃烧时释放的能量）联系起来的模式。人们希望这些模型随后能够观察一个全新的、从未见过的分子，并准确地猜测其行为，从而有效地让研究人员能在计算机屏幕上设计化学的未来。

然而，这里有一个显著的陷阱。大多数此类人工智能模型擅长识别其受训数据中的模式，但当被要求预测与训练库中任何内容都截然不同的分子属性时，它们往往会出错。在机器学习领域，这被称为“分布外”（out-of-distribution）问题。这就像是一个学生记住了练习题的答案，而不是一个能够解决全新、意外问题的学生。如果一个模型无法超越其训练数据进行泛化，它就会变成一个证实已知事实的工具，而非发现未知领域的工具。这种局限性是下一代药物研发和材料科学的主要瓶颈，因为这些领域的目标是寻找那些能够突破现有边界的分子。

来自劳伦斯利弗莫尔国家实验室和宾汉姆顿大学的研究团队针对这一问题进行了深入研究，并提出了一个名为 BOOM 的新基准测试。研究人员并没有仅仅测试模型在熟悉数据上的表现，而是设计了一套严苛的测试集，专门用于观察这些人工智能系统是否能够处理陌生数据。他们收集了包含数千种分子的十个不同数据集，涵盖了从小型有机化合物到具有特定电子结构的复杂结构。对于每个数据集，他们仔细地将分子分为三组：训练集、包含熟悉分子的标准测试集，以及一个特殊的“分布外”测试集。这个特殊组由具有极端属性的分子组成——这些数值过高或过低，在训练数据中极少出现。研究人员随后让十五种不同的机器学习模型接受了测试，要求每种模型预测这些极端分子的属性。

结果令人清醒。尽管现代人工智能拥有令人印象深刻的能力，但研究发现，没有任何单一模型能够持续准确地预测这些极端分子的属性。即使是表现最好的模型，在处理这些困难的、未见的案例时，其误差也比处理熟悉数据时的误差大出三倍。研究人员观察到一种常见的失效模式：模型擅长将相似的分子归为一类，但在将预测延伸至未知领域时却失败了。模型并没有尝试去猜测一个真正超出其所见范围的数值，而是倾向于压缩其预测值，将极端值拉回到平均值附近。这种行为表明，这些模型正在学习一些在处理标准数据时行之有效、但在面对科学发现所需的真正新颖性时会失效的“捷径”。

该团队还调查了模型为何表现不佳，并测试了几种常见的修复策略。他们研究了在包含数十亿个分子的海量数据集上对模型进行预训练（这一技术彻底改变了语言模型）是否会有所帮助。令人惊讶的是，他们发现虽然预训练使模型更好地处理了熟悉的数据，但并未提高其预测极端值的能力。事实上，对于某些模型而言，预训练反而降低了其在分布外数据的表现。他们还测试了仅仅向训练集中添加更多数据是否会有所帮助。虽然加入少量极端示例可以改善某些属性的表现，但这并非万能良药。研究表明，这些模型的构建方式——特别是它们对基于文本的分子表示形式的依赖——可能从根本上限制了它们理解支配化学行为的深层物理定律的能力。

其中最具有启发性的发现之一是，数据表示的类型比模型的大小更为重要。使用原子及其位置的三维几何信息的模型，其表现明显优于依赖线性文本字符串（类似于按序列书写的化学名称）的模型。这些尊重空间物理对称性的三维模型能够更好地泛化到极端情况。这指明了一个清晰的前进方向：要构建能够真正发现新化学成分的 AI，模型需要植根于原子如何运动和相互作用的物理现实，而不仅仅是基于它们如何被文本描述的模式。研究人员得出结论，要实现对这些困难任务的强大性能，可能需要结合更大规模、更多样化的数据集，以及明确理解分子电子结构的模型。

BOOM 基准测试为该领域提供了一次现实检验，表明当前一代的化学 AI 虽然强大，但尚未准备好可靠地航行于未知领域。这项研究并不声称问题是不可解决的，但它排除了仅仅通过扩大现有模型的规模或使用标准预训练技术就能解决问题的观点。相反，它强调了化学机器学习的下一个前沿需要转变其设计思路。通过提供一种测试这种特定弱点的标准化方法，研究人员希望引导整个领域去构建不仅擅长记忆过去，而且真正有能力想象未来的模型。发现下一代救命药物和先进材料的路径，可能取决于解决这个关于泛化能力的特定谜题。

技术摘要：BOOM —— 分布外分子属性预测基准测试

问题陈述

数据驱动的分子发现高度依赖机器学习（ML）来筛选和设计新型分子。然而，分子发现的核心挑战本质上是一个**分布外（Out-of-Distribution, OOD）**预测问题。成功的关键在于模型能够预测那些属性值超出训练数据集范围（外推），或者具有此前未曾考虑过的化学子结构的分子。

尽管 OOD 性能至关重要，但目前的分子属性预测模型在这一领域缺乏系统的评估。现有的基准测试通常依赖于挑战性不足的数据集（例如随机划分），无法衡量现实世界的泛化能力。此外，目前尚缺乏关于预训练任务、模型架构以及数据集多样性如何影响化学基础模型在所有化学系统中进行泛化能力的实证知识。

方法论：BOOM 基准测试

作者引入了 BOOM（Benchmarking Out-Of-distribution Molecular Property Predictions），这是一个旨在评估分子属性预测模型 OOD 泛化性能的标准框架。

1. 定义分布外（OOD）

与基于输入空间偏移（协变量偏移）的传统 OOD 定义不同，BOOM 将 OOD 定义为属性空间（概念或标签偏移）中的低密度区域。形式上，OOD 被定义为属性空间中概率密度较低的区域，即测试标签的概率密度 $P(y_{test})$ 低于训练标签的概率密度 $P(y_{train})$ 。

划分策略： 作者使用核密度估计（KDE）来建模属性分布。将概率得分最低的分子（分布的尾部）留作测试集，以形成 OOD 测试集。这确保了模型被测试其在外推训练过程中未见过的极端属性值方面的能力。

2. 数据集

BOOM 包含 10 个来自以下来源的多样化 OOD 任务：

QM9 数据集： 8 个量子化学属性（各向同性极化率 $\alpha$ 、热容 $C_v$ 、HOMO/LUMO 能量、HOMO-LUMO 能隙、偶极矩 $\mu$ 、电子空间延展度 $\langle R^2 \rangle$ 、零点振动能 ZPVE）。
10k 数据集： 源自剑桥结构数据库（CSD），包含 10,206 个实验合成的小分子有机物，具有通过密度泛函理论（DFT）计算得到的**密度（Density）和固体生成热（HoF）**值。
脂溶性（Lipophilicity）数据集： 包含 4,200 个实验测量的辛醇/水分配系数，作为对实验测量属性进行 OOD 评估的示例数据集，但不属于用于主要 150 个模型-任务组合的核心 10 个任务之列。

3. 评估的模型

该基准测试评估了 150 个模型-任务组合（涵盖 10 个多样化的 OOD 任务和 15 种模型），并按架构和表示进行分类：

传统 ML： 使用 RDKit 分子描述符的随机森林（Random Forest）和多层感知机（MLP）。
图神经网络（GNNs）： Chemprop（2D 拓扑）、EGNN、IGNN（E(3) 不变/等变）、MACE 和 GotenNet。
Transformer/LLMs： MoLFormer、ChemBERTa、回归 Transformer（RT）和 ModernBERT。
混合架构： Graphormer-3D、Geoformer 和等变 Transformer（ET）。

4. 指标

RMSE： 用于计算分布内（ID）和分布外（OOD）划分的均方根误差。
分箱 $R^2$ （Binned $R^2$ ）： 为了解决 OOD 样本跨越不同范围可能导致 $R^2$ 被夸大的问题，作者专门计算了属性分布低端和高端样本的平均 $R^2$ 。

关键结果

1. 缺乏普遍泛化能力

没有任何现有模型能在所有 OOD 任务中实现强泛化。

性能差距： 即使是表现最好的模型，其平均 OOD 误差也比其分布内（ID）误差高出 3 倍。
任务依赖性： 虽然某些模型在特定任务（如 HoF、密度、ZPVE、 $C_v$ ）上表现良好，但在其他任务上则表现极差。值得注意的是，没有任何模型在电子结构属性（HOMO、LUMO、能隙和偶极矩 $\mu$ ）上取得良好的 OOD 性能。作者假设这是由于当前的分子表示方法缺乏显式的电子结构信息。

2. 架构与表示的影响

3D 与图模型： 具有高归纳偏置的模型，特别是 3D 等变 GNN（如 GotenNet、Geoformer）和混合架构，在 OOD 任务上的表现通常优于基于 SMILES 的 Transformer 模型。
SMILES 的局限性： 依赖 SMILES 字符串的 Transformer 模型（如 ChemBERTa、MoLFormer）尽管在 ID 表现上很强，但在外推训练机制之外的能力方面往往表现挣扎。
ModernBERT： 在 NLP 风格的模型中，ModernBERT 在 OOD 任务上显示出相对于其他 Transformer 的显著改进（例如，将 HoF 和 $C_v$ 的 RMSE 分别降低了 >58% 和 >78%），这表明注意力机制的架构改进可以使化学领域受益。

3. 预训练策略

当前预训练的无效性： 出人意料的是，大规模语言预训练（如 ChemBERTa/MoLFormer 的掩码语言模型 MLM；回归 Transformer 的排列语言模型 PLM）并未提高 OOD 性能。在某些情况下，它显著降低了 OOD 的 $R^2$ 。
相关性至关重要： 对监督式预训练的消融研究表明，仅当预训练任务与下游微调任务强相关（皮尔逊相关系数 > 0.35）时，OOD 性能才会提高。当任务不相关时，OOD 性能会下降。

4. 超参数与数据

超参数调优： 专门针对 OOD 性能优化超参数对于某些属性带来了边际改善（例如，密度降低了 60% 的 RMSE），但并未解决泛化差距问题。
数据增强： 在训练集中加入少量（高达 4%）的 OOD 分子可以提高大多数属性的泛化能力，这凸显了模型对极端值数据的敏感性。

重要性与主张

本文将 BOOM 定位为化学机器学习领域的前沿挑战。其主要贡献和主张如下：

系统性基准测试： 它提供了第一个大规模、标准化的分子属性预测 OOD 基准测试，超越了随机划分，旨在测试真正的外推能力。
当前局限性： 作者声称，包括大型基础模型在内的当前最先进（SOTA）模型，在可靠地发现属性超出已知数据范围的分子方面尚未准备就绪。ID 与 OOD 之间的差距仍然是一个关键瓶 quite 瓶颈。
战略洞察：
- 预训练： 当前的无监督预训练策略（MLM/PLM）可能无法传递必要的化学信息以实现 OOD 外推。未来的基础模型可能需要与下游属性预测更紧密相关的预训练任务。
- 表示： 高归纳偏置模型（3D GNN）目前在 OOD 任务上优于注意力机制模型，但可扩展性仍是一个问题。
- 评估： 本文认为 OOD 性能必须作为主要的评估标准，因为高 ID 性能并不保证 OOD 泛化能力。

作者总结道，实现强大的 OOD 泛化可能需要结合更大的数据集、能够显式捕捉电子结构的分子表示，以及针对化学外推特定挑战定制的新型预训练范式。该基准测试已开源以促进这一进展。