What drives performance in molecular MPNNs? An operator-level factorial benchmark

本文提出了一种算子级因子基准，将分子消息传递神经网络分解为独立的消息生成、融合与更新组件，揭示出消息构建（尤其是基于拼接的节点 - 边融合）是性能提升的主要驱动力，从而提供了针对性的设计启发式方法，其表现优于单体架构搜索。

要点

想象一下，你正在尝试为一种分子“冰沙”调配完美的配方，这种冰沙能够预测化学化合物的行为（例如它是否溶于水或能否杀死病毒）。长期以来，科学家们一直使用一种名为消息传递神经网络（MPNN）的标准搅拌机。他们只是将整个机器投入混合，希望它能起作用，但他们并不真正知道搅拌机的哪一部分在承担繁重的工作。是刀片？是盖子？还是速度设置？

这篇论文就像一把机械师的诊断工具。研究人员没有测试整个搅拌机，而是将机器拆解，单独测试每一个组件，以观察究竟是什么驱动了性能。

以下是他们研究发现的分解，使用了简单的类比：

1. 机器的三个主要部分

研究人员将分子网络分解为三个不同的阶段，就像工厂的装配线：

• 阶段 1：种子（初始化）：在机器开始混合之前，它需要抓取原材料。这是系统决定如何观察单个原子及其邻居的地方。
  • 发现：抓取原料的方式至关重要。对于“回归”任务（预测特定数值，如溶解度），复杂的抓取数据方式效果最好。对于“分类”任务（决定是/否，如有毒或无毒），简单的方式效果更好。
• 阶段 2：混合（节点 - 边融合）：这是系统将原子信息与“键”信息（原子之间的连接）结合的地方。这就像决定如何将水果与冰块混合。
  • 发现：这是预测数值（回归）最关键的部分。最佳方法是拼接（Concatenation）——想象将水果和冰块并排堆叠，然后通过一个复杂的处理器，学习它们如何相互作用。这比仅仅将它们相乘（一种称为哈达玛门控的方法）要好得多。
  • 转折：对于“是/否”任务（分类），混合方式的重要性没那么高。系统在那里的灵活性更强。
• 阶段 3：最终抛光（节点更新）：原料混合后，系统会更新原子的最终状态。这就像最后的装饰或临时的微调。
  • 发现：令人惊讶的是，这部分并不重要。无论最后的微调是简单还是复杂，都不会显著改变结果。魔力发生在这一步之前。

2. “化学侦探”测试

为了了解为什么混合方式很重要，研究人员观察了一种名为奎尼噻嗪（Quinethazone）（一种利尿剂药物）的特定分子。他们观察机器是如何“看”其中不同原子的。

• 简单混合器（哈达玛）：这种方法倾向于模糊不同类型原子之间的界限（例如，随着层数加深，混淆氮原子和氧原子）。这就像一面雾蒙蒙的镜子。
• 复杂混合器（拼接）：这种方法保持了原子的独特性。即使在经过多层处理后，它也能清晰地区分氮环和磺酰胺基团。这就像一台不会起雾的高清相机。
• 教训：复杂混合器更能保持化学细节的清晰，防止导致分子看起来都一样的“模糊”（过度平滑）。

3. “兼收并蓄”的结果

在测试了这些部分的 84 种不同组合后，研究人员挑选出了数值预测任务的最佳“配方”和“是/否”任务的最佳“配方”。

• 结果：这些定制的简单配方，其表现与科学家通常使用的著名、复杂、现成的“搅拌机”（如 DMPNN 或 AttentiveFP）一样好（有时甚至更好）。
• 要点：你不需要庞大复杂的机器来获得出色的结果。你只需要知道针对你正在做的具体工作，应该使用哪些特定部件（种子和混合）。

一句话总结

该论文证明，对于分子预测，如何最初收集和混合化学信息远比如何修饰最终结果重要得多，并且使用“并排”混合策略对于预测特定化学数值效果最佳。

技术摘要

技术摘要：面向分子消息传递神经网络（MPNN）的算子级因子基准测试

问题陈述

尽管消息传递神经网络（MPNN）已成为分子性质预测的标准主力模型，但将其作为单体架构部署时，往往掩盖了各个算子的具体贡献。现有的比较研究常常将消息构建、聚合和节点更新的效果与更广泛的架构变更（如注意力机制、几何项或读出策略）混为一谈。因此，目前尚不清楚哪些特定的算子家族驱动了性能提升，回归与分类任务是否倾向于不同的消息传递机制，以及通过更简单的分解设计能在多大程度上恢复专用架构的优势。作者认为，分子图与通用图不同，因为边具有化学信息（键级、芳香性等），这使得在聚合之前构建原子 - 键消息成为架构变异的一个关键但尚未被充分隔离的来源。

方法论

本研究引入了一种算子级因子基准测试，将二维分子 MPNN 分解为三个独立的算子家族，同时保持聚合和读出部分固定：

1. 消息种子初始化：四种算子（Init1–Init4），范围从恒等变换和线性投影到度归一化和非线性成对变换。
2. 节点 - 边融合：七种算子（None、Add、Hadamard 以及四种拼接变体），用于将边特征与消息种子集成。
3. 节点更新：三种算子（U1–U3），范围从线性残差更新到 GIN 风格的非线性更新。

实验设置：

• 设计空间：上述算子的正交组合生成了84 种独特的 MPNN 配置（72 种感知边的配置 + 12 种无边的参考配置）。
• 数据集：十个 MoleculeNet 数据集，涵盖五个回归任务（ESOL、FreeSolv、亲脂性、QM7、QM8）和五个分类任务（BACE、BBBP、HIV、Tox21、ClinTox）。
• 协议：基于 Murcko 框架的共享骨架划分（8:1:1）确保了分布外泛化测试。所有配置均通过贝叶斯优化进行相同的超参数调优，并在固定随机种子（seed=0）下对全因子筛选进行评估。
• 分析：性能在每个数据集内进行标准化（z 分数），以实现跨数据集比较。统计显著性使用弗里德曼检验（用于家族级效应）和威尔科克森符号秩检验（用于成对比较）进行评估，并采用探索性双向区组方差分析（ANOVA）来考察算子间的交互作用。

主要结果

1. 消息构建是主要驱动力

性能变化主要与消息构建（初始化和融合）相关，而非节点更新的复杂性。

• 初始化：回归和分类任务均发现了显著的家族级效应。然而，偏好存在分歧：复杂的初始化（Init3、Init4）有利于回归，而简单的初始化（Init1、Init2）有利于分类。
• 融合：回归任务存在显著的家族级效应，其中基于拼接的混合（特别是 Concat4 和 Concat2）优于加法或 Hadamard 融合。对于分类任务，未发现具有统计显著性的整体融合效应，尽管 Hadamard 和 Concat3 显示出描述性优势。
• 更新：在任一端点家族中，均未发现节点更新算子具有统计支持的家族级效应。虽然 U3（非线性）在回归中显示出描述性优势，但更新选择似乎次于消息构建。

2. 回归与分类的分歧

该研究确定了任务利用键信息方式的明显分歧：

• 回归：显著受益于边特征的丰富非线性集成（拼接 + 多层感知机）。对 Concat4 算子的消融研究表明，边投影和拼接后的多层感知机对于最佳回归性能都是必要的。
• 分类：在融合方面表现出更平坦的性能景观，表明更简单或基于门控的融合（Hadamard）可能已足够，且该任务对消息种子初始化的选择更为敏感。

3. 算子交互

• 初始化 - 融合耦合：回归任务中存在强烈的交互作用。最优融合算子取决于初始化策略（例如，Concat4 与 Init1/Init2 搭配最佳，而 Concat2 与 Init3 搭配最佳）。这表明消息构建应被视为一个协调的系统，而非独立的选择。
• 融合 - 更新解耦：未发现融合与更新算子之间存在显著交互，这进一步证实了更新阶段无法弥补消息构建的缺陷。

4. 基线恢复

分别针对回归（Init4 + Concat1 + U2）和分类（Init2 + Concat4 + U1）选择的两种代表性配置，与已建立的基线模型（GIN、GCN、GAT、DMPNN、AttentiveFP、Graphormer）进行了比较。

• 所选配置在10 个数据集中的 8 个上取得了数值最佳的性能。
• 这表明，在统一的协议下，精心调优的二维算子组合可以与复杂、专用的架构相竞争。

5. 机制洞察（Quinethazone 探针）

对 Quinethazone 分子的表示探针分析显示，与 Hadamard 门控相比，Concat4（基于拼接）在跨层中更好地保持了化学上不同的杂原子（例如环氮与磺酰氧）之间的分离。研究发现，Concat4 对过平滑现象具有更强的抵抗力，比门控机制更好地保留了独特的特征空间几何结构。

意义与主张

本文并不主张提出单一的“最佳”MPNN 架构。相反，其主要贡献在于提供了一个可复现的算子级因子基准测试框架，将模型设计从对单体架构的搜索，转变为对化学信息如何及何时进入消息传递管道的针对性评估。

经验设计启发式规则：

• 搜索顺序：从业者应优先调整消息种子初始化和节点 - 边融合算子，然后再将资源分配给增加更新复杂性。
• 任务特异性：回归任务受益于复杂的、基于拼接的融合，而分类任务对初始化选择更为敏感，且对复杂融合的依赖性较低。
• 简单性与复杂性：研究表明，只要尊重算子间的交互作用（特别是初始化 - 融合耦合），通过优化标准二维 MPNN 的分解，往往可以恢复专用架构的性能提升。

作者承认了局限性，指出研究结果特定于具有固定求和聚合的二维图，可能无法直接迁移到三维等变模型或需要几何不变性的任务。成对算子排名的统计功效受限于可用数据集的数量，这表明虽然家族级趋势是稳健的，但具体的成对排名应被视为描述性的而非决定性的。