🤖 machine learning

Learning the Neighborhood: Contrast-Free Multimodal Self-Supervised Molecular Graph Pretraining

本文介绍了 C-FREE，这是一个通过自我监督预训练框架，利用自我网络（ego-net）子图预测将 2D 拓扑结构与 3D 构象系综相结合，从而在无需负样本或复杂增强的情况下实现最先进分子表示学习的无对比（contrast-free）自监督预训练框架。

原作者： Boshra Ariguib, Mathias Niepert, Andrei Manolache

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Boshra Ariguib, Mathias Niepert, Andrei Manolache

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：分子难以教导

想象一下，你正试图教一个机器人理解化学。为了做到这一点，你需要向它展示数百万个分子的例子，并告诉它这些分子的作用（比如“这个可以缓解头痛”或“这个有毒”）。

问题在于，我们没有足够的带标签的例子。这就像试图教一个孩子识别动物，但你手里只有几张写着名字的照片。大多数情况下，我们只有数据（图片），却没有名字（标签）。

旧方法：笨重且复杂

科学家们尝试使用“自监督学习”来教机器人。这就像是给机器人一个拼图，并要求它在没有老师指导的情况下猜出图案。然而，以往的方法存在一些缺陷：

“对比”法（The "Contrast" Method）： 这就像给机器人看两张图片，然后对它说：“这两张是一样的！”以及“这两张是不一样的！”机器人必须猜测哪种情况成立。但为了做好这一点，你需要大量的图片（负样本）来进行对比，这在计算上非常昂贵，且设置起来非常复杂。
“生成”法（The "Generative" Method）： 这就像要求机器人从零开始重新画出图片中缺失的部分。这很难，因为分子是复杂的 3D 形状，尝试将它们“画”回来既缓慢又容易出错。
“仅限 2D”问题： 许多方法只将分子视为平面的图解（2D）。但分子实际上是会扭转和旋转的 3D 物体。忽略 3D 形状就像只通过观察雕塑的影子来试图理解这座雕塑一样。

新方案：C-FREE（邻里守望）

作者推出了 C-FREE，一种更简单、更快，且同时利用 2D 和 3D 信息来教导机器人的新方法。

以下是它的工作原理，使用了一个邻里类比：

邻里（自我网络/Ego-nets）： 想象一个分子是一个城市。C-FREE 不会一次性观察整个城市。相反，它会随机挑选一栋房子（一个原子），并观察它的直接邻里（与其相连的原子）。这被称为“自我网络”（Ego-net）。
谜题（上下文 vs. 目标）：
- 上下文（Context）： 机器人看到了所选房子的邻里环境。
- 目标（Target）： 机器人随后被要求仅根据该邻里环境，预测城市的其余部分看起来是什么样的。
- 转折点： 它不仅仅是在猜测形状，它是在猜测城市其余部分的“意义”（嵌入/embedding），即在它内部“大脑”空间中的表达。
无需负样本： 与旧有的“对比”法不同，C-FREE 不需要通过将城市与成千上万个其他城市进行比较来学习。它只需学习理解自己的邻里环境以及该环境如何融入整体。这就像是通过阅读书籍并填补空白来学习语言，而不是通过与字典中每种其他语言进行对比来学习。
2D + 3D（平面地图与模型）： C-FREE 同时通过两种方式观察分子：
- 2D： 像一张平面的街道地图（谁与谁相连）。
- 3D： 像一个城市的 3D 模型（建筑物在空间中实际是如何排列的）。
  它结合了这两种视角，从而获得比仅看单一视角更丰富的理解。

为什么它更好（结果）

论文声称 C-FREE 是一种“最先进”（state-of-the-art）的方法。用通俗的话说，这意味着：

它赢得了比赛： 在标准化学基准测试（如 MoleculeNet）中，C-FREE 的表现优于几乎所有其他方法，包括那些使用海量数据或复杂 3D 计算的方法。
它能用更少的数据完成任务： 即使在机器人仅被给予极少量用于微调技能的有标签数据时，由于 C-FREE 已经具备了良好的化学理解基础，它学习新任务的速度比从头开始训练的机器人要快得多。
它非常高效： 它不需要昂贵的超级计算机来生成“负样本”或进行复杂的 3D 重构。它通过简单地预测分子的“邻里”来学习。
它具有灵活性： 即使你只有 2D 地图（没有 3D 数据），它也能很好地工作；但当你同时提供地图和 3D 模型时，它的表现最为出色。

总结

C-FREE 是一种更聪明、更简单的教导计算机理解分子的方法。它不再强迫计算机记忆数百万次的对比，也不再强迫它们重新绘制复杂的形状，而是教它们理解一个原子的“邻里”以及该局部区域如何与整个分子相关联，并同时利用平面地图和 3D 形状。这使得计算机即使在缺乏大量带标签示例的情况下，也能更快、更准确地学习化学知识。

技术摘要：学习邻域 (C-FREE)

问题陈述
高质量的分子表示对于属性预测和药物发现至关重要，然而大规模的有标签数据集仍然稀缺。现有的分子图自监督学习 (SSL) 方法通常存在特定的局限性：

模态局限性： 许多方法仅依赖于 2D 拓扑结构或 1D 序列（SMILES），未能充分利用宝贵的 3D 结构信息。
复杂性与成本： 对比学习方法依赖于精心设计的负样本和大批次，而这在处理不规则图结构（例如区分手性异构体）时难以定义。生成式方法通常需要在输入空间进行离散重建或使用复杂的图标记化（tokenization）。潜在预测法（Latent predictive methods）则频繁依赖昂贵的增强操作或聚类程序（如 METIS），并可能遭受表示崩溃（representation collapse）的问题。
数据稀缺性： 精选数据集往往难以获得，特别是在低数据量的情况下，这需要能够有效迁移到新化学领域的鲁棒预训练策略。

方法论：C-FREE
作者引入了 C-FREE（基于自我网络/Ego-nets 的无对比表示学习），这是一个将 2D 图与 3D 构象系综集成的多模态自监督框架。该方法采用了在潜在空间中的预测学习策略，避免了负样本、位置编码和输入空间的重建。

核心机制 (Ego-nets)： 该框架使用固定的半径 k-EgoNets（其中 $k \in \{3, 4\}$ ）将分子图分割为不相交的子图。对于给定的锚点节点，其 $k$ -跳邻域构成**上下文（context）子图，而剩余的边和节点构成目标（target）**子图。边界节点会被复制以确保边不相交。
多模态编码：
- 2D 编码器： 一个带有边特征的图同构网络 (GINE) 处理图的拓扑结构。
- 3D 编码器： 一个等变网络 (PaiNN 或 SchNet) 处理来自多个构象的 3D 坐标。
- 融合： 来自两种模态的节点级嵌入与可学习的分类（hCLS）及分离（hSEP）标记进行拼接，形成一个由 Transformer 处理的多模态序列，以捕捉全局依赖关系。
预测目标： 模型使上下文子图的嵌入与目标子图的嵌入对齐。
- 上下文编码器 (Context Encoder) 处理输入视图。
- 预测网络 (Predictor Network)（一个轻量级 Transformer 后接 MLP）将上下文嵌入映射到目标空间。
- 目标编码器 (Target Encoder)（上下文编码器的指数移动平均，EMA）生成目标嵌入。
- 目标是最小化预测的上下文嵌入与目标嵌入之间的均方 L2 距离。
微调： 在下游任务中，目标编码器作为预训练的主干网络。该框架支持两种评估策略：
1. C-FREEMOL： 在全分子嵌入上进行线性探测（Linear probing）。
2. C-FREESUB： 使用 DeepSets 聚合子图嵌入，模拟等变子图聚合网络 (ESAN)。

主要贡献

新颖的预训练任务： 一种基于 k-EgoNet 子图且具有广泛适用性的预测目标，它利用了 2D 和 3D 视图，无需昂贵的人工设计增强或负采样。
鲁棒性： 该框架在多模态设置（2D + 3D）和仅 2D 设置下均表现强劲，证明了即使在缺乏构象的情况下也能实现有效的迁移。
简洁性与表达能力： 其训练方案避免了预训练/微调的不匹配以及负样本问题。从理论上讲，当使用 DeepSets 头时，C-FREE 的表达能力被证明高于 1-Weisfeiler-Leman (1-WL) 测试，达到了与 ESAN 相当的表达能力，且无需层次化目标或聚类。
最先进的性能： 该方法在 MoleculeNet 及其他基准测试中取得了顶尖结果，超越了对比学习、生成式及其他多模态 SSL 方法。

实验结果
模型在 GEOM 数据集（约 33 亿个具有 3D 构象的分子）上进行了预训练，并在多个基准测试中进行了评估：

MoleculeNet (冻结主干)： C-FREE 在 8 个数据集上的平均性能表现最佳，在与基准模型的对比中，在 8 个任务中有 6 个取得了领先。多模态变体 (C-FREEMM) 通常优于仅 2D 的变体，尽管 2D 版 C-FREE 平均而言仍优于所有其他基准模型。
MoleculeNet (全量微调)： 使用在 GEOM 上预训练的 PaiNN 编码器，C-FREE 匹配或超越了在更大规模数据集（高达 1900 万个分子）上训练的更大规模基础模型（如 UniMol, GEM），实现了最佳的平均 ROC-AUC。
QM9 和 ZINC： 在 QM9 上，尽管参数量小得多（910 万），C-FREE 在 6 个目标中有 4 个优于庞大的 UniMol2（11 亿参数）。在 ZINC 上，它优于 GraphJEPA。
标签效率： 在 Drugs-75K 数据集上，预训练带来了明显的增益（在 1%、10% 标签量下），一致优于从头开始训练的模型。
消融实验：
- 模态： 3D 信息比单纯的 2D 提供了更强的信号，但两者结合效果最好。
- 预测器： 去除预测器会导致训练崩溃；Transformer 预测器的表现优于 MLP。
- EMA： 较低的初始 EMA 目标编码器衰减率提高了表示质量。
- EgoNet 半径： 半径 $k=5$ 时性能最佳，这表明上下文与目标子图大小相当时最为理想，而 $k=1$ 则无法捕捉足够的结构信号。

意义与主张
论文声称 C-FREE 是第一个用于多模态分子表示学习的非对比、非生成式预测框架。其意义在于：

消除复杂性： 它消除了对负样本、大批次、昂贵聚类和位置编码的需求，而这些都是图 SSL 中的常见瓶颈。
利用 3D 几何结构： 它有效地整合了 3D 构象多样性，这对于依赖分子形状的属性至关重要，且无需复杂的生成式目标。
泛化能力： 该方法证明了自监督预训练可以提供强大的初始化，从而有效地迁移到不同的化学领域和低数据设置，强调了即使在 2D 拓扑可用时，3D 信息驱动的表示也具有重要价值。

作者指出，虽然他们的模型比一些基础模型要小，但其性能表明，架构选择和预训练流水线（特别是基于 EgoNet 的预测任务）是非常有效的。他们建议未来的工作可以包括扩展到更大的数据集、引入额外的模态（如 SMILES）以及探索具有手性感知能力的编码器。

核心问题：分子难以教导

旧方法：笨重且复杂

新方案：C-FREE（邻里守望）

为什么它更好（结果）

总结

技术摘要：学习邻域 (C-FREE)

类似论文