🧬 biology

Monroe: A Molecular Foundation Model for In-Context Probabilistic Inference

本文介绍了 Monroe，这是一个在 8100 万个分子上训练的、具有增强立体化学表示和新颖训练目标的可扩展分子基础模型，它通过利用先验数据拟合模型 (TabPFN) 进行上下文概率推理，在生物测定活性预测方面实现了最先进的性能，并证明了这种下游适配策略也显著提升了 MiniMol 和 CheMeleon 等现有模型的性能。

原作者： Blazej Banaszewski, Andrew W. Fitzgibbon

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Blazej Banaszewski, Andrew W. Fitzgibbon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

在发现新药的竞赛中，科学家们面临着一个顽固的瓶颈：了解一个分子是否能治愈疾病最可靠的方法，是在实验室中将其构建出来并进行测试。这个过程缓慢、昂贵，且受限于能够执行这些实验的专业设施数量。正因如此，用于训练计算机程序的可用数据往往十分匮乏。为了克服这一问题，研究人员转向了一种类似于儿童在见到特定的狗或猫之前，先学习识别动物的策略。他们通过海量的化学结构及其基本物理性质库来训练大型计算机模型，教会软件对分子行为的一种通用的感知。一旦建立了这种基础，该模型就可以被调整以预测特定的生物学结果，例如一个化合物是否会与病毒结合，即使针对该特定任务仅有少量的实验结果可用。这种被称为“分子基础模型”（molecular foundation model）的方法，旨在弥合无穷无尽的可能化学世界与现实世界药物测试中有限数据之间的鸿沟。

一个研究团队推出了一种名为 Monroe 的新模型，这代表了该领域的一个重要进步。这个名字是为了纪念计算化学领域的先驱伊丽莎白·门罗·博格斯（Elizabeth Monroe Boggs），但该模型本身是一个旨在理解复杂分子语言的现代机器学习系统。研究人员在包含超过 8100 万个分子的庞大数据集上训练了 Monroe，其规模远大于以往的尝试。该数据集包含了详细的量子化学计算（描述原子的能量和结构），以及来自数千个生物测定实验的数据，这些实验用于衡量分子如何与生命系统相互作用。通过让模型接触如此多样化的信息，研究人员使其能够学习适用于不同类型问题的通用化学规则，而不仅仅是记忆特定的例子。

Monroe 最关键的创新之一在于它如何处理分子的三维形状，特别是它们的“手性”。许多分子以两种互为镜像的形式存在，就像左手和右手一样。虽然这些镜像具有相同的原子连接顺序，但它们在人体内的表现往往完全不同；其中一个可能是药物，而其镜像版本可能具有毒性。标准的计算机模型通常难以区分这些版本，因为它们依赖的数学描述对于这两种形状看起来是完全相同的。Monroe 通过在其分子的内部映射中显式地添加额外的连接来解决这个问题，这些连接充当了识别镜像差异的“旗帜”。这使得模型能够高精度地分辨这两种形式，这种能力对于预测药物在生物系统中的实际作用至关重要。

研究人员还改进了模型从训练数据中学习的方式。Monroe 并没有将每个学习任务都视为同等重要，而是使用了一种智能权重系统来自动调整其关注点。它会对数据清晰可靠的任务投入更多注意力，而对噪声大或不确定的任务减少关注。此外，模型还被训练用于清理不完美的数据。在现实世界中，计算机模拟中使用的分子三维形状通常只是粗略的近似。Monroe 被教导如何将这些粗糙的形状细化为更准确、更稳定的形式，这一过程有助于模型理解支配分子稳定性的底层物理规则。这种“去噪”数据的能力增强了其在现实应用中的预测能力。

在与其他领先模型进行对比测试时，Monroe 展示了卓越的性能，特别是在被称为“活性悬崖”（activity cliffs）的最具挑战性的场景中。这些情况是指两种分子的结构近乎完全相同，但生物效应却截然不同。预测这种剧烈的差异对于人工智能来说是出了名的难，然而 Monroe 在这些测试中超越了其竞争对手。研究人员还发现，他们调整模型以适应新任务的方法非常有效。他们没有为每个新的药物靶点重新训练整个模型，而是使用了一种技术，使模型能够通过单步学习少量的示例，类似于人类在看到几个例子后就能学会一条新规则。这种方法不仅应用于 Monroe，还用于改进另外两个现有模型，证明了一种强大且通用的策略。

研究结论指出，将大规模预训练与特定的架构改进（如更好的手性处理和智能数据权重）相结合，可以创造出更强大的工具。虽然该模型并未解决分子预测中的所有问题，且“活性悬崖”的挑战依然艰巨，但 Monroe 为可能性的边界设定了新标准。它表明，通过教计算机对化学结构和行为进行更深层、更细致的理解，科学家可以构建出更好的工具，以应对复杂多变的潜在药物景观，从而有望加速从化学构思到挽救生命的治疗方案的转化进程。

技术摘要：Monroe —— 一种用于上下文概率推理的分子基础模型

问题陈述

药物发现中的生物测定活性预测本质上是受数据限制的，因为湿实验成本高、耗时长且需要专门的设施。传统的机器学习方法通常直接将低容量、特定任务的模型拟合到这些小规模数据集上，从而限制了其泛化能力。虽然近期的分子基础模型（MFM）旨在从大规模数据中学习可迁移的分子表示，但在处理立体化学、平衡多任务目标以及在数据稀缺的情况下适应下游任务而不发生过拟合方面仍面临挑战。此外，现有的基准测试缺乏严格的统计评估，使得难以区分真实的性能提升与方差。

方法论

本文介绍了 Monroe，这是一种集成了多种架构和训练创新以应对上述挑战的新型 MFM。

1. 架构与表示

骨干网络： Monroe 构建于 GRIT 之上，GRIT 是一种通过图学习归纳偏置增强的图变换器（Graph Transformer）。它利用随机游走位置编码、图注意力机制和一个用于全局信息传播的虚拟节点。
稀疏注意力： 与标准的密集注意力不同，Monroe 仅在观测到的边上评估注意力，将复杂度降低至 $O(|E|)$ ，从而实现对大型分子图的可扩展性。
立体化学感知重连（Rewiring）： 为了解决旋转不变性编码器（无法仅根据坐标区分对映异构体或 E/Z 异构体）的局限性，Monroe 通过辅助边增强了分子图。
- E/Z 异构体： “平行”边连接同侧取代基，“对角”边连接异侧取代基，从而编码几何构型。
- R/S 手性： 径向边将最低优先级取代符与其他取代符连接，而循环边遵循特定方向（例如 $a \to b \to c \to a$ ）来编码手性排列，从而使网络能够区分对映异构体。
特征化： 节点和边特征结合了分类化学代码（如价键、杂化轨道）、连续的 RDKit 描述符、键长（通过径向基函数）以及随机游走位置编码。

2. 预训练策略

Monroe 在两个互补的数据集上进行预训练：

PM6 数据集： 约 8100 万个分子，提供半经验量子化学性质（62 个图级目标）和 3D 构象数据。
PCBA 数据集： 约 156 万个分子，具有二元生物测定读数（1,089 个经过过滤的测定项目），提供稀疏但具有生物相关性的监督信号。

训练目标：

多任务学习 (MTL)： 模型采用不确定性加权 (UW) 来平衡 1,152 个任务（62 个 PM6、1,089 个 PCBA、1 个构象去噪）的损失。这会自动降低噪声或趋于饱和的任务的权重。
构象去噪： 受 Uni-Mol+ 启发，模型被训练用于从噪声输入坐标中恢复高质量的平衡结构（在 RDKit 近似结构与 PM6 优化结构之间进行插值）。损失函数在进行最优刚性对齐后计算，以处理旋转/平移不变性。
嵌入去相关： 在损失函数中加入协方差惩罚项，使批次指纹协方差的非对角线元素趋于零，使嵌入更加“类表格化”，从而适用于下游表格预测器。
特定任务损失： 针对不同类型的目标定制损失函数（例如，针对有符号值的 Huber 损失，针对尺度参数的 Log-Huber 损失，针对有界比例的 Beta NLL，以及针对计数数据的序数交叉熵）。

3. 下游适配：上下文预测

Monroe 没有采用标准的微调，而是利用了 先验数据拟合 (PFN) 方法进行下游任务：

预训练的编码器被冻结，用于生成分子的固定嵌入。
这些嵌入与任务标签一起组成支持集，传递给 TabPFN，该模型旨在近似表格数据的贝叶斯后验预测推理。
TabPFN 在单次前向传播中执行上下文预测，无需基于梯度的微调或超参数优化即可适应特定的下游任务。

核心贡献

规模与数据： 在包含约 8100 万个分子的 PM6 量子化学数据集的大规模数据集上进行预训练，并结合了 PCBA 生物测定数据。
立体化学处理： 一种新颖的图重连策略，将 E/Z 和 R/S 配置显式编码为拓扑特征，解决了不变性编码器的已知失效模式。
训练创新： 集成了构象去噪、嵌入去相关和不确定性加权的多任务平衡。
下游适配策略： 证明了使用基于 TabPFN 的上下文推理取代标准微调可以显著提高性能，尤其是在数据稀缺的情况下。
严格评估： 采用了原则性的成对比较框架（Tukey HSD + Benjamini-Hochberg）以确保性能声明具有统计学意义。
泛化性： 通过将 TabPFN 增强现有模型（MiniMol 和 CheMeleon）从而创建出 MiniMolPFN 和 CheMeleonPFN 的策略，产生了新的 SOTA（最先进）变体，表明该下游适配策略是模型无关的。

结果

论文在两个主要基准测试上将 Monroe 与领先模型（MiniMol, CheMeleon, MolFormer）以及经典基准（带有 ECFP4 的 GBM）进行了对比评估：

Polaris (泛化性)： Monroe 在 28 个生物活性任务中实现了 100% 的胜率，在所有任务上均表现为优于或等同于最佳方法，且在统计上具有显著性。它达到了最低平均排名 (3.71)。
MoleculeACE (活性悬崖)： Monroe 在所有指标上均处于领先地位，实现了最低的整体 RMSE (0.629) 和最低的“悬崖”RMSE (0.737)，胜率为 86.7%。这表明该模型能更好地捕捉结构相似分子中的局部活性变化。
消融实验：
- 立体化学： 去除立体化学增强会显著降低在 Polaris 上的性能。
- 构象去噪： 去除该目标会导致 Polaris 胜率崩溃，并降低 MoleculeACE 的性能。
- 数据集： 去除 PM6 或 PCBA 数据中的任何一个都会大幅削弱性能，表明物理信号和生物信号都至关重要。
- 适配方式： 对于 Monroe，使用冻结嵌入配合 TabPFN 的表现优于原生微调和基于 LoRA 的适配器。
数据效率： 即使当支持集大小减少到标记数据量的 10% 时，Monroe 仍能保持卓越性能，尽管在极低数据量（<100 个分子）下差异会减小。
集成： 将 Monroe 与其他经 PFN 增强的模型（MiniMolPFN, CheMeleonPFN）进行集成进一步提升了性能，这主要由误差多样性而非单个成员的质量驱动。

重要性与主张

论文声称，Monroe 通过有效地将先验数据拟合模型 (PFN) 集成到 MFM 流水线中，代表了分子基础建模迈出的重要一步。作者认为，大规模预训练、显式立体化学处理以及上下文概率推理的结合，使其能够很好地泛化到未见的生物任务和活性悬崖，而这些正是药物发现中的关键问题。

该工作强调，下游适配策略（使用 TabPFN）是一种可泛化的改进，因为它成功增强了另外两个领先模型（MiniMol 和 CheMeleon），从而创造了新的 SOTA 变体。作者总结道，虽然预测尖锐的活性悬崖仍是一个开放性问题，但 Monroe 提供了一个鲁棒的、开源的基础模型，用于分子属性预测，能够减少对特定任务微调的依赖，并在数据受限的场景中提升性能。代码和模型已公开，以促进进一步研究。