🤖 machine learning

ConRetroBert: EMA Stabilized Dual Encoders for Template-Based Single-Step Retrosynthesis

ConRetroBert 是一个双编码器框架，通过将基于模板的单步逆合成重新构建为密集检索与排序任务，并利用对比预训练和 EMA 稳定的自适应机制，在 USPTO 基准测试上实现了最先进的准确率。

原作者： Mohammad Jahid Ibna Basher, Ali Khodabandeh Yalabadi, Ivan Garibay, Ozlem Ozmen Garibay

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Jahid Ibna Basher, Ali Khodabandeh Yalabadi, Ivan Garibay, Ozlem Ozmen Garibay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位主厨，试图仅凭观察最终的成品菜肴（即产品）来重现一道复杂而美味的菜。你的目标是弄清楚你最初使用了哪些原料（反应物），以及你采用了哪些烹饪步骤（模板）才达成这一结果。这正是化学中逆合成分析的工作：从已完成的分子逆向推导其构建模块。

长期以来，试图完成这一任务的计算机主要采用两种方法：

“自由发挥”型主厨：不依赖食谱书，凭空猜测原料。这种方法灵活，但难以解释为何会做出这样的猜测。
“食谱书”型主厨：查阅一条特定的、预先写好的规则（即模板），该规则指出：“如果你拥有这种形状，就在此处切割并加入那种成分。”这种方法非常清晰且可解释，但论文指出，这些“主厨”的得分一直在下降，因为他们的“食谱书”过于庞大且杂乱，难以高效搜索。

ConRetroBert 是一个新系统，旨在让“食谱书”型主厨达到与“自由发挥”型主厨同等的水平，同时保留清晰、可解释的规则。

以下是其工作原理的简化步骤分解：

1. 问题：“长尾”图书馆

想象一个拥有数百万张食谱卡片的图书馆。大多数时候，你需要的是前 100 种热门食谱之一（例如“巧克力蛋糕”）。但有时，你需要一份非常罕见、特定的食谱（例如“发酵苔藓汤”）。
旧的计算机系统试图通过一次性查看图书馆中的每一张卡片并询问“这是那张吗？”来挑选正确的食谱。

问题所在：计算机被热门卡片淹没，从而忽略了稀有卡片。此外，它还浪费时间去比较那些在化学上根本不可能实现的食谱。

2. 解决方案：两阶段搜索引擎

ConRetroBert 改变了游戏规则。它不再让计算机从整个图书馆中挑选，而是采用两步流程，就像一位聪明的图书管理员。

第一阶段：“氛围检查”（对比预训练）
首先，系统学习理解一道菜肴的“氛围”和一张食谱卡片的“氛围”。

它摄取菜肴的图像和食谱卡片的图像，并学习将它们匹配起来。
它构建了一个共享的语义空间，使相似的菜肴和相似的食谱彼此靠近。
结果：当你给它一道新菜肴时，它能迅速找到一小堆“可能”匹配的食谱卡片，而忽略那数百万张不匹配的卡片。

第二阶段：“味觉测试”（列表级排序）
现在，系统拥有一小堆候选项（例如 64 份食谱）。它不会仅仅选择第一个，而是仔细地对它们进行排序。

它审视这一堆候选项，问道：“这 64 份中哪一份是最佳匹配？”
关键在于，它学会了区分那些看起来相似但略有错误的食谱（称为困难负样本）。这就像一位评委品尝两碗非常相似的汤，并决定哪一碗才是真正正确的那一碗。
这一步带来了最大的改进。它阻止了计算机仅仅猜测最热门的食谱，而是迫使它找到针对特定菜肴的正确食谱。

3. 秘密武器：“缓慢移动的阴影”（EMA）

这里是棘手之处。随着计算机的学习，它希望更新其对“食谱卡片”样貌的理解。但如果它改变想法太快，它在第一阶段找到的“候选堆”就会过时且无用。这就像一位图书管理员在你仍在尝试寻找书籍时，不停地移动书架上的书。

ConRetroBert 通过缓慢移动的阴影（EMA） 解决了这个问题：

想象计算机拥有一位非常活跃的现场图书管理员，他学习迅速，不断更新排名。
但书架（即食谱数据库）由一位移动非常缓慢的影子图书管理员管理。
现场图书管理员负责繁重的排名工作，而影子图书管理员每天（或每个“训练轮次”）才更新一次书架。
这为何重要：这保持了搜索的稳定性。计算机可以学习和适应，而不会破坏其用来寻找答案的搜索引擎。

结果

该论文在标准化学数据集（USPTO-50k）上测试了此方法。

旧方法：答对了约 50% 的答案。
ConRetroBert 第一阶段：提升至约 50.5%（仅靠“氛围检查”）。
ConRetroBert 第二阶段：仅通过添加“味觉测试”排序，就跃升至61.3%。
加上影子图书管理员：达到62.4%。

更令人印象深刻的是，该方法在寻找稀有食谱（即“长尾”）方面特别出色。虽然其他方法在处理不常见的化学反应时显得吃力，但 ConRetroBert 的搜索与排序方法能更好地处理它们。

为何这很重要

论文认为，你不必在准确性和可解释性之间做出选择。

自由发挥型模型虽然准确，但难以让人信任，因为你不知道它们为何会猜测这些原料。
ConRetroBert 既准确又透明。因为它选择了一条特定的、明确的规则（模板），人类化学家可以查看输出并说：“啊，我明白了。它选择这条规则是因为它匹配了这个模式。”

简而言之，ConRetroBert 证明，如果你构建一个智能的搜索引擎和一个细致的排序系统，你就可以让“食谱书”方法变得与“自由发挥”方法一样强大，从而为科学家提供两全其美的方案：高准确性和清晰、可检查的逻辑。

ConRetroBert 技术摘要

问题定义
基于模板的单步逆合成分析旨在通过选择并应用显式反应模板（编码为 SMARTS 变换）来预测目标产物的反应物集合。虽然这种方法提供了固有的可解释性和可追溯性——这对合成规划至关重要——但基于模板的方法在历史上一直被视为不如无模板模型具有竞争力。作者认为，这一局限性并非源于模板本身的使用，而是源于主导的学习范式：在长尾反应规则库上进行全局分类。这种范式导致了三个问题：频繁出现的模板主导了损失函数；Softmax 分母将未观察到但化学上有效的模板视为竞争性的负标签（标签不完整）；且输出层在大型模板库面前扩展性差。

方法：ConRetroBert
本文提出了ConRetroBert，这是一个双编码器框架，它将基于模板的逆合成分析重新构建为密集检索与排序问题，而非全局分类。该架构采用两个独立的 Transformer 编码器（一个用于产物 SMILES，一个用于模板 SMARTS），将输入映射到共享的嵌入空间。训练过程分为两个阶段：

阶段 1：对比预训练
模型使用对称对比预训练（InfoNCE 损失）学习联合的产物 - 模板表示空间。对于一批成对的样本，产物编码器与其对应的模板对齐，而批次中的其他样本则作为负样本。这建立了一个可搜索的嵌入空间，其中模板可以通过最近邻搜索进行检索。
阶段 2：多正例列表式排序
此阶段将检索空间细化为模板提议策略。模型不再针对整个词汇表进行分类，而是对每个产物的候选集 $C(x)$ 进行排序。该集合包括：
- 观测正例：训练数据中记录的所有与该产物关联的模板。
- 困难负例：从 FAISS 索引中检索到的化学相似模板。
- 批次内负例：与该批次中其他产物关联的模板。
模型优化多正例列表式负对数似然目标，鼓励将观测正例与化学相似的困难负例分离。这种范式更好地匹配了推理时的决策问题，即模型必须从一小部分检索到的候选者中进行选择，而非面对整个库。

EMA 稳定的模板适配
解决的一个关键技术挑战是当模板编码器更新时困难负例挖掘的不稳定性。如果模板编码器变化过快，用于挖掘困难负例的检索索引就会过时。ConRetroBert 使用**指数移动平均（EMA）**机制解决了这一问题：

一个实时模板编码器通过排序损失的梯度进行更新。
一个缓慢移动的 EMA 影子编码器（以 $\alpha = 0.999$ 更新）用于在每个 epoch 级别重建检索索引并挖掘困难负例。
这使得模板表示能够适应排序目标，同时不会破坏候选构建过程的稳定性。

主要贡献

基于检索的范式：作者将基于模板的逆合成分析重新构建为密集产物 - 模板检索，随后进行候选集列表式排序，用与推理时决策相一致的目标取代了全局分类。
EMA 稳定的训练：他们引入了一种由 EMA 影子稳定的可训练模板编码器，实现了模板表示的受控适配，同时为困难负例挖掘保持了稳定的检索索引。
严格的评估流程：本文提供了全面的评估协议，包括反应物集排序、模板应用、去重以及从 USPTO-Full 到 USPTO-50k 的泄漏控制迁移。
实证验证：通过局部和长尾分析，作者证明了候选集排序显著增强了基于模板的逆合成分析，同时保留了显式规则的可追溯性。

结果
实验在 USPTO-50k 基准（局部模式）上进行，并通过从泄漏控制的 USPTO-Full 检查点进行迁移学习开展。

本地 USPTO-50k 性能：
- 从阶段 1（对比检索）过渡到阶段 2（冻结模板编码器排序），Top-1 反应准确率从50.5%提升至61.4%。
- 添加 EMA 稳定的模板适配（阶段 2 EMA Mid）进一步将 Top-1 准确率提升至62.4%。
- 该模型分别实现了81.6%、**85.3%和87.8%**的 Top-3、Top-5 和 Top-10 准确率。
- 性能提升主要归因于阶段 2 的候选集排序范式，该范式比单纯的对比对齐更能有效分离正例与困难负例。
迁移学习：
- 从泄漏控制的 USPTO-Full 检查点微调，在 USPTO-50k 上达到了**75.4%**的 Top-1 准确率，证明了该方法在更大预训练数据下的可扩展性。
长尾与可靠性：
- 基于检索的预测在罕见模板的长尾部分表现出特别的优势，在稀有类别上优于基于分类的评分。
- 分析显示，**42.8%**的正确 Top-1 反应物预测是“次级成功”，即由与记录的真实标签不同的模板生成，但在应用和去重后在化学上是等价的。这突显了模型学会了检索化学上有效的替代方案，而不仅仅是特定的记录标签。

意义与主张
本文认为，基于模板的逆合成分析不必为了可解释性而牺牲预测性能。通过从全局分类转向基于检索的排序，并结合困难负例挖掘与 EMA 稳定机制，ConRetroBert 挑战了“高准确率需要放弃显式反应模板”这一假设。作者声称，他们的方法产生的预测不仅与最先进的无模板和半模板模型具有竞争力，而且保持化学可检查性、可追溯至特定变换规则，并兼容下游合成规划约束。这项工作表明，基于模板方法的“弱点”是一个可以通过现代检索学习技术解决的范式问题，而非使用显式规则固有的局限性。

1. 问题：“长尾”图书馆

2. 解决方案：两阶段搜索引擎

3. 秘密武器：“缓慢移动的阴影”（EMA）

结果

为何这很重要

ConRetroBert 技术摘要

类似论文