CompleteRXN: Toward Completing Open Chemical Reaction Databases

本文介绍了 CompleteRXN，这是一个通过将美国专利商标局（USPTO）记录映射到经过策划的机理反应来补全开放化学反应数据库的大规模监督基准，并评估了包括高性能的约束反应平衡器（CRB）在内的多种模型，以证明尽管现有方法在受控划分上取得了较高的准确率，但在处理日益不完整的真实世界未策划数据时仍面临重大挑战。

要点

想象一下，你正在尝试拼一幅巨大的拼图，但有人从盒子里取走了一大块拼图并扔掉了。你拥有盒子上的图案（化学反应的起始物），也拥有几块散落的拼图（产物），但中间部分缺失了。你的任务是准确猜出丢失了哪些拼图，以便让图案合理且原子守恒。

这就是科学家们在化学反数据库中所面临的问题。最著名的一个数据库名为USPTO，它就像一个巨大的化学食谱图书馆，但其中许多食谱都不完整。它们经常忘记列出“废料”（副产物），忘记说明每种原料需要多少，甚至完全遗漏某些原料。这使得计算机难以利用这些食谱来设计新药或检查工厂工艺是否环保。

以下是论文**"CompleteRXN"**的通俗解读：

1. 问题所在：“破损食谱”图书馆

将 USPTO 数据库想象成一本厨师们匆忙写就的食谱书。他们写下了主要原料和最终菜肴，但经常忘记写下烹饪过程中释放的水、盐或气体。

• 问题： 如果你试图用这些不完整的食谱烹饪，你的厨房（或计算机模拟）就会变得一团糟。数学无法成立，因为原子凭空消失或出现。
• 目标： 作者希望构建一个系统，能够查看破损、不完整的食谱，并自动填补缺失的部分，使其成为完美且平衡的化学方程式。

2. 解决方案：新的“训练健身房”（基准测试）

要教计算机修复这些破损的食谱，你需要一个练习健身房。在这篇论文之前，这些健身房是虚假的。研究人员会拿一个完美的食谱，秘密隐藏几块拼图，然后让计算机去寻找它们。但这并没有教会计算机如何处理实际专利中存在的混乱、现实世界数据。

CompleteRXN是一个新的、更真实的训练健身房。

• 构建方式： 他们从 USPTO 图书馆中提取了那些混乱、不完整的食谱，并将它们与来自另一个高度组织化的数据库FlowER的“黄金标准”食谱进行匹配。
• 结果： 他们创建了一个庞大的“之前与之后”配对列表。“之前”是混乱、缺失数据的版本，“之后”是完美、原子平衡的版本。这使得他们能够测试计算机是否真的能修复现实世界的混乱。

3. 竞争者：解决拼图的三种方法

作者测试了三位不同的“参赛者”，看谁能最好地修复破损的食谱：

• 参赛者 A（SynRBL）： 这是一个基于规则的侦探。它使用一套严格的化学定律和逻辑。如果它发现缺少一个碳原子，它会查阅规则书，看看通常是什么小分子填补了这个缺口。这就像一位熟知所有规则的图书管理员，但可能会因潦草的字迹而感到困惑。
• 参赛者 B（RB - 反应平衡器）： 这是一个神经网络（一种人工智能），它阅读了数百万份化学食谱。它根据学到的模式猜测缺失的部分，有点像你因为听过类似的句子而猜出句子中的下一个词。
• 参赛者 C（CRB - 约束反应平衡器）： 这是参赛者 B 的超级增强版。它拥有一个特殊的“安全 harness"（约束解码）。在编写解决方案时，它会不断检查数学计算。如果它试图写出一个会导致原子不平衡的拼图块，安全 harness 就会阻止它。它迫使人工智能只有在数学完美时才完成拼图。

4. 结果：谁赢了？

作者在三个难度级别上测试了这些参赛者：

1. 随机： 随机挑选食谱进行修复。
2. 分组： 挑选彼此非常相似的食谱（以观察人工智能是在死记硬背还是在真正学习）。
3. 极端： 挑选那些最破损、最混乱、与训练数据截然不同的食谱。

获胜者： 参赛者 C（CRB） 夺得了金牌。

• 在简单的随机测试中，它的正确率高达99.2%。
• 即使在拥有最混乱数据的“极端”测试中，它的正确率仍达到91.1%。
• 获胜原因： “安全 harness"（约束解码）至关重要。它防止人工智能做出看似不错但违背物理定律（原子平衡）的胡乱猜测。

亚军（SynRBL）： 这位基于规则的侦探在做出化学上合理的猜测方面表现尚可，但它经常无法匹配研究人员所寻找的特定“正确”答案。其准确度不如人工智能模型。

5. 陷阱：“现实世界”的差距

论文最后提出了一个非常重要的警告。

• 健身房与街头： "CompleteRXN"健身房是经过策划的、整洁的现实版本。人工智能在那里表现惊人。
• 现实检验： 当作者在整个原始 USPTO 数据库（其中充满了拼写错误、怪异错误和真正混乱的数据）上测试人工智能时，性能显著下降。
• 教训： 人工智能擅长修复那些仅仅是缺失拼图的谜题，但当拼图块本身也是错误的，或者图案是用蜡笔画的，它就会感到吃力。“完美测试分数”与“现实世界可靠性”之间的差距仍然很大。

总结

这篇论文介绍了一种新的、更现实的方法来测试计算机修复不完整化学食谱的能力。他们发现，带有“数学检查安全 harness"（CRB）的人工智能模型目前在这项工作中表现最佳，在其新基准测试中取得了近乎完美的分数。然而，他们警告说，现实世界的化学数据比他们的测试数据要混乱得多，还需要更多的工作，才能使这些工具足够稳健，以便在日常实验室中使用。

技术摘要

以下是论文《CompleteRXN：迈向完善开放化学反应数据库》的详细技术总结。

1. 问题陈述

化学反应数据集，特别是源自专利文本的广泛使用的USPTO数据集，存在显著的不完整问题。

• 问题所在： 绝大多数反应缺失副产物、共反应物和化学计量系数。因此，USPTO 反应中仅有约 4.8% 实现了原子和电荷平衡。
• 影响： 这种不完整性阻碍了下游应用，如自动化工艺建模、可持续性评估（质量/能量平衡），以及用于反应预测和逆合成的可靠机器学习（ML）模型的训练。
• 差距： 现有的“反应补全”（填补缺失分子）方法依赖于：
  1. 合成破坏： 人为地从平衡反应中移除部分，这无法捕捉专利中存在的真实缺失数据模式。
  2. 小规模人工验证： 缺乏可扩展性。
  3. 依赖模型的基准真值： 将一个模型的输出作为另一个模型的目标，从而引入偏差。

2. 方法论

A. CompleteRXN 数据集构建

作者通过将对齐的不完整 USPTO 记录与高质量、原子平衡的机理反应相结合，构建了一个大规模监督基准数据集。

• 源数据：
  • 输入： 原始、不完整的 USPTO 反应记录（含噪声、缺失原子）。
  • 目标： 源自FlowER数据集（一个机理数据集）的经过策划、原子平衡的反应。
• 映射过程：
  1. 将 FlowER 中的多步机理反应合并为单步表示。
  2. 将特定的 USPTO SMILES 字符串映射到 FlowER 反应，前提是 USPTO 中的反应物/试剂完全包含在 FlowER 反应中。
  3. 从 USPTO 记录中重新引入立体化学信息（因为 FlowER 缺乏此信息）。
• 结果： 约200,000 个对齐的（不完整 USPTO $\to$ 平衡 FlowER）反应对。
• 数据格式： 反应被编码为反应 SMILES。试剂被移至反应物一侧以简化任务，要求模型隐式推断分子角色。

B. 基准测试框架

作者定义了三种不同的数据划分，以测试泛化能力和鲁棒性：

1. 随机划分： 标准随机洗牌（基线）。
2. 机理感知分组划分： 反应按**DRFP（差分反应指纹）**相似性进行分组。将整个组分配给训练集或测试集，以防止数据泄露并测试跨反应机理的泛化能力。
3. 极端分布外（OOD）划分： 选择既与训练数据化学距离较远（低指纹相似度）又高度不完整（缺失原子/碳原子数量多）的测试组。

C. 评估指标

为了解决多种有效化学补全方案的歧义性，使用了两个指标：

• 精确匹配准确率： 规范化后的严格字符串匹配。
• 等价准确率（主要指标）： 一种具有化学感知能力的指标，可容忍：
  • 替代的离子表示（例如，$NaCl$与$Na^+ + Cl^-$）。
  • 方程同一侧的质子重新分布（$H^+$）。
  • 常见小分子表示法（例如，$H_2O$ 与 $H^+ + OH^-$）。

D. 基线模型

本研究评估了三种方法：

1. 反应平衡器（RB）： 针对补全任务微调的标准编码器 - 解码器分子 Transformer。
2. 约束反应平衡器（CRB）： Transformer 的一种新颖变体。它采用约束束搜索解码，动态屏蔽违反原子平衡约束的标记。模型被强制在序列结束前生成平衡的反应。
3. SynRBL： 一种近期的算法（基于规则）方法，结合碳平衡反应的化学规则和碳不平衡反应的基于图的子图匹配（MCS）。

3. 主要贡献

1. CompleteRXN 数据集： 一个大规模监督数据集，包含源自真实世界 USPTO 数据和专家策划机理目标的对齐不完整至平衡反应对。
2. 鲁棒基准协议： 一个测试框架，具有具有挑战性的 OOD 划分和基于机理的分组，以评估真正的泛化能力而非记忆能力。
3. 约束解码策略（CRB）： 一种在推理时强制执行原子平衡的新颖约束，显著提高了化学有效性。
4. 系统分析： 对算法方法与机器学习方法的全面比较，突出了在分布偏移下精度、召回率和鲁棒性之间的权衡。

4. 结果与讨论

基准测试性能

• CRB 的优越性： 约束反应平衡器（CRB）在所有划分中均取得了最高性能。
  • 随机划分： 99.20% 等价准确率。
  • 极端 OOD 划分： 91.12% 等价准确率。
• 比较： CRB 始终优于无约束的 RB 和算法 SynRBL。
  • SynRBL 生成了许多化学上合理的补全方案，但在特定的策划目标上表现挣扎（等价准确率较低，例如 OOD 上为 33.86%）。
  • SynRBL 在测试折中的反应机理不同显示出高度可变性。

难度的影响

• 性能下降： 随着测试集变得更具难度（从随机 $\to$ 分组 $\to$ 极端 OOD）以及缺失碳原子数量的增加，所有模型均显示出性能下降。
• 鲁棒性： 在分布偏移下，CRB 的下降幅度小于 RB，证明约束解码在高度不平衡的机制中提高了鲁棒性。

误差分析

• 模板集中： 误差并非均匀分布；50% 的所有误差仅源自 31 个模板（占数据集的 4.88%）。这表明在少量具有挑战性的模板上提高性能可带来显著的整体收益。
• 置信度与正确性： 虽然高预测概率与准确率相关，但 CRB 仍会产生“平衡但错误”的高置信度预测，表明仅靠置信度分数无法完全过滤误差。

基准与现实世界的差距

• 当应用于完整、未策划的 USPTO 数据集（包含基准中不存在的噪声和错误）时，性能显著下降。
• SynRBL 为约 75% 的输入生成了平衡反应，但精度较低。
• CRB 仅为约 49% 的输入生成了平衡反应，因为它严重依赖干净、与模板对齐的模式，并且在遇到未登录词或严重噪声时会失效。
• 跨方法一致性： 使用 CRB 和 SynRBL 之间的一致性作为过滤器，产生了一个极小子集（约数据集的 22.8%），具有极高的精度（99.99%），这表明在没有真值的情况下，这是一种高置信度预测的策略。

5. 意义与未来工作

• 科学影响： 该工作提供了首个大规模、真实的反应补全基准，超越了合成破坏。它表明，虽然机器学习模型可以在结构化数据上实现近乎完美的补全，但它们难以应对真实世界专利数据中的噪声。
• 实际应用： 生成的原子平衡数据集对于可持续性评估和工艺建模至关重要，这些应用需要准确的质量和能量平衡。
• 未来方向： 作者指出需要专家策划的基准，不仅包括补全，还包括对错误分子的修正。他们正在开发一个基于 Web 的框架，以手动策划具有挑战性的、含噪声的反应，从而弥合基准性能与现实世界鲁棒性之间的差距。

总之，CompleteRXN 确立了评估化学反应补全的新标准，证明了约束解码（CRB）是确保化学有效性的强大技术，同时突出了在处理真实世界化学文献的噪声和复杂性方面仍存在的挑战。