🤖 machine learning

Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language

该论文介绍了 CheMatE，这是一种基于 ModernBERT 构建的双语义嵌入模型，它利用了一个两阶段训练过程，包括在海量 SMILES 注释的科学语料库上进行持续掩码语言建模，以及随后的对比学习，以共同表示分子结构和自然语言，从而在化学性质预测和通用语言理解任务中均实现了稳健的性能。

原作者： David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，化学的世界就像一座巨大而繁忙的图书馆。在这座图书馆里，有两种截然不同的方式来描述同一个东西：一个分子。在其中一个书架上，你看到了“科学家的速记”，一种被称为 SMILES 的紧凑代码，看起来像是一串奇怪的字母和数字（例如 C1=CC=CC=C1）。它对计算机很高效，但对人类来说读起来就像是一个神秘的密码。在另一个书架上，你看到了“讲述者的描述”，即用长段的自然语言解释一个分子的行为、它在哪里被发现，或者它如何反应。长期以来，试图理解化学的计算机程序必须在两者之间做出选择。它们可以擅长阅读这种秘密代码，但对理解自然语言的“故事”一窍不通；或者反之亦然。它们往往为了成为“化学代码”的专家，而不得不忘记如何说“人类语言”。这篇论文提出了一个简单但棘手的问题：我们能否构建一个单一的大脑，使其同时精通这两种语言——既能理解秘密代码，又能理解科学故事，且不会因此“丧失理智”？

由 David Ming Segura 和 Philippe Schwaller 领导的研究人员表示，答案是肯定的。他们构建了一个名为 CheMatE（具有马特罗什卡嵌入的化学嵌入器）的新型 AI 模型，它扮演着超级双语翻译官的角色。他们没有强迫 AI 在成为化学家或语言学家之间做出选择，而是教会了它将化学代码和科学故事视为同一枚硬币的两面。

以下是他们是如何做到的，以及为什么这行得通。

问题：“专家”陷阱

把之前的 AI 模型想象成一个只为数学考试而学习的学生。他们可能在微积分上拿到满分，但如果你让他们写一首诗，他们可能会忘记如何使用形容词。在化学 AI 的世界里，那些在 SMILES 字符串（代码）上训练过重的模型，变得非常擅长识别代码中的模式，以至于它们“忘记”了如何理解周围的自然语言句子。它们变成了无法与图书馆其他部分进行交流的专家。

解决方案：一个“双语”图书馆

团队决定不再将代码和故事视为独立的事物。相反，他们创建了一种将两者交织在一起的训练方法。

1. 注入流水线：为文本“加料”
想象你有一叠 1440 万篇科学文章和教育文本。这些就是“故事”。研究人员构建了一个机器人流水线，它阅读这些故事，找到每一个化学物质的提及（如“葡萄糖”或“阿司匹林”），并将该化学物质的 SMILES 代码秘密地插入到它旁边。

结果： 一个句子如“Glucose is a simple sugar”（葡萄糖是一种简单的糖）变成了“Glucose is a simple sugar 0=С[С@H](0)...”。
规模： 他们对超过 1400 万份文档进行了此操作，创建了一个拥有 219 亿个“词元”（tokens）的海量训练集。这意味着 AI 在反复观看的同时，能看到代码与故事同步发生。

2. “智能批处理”技巧：拼凑拼图
在一个如此庞大的图书馆中训练 AI，就像试图将大小迥异的拼图块塞进一个盒子里。有些文档很短，有些则非常庞大（长达 8,192 个词元）。如果你只是随机投放，一些计算机处理器（GPU）就会在等待慢速任务完成的过程中处于闲置状态，从而浪费时间和金钱。

解决方法： 团队发明了一种“成本感知采样器”（Cost-Aware Batch Sampler）。把它想象成一位聪明的图书管理员，他不仅计算一堆书的数量，还会计算每本书有多重、多笨拙。他们安排这些堆叠，使得每个计算机处理器承担的工作量相等，无论文档的长短如何。这使他们的训练效率提高了 30%，并使他们能够处理那些长而复杂的文档而不会导致崩溃。

3. 两阶段训练：先学会阅读，再学会连接
AI 不仅仅是读了一遍混合后的文本，它还经历了两个截然不同的阶段，就像学生先学习词汇，然后学习如何写论文一样。

第一阶段（词汇量）： 模型使用了名为“掩码语言建模”（Masked Language Modeling）的技术。想象你在读一段话，其中一些单词被黑盒子盖住了。AI 必须猜出缺失的单词。但在这里，缺失的词可以是一个普通的单词，也可以是一段 SMILES 代码。这迫使 AI 学习代码与文本属于同一个语境。
第二阶段（连接）： 一旦 AI 掌握了词汇，他们就教它理解关系。他们创造了一个游戏，要求 AI 将特定的化学代码与正确的段落进行匹配，同时忽略关于完全不同化学物质的段落。他们使用了一种带有“马特罗什卡”（以俄罗斯套娃命名）元素的“多负采样排序损失”（Multiple Negative Ranking Loss）方法。这意味着 AI 学习在不同的细节层级上理解化学物质，从宏观视角到底层微观细节，确保即使在缩放视图时也不会丢失重要信息。

结果：两全其美

当他们测试 CheMatE 时，结果令人印象深刻。他们将其与 11 种其他模型进行了对比，其中包括仅精通代码的模型和其他仅精通文本的模型。

得分： CheMatE 是唯一一个在两项任务中同时排名顶尖组的模型。它的“双语义得分”（Bi-semantic Score）达到了 86.7%，这意味着它在他们运行的 48 项测试中，在近 88% 的测试中都表现出色。
对比： 擅长阅读 SMILES 代码的模型（如 MoLFormer 或 ChemBERTa）在理解自然语言方面表现糟糕。擅长语言的模型在处理代码方面还可以，但并非顶尖。CheMate 打破了这种权衡。它证明了你不需要为了获得一种技能而牺牲另一种技能。

为什么这很重要

这不仅仅是为了在测试中获得更高的分数。通过证明单一模型既能理解化学公式的严谨结构，又能理解科学写作的流动语境，CheMatE 为更智能的药物研发和材料科学工具打开了大门。它表明，在未来，我们不需要专门的工具来分别阅读化学图表和研究论文；一个统一的大脑就能完成这一切，通过理解科学背后的完整故事，帮助科学家更快地发现新药或新材料。

作者们谨慎地指出，虽然这是一个巨大的进步，但系统并非完美无缺。它依赖于现有的工具来在文本中寻找化学物质，而这些工具有时可能会错过一些复杂或全新的化合物。然而，其核心理念——即混合代码与故事可以创造出更聪明、更通用的 AI——已经得到了成功的验证。

技术摘要：CheMatE —— 用于联合表示学习的双语义化学嵌入器

问题陈述

Transformer 模型已成功通过 SMILES 字符串将自然语言处理（NLP）架构扩展到化学领域。然而，现有的领域自适应模型面临两个关键局限性：

领域过度专业化： 在 SMILES 上进行密集预训练的模型往往会遭受灾难性遗忘，失去基础语义能力，难以泛化到多样化的科学自然语言任务；反之，从通用语言模型适配而来的模型在进行领域特定预训练时，其化学理解能力会发生退化。
上下文约束： 大多数分子嵌入模型针对短小、孤立的 SMILES 字符串进行了优化，缺乏处理长篇科学文档的能力，而这些文档中化学实体通常出现在更广泛的上下文中。

目前的方法通常被迫在化学语法和通用科学语言之间进行权衡，要么擅长其中之一，难以同时兼顾两者。

方法论

作者引入了 CheMatE（具有 Matryoshka 嵌入的化学嵌入器），这是一种基于 ModernBERT 主干构建的长上下文双语义编码器。该模型旨在通过一种新颖的两阶段训练流水线，在单一表示空间内捕捉分子结构和领域特定的自然语言。

1. 数据构建：大规模 SMILES 注入

为了创建一个将结构化符号与科学上下文交织在一起的训练语料库，作者开发了一个自动化流水线，处理了 1440 万份文档（包括来自 ChemPile 论文的 114.5 亿个 token 以及经过过滤后的 FineWeb-Education/Web 的 104.1 亿个 token）。

过滤： 使用基于词频分析的文本化学评分（TCS）对文本进行过滤，以保留与化学相关的上下文。
标注流水线： 一个四阶段过程用于标注化学实体：
1. NER（命名实体识别）： 使用 Chemical Data Extractor 2 (CDE2) 检测化学实体。
2. 转换： 通过 OPSIN 进行确定性的 IUPAC 到 SMILES 转换。
3. 查询： 对于未解决的名称，回退至 PubChem API。
4. 验证： 通过 RDKit 进行规范化和价键检查。
注入： 有效的 SMILES 字符串被直接插入到文本中对应的化学实体提及之后，从而创建了一个混合模态的语料库，使 SMILES token 自然地出现在长上下文的科学叙述中。

2. 训练策略

训练分为两个连续阶段：

第一阶段：持续掩码语言模型 (MLM)

目标： 模型使用注入了 SMILES 的语料库进行持续预训练，采用标准的 MLM 目标（15% 的掩码率）。
效率创新： 为了处理多 GPU 设置下极端的序列长度变异性（最高达 8,192 个 token），作者开发了 BalancedTokenBatchSampler。不同于会导致负载不均衡的标准填充方式，该采样器根据三个约束来构建批次：原始 token 预算、填充 token 内存上限以及二次方成本上限 ( $\sum L_i^2$ )。这确保了跨 GPU 的计算负载平衡，将填充开销降低了高达 50%，并消除了显存溢出（OOM）错误。

第二阶段：结合 Matryoshka 嵌入的对比学习

目标： 通过使用带有 Matryoshka 封装的 多负样本排序损失 (MNRL) 进行微调，以精炼双语义理解。
合成对生成： 一个算法流水线直接从标注语料库中生成“锚点-正样本-负样本”三元组。选择一个锚点 SMILES，并根据其 Morgan 指纹的 Tanimoto 相似度对文本段进行评分。具有高相似度的片段构成正样本集；低相似度的则构成负样本集。
Matryoka 损失： 模型被优化为即使在截断至子维度（768, 512, 256, 128, 64）时也能产生具有信息量的嵌入，从而增强了下游应用的灵活性。

核心贡献

大规模 SMILES 注入流水线： 一个多阶段自动化系统，将化学实体整合进科学文本，生成了 219 亿 token 的语料库，专为双语义学习优化。
成本预算分布式批次采样器： 一种新颖的采样器 (BalancedTokenBatchSampler)，通过平衡二次方计算成本而非仅仅是样本数量，实现了在多节点 GPU 集群上对异构长上下文数据的高效训练。
双语义顺序训练： 一种将 SMILES 不视为独立模态，而是视为自然语言中集成 token 的流水线，随后进行对比精炼。这使得单个编码器能够学习鲁棒的结构化学和科学 NLP 表示。
统一基准测试： 在涵盖分子属性预测、材料科学和科学语言理解的 48 个多样化数据集（26 个分类，22 个回归）上进行了评估。

结果

CheMatE 与 11 个基准模型进行了评估，包括通用模型（如 SciBERT, ModernBERT）和化学专业编码器（如 ChemBERTa, MoLFormer, BERT-SMILES）。

双领域性能： CheMate 在 SMILES 任务（平均排名 1.9）和 NLP 任务（平均排名 3.2）上均取得了最低平均排名。它是唯一一个在两种模态上同时进入前 Nemenyi 等效组的化学专业模型。
消融实验： 去除对比训练阶段（CheMate-MLM）会导致性能显著下降，其双语义得分从 86.7% 降至 55.5%。这证实了顺序对比阶段对于精炼跨模态性能至关重要。
与基准模型的比较：
- 化学专业模型（如 MoLFormer, ChemBERTa）在 SMILES 任务上表现良好，但在 NLP 排行榜中排名垫底。
- 通用语言模型在 NLP 方面表现尚可，但在 SMILES 任务上表现极其挣扎。
- CheMate 成功避免了这种模态权衡，在 SMILES 任务上优于 Morgan 指纹，并在 NLP 任务上达到了专用科学语言模型的水平。

意义与主张

论文声称 CheMate 证明了在仅编码器模型中，强大的 SMILES 理解能力和科学自然语言理解能力并非互斥的。通过在一个统一的基于文本的框架内统一结构和上下文信号，该模型在实现竞争力的化学专业任务和通用语言基准的同时，避免了典型的专业化权衡。

作者将 CheMate 定位为以下领域的通用基础：

分子与自然语言嵌入： 为两种模态提供高质量的表示。
检索应用： 作为混合语义环境下检索任务的骨干。
未来生成式模型： 有潜力作为检索增强生成 (RAG) 流水线的基石，其中分子结构被锚定在丰富的科学上下文中。

这项工作还强调了 SMILES 注入流水线 和 BalancedTokenBatchSampler 作为训练大规模、异构科学语料库的可重用工具的价值。作者承认其局限性，包括标注流程对现有 NER 和数据库工具的依赖（这些工具可能无法处理新型化合物）以及对比数据集规模较小，但他们断言，该方法验证了将分子符号直接合并到科学文本中进行通用化学表示学习的路径。