💬 NLP

Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES

本研究表明，字节对编码（BPE）与 Unigram-LM 在处理化学 SMILES 时会产生本质不同且近乎不相交的子词词表，这揭示了分词算法的选择是一个关键的模型决策，而非中性的默认选项。

原作者： Hunter Heidenreich

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Hunter Heidenreich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：我们如何教计算机阅读化学式？

想象一下，你正在试图教计算机理解化学语言。化学家使用一种叫做 SMILES 的代码来编写分子（类似于 CC(=O)Oc1ccccc1 这样的字母和符号组合）。

在计算机学习任何知识之前，它需要一个分词器（tokenizer）。你可以把分词器想象成一个翻译官，它负责将长句子拆解成更小的、易于处理的块（单词或子词），以便计算机能够理解。

多年来，化学领域一直盲目地沿用一种来自自然语言处理（例如计算机如何阅读英语）的方法，叫做 BPE（字节对编码）。这篇论文的研究人员提出了一个简单的问题：“这种切割化学公式的方式真的是最好的吗？还是有更好的方法？”

他们将标准的 BPI 方法与另一种称为 Unigram-LM 的方法进行了对比。

实验：两把不同的剪刀

想象你有一条由不同颜色珠子组成的复杂长项链（即化学公式）。你需要将这条项链剪成小段进行研究。你手头有两把不同的剪刀：

贪婪剪刀 (BPE)： 这些剪刀会在整个珠子堆中寻找出现频率最高的两个相邻珠子。它们将这两个珠子粘在一起，变成一个“超级珠子”，然后重复这个过程。它们非常激进且贪婪，试图通过频繁出现的模式来制造出大的块。
概率剪刀 (Unigram-LM)： 这些剪刀从一大堆微小的珠子开始，并询问：“如果我移除这个特定的珠子，会对整体图像造成多大的影响？”它们会仔细修剪掉那些非必要的碎片，保持一种更细粒度、更详细的视角。

令人惊讶的发现：它们并不一致

研究人员原本预期，由于化学公式是非常严格的（原子必须以特定的方式连接），这两把剪刀最终会在几乎相同的地方进行切割。他们认为“化学规则”会迫使这两种方法趋于一致。

但他们错了。

即使使用了完全相同的化学数据、完全相同的初始规则以及完全相同的词汇量，这两种方法产生的“单词”也完全不同。

重叠度极低： 如果你取出 BPE 创建的“超级珠子”列表，并将其与 Unigram-LM 创建的列表进行对比，你会发现它们几乎没有任何共同之处。在最坏的情况下，它们的重叠部分不到 16%。在最好的情况下（观察最重要的、高频的部分时），它们的重叠度甚至低于 5%。
“切割”深度： 这两种方法在“在哪里”进行切割（分子的骨架）方面达成了一致，但在“切多深”的问题上产生了分歧。
- BPE 倾向于进行粗粒度的切割。它会将整个原子环连同其结构作为一个大的 Token（标记）粘在一起。
- Unigram-LM 则进行细粒度的切割。它会将环拆解成更小的、接近原子层级的碎片。
- 结果： 为了描述同一个分子，Unigram-LM 使用的 Token（碎片）数量比 BPE 多出 29% 到 41%。

视觉类比：地图 vs. 街景

想象你正在看一张城市地图。

BPE 就像是一张将整个社区划分为单一区块的地图。它会说：“这整个区域是‘市中心’。”它很高效，使用的词汇较少。
Unigram-LM 则像是街景视图，列出了每一栋建筑和每一个街角。它会说：“这里有一家面包店，那里有一个公园，这里有一栋房子。”它使用了更多的词汇，但提供了更详细的分解。

论文发现，这两张地图是不可互换的。如果你在两者之间切换，计算机看到的则是数据的完全不同的结构。

用通俗语言解释的核心发现

这是一个设计选择，而非默认选项： 该领域之所以默认使用 BPE，是因为它是自然语言模型所使用的。这篇论文证明了在化学领域，你不能直接复制粘贴这个选择。你必须主动决定使用哪把“剪刀”，因为它们产生的结果截然不同。
差异是稳定的： 这种分歧并非偶然发生。无论是在不同类型的化学物质（常见药物、稀有天然产物和多样化分子）中，还是在改变处理复杂原子的规则时，这种分歧都存在。
规模无法解决问题： 通常，如果你给计算机更多的数据或更大的词汇量，情况可能会趋于平缓。研究人员通过将词汇量扩大 8 倍进行了测试。结果是，两种方法仍然没有达成一致。它们依然保持着显著的区别。
“嵌套”效应： 尽管它们使用的“单词”不同，但它们并不冲突。Unigram-LM 的切割几乎总是位于 BPE 切割的“内部”。这就像 BPE 说“切开整个披萨”，而 Unigram-LM 说“切开披萨，然后再切开每一片”。它们是兼容的，只是处于不同的细节层次。

这对读者意味着什么

论文的结论是：你选择的算法是一个重大的建模决策。

如果你选择 BPE，你会得到较短的序列（更少的 Token），这对计算机来说处理成本更低，但你会失去关于分子结构的某些细粒度细节。
如果你选择 Unigram-LM，你会得到一个更详细、更细粒度的分子视图，但这也意味着计算机需要处理更多的 Token。

作者并没有测试哪种方法能让计算机在预测化学反应或药物特性方面变得更聪明。他们仅仅证明了这两种方法创造了不同的语言。因此，化学界不能再假设它们是相同的；必须谨慎地选择自己的“剪刀”。

技术摘要：切在哪里，切多深：化学 SMILES 上的 BPE 与 Unigram-LM

问题陈述
在化学语言模型中，基于 SMILES 字符串的操作普遍依赖分词器（tokenizer）将分子字符串映射为整数 ID，这是一个决定了词表、操作粒度和有效序列长度的基础性设计选择。该领域在很大程度上继承了来自自然语言处理（NLP）的字节对编码（BPE），却未对其进行严格审查。虽然 Unigram-LM 是 NLP 中的主要替代方案，并以构建结构迥异的词表而闻名，但其在化学领域的行为仍未得到验证。存在一个“收敛零假设”：由于化学 SMILES 在一个极小的、受价键约束的字母表（158 个字符）上运行，且结构约束使得有效序列高度集中，因此基于频率的算法（如 BPE 和 Unigram-LM）可能会被迫收敛于相同的词表。本研究调查了在化学领域中，子词算法的选择究竟是一个独特的建模决策，还是化学领域的约束驱动了这些算法产生可互换的词表。

方法论
作者通过 22 个匹配的条件进行了受控比较，将算法作为唯一的变量进行隔离。

固定基底： 两种算法均在固定的 165 个 token 的 OpenSMILES 字符基底（Smirk）上进行训练，确保了对符合规范分子的完全覆盖，并消除了词表覆盖范围可能带来的干扰因素。
实验网格： 研究涵盖了三种语料库类型（多样化型：PubChem；类药型：ZINC-22；天然产物型：COCONUT）、两种预分词边界策略（跨括号原子合并与不合并）以及三种词表大小（ $V \in \{256, 512, 1024\}$ ）。敏感性分析块扩展到了 $V=2048$ 和 $V=8192$ 。
指标： 作者测量了三个直接对比项：
1. 成员关系： 所学多字符片段的词表重叠度（Jaccard 指数）。
2. 粒度： 细粒度（测试集数据上的平均每个分子的 token 数）。
3. 分布： Token 频率不平衡度。
- 此外，还计算了机制诊断指标，包括死区盈余（dead-zone surplus）、全预分词吸收（whole-pretoken absorption）、骨架比例（scaffold fraction）和分割熵（segmentation entropy）。
可学习性门槛： 条件根据“可学习性条线”（Gowda 和 May）进行了过滤，以确保 token 嵌入可以被可靠地训练（95% 的学习片段至少触发 100 次）。

关键结果
研究发现，BPE 和 Unigram-LM 在化学领域并不收敛；它们在所有测试条件下都产生了可衡量的差异化词表。

近乎不相交的词表（成员关系）： 两种算法学习到的子词片段之间的重叠度极小。非加权 Jaccard 重叠度从未超过 0.161，而频率加权重叠度（反映模型实际更新的片段）从未超过 0.05。算法在处理高频片段时分歧最为显著：BPE 倾向于将芳香环和链合并为单个 token，而 Unigram-LM 则保持接近原子级的状态，经常将这些结构碎片化。
系统性的粒度差距： Unigram-LM 切分的 token 数量始终比 BPE 多 29–41%。在 80–99% 的分子上，BPE 表现为 Unigram-LM 分割的“严格粗化”；两种算法在“在哪里”切割上基本达成一致，但在“切多深”上存在分歧。
稳定性与鲁棒性： 这种分歧在不同语料库类型、边界策略和词表大小下均保持稳定。即使在 $V=8192$ （达到标题规模的八倍，已超出可学习区间）时，重叠度和粒度差距也基本保持不变。这种分歧并非由于词表较小或特定语料库特征所导致的伪影。
机制： 差异是由算法机制驱动的。BPE 的自底向上贪婪合并创造了组合闭包（片段拼接现有片段），而 Unigram-LM 的自顶向下剪枝则保留了无法分解为词表内部分的长期杂原子链。BPE 实现了更高的全预分词吸收，而 Unigram-LM 则表现出更高的分割熵。
泛化能力： 粒度差距在跨领域时依然存在。当使用在一个语料库上训练的分词器应用于其他领域（包括过渡金属配合物和环肽）时，BPE 保持了接近原生的序列长度，而 Unмigram-LM 虽然表现出轻微的领域敏感性，但仍保持其精细的分割特性。

意义与主张
论文声称，子词算法是一个建模决策，而非免费的默认选项。

打破默认假设： 该领域继承的假设——即 BPE 和 Unigram-LM 在分词器层面是可互换的——在化学领域是不正确的。更换算法会改变哪些子结构成为原子化的嵌入单元，并使有效序列长度改变约三分之一。
算法 vs. 语料库： 算法对分词器结构的影响比训练语料库的影响更大。分词器能够以接近原生的效率进行跨领域迁移，这表明算法对分词器行为的定义比其训练数据更为深刻。
研究范围： 这是一个分词器层面的研究。作者并未声称哪种算法在下游语言模型性能上表现更好，而是指出内在的分离并不一定转化为下游性能的差距。然而，通过证明生成的词表并非互换的，本研究为这类比较建立了前提条件。
局限性： 研究承认，NLP 中的“形态对齐”指标无法直接迁移到 SMILES，因为缺乏金标准分割。作者还指出，分歧的方向（哪种算法更具压缩性）可能是领域相关的，因为蛋白质序列呈现出相反的趋势。

总而言之，本文证明了化学中受价键约束的小型字母表并不会迫使 BPE 和 Unigram-LM 收敛。相反，这些算法构建了近乎不相交的词表，并具有截然不同的结构属性，这使得选择子词算法成为了化学语言模型中一个至关重要且非中性的设计选择。