Count your bits: fingerprint benchmarking to assess broad chemical space representation

本文通过构建多维度基准测试框架，系统评估了多种分子指纹在大规模数据集上的表现，揭示了折叠导致的位碰撞会严重扭曲相似度计算，而采用计数（或对数计数）及未折叠变体能显著提升特异性与结构一致性，并为此发布了开源 Python 库 chemap 以支持可复现的基准测试。

要点

这是一篇关于**如何给分子“画指纹”**的科学研究。

想象一下，化学家们面对的是一个由数百万种不同分子组成的巨大宇宙。为了在这些分子中找到相似的伙伴（比如寻找新药，或者把相似的分子归类），他们需要一种方法给每个分子贴上“标签”。在化学信息学中，这个标签就叫分子指纹（Molecular Fingerprint）。

这篇论文就像是一场**“指纹大比拼”**，作者们测试了各种给分子画指纹的方法，看看哪种方法最靠谱、最不容易出错。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心问题：指纹也会“撞车”吗？

以前，科学家给分子画指纹时，为了省空间，习惯把长长的“特征列表”压缩成一个固定长度的短条（比如 4096 位）。这就像把一本厚厚的书强行塞进一个小信封里。

• 折叠（Folding）的代价：当分子太复杂、特征太多时，强行塞进小信封会导致**“比特碰撞”（Bit Collisions）**。这就好比你把两本完全不同的书强行压缩进同一个信封，结果里面的页码乱了，两本完全不同的书看起来变得很像。
• 发现：作者发现，对于某些复杂的分子（特别是那些特征很多的分子），这种“压缩”会导致严重的误判。原本不相似的分子，因为压缩后的指纹“撞车”了，被错误地认为非常相似。

2. 计数 vs. 开关：不仅要“有”，还要“有多少”

传统的指纹通常只记录某个特征**“有”还是“没有”**（就像开关：开/关）。

• 新发现：作者发现，记录特征出现的次数（计数）通常更好。
• 比喻：
  • 开关版（Binary）：就像说“这辆车有轮胎”。
  • 计数版（Count）：就像说“这辆车有 4 个轮胎”。
  • 如果两辆车都有轮胎，开关版觉得它们很像；但如果一辆是自行车（2 个轮子），一辆是卡车（6 个轮子），计数版就能更精准地分辨出它们的差异。论文证明，“计数版”指纹能更准确地反映分子的真实结构。

3. 展开 vs. 折叠：别为了省空间丢了细节

为了解决上面提到的“压缩撞车”问题，作者提倡使用**“展开版”（Unfolded）**指纹。

• 比喻：与其把书强行塞进小信封，不如直接拿着整本书去比对。虽然占用的空间大一点（计算机内存大一点），但完全避免了信息丢失和误判。
• 结论：对于像 RDKit 和 MAP4 这样特征丰富的指纹，一定要用“展开版”，否则在大数据集上会乱套。

4. 不同的任务，需要不同的“尺子”

论文测试了多种任务，发现没有一种指纹是万能的，但有一些通用规律：

• 找相似分子（搜索/排序）：展开版和计数版表现最好，因为它们能更精准地分辨谁和谁更像。
• 预测生物活性（比如这个分子能不能治病）：简单的“有/无”开关版就够用了，因为机器模型主要看关键特征是否存在。
• 化学空间可视化（画地图）：如果把所有分子画在一张二维地图上，**“对数计数”（Log-count）**版指纹能让同类分子聚得更紧密，地图更清晰。

5. 作者的工具箱：chemap

为了让其他科学家也能轻松做这些测试，作者开发了一个开源的 Python 工具库，叫 chemap。

• 比喻：以前大家想测试指纹，得自己写一堆复杂的代码，像自己造轮子。现在作者造了一辆**“指纹测试车”**，大家可以直接开着它去跑各种实验，统一标准，方便大家比较和重复实验。

总结：这篇论文告诉我们什么？

1. 别盲目压缩：在处理复杂、多样的化学数据时，不要为了省内存而强行压缩指纹，否则会导致“张冠李戴”的严重错误。
2. 数数很重要：不要只问“有没有”，要问“有多少”。使用**计数（Count）或对数计数（Log-count）**通常比简单的开关（Binary）更准确。
3. 没有万能钥匙：不同的任务需要不同的指纹设置。但在面对广泛的化学空间时，**展开版（Unfolded）+ 计数版（Count）**通常是更稳健的选择。
4. 重新审视默认设置：很多软件默认的“标准设置”可能并不是最好的。作者建议大家根据具体任务，尝试更大半径的指纹（如 Morgan-9）或展开模式。

一句话概括：
这篇论文就像给化学家们提了个醒：给分子画指纹时，别为了省事把细节“压扁”了，要数清楚特征的数量，并且尽量保留完整的信息，这样才能在分子的海洋里找到真正的“亲兄弟”。

技术摘要

1. 研究背景与问题 (Problem)

分子相似性量化是化学信息学的基石，广泛应用于虚拟筛选、近邻搜索、化学空间可视化以及机器学习模型的预测与评估。尽管基于 2D 分子指纹的 Tanimoto 系数比较是行业标准，但在实际应用中存在以下关键问题：

• 指纹选择的随意性：研究人员往往根据习惯选择指纹类型（如 Morgan、RDKit 等）及其参数（折叠/非折叠、二进制/计数），缺乏系统性的基准测试来指导选择。
• 折叠导致的比特碰撞 (Bit Collisions)：为了计算效率，大多数指纹被压缩（折叠）到固定长度（如 1024 或 4096 位）。在高占用率的指纹中，这种折叠会导致严重的比特碰撞，人为地提高相似性分数，扭曲化学空间的真实结构。
• 表示形式的局限：传统的二进制指纹（仅表示存在/不存在）忽略了子结构出现的频率信息，可能导致对某些化学特征的区分度不足。
• 评估维度的单一性：现有的基准测试多集中于虚拟筛选中的活性化合物检索，缺乏对化学空间整体表示能力（如特异性、大小依赖性、排序一致性）的全面评估。

2. 方法论 (Methodology)

作者提出了一个多准则的基准测试框架，并开发了一个开源 Python 库 chemap 来统一计算各种指纹变体。

2.1 数据集

研究使用了多个大规模、化学异质性强的数据集，包括：

• ms2structures (37,811 个化合物)：来自质谱数据。
• biostructures (718,067 个化合物)：来自生物结构，用于压力测试广泛的化学空间。
• 分类数据集：25 个子类和 120 个子类的平衡数据集。
• rascalMCES：约 540 万对化合物，用于计算基于图的最大公共子图（MCES）作为参考基准。
• bioactivity：用于生物活性预测的多标签数据集。

2.2 指纹类型与变体

研究涵盖了多种主流指纹算法及其变体：

• 类型：基于字典的 (MACCS, PubChem, Klekota-Roth, Biosynfoni)、基于圆形的 (Morgan, FCFP)、基于路径的 (RDKit)、基于拓扑距离的 (Atom Pair, MAP4)、基于扭转的 (Topological Torsion)、LINGO 和 Avalon。
• 变体：
  • 二进制 (Binary) vs 计数 (Count)：后者记录子结构出现的次数。
  • 折叠 (Folded) vs 非折叠 (Unfolded)：非折叠指纹将子结构哈希为 32 位整数，避免比特碰撞，通常以稀疏格式存储。
  • 频率折叠 (Frequency-folded)：仅保留数据集中出现频率最高的前 N 个位，避免碰撞但忽略低频位。
  • 缩放：对数缩放 (Log-count) 和 TF-IDF 加权。

2.3 评估指标

研究采用了多维度的评估体系：

1. 特异性 (Specificity)：通过计算重复指纹（Duplicate fingerprints）的数量及其对应的最大质量差异来衡量。
2. 分数分布与大小依赖性：分析相似性分数随分子大小（质量）的变化，评估是否存在偏差。
3. 排序一致性 (Ranking Agreement)：比较不同指纹在 Top-k 近邻搜索中的重叠度。
4. 与图基参考的对比：使用 Spearman 相关系数比较指纹相似性与 RascalMCES（最大公共子图）分数的一致性。
5. 下游任务性能：
   • 生物活性预测：使用浅层神经网络进行多标签分类。
   • 化学子类预测：预测 120 种化学子类。
   • 化学空间可视化：使用 UMAP 降维，并通过 SVM 评估子类在 2D 空间中的聚类一致性。

3. 主要贡献 (Key Contributions)

1. 系统性基准测试框架：超越了传统的虚拟筛选检索测试，引入了特异性、分数行为、大小依赖性和图基参考对比等多维度评估。
2. 开源工具 chemap：发布了一个统一的 Python 库，支持折叠、非折叠、频率折叠及多种缩放方式的指纹计算和相似性计算，促进了可重复性研究。
3. 揭示“折叠”的负面影响：明确指出对于高占用率指纹（如 RDKit 和 MAP4），在异质数据集上使用固定长度折叠会导致严重的比特碰撞，显著扭曲相似性评估。
4. 计数指纹的优势：证明了计数（尤其是 Log-count）变体在大多数任务中优于二进制变体，能提供更好的特异性和结构对齐。

4. 关键结果 (Key Results)

4.1 比特碰撞与折叠的影响

• RDKit 和 MAP4：在折叠到 4096 位时表现出极高的比特占用率，导致严重的比特碰撞。这使得非折叠（Unfolded）版本的相似性分数显著降低，且与 RascalMCES 的相关性大幅提高（MAP4 从几乎无相关性提升至 0.59）。
• Morgan/FCFP：由于比特占用率较低，折叠与非折叠版本之间的差异较小，但在某些任务中非折叠版本仍表现更好。
• 结论：对于高占用率指纹，在异质数据集上必须使用非折叠或稀疏变体，否则会产生大量假阳性相似性。

4.2 二进制 vs 计数 (Binary vs Count)

• 特异性：计数指纹显著减少了重复指纹的数量，特别是对于大质量差异的分子对，区分度更高。
• 大小依赖性：计数指纹（尤其是 Log-count）显著降低了相似性分数对分子大小的依赖性（即大分子和小分子的分数分布更一致）。
• 下游任务：
  • 在化学子类预测和近邻一致性任务中，计数指纹（特别是 Log-count）表现显著优于二进制指纹。
  • 在生物活性预测中，两者差异不大，表明存在性信息已足够，但计数并未带来负面影响。

4.3 排序与可视化

• Top-k 排序：不同指纹类型（甚至同一类型的不同变体）在 Top-10 近邻选择上的重叠度往往很低（中位数仅为 3.46/10），表明它们捕捉的是分子相似性的不同侧面。
• 化学空间可视化：非折叠的 Log-count 变体在 UMAP 可视化中产生了最一致的子类聚类结构。RDKit 和 MAP4（非折叠）在保持化学空间结构方面表现最佳。

4.4 字典型指纹的表现

• MACCS、PubChem 等字典型指纹在生物活性分类和特异性方面表现较差，这可能是因为其预定义的子结构集合无法覆盖广泛异质数据集的多样性。但在子类预测任务中，PubChem 表现尚可。

5. 意义与结论 (Significance & Conclusion)

• 重新审视默认设置：研究挑战了化学信息学中的许多默认设置。例如，Morgan-2/3 二进制指纹虽然是标准，但Morgan-9 或 FCFP-9 的计数（或 Log-count）变体在广泛化学空间表示中表现更稳健。
• 指纹选择至关重要：指纹的选择不仅仅是参数调整，它从根本上改变了对“分子相似性”的定义。不同的指纹会导致截然不同的排序结果和机器学习模型输入。
• 最佳实践建议：
  1. 优先使用计数变体：除非有特定的计算限制，否则应默认使用计数（Count）或 Log-count 变体，而非二进制。
  2. 警惕折叠：对于 RDKit 和 MAP4 等高占用率指纹，在异质数据集上应避免使用折叠，改用非折叠（Unfolded）或稀疏格式，以消除比特碰撞带来的伪影。
  3. 半径选择：对于圆形指纹，较大的半径（如 9）通常比小半径（2 或 3）表现更好。
  4. 工具支持：利用 chemap 库进行可重复的、扩展性的基准测试。

该研究强调了在大规模、异质化学数据集（如代谢组学、天然产物）中，必须根据具体任务仔细选择指纹类型和参数，摒弃“一刀切”的默认设置，以获得更准确的化学空间表示和下游预测结果。