💬 NLP

SupraBench: A Benchmark for Supramolecular Chemistry

本文介绍了 SupraBench，这是首个旨在评估大语言模型在基础超分子化学任务（如结合亲和力预测和主客体推理）方面的基准测试，并同步发布了一个专门的 16M token 语料库（SupraPMC）以支持领域适应。

原作者： Tianyi Ma, Yijun Ma, Zehong Wang, Weixiang Sun, Ziming Li, Connor R. Schmidt, Chuxu Zhang, Matthew J. Webber, Yanfang Ye

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyi Ma, Yijun Ma, Zehong Wang, Weixiang Sun, Ziming Li, Connor R. Schmidt, Chuxu Zhang, Matthew J. Webber, Yanfang Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图构建一个定制的锁与钥匙系统，但使用的不是金属，而是微小的、肉眼看不见的分子。这就是**超分子化学（Supramolecular Chemistry）**的世界。这就像一场高风险的“锁与钥匙”游戏，其中一个“宿主（Host）”分子试图抓住特定的“客体（Guest）”分子，以完成某些有用的工作，比如递送药物或清理毒素。

目前，弄清楚哪把锁匹配哪把钥匙的过程极其缓慢且昂贵。科学家们不得不运行大规模的计算机模拟，仅仅为了一个分子对可能就需要耗费数天时间，或者在真实的实验室里构建它们则需要更久。

**人工智能（大语言模型或 LLM）**应运而生。科学家们曾希望这些 AI 聊天机器人能充当超级快速的助手，能够瞬间预测哪些锁能匹配哪些钥匙。但直到现在，还没有人制定过一个标准化的“驾驶员考试”，来测试这些 AI 司机究竟是真的精通化学，还是仅仅在瞎猜。

这就是这篇论文的意义所在。作者们创建了 SUPRABENCH——这是针对该特定领域 AI 的第一个官方“驾驶员考试”。

测试过程：SUPRABENCH

你可以将 SUPRABENCH 想象成一场驾驶考试，包含五个具体的挑战，用以测试 AI 处理化学之路的表现：

“有多强？”测试（结合亲和力）： 如果你给 AI 一张锁和钥匙的图片，它能否准确猜出它们握手握得有多紧？（这是药物设计中最重要的一项测试）。
“最佳匹配”测试（顶端结合剂选择）： 如果你向 AI 展示一把锁和四把类似的钥匙，它能否选出最匹配的那一个？
“环境”测试（溶剂识别）： 化学反应发生在不同的“液体”中（如水、酒精或油）。AI 能否通过观察锁和钥匙，猜出它们正游在什么样的液体里？
“解释它”测试（宿主-客体描述）： AI 能否用通俗易懂的英语解释为什么一把锁和一把钥匙能够契合在一起？
“画出来”测试（分子识别）： AI 能否观察一个二维分子图，并正确地打出它的化学名称代码？

为了帮助 AI 备考，作者还发布了一个包含 1600 万词化学文章的庞大库（称为 SUPRAPMC），这本质上是 AI 可以阅读以学习规则的“教科书”。

测试结果：AI 只是个新手司机

研究人员在这次考试中测试了八种不同的 AI 模型（有些是免费的，有些是昂贵的）。以下是他们的发现：

“大孩子”虽然领先，但仍会跌跤： 最先进、最昂贵的 AI 模型（如来自 Google 和 OpenAI 的最新版本）表现最好。然而，它们仍然答错了许多问题。AI 的能力与人类专家之间仍然存在巨大的差距。
“学习窍门”并不总是奏效：
- 少样本学习（Few-Shot，即展示示例）： 给 AI 提供一些如何回答的例子有助于它更好地进行解释，但实际上却让它在预测结合强度方面表现得更差。这就像给一个学生看一道数学题的范例，这有助于他们写好作文，但在尝试解一道新方程时却让他们感到困惑。
- 思维链（CoT，即逐步推理）： 要求 AI “展示其推导过程”或逐步解释其推理逻辑似乎是个好主意。但在化学领域，这却适得其反。AI 开始自信满满地编造一些完全错误的看似合理的知识。这就像一个学生为了让自己听起来很聪明，而自信地写下一个错误的公式。
阅读“教科书”有帮助（但也有代价）： 当他们在新的化学教科书（SUPRAPMC）上训练 AI 时，AI 在预测结合强度（数学部分）方面变得更好了。然而，它在遵循严格的格式规则（例如在多选题中选择正确的字母 A、B、C 或 D）方面却变差了。它学会了科学知识，却忘记了考试规则。
“绘画”问题： 当被要求观察一张图并写出化学代码时，AI 通常能掌握大致轮廓（“骨架”），但经常会在微小的细节上出错（原子之间的特定连接）。这就像是能认出一辆汽车，却把轮子画在了车顶上。

核心结论

论文得出结论：虽然 AI 在化学领域正在进步，但它尚未准备好取代人类专家或独立运行实验室。其“推理”差距是真实存在的：AI 可以听起来非常自信，但往往缺乏获得准确数值所需的深度、具体的知识。

作者希望通过发布这项测试（SUPRABENCH）和这本教科书（SUPRAPMC），能让其他研究人员在未来构建出更好、更可靠的化学 AI。他们实际上是在说：“这是我们用来衡量进步的尺子，也是帮助你们达标的学习指南。”

技术摘要：SUPRABENCH

问题陈述

超分子化学专注于可逆的非共价宿主-客体组装，这对于药物递送和体内解毒等应用至关重要。然而，这些系统的设计仍是一个瓶颈，需要大量的“干实验”验证（例如 DFT 或 MD 模拟），在进行湿实验合成之前，每个候选对可能需要耗费数天时间。虽然大型语言模型（LLMs）在分子结合任务中已展现出潜力，但尚无现有基准能够系统地评估其在基本超分子化学任务中的宿主-客体推理能力。目前的基准主要侧重于单分子属性或反应预测，未能解决宿主-客体相互作用这一复杂的关联问题。

方法论

1. 数据集构建 (SUPRABENCH)

作者构建了 SUPRABENCH，这是首个专门针对超分子化学推理的基准测试。

数据来源： 锚点记录提取自 SupraBank，这是一个公开的实验报告超分子相互作用的数据库。
预处理： 应用了一个六步清洗流程来处理噪声，包括数值解析、有机溶剂过滤、范特霍夫温度校正以及异常值剔除。最终得到了 4,635 条高质量记录，涵盖 2,008 个独特的组分。
任务定义： 该基准定义了四个基础推理任务和一个辅助的视觉任务：
1. 结合亲和力预测 (BAP)： 一个回归任务，给定宿主和客体的 SMILES 字符串，预测 $\log K_a$ 。
2. 最佳结合者选择 (TBS)： 一个四选一的多项选择题 (MCQ)，要求模型在化学性质相似的客体中识别出结合力最强的那个。
3. 溶剂识别 (SID)： 一个六分类任务，通过分子结构推断溶剂环境（如水、DMSO），因为结合常数具有溶剂依赖性。
4. 宿主-客体描述 (HGD)： 一个开放式问答任务，模型需描述宿主或客体的物理化学性质。
5. 分子识别 (MI)： 一个辅助的图像到 SMILES 生成任务，测试从二维结构图中恢复分子身份的能力。

2. 领域自适应语料库 (SUPRAPMC)

为了支持领域自适应，作者发布了 SUPRAPMC，这是一个经过整理的 16M token 规模的超分子化学文章语料库。

来源： 提取自 Europe PMC（1900–2026）。
过滤： 通过结合包含正向超分子关键词与排除负向生物医学污染关键词（例如排除“宿主细胞”）的规则过滤器，对最初检索到的 420,950 篇文章进行了精炼，最终得到 133,867 篇高精度文章。

3. 评估协议

模型： 评估了八个 LLM，包括开源模型（Qwen3.5, Llama-3.1, DeepSeek-v4）和闭源模型（GPT-5.4, Gemini-3-Flash）。
提示策略： 测试了三种策略：Base（零样本）、Few-Shot（3–5 个领域内示例）以及 Chain-of-Thought (CoT)（思维链）。
指标： 任务特定指标包括用于回归任务的 MAE/RMSE，用于选择任务的准确率/遗憾值 (accuracy/regret)，用于分类任务的 F1/平衡准确率，以及用于生成的 ROUGE。对于 MI 任务，指标包括 SMILES 有效性、精确匹配以及 Tanimoto 相似度。

关键结果

1. 性能差距与模型层级

巨大的提升空间： 即便是表现最好的模型也留下了显著的改进空间。例如，最佳结合亲和力预测 (BAP) 的 MAE 为 1.25，而最佳结合者选择 (TBS) 的准确率停留在 0.513。
前沿模型的统治地位： Gemini-3-Flash 在 BAP、TBS 和 SID 任务中始终保持着最先进 (SOTA) 的性能。DeepSeek-v4 和 GPT-5.4-Mini 紧随其后。
任务难度： 性能随任务类型剧烈变化。对于较小的模型而言，BAP 和 TBS 通常比 SID 更具挑战性。

2. 提示策略的影响

无通用策略： 提示策略具有高度的任务依赖性。
- Few-Shot 提升了宿主-客体描述 (HGD) 的性能，但却降低了结合亲和力预测的表现（例如，Llama3.1-8B 的 MAE 从 2.699 增加到 5.504）。
- Chain-of-Thought (CoT) 在 BAP 和分子识别任务中一致地损害了性能。
失效模式分析： 在 BAP 任务中，CoT 经常导致“自信的幻觉”。模型会阐述看似合理的化学推理（例如，引用“典型的文献值”），但其预测结果却偏离了几个数量级（例如，预测 $\log K_a \approx 11$ 而实际为 $2$）。这表明当缺乏领域知识时，CoT 会放大推理缺陷。

3. 领域自适应 (DAPT)

回归 vs. 格式： 在 SUPRAPMC 上进行微调提高了 BAP 回归性能（MAE 降低），这对于 Qwen3.5-9B 和 Llama3.1-8B 均有效。
权衡： 然而，DAPT 降低了最佳结合者选择 (TBS) 的性能，并导致 Llama 变体在溶剂识别任务中无法遵循严格的字母格式约束。这表明自由形式的科学文本自适应虽然能很好地迁移到回归任务，但会与严格的 MCQ 输出格式产生冲突。

4. 分子识别

骨架 vs. 连接性： 模型可以恢复通用的分子骨架（具有较高的 Tanimoto 相似度），但经常无法捕捉精确的键级连接性（Canonical SMILES 精确匹配率较低）。
CoT 的负面影响： 显式的推理线索 (CoT) 会使图像到 SMILES 的生成变得不稳定，降低了精确匹配率。

重要性与主张

本文将 SUPRABENCH 和 SUPRAPMC 定位为催化化学落地 LLM 研究的基础资源。作者提出以下主张：

基准测试的必要性： SUPRABENCH 通过提供一个统一的协议来评估 LLM 在超分子宿主-客体推理方面的能力，填补了现有基准未涉及该领域的空白。
当前局限性： 尽管前沿模型达到了 SOTA 性能，但超分子化学仍然是一个真正的瓶颈。目前的 LLM 缺乏准确预测亲和力和精确识别结构所需的严谨、校准后的推理能力。
方法论洞察： 研究表明，“通过 CoT 进行推理”并不能替代领域知识；当模型缺乏底层化学事实时，CoT 反而会有害。此外，领域自适应需要在文本暴露与指令格式保留之间进行仔细平衡。
未来方向： 结果表明，弥合超分子推理差距的方法可能需要针对性的领域自适应以及外部化学工具的集成，而非仅仅依赖于提示策略或通用预训练。

作者强调，这些基准测试仅用于研究评估和假设生成，在没有专家监督和实验验证的情况下，不得用于驱动临床或监管决策。