💬 NLP

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

本文介绍了 Speak-to-Structure（S²-Bench），这是首个旨在评估大语言模型在开放域、一对多自然语言驱动分子生成任务上表现的基准，同时推出了 OpenMolIns 数据集，该数据集使微调后的模型能够在真实的分子设计任务中超越领先的 LLM。

原作者： Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Speak-to-Structure》的解释。

核心理念：从“猜测答案”到“设计解决方案”

想象你是一位厨师。多年来，研究人员通过给 AI 厨师提供特定食谱（例如“制作一个巧克力蛋糕”），并要求他们复现数据库中已存在的特定蛋糕，来测试 AI。如果 AI 制作的蛋糕与数据库中的蛋糕完全一致，它就会获得一颗金星。

问题所在： 真正的烹饪（以及真正的科学）并非关于复制。如果你问一位厨师：“给我做一个低糖但依然甜美的蛋糕”，并没有唯一的正确答案。有数百种不同的食谱可能奏效。旧有的测试过于严格；它们只奖励 AI 记住“正确”答案，而非奖励其创造力。

解决方案： 这篇论文引入了S2-Bench（Speak-to-Structure，即“语音到结构”）。这是一项新测试，旨在考察 AI 是否能像真正的创意厨师那样行事。它不再要求复制，而是要求 AI 根据描述发明新事物，并明确知道存在许多可能的“正确”答案。

三大挑战（“菜单”）

该论文在三项具体任务上测试 AI，这些任务如同烹饪挑战的不同等级：

分子编辑（“微调”挑战）：
- 类比： 想象你有一辆特定型号的轿车。测试要求 AI“加装涡轮增压器”或“移除天窗”。
- 目标： AI 必须基于原车，仅进行该特定修改，而不能弄坏引擎或将车变成船。这测试了 AI 是否理解事物如何组合的规则。
分子优化（“升级”挑战）：
- 类比： 你有一辆车，希望它“更快”或“更省油”。
- 目标： AI 需要修改这辆车以提升特定属性（如速度），同时保持车辆的可识别性。仅仅从头构建一辆新的快车是不够的；它必须是对原车的改进。
定制化分子生成（“空白画布”挑战）：
- 类比： 你告诉 AI：“为我制造一辆恰好有 4 个轮子、红色车身和 V8 发动机的车辆。”
- 目标： AI 必须从零开始发明一辆完全符合这些严格规则的全新车辆。这是最难的测试，因为 AI 必须在没有任何起始模板的情况下完美遵循规则。

新训练手册：OpenMolIns

为了帮助 AI 更好地完成这些任务，作者创建了一本名为OpenMolIns的庞大新训练手册。

旧方法： 以前的训练手册示例很少，且大多是“问题：这是什么分子？答案：[确切分子名称]"。这教导 AI 去死记硬背。
新方法： OpenMolIns 就像一个拥有 120 万示例的巨大图书馆，AI 在其中学习化学的逻辑。它教导 AI：“如果你想让某物更快，尝试添加这个部分”，而不仅仅是“这是答案”。

结果： 使用这本新训练手册，一个相对较小的 AI 模型（Llama3.1-8B）能够在这些创造性任务上击败更大、更著名的模型（如 GPT-4o 和 Claude-3.5）。这证明了良好的训练比仅仅拥有一个巨大的“大脑”更重要。

如何给 AI 评分（记分卡）

在旧测试中，如果 AI 写出的分子与目标逐字匹配，它就能得 100%。但在新测试中，这还不够。作者创建了一个更智能的评分系统：

你是否遵循了指令？（成功率）
这是否是一个合理的改变？（相似度）
- 关键点： 如果你要求给一辆车“加一个轮子”，而 AI 建造了一辆完全不同的车，恰好上面有个轮子，旧测试会说“干得好！”。新测试则说：“不，你并没有真正修改原车；你只是忽略了指令，建造了别的东西。”
它是新的吗？（新颖性）
- 对于“空白画布”挑战，如果 AI 发明了世界上数据库中尚不存在的东西，它将获得分数。

关键要点

记忆是不够的： 当前的 AI 模型擅长回忆事实，但在遵循化学领域复杂、创造性的指令方面存在困难。
一对多是真实的： 在科学中，一个问题往往有多个有效答案。旧测试不允许这种情况；新测试则允许。
小模型也能获胜： 有了正确的训练数据（OpenMolIns），更小、更便宜的 AI 可以在设计分子方面胜过庞大、昂贵的模型。
“人类”核查： 作者让人类专家审查 AI 的工作。他们发现，新的评分系统（奖励逻辑性改变而非随机猜测）比旧的“完全匹配”系统更符合人类观点。

简而言之，这篇论文为 AI 练习化学构建了一个更好的健身房。AI 不再仅仅死记硬背抽认卡，而是开始学习如何基于对话来实际设计和构建新事物。

技术摘要：语音到结构（S2-Bench）

问题陈述

当前的大语言模型（LLMs）在自然语言驱动的分子发现方面展现出潜力，然而现有的评估基准存在一个关键局限：它们依赖于文本描述与单一、预定义目标分子之间的一对一映射（例如 ChEBI-20、PubChem324K）。这种范式假设每个提示都有唯一解，这与分子发现的现实情况不符，因为在现实中，多种不同的分子可以满足相同的生物或物理性质。因此，当前的基准测试主要评估模型记忆和回忆特定模式的能力，而非其创造性、开放式分子设计及真实结构推理的能力。目前缺乏针对文本到分子生成中“一对多”关系的标准评估。

方法论

1. 语音到结构（S2-Bench）

作者提出了 S2-Bench，这是首个旨在评估大语言模型在开放域自然语言驱动分子生成中表现的基准。与以往的数据集不同，S2-Bench 采用一对多范式，即单一指令可由多种有效的分子结构来满足。该基准包含三个主要任务，分别针对药物发现过程的不同阶段：

分子编辑（MolEdit）： 测试在保持核心骨架的同时，执行精确的局部结构修改（添加、删除或替换官能团）的能力。这模拟了先导化合物优化。
分子优化（MolOpt）： 评估目标导向的化学推理能力，要求模型修改先导化合物以优化特定性质（LogP、MR、QED），同时避免不必要地改变核心结构。
定制化分子生成（MolCustom）： 挑战模型根据关于原子数量、键类型或官能团的自然语言约束，从头合成全新分子，模拟初始设计阶段。

评估指标：
为了解决“一对多”的特性，作者超越了精确字符串匹配。他们采用基于化学信息学工具包（RDKit）的自动化评估系统来计算：

有效性（Validity）： 生成的 SMILES 字符串在化学上是否有效。
成功率（SR）： 分子是否满足特定约束（例如正确的性质方向或官能团）。
相似度（针对 MolEdit/MolOpt）： 使用摩根指纹（Morgan Fingerprints）计算 Tanimoto 相似度，以确保输出是对输入的合理修改，而非随机的有效分子。
新颖性（针对 MolCustom）： 衡量生成的分子与参考数据库（Zinc-250K）的差异程度。
加权成功率（WSR）： 将成功率与相似度（针对编辑/优化）或新颖性（针对定制）相结合的复合指标，以提供整体性能评分。

2. OpenMolIns 数据集

为了促进这些开放式任务的训练，作者引入了 OpenMolIns，这是一个从 PubChem 数据库程序化构建的大规模指令微调数据集。

规模： 包含多达 120 万 个指令 - 分子对。
构建： 使用自动化化学工具包生成多样化的提示及对应的有效分子，确保一对多的关系。
结构： 镜像 S2-Bench 的三个任务，并包含五个数据规模（从轻量级到超大型），以研究数据缩放定律。
完整性： 设计时确保与 S2-Bench 测试集（Zinc-250K）零重叠，以防止数据泄露。

3. 实验设置

作者对 31 个大语言模型 进行了基准测试，分类如下：

专有模型（例如 GPT-4o、Claude-3.5）。
开源通用大语言模型（例如 Llama3、Mistral、Qwen）。
领域特定大语言模型（例如 ChemLLM、BioT5）。
在 OpenMolIns 上微调的模型。

评估通过自动化管道进行，部分结果由人类专家验证，以将自动化指标与人类判断相关联。

关键结果

结构约束下的性能差距： 即使是顶级专有模型（例如 Claude-3.5、Gemini-1.5-Pro）也仅实现了中等的平均加权成功率（约 35%），但在 MolCustom 任务上表现显著不佳，在单个子任务上未能超过 25% 的加权成功率。这表明尽管具备一般推理能力，但在满足细粒度结构约束（精确的原子/键计数）方面仍存在困难。
指令微调的优越性： 虽然预训练的化学大语言模型（例如 BioT5-base）表现不佳（WSR 为 4.21%），不如通用大语言模型，但在 OpenMolIns 上进行指令微调带来了显著改进。
- 在最大规模 OpenMolIns（xlarge）上微调的 Llama3.1-8B-Instruct 实现了 39.33% 的 WSR，超越了所有其他模型，包括更大的专有模型。
- 值得注意的是，小型的 Galactica-125M 模型在 OpenMolIns 上微调后，实现了 25.73% 的 WSR，超越了大两个数量级的模型（例如 Llama3-70B）。
一对一基准的局限性： 在传统一对一数据集（ChEBI-20）上微调的模型在 S2-Bench 上的表现不如通用大语言模型。这些模型倾向于生成化学有效但结构无关的分子以满足约束，暴露出其对模式回忆的依赖而非结构推理。
数据缩放定律： 数据量与性能之间的关系取决于任务。
- MolCustom（从头合成）在数据从“大型”扩展到“超大型”时显示出显著增益（286%）。
- MolEdit 和 MolOpt 对于较小模型而言，随着数据增加显示出收益递减甚至负收益，表明这些任务更多受限于模型容量而非数据量。
WSR 的验证： 人类专家评估证实，加权成功率（WSR） 与专家判断的相关性（Spearman $\rho \approx 0.90$ ）显著优于原始成功率（SR），验证了惩罚结构无关输出的必要性。

意义与主张

该论文声称通过从模式回忆转向现实分子设计，确立了评估大语言模型在分子发现中表现的新范式。

弥合差距： S2-Bench 解决了当前评估指标与现实世界分子发现的开放式特性之间的不匹配。
展示潜力： 结果表明，通过在大规模多样化数据上进行适当的指令微调，较小的 LLM 可以在开放域分子生成中实现最先进的性能，挑战了只有大规模模型或专用架构才可行的观念。
诊断工具： 该基准作为一个诊断工具，揭示了当前 LLM 在离散、全局耦合的结构约束方面的系统性弱点，为强化学习和指令微调的未来研究提供指导。

作者强调，他们的工作为开发更强大、可解释且可信的自然语言驱动分子发现 LLM 提供了坚实基础，推动该领域超越简单的文本到结构翻译。