🤖 machine learning

Rethinking Molecular Text Representations for LLMs: An Empirical Study

本文对 16 个大语言模型在九种分子表示和八项化学任务上的表现进行了系统性基准测试，结果表明性能高度依赖于表示方式，且没有单一格式能在所有任务中占据主导地位，从而反对表示不变性的评估，并主张采用任务感知的表示路由。

原作者： Arun Raja, Garrett M. Morris, Kian Ming A. Chai

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Arun Raja, Garrett M. Morris, Kian Ming A. Chai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明、博学多才的机器人（大语言模型或 LLM）如何理解化学。这个机器人擅长读故事和写论文，但化学有点像一种秘密代码。要向机器人谈论一个分子（比如阿司匹林或咖啡因），你必须将这个分子翻译成文本。

问题在于，存在许多不同的“方言”或书写分子的方式。有些看起来像是简短、神秘的字母字符串（SMILES）；有些是冗长的、正式的名字（IUPAC）；还有些是像详细蓝图一样以结构化格式编写的（CML 或 MolJSON）。

这篇论文就像是一场大规模的“味觉测试”，研究人员尝试向机器人喂入以 九种不同方言 编写的同一种分子，并要求它执行 八种不同的化学任务。他们想找出：机器人最擅长理解哪种方言？

以下是他们的发现，通过简单的类比进行了拆解：

1. “一招鲜吃遍天”的迷思是错误的

你可能会认为，如果一个机器人精通化学，那么无论你如何书写分子，它都应该精通化学。论文指出，这是错误的。

类比： 想象你在要求一位厨师切菜。如果你给他们一把木刀、一把玻璃刀或一把钢刀，他们的切法会完全不同。厨师的技能不仅关乎他是否“是”一名厨师，更关乎他如何处理你递给他的特定工具。
发现： 机器人的表现会根据你使用的“方言”而发生剧烈变化。并没有一种单一的最佳分子书写方式能适用于所有任务。

2. “蓝图” vs. “食谱”

研究人员发现，不同的方言更适合不同的工作。

“蓝图”（CML 和 MolJSON）： 这些是详细的建筑图纸，其中每个原子和键都被明确列出，呈结构化列表形式。
- 最擅长： 需要计数部分或观察精确形状的任务，例如“这里有多少个碳原子？”或“这个分子是那个分子的镜像吗？”
- 原因： 机器人可以像扫描电子表格一样轻松地扫描这个列表。
“正式名称”（IUPAC）： 这些是人类可读的长名字，如“2-乙酰氧基苯甲酸”。
- 最擅长： 涉及匹配描述的任务，例如“找到与这段描述相匹配的分子”。
- 原因： 由于这些名称是用自然语言编写的，机器人（其训练基于人类文本）对这些词汇含义的理解比对那些神秘代码的理解要好。
“短代码”（SMILES）： 这是目前化学家书写分子最常用的方式。它是一种紧凑的字符字符串。
- 令人惊讶的是： 尽管机器人很可能主要是在这些短代码上进行训练的，但它们很少是最佳选择。事实上，对于许多任务，与详细蓝图相比，机器人在处理它们时表现得并不理想。

3. “专家陷阱”

研究人员还测试了专门针对化学进行过训练的机器人（化学专业化模型）。

类比： 想象一位只练习过切胡萝卜的厨师。如果给他一个胡萝卜，他表现得极其出色。但如果你递给他一个土豆或西红柿，他可能会愣住或者弄断刀具，因为他从未练习过这些。
发现： 这些化学专业化机器人非常擅长处理短代码（SMILES），因为那是它们训练的内容。然而，当你给它们“蓝图”（CML/MolJSON）时，它们的表现却很糟糕。它们变得过于专注于一种方言，以至于忘记了如何阅读其他方言。通用型机器人反而更加灵活。

4. “幻觉”问题

当机器人尝试根据描述来“创造”一个新分子时，它经常会出错。

发现： 使用“正式名称”（IUPAC）产生的错误最少。当机器人尝试使用短代码或蓝图来生成分子时，它更容易出现“幻觉”（即编造虚假分子或违反化学规则）。
机制： 研究人员观察了机器人的“大脑内部”（其注意力机制），发现当阅读详细蓝图时，机器人必须关注分子的每一个部分才能做对。而当阅读短代码时，它经常会忽略重要的细节。

5. 核心结论

论文得出结论：我们不能简单地说“LLM 精通化学”。我们必须问：“使用哪种文本格式时精通化学？”

如果你想让机器人计数原子或识别结构差异，请给它详细蓝图 (CML/MolJSON)。
如果你想让机器人根据描述寻找分子，请给它正式名称 (IUPAC)。
如果你想让机器人生成新分子，目前使用正式名称是最稳妥的选择。

简而言之： 你提问的方式与回答问题的个人（或机器人）的智力同样重要。为了在化学领域获得最佳的 AI 结果，我们不能只使用一种“默认”语言，而是要开始为特定的任务选择合适的语言。

技术摘要：重新思考面向大语言模型的分子文本表示法

问题陈述

大语言模型（LLMs）在化学领域的应用正在增长，但该领域仍缺乏对哪种分子文本表示法能最好支持不同任务的系统性理解。虽然简化分子线性输入熵系统（SMILES）由于其在预训练语料库和文献中的普遍存在而成为了事实上的标准，但目前尚不清楚这种表示法是否对所有基于 LLM 的化学推理任务都是最优的。以往的工作通常侧重于在分子字符串上从头训练模型或针对特定任务进行微调，且主要使用 SMILES。然而，化学提供了多样化的机器可读格式（例如 IUPAC 名称、InChI、SELFIES、结构化 XML/JSON），这些格式在紧凑性、可逆性和语义结构方面各不相同。本文探讨的核心问题是：LLM 的性能是表示不变的，还是特定的任务需要特定的表示法才能实现最优能力。

研究方法

作者引入了 MolRepBench，这是一个旨在评估 LLM 在九种不同表示法和八项化学任务中分子能力的系统性基准测试。

评估的表示法：
研究涵盖了从紧凑字符串到显式图结构的九种格式：

SMILES 变体： 规范 SMILES（Canonical）、异构 SMILES（Isomeric）和随机化 SMILES（Randomized）。
生成优化字符串： DeepSMILES 和 SELFIES。
命名法与标识符： IUPAC 名称和国际化学识别码（InChI）。
结构化文本： 化学标记语言（CML）和 MolJSON（一种近期的基于 JSON 的图表示）。

评估的模型：
该基准测试测试了五个家族的 16 个 LLM：

开源通用模型： Qwen3 (4B/30B)、Phi-4 (14B) 和 OLMo-3 (32B)，包括推理型和非推理型变体。
领域专业化模型： ChemDFM (v2.0 和 R 版本) 以及 Ether0，以及它们各自的基础模型（Qwen2.5-14B 和 Mistral-Small-24B）。
闭源前沿模型： GPT-5.4-mini 和 Claude-Haiku-4.5。

任务：
八个任务涵盖了理解、判别和生成：

原子计数： 解析字符串以统计特定元素。
官能团识别： 识别子结构（如酯、胺）。
分子属性估计： 预测源自 RDKit 的可计算属性（LogP、TPSA、氢键供体/受体）。
分子检索： 将自然语言描述与分子结构进行匹配。
异构体判别： 区分具有细微结构或立体化学差异的分子。
互变异构识别： 识别动态结构等价物。
质子化状态识别： 识别同一分子的电荷状态变体。
描述到分子生成： 将自然语言描述转化为有效的分子字符串。

评估指标：
研究采用了精确匹配准确率（exact-match accuracy）、宏 F1 分数（macro-F1）、斯皮尔曼相关系数（Spearman correlation）以及用于结构比较的 Tanimoto 相似度。至关重要的是，对于生成任务，作者使用 LLM 作为评判者（Gemini 3 Flash）来定性评估错误模式（例如幻觉、语法错误、错误的骨架），并根据忠实度、化学推理能力和整体质量对生成结果进行评分。

机制分析：
为了解释性能差异，作者进行了以下分析：

分词审计（Tokenization Audits）： 测量 Token 数量和推理 Token 长度。
线性探测（Linear Probing）： 测试隐藏状态中是否线性可达化学信息。
注意力分析（Attention Analysis）： 检查最后一个 Token 与分子 Token 之间的注意力权重，以及分子内部的自注意力。

关键结果

1. 性能取决于表示法
没有一种表示法在所有任务中都是最优的。所谓的“最佳”表示法因任务类型而异：

结构化表示（CML, MolJSON）： 在需要显式图理解的任务中占据主导地位，如原子计数、异构体判别和互变异构识别。CML 获得了最高聚合得分（在 128 个配置中获得 81 次胜出），其次是 MolJSON（75 次胜出）。
IUPAC 名称： 在语义任务方面表现出色，特别是分子检索（在所有 16 个 LLM 中均获胜）和描述到分子生成。其形态结构与自然语言描述对齐良好。
SMILES 变体： 尽管在预训练中占据主导地位，但 SMILES 变体很少是最佳选择。它们在属性回归（LogP, TPSA）方面表现良好，但在结构歧义消除和生成方面，其表现往往不如结构化格式。
SELFIES： 在所有 16 个 LLM 中的表现始终最差，尤其是在原子计数和生成方面。

2. 专业化 vs. 通用化
化学专业化模型（如 ChemDFM）表现出一种权衡。虽然它们在基于 SMILES 的任务上显著优于其基础模型（例如，ChemDFM-R-14B 在使用 SMILES 进行生成时实现了极高的精确匹配得分），但当面对结构化文本表示（CML, MolJSON, InChI）时，会出现灾难性遗忘或严重的性能退化。例如，ChemDFM-R-14B 在处理 CML 和 InChI 时生成的有效内容几乎为零，而其基础模型（Qwen2.5-14B）则保持了稳健的性能。这表明，仅针对 SMILES 的微调会奖励一种无法泛化到其他格式的专业化。

3. 生成质量与错误模式

有效性 $\neq$ 正确性： 高有效率（例如 ChemDFM-R-14B 使用 SMILES 为 97.6%）并不保证结构正确性（Tanimoto 相似度仅为 0.68）。
LLM-as-a-Judge： 当由 Gemini 3 Flash 进行评判时，IUPAC 名称产生的正确生成比例最高（50%）。规范 SMILES 具有较高的表示忠实度，但由于骨架和推理错误，整体质量较低。
推理模型： 推理增强型变体（如 Phi-4-Reasoning, OLMo-Think）通常比其非推理型版本减少了幻觉率，但并未在所有任务中统一提升性能。

4. 机制洞察

分词（Tokenization）： 结构化表示（CML, MolJSON）的 Token 数量明显高于 SMILES。然而，它们的推理 Token 长度较短，这表明显式结构降低了模型的认知负荷。
注意力（Attention）： 结构化表示要求模型更强地关注整个分子跨度（更高的“最后 Token 到分子”注意力），而紧凑的 SMILES 变体则鼓励字符串内更丰富的 Token 间交互。
内部编码： 线性探测显示，虽然 SMILES 变体被编码得很好（可能由于预训练），但 MolJSON（一种后训练表示）通常在线性探测性能上表现更好，这表明即使在没有先前接触的情况下，模型也能有效地利用显式图结构。

意义与主张

本文反对表示不变性评估的概念。作者主张：

表示法的选择至关重要： 分子文本格式是 LLM 化学能力的关键因素；使用单一表示法（如 SMILES）会提供一个有偏且不完整的模型能力视图。
任务感知路由是必要的： 不同任务受益于不同的表示法。作者提出了任务感知表示路由，即根据具体的化学任务选择输入格式（例如，使用 IUPAC 进行检索，使用 CML/MolJSON 进行结构解析）。
评估标准必须演进： 基准测试应当报告多种表示法下的性能，以揭示其中的权衡，特别是领域专业化模型中的泛化能力损失。
定性判断： 硬性指标（有效率、精确匹配）对于生成任务是不充分的；使用 LLM 作为评判者对于分析诸如幻觉和骨架错误等错误模式至关重要。

研究结论认为，目前的 LLM 尚未具备稳健的、表示不变的分子能力，领域必须超越以 SMILES 为中心的评估，以开发更稳健、更具泛化性的化学 AI 系统。