MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation

这是一篇关于 MolLangBench 的论文技术总结，该基准测试旨在评估大语言模型（LLM）及多模态模型在化学领域的“语言 - 分子”接口能力。

1. 研究背景与问题 (Problem)

在药物发现和材料设计中，化学家需要执行复杂的分子工作流，包括：

• 分子识别：分析分子结构（核心骨架、官能团、立体化学等）。
• 分子编辑：根据特定属性要求（如调节酸性、增加脂溶性）对分子进行精确修改。
• 分子生成：根据详细的结构描述从头设计（De novo）新分子。

尽管现有的 AI 模型在特定化学任务（如性质预测）上表现良好，但通用大语言模型（LLM）在处理自然语言指令与分子结构表示（如 SMILES 字符串、分子图像、分子图）之间的转换时存在显著缺陷。现有研究往往忽略了精确识别和理解分子结构这一关键前提，或者使用的数据集描述模糊（将结构细节与药理信息混合），导致评估结果不可靠。

核心问题：当前的 AI 系统是否具备精确理解、编辑和生成分子结构的能力？现有的基准测试是否足以反映真实化学工作流中的精度要求？

2. 方法论 (Methodology)

2.1 基准测试设计 (MolLangBench)

论文提出了 MolLangBench，包含三个核心任务，强调确定性（Deterministic）和无歧义性（Unambiguous）：

1. 分子结构识别 (Molecular Structure Recognition)：
   • 输入：分子结构（SMILES 或图像）+ 文本查询。
   • 任务：提取特定结构信息（如原子邻接关系、官能团检测、立体化学配置 R/S 或 E/Z）。
   • 特点：利用自动化工具（RDKit）生成精确的 Ground Truth，要求模型不仅识别类别，还需定位具体的原子索引。
2. 语言提示的分子编辑 (Language-Prompted Molecule Editing)：
   • 输入：原始分子 + 编辑指令（如“在苯环的邻位添加甲基”）。
   • 任务：生成修改后的分子结构（SMILES）。
   • 特点：指令必须导致唯一确定的结构。
3. 基于结构描述的分子生成 (Molecule Generation from Structural Descriptions)：
   • 输入：详细的文本结构描述（包含骨架、取代基位置、立体化学等）。
   • 任务：从头生成符合描述的分子结构。

2.2 数据构建与验证流程

为了确保数据的高质量，作者采用了严格的人工标注与验证流程：

• 来源：从 UniChem 数据库筛选分子（编辑/生成任务限制非氢原子数 < 40）。
• 标注：由具有化学背景的专家编写指令和描述。
• 同行评审：第二位标注者审查清晰度和无歧义性。
• 独立验证：两位独立的验证者根据指令/描述重新绘制分子，若重构结果与原始分子完全一致（通过 SMILES/InChI 比对），则视为通过。
• 数据集规模：核心测试集每个任务 200 个样本，另提供扩展集 200 个样本。

2.3 评估对象

评估了多种模型，包括：

• 纯语言模型 (LLMs)：GPT-4o, GPT-5, o1/o3 系列，DeepSeek-R1, Llama-4, Gemini-2.5-Pro 等。
• 视觉 - 语言多模态模型 (VLMs)：o4-mini (图像输入), GPT Image 1 (图像生成)。
• 图 - 语言多模态模型：HIGHT, Llamole（作为补充评估）。

3. 关键贡献 (Key Contributions)

1. 首个高精度分子 - 语言基准：MolLangBench 是目前首个专注于精确结构识别、编辑和生成的基准，解决了以往数据集描述模糊、缺乏唯一解的问题。
2. 严格的验证协议：引入了多轮专家标注和独立化学验证流程，确保每个样本都有唯一正确的答案，消除了评估中的歧义。
3. 多模态支持：支持 SMILES 字符串、分子图像和分子图三种输入/输出模态，全面评估不同模型架构的能力。
4. 揭示现有模型局限：通过系统性评估，量化了当前最先进的 AI 模型在基础化学任务上的巨大差距，特别是立体化学理解和原子级定位能力。

4. 实验结果 (Results)

4.1 分子结构识别

• 表现：最强的模型 GPT-5 在识别任务上的平均准确率为 86.2%，定位准确率（识别具体原子索引）为 85.5%。
• 差距：尽管 GPT-5 表现最好，但在立体化学（如 E/Z 构型）任务上，除 GPT-5 外的其他模型表现甚至低于随机猜测（<50%）。
• 定位问题：所有模型在“识别类别”和“定位具体原子”之间存在显著差距（通常 >10%），这归因于 LLM 的 Token 化机制（BPE）将多个原子合并为一个 Token，导致原子级计数和索引分配错误。

4.2 分子编辑与生成

• 编辑任务：GPT-5 在编辑任务上的准确率为 85.5%，SMILES 有效性较高（>90%）。
• 生成任务：表现急剧下降。GPT-5 的生成准确率仅为 43.0%，且 SMILES 有效性仅为 69.0%。
• 多模态模型：
  • 识别：视觉模型（o4-mini）的表现并未显著优于纯文本模型，甚至略低。
  • 生成：图像生成模型（GPT Image 1）在编辑任务中准确率仅为 8%，生成任务准确率为 0%。虽然生成的图像在视觉上看似合理，但往往违反化学规则（如价态错误、连接错误）。
• 错误分析：主要错误类型包括无效的 SMILES 语法、立体化学不匹配、链长错误、取代基位置错误以及环结构错误。

4.3 下游任务影响

研究发现，如果先让模型描述分子结构再进行性质预测（如 BBBP, BACE），即使结构描述不完美，预测准确率也能提升约 5%，证明了结构理解是化学推理的基础。

5. 意义与结论 (Significance & Conclusion)

• 现状严峻：即使是目前最先进的 AI 系统（如 GPT-5），在处理对化学家而言直观的分子识别和编辑任务时，仍存在显著缺陷。目前的模型尚无法可靠地作为化学家的辅助工具进行精确的分子设计。
• 核心瓶颈：
  1. Token 化机制：LLM 的字节对编码（BPE）难以处理原子级的精确计数和定位。
  2. 跨模态对齐：自然语言与分子结构（特别是立体化学和拓扑连接）之间的对齐尚未解决。
  3. 数据稀缺：高质量、无歧义的分子 - 语言配对数据获取成本极高，限制了模型训练。
• 未来方向：
  • 开发专门针对化学领域的 Token 化方案（原子级 Token）。
  • 利用规则或程序化方法从结构化数据合成文本描述，以扩大训练数据规模。
  • 加强分子图与语言模态的深度对齐。

总结：MolLangBench 揭示了当前 AI 在化学领域的“幻觉”和精度不足问题，为未来开发更可靠、更智能的化学 AI 系统设立了新的评估标准和改进方向。数据集和代码已开源。