🤖 AI

Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning

本文介绍了 ChemCost，这是一个用于评估大语言模型估算化学反应成本能力的严格基准，该基准通过确立反应物身份、检索供应商报价并执行算术运算来实现，结果表明，即使是先进的智能体也因解析脆弱、证据整合无效以及噪声鲁棒性差而难以胜任该任务。

原作者： Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图算出为晚宴制作某道特定菜肴的确切成本。你拥有食谱（即化学反应），但你没有食材的价格，也不知道需要购买哪个品牌或哪种包装规格才能获得正确的用量。

本文介绍了一种名为CHEMCOST的新“测试”，旨在考察先进的人工智能计算机（称为大型语言模型或 LLM）能否像智能购物助手一样解决这一问题。

以下是该论文主要发现的分解说明，使用了简单的类比：

1. 挑战：这不仅仅是“谷歌搜索”

作者希望考察人工智能能否充当科学采购代理。这不仅仅是写诗或回答 trivia 问题。这是一个涉及多步骤的数学与购物谜题：

名称游戏：食谱中可能写着"TEA"。这是三乙胺（Triethylamine，一种化学物质）还是三乙醇胺（Triethanolamine，另一种化学物质）？人工智能必须准确判断指的是哪种分子。
购物搜寻：人工智能必须从一个包含 23 万多个供应商报价的“冻结”数据库中查询价格。它不能凭空猜测；它必须找到符合食谱的具体“包装”（例如，1 克装瓶子与 100 克装瓶子）。
数学计算：它必须将"1.5 当量”转换为克数，计算每种单一食材的成本，然后除以最终产品的总量，得出每克价格。

类比：想象人工智能是一名参加期末考试的学生。老师给出一份食谱、一本锁起来的标价图书馆目录以及一台计算器。学生必须找到正确的食材，购买正确的规格，完成计算，并提交一个数字：总成本。

2. 测试：CHEMCOST

研究人员构建了一个包含1,427 种不同化学配方的基准测试。

“答案键”：他们没有让人类来给人工智能评分。相反，他们创建了一个包含真实价格的“冻结”数据库和一套严格的规则。计算机预先计算出确切的正确答案。这意味着评分是 100% 客观的——没有人为偏见。
“噪声”测试：为了考察人工智能是真正聪明还是仅仅在死记硬背模式，他们故意搞乱了食谱。他们更改了名称（例如，将"Na2CO3"写成"Na2C03"，用数字 0 代替字母 O），移除了产率百分比，或者将说明写成杂乱无章的非结构化文本。

3. 结果：“工具访问”并不足够

研究人员测试了许多不同的人工智能模型，从最大的“前沿”模型到专门的化学模型。以下是发生的情况：

天花板：即使是最聪明的人工智能模型，在处理干净、简单的输入时，也只有约50% 的答案正确（在 25% 的误差范围内）。它们远非完美。
“工具”陷阱：研究人员赋予了人工智能模型“工具”（如化学名称搜索引擎和价格查询工具）。论文发现，拥有工具是必要的，但还不够。
- 类比：给学生一台计算器和一张借书证，并不能保证他们能正确解出数学题。他们仍然需要知道哪些数字输入计算器，以及哪本书需要打开。
“脆弱”问题：当输入稍显杂乱（如化学名称中的拼写错误或奇怪的格式错误）时，人工智能模型往往完全放弃，或者给出大错特错的答案。
- 类比：如果人类厨师看到"Na2C03"（带数字 0），他们可能会猜测这是"Na2CO3"的拼写错误。然而，人工智能往往会惊慌失措，找不到该物品，并停止尝试。

4. 它们在哪里失败？

论文详细分解了人工智能在哪里卡住：

解析：它们无法阅读杂乱的文本以找到食材。
证据整合：它们能找到价格，但无法将其与食谱用量正确结合。
包装选择：它们选错了瓶子规格（当只需要 1 克时购买了 100 克装，反之亦然）。
放弃：当文本杂乱时，它们往往拒绝回答，而不是试图弄清楚。

5. “人类”基准

研究人员还让真正的人类化学家参加了测试。

结果：人类的表现优于人工智能（在干净输入下准确率约为 67%），但他们仍然会犯错。这证明该任务确实很难，即使是专家也不例外。
启示：人工智能不仅仅是“愚蠢”；该任务本身是一个复杂的杂耍表演，涉及阅读、搜索和计算，这对人类和机器来说都很困难。

总结

论文得出结论，虽然人工智能在使用工具方面正在进步，但它尚不可靠，不足以被信任用于现实世界的化学成本估算。当信息格式不完美时，它会陷入困境，并且经常无法将找到价格与计算最终总额这两点联系起来。

简而言之：人工智能就像一个非常快速、知识渊博的实习生，可以访问整个互联网和计算器，但仍然需要人类来复核他们的工作，特别是当说明书写得稍显杂乱时。

技术摘要：智能体能否为化学反应定价？评估大语言模型在化学成本推理方面的表现

问题陈述

尽管大语言模型（LLM）作为通用领域（如软件工程、网络导航）的工具使用智能体已展现出日益增强的能力，但对其在科学工具使用方面表现的严格评估仍然有限。现有的基准测试往往依赖精心策划的演示、专家评估或“以 LLM 为裁判”的评分，而非精确的、无裁判的绝对真值。

具体在化学领域，智能体可以规划合成路径并调用领域工具，但缺乏一个受控的测试平台来评估化学采购成本估算。这是一项实际的工业任务，要求智能体：

将模糊的化学名称锚定到唯一的分子结构。
从定价数据库中检索碎片化的供应商报价。
在纯度和数量约束下选择有效的可购买包装。
归一化数量（将当量、摩尔百分比和体积转换为质量）。
根据反应描述执行精确算术运算以汇总成本。

当前的评估未能隔离特定的失败模式（例如，锚定错误与算术错误），也未能提供针对这些多步骤工作流的确定性、可复现的标签。

方法论：CHEMCOST 基准测试

为了填补这一空白，作者引入了CHEMCOST，这是一个专为确定性评估大语言模型智能体在化学采购成本估算方面表现而设计的基准测试。

数据集构建

规模：该基准测试包含1,427 个可评估反应，源自五个来源：开放反应数据库（Open Reaction Database）、命名反应教科书、《有机合成》（Organic Syntheses）、逆合成路线集合（PaRoutes, ChemPU）以及手工制作的示例。
绝对真值：标签是从覆盖2,261 种化学品的230,775 个包装级供应商报价的冻结快照中确定性计算得出的。
采购规则：绝对真值假设固定的1 mmol 限制性试剂规模。成本计算方式如下：
- 识别限制性试剂。
- 计算每种非溶剂组分所需的质量（ $m_i = e_i \times MW_i \times 10^{-3}$ 克）。
- 选择能够覆盖所需质量的最小有效包装（纯度 $\ge$ 95%）。如果单个包装不足，则购买最大包装的最小数量。
- 通过获得的产物克数（考虑产率）对总采购成本进行归一化。
噪声注入：为了测试鲁棒性，一个四层噪声管道在保持绝对真值不变的情况下扰动输入：
1. 化学名称噪声：别名、缩写（例如 TEA）和异构体歧义。
2. 数量噪声：在摩尔百分比、当量、体积和模糊术语（例如“过量”）之间进行转换。
3. 信息缺失：省略分子量、产率或角色等字段。
4. 格式噪声：模拟 OCR 伪影、自然语言散文和 Unicode 退化。

评估协议

智能体设置：智能体作为ReAct（推理 + 行动）循环运行，最大步数预算为 40 步。它们配备了四种确定性工具：化学名称解析、供应商报价检索、分子量计算和算术运算。
指标：主要指标是成本容差准确率（CTA@k），定义为预测值与绝对真值之间相对误差在 $k\%$ 以内的比例。其他指标包括组件精确率/召回率、工具效率和弃权率。
评估模型：包括前沿模型、开源权重模型和化学专用模型（例如 GPT-5, Qwen3.5-Plus, DeepSeek V4 Pro, ChemDFM, LlaSMol）。

主要结果

1. 工具访问是必要的，但不足够

性能上限：即使是最强的智能体（Qwen3.5-Plus）在干净输入下，相对误差在 25% 以内（CTA@25）的准确率也仅为50.6%。在更严格的指标（CTA@10）和噪声条件下，性能显著下降。
专业化差距：化学专用模型（例如 ChemDFM, ChemLLM）显示出较高的组件识别能力（精确率/召回率），但成本准确率接近零。这表明仅凭领域知识并不能转化为有效的智能体推理或定量聚合。
工具依赖性：不使用工具的零样本（Zero-shot）和思维链（CoT）方法表现不佳（CTA@25 < 8%），证实了参数化知识不足以检索特定、最新的供应商价格并执行精确的包装选择。

2. 失败模式与鲁棒性

格式噪声是关键：格式扰动（例如 OCR 错误、非结构化文本）是触发智能体弃权的最强因素，使前沿模型的弃权率增加了约 26 个百分点。这破坏了初始解析阶段，导致工作流无法启动。
工具使用模式：
- 必要性：工具调用与成功之间存在强相关性（ $r=0.98$ ）；不调用工具的模型会失败。
- 低效性：仅仅调用工具是不够的。失败的轨迹通常涉及非收敛检索（反复查询而未选择有效包装）或过早终止。失败案例使用的工具调用次数往往多于成功案例。
识别与计算：智能体通常能正确识别化学组件（高精确率），但无法将它们组装成正确的采购状态（低 CTA）。在噪声条件下，识别与计算之间的差距显著扩大。

3. 结构难度

路线深度：合成步骤的数量是难度的主导因素。准确率从单步反应的约 42% 下降到多步路线（3-5 步）的约 11-13%。
组件数量：在单步反应中，组件数量具有模型依赖性；某些模型能更好地处理多组分配方，这可能是由于检索时拥有更丰富的上下文。

意义与主张

本文主张CHEMCOST提供了首个用于评估现实工业工作流中科学工具使用的严格、无裁判基准测试。其意义在于：

超越“黑盒”评估：通过将任务分解为锚定、检索、包装选择和聚合，该基准测试允许对智能体失败的具体阶段进行诊断（例如，脆弱的解析与无效的证据整合）。
凸显“锚定”差距：结果表明，虽然大语言模型在通用工具编排方面有所进步，但它们在科学领域的特定约束下仍面临困难：解决歧义实体、遵守严格的采购规则以及在噪声输入下保持定量状态跟踪。
定义前进路径：作者认为，科学智能体的进步不仅需要更好的模型，还需要可靠的锚定、感知检索的状态跟踪以及校准的弃权机制。当前的最先进水平表明，工具访问是前提条件，但将检索到的证据整合到连贯的定量决策中仍然是一个重大挑战。

作者得出结论，虽然智能体可以近似估算成本，但在现实条件下进行可靠、精确的采购推理仍然是一个未解决的问题，需要进一步研究结构化的工具使用和对输入变化的鲁棒性。