📄 chemistry

Large language models do not replace chemists in a closed-loop catalysis experiment

尽管大语言模型在处理复杂的闭环催化实验过程中展现出了卓越的速度和成本效率，但由于存在隐性错误和逻辑不一致性，它们未能超越人类专家以发现活性最高的催化剂配方，这表明大语言模型目前最适合作为需要专家监督的补充工具，而非独立的替代品。

原作者： Andrew Ian Cooper, Qi Jie Yeow, Ziheng Xiao, Mengjia Zhu, Abdoulatif Cissé, Xenophon Evangelopoulos, Charlotte Boott

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrew Ian Cooper, Qi Jie Yeow, Ziheng Xiao, Mengjia Zhu, Abdoulatif Cissé, Xenophon Evangelopoulos, Charlotte Boott

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一场高风险的烹饪大赛，目标是发明世界上最高效的产氢“汤”。你有一个拥有25种不同食材的海量储藏室：四种特殊的纳米蛋糕（nanoCOFs）、十二种不同的矿物粉末、三种燃料添加剂、三种肥皂、酸、碱，以及一种珍贵的铂金香料。挑战在于，要在机器人厨房中进行混合，找到那份能产生最多气泡（氢气）的完美食谱。

在这场实验中，两组厨师展开了对决：一组是人类专家团队，另一组是超级快速且聪明的 AI 厨师（一个名为 GPT-5.1 的大语言模型）。机器人厨房嘈杂且混乱，测量数据有时会发生漂移或产生混淆，这使得工作变得异常困难。

AI 厨师的极速赛跑
AI 厨师是个速度达人。它品尝、思考并下达下一批实验指令的速度比人类团队快 35 倍。运行 AI 大脑的成本大约只有支付人类时间成本的 1/1900。AI 非常擅长阅读食谱书、发现数据模式，并建议某种特定的肥皂（SDS）可能有助于食材更好地混合。它是正确的！当它加入这种肥皂后，氢气的产量显著跳升。

然而，AI 也出现了几次“大脑短路”：

数学错误： 在早期，由于忘记检查铂金香料瓶的重量，它误算了铂金香料的使用量。这浪费了它一些宝贵的实验机会。
记忆故障： 后来，当实验发生变化时（烹饪时间缩短了），AI 被自己的笔记搞糊涂了。它忘记了新数据不能直接与旧数据进行比较，导致它在死胡同里徘徊了一段时间，直到人类介入并重置了它的记忆。
隧道视野： AI 倾向于反复尝试那几种固定的食谱，为了稳妥而重复实验，而人类则更愿意尝试大胆、新颖的组合。

人类厨师的深度探索
人类团队移动得较慢，但他们是更细心的探索者。他们不仅仅观察气泡，还观察了罐子里“汤”本身的变化。他们注意到混合物在颜色和质地上的变化（相行为）——这些都是 AI 看不到的线索，因为 AI 只能看到数字化的气体读数。

由于拥有这些额外的感官输入，并能捕捉到 AI 沉默的错误，人类团队最终发现了一个平均活性略高于 AI 独立发现的最佳食谱的配方。他们不仅是在微调 AI 的想法，而是回归基础，尝试了不同的纳米蛋糕，并以 AI 未曾充分优化的方式调整了铂金水平。

最终裁定
那么，AI 替代了人类化学家吗？没有。

论文明确排除了这样一种观点，即 AI 可以不经帮助就接管复杂的、充满噪声的实验室工作。虽然 AI 是一个出色的、不知疲倦的助手，能够快速且廉价地处理数据并提出构想，但它并不完美。它会做出自信但错误的猜测，陷入循环，并且忽略了就在其“眼睛”面前的物理线索（如果它有眼睛的话）。

作者认为，未来的出路不是在机器人和人类之间做选择，而是将他们组合在一起。AI 可以承担大量繁重的工作，快速且廉价地运行数千次实验，而人类专家则充当飞行员，负责观察错误、解释物理变化，并在 AI 陷入混乱时掌舵。在这间高风险的厨房里，机器人是最快的副厨，但它仍然需要一位人类主厨来确保汤不会烧焦。

技术摘要：在大规模闭环催化实验中，大语言模型无法取代化学家

问题陈述
本研究探讨了大语言模型（LLMs）作为自主推理智能体在复杂、高维且具有噪声的科学实验中的能力。尽管 LLMs 在知识检索和单次假设生成方面已展现出熟练程度，但其在长程、闭环实验室环境中的表现——这类环境具有实验漂移、测量噪声以及需要迭代适应等特征——在很大程度上仍未得到充分探索。作者试图在一个 25 维的胶体催化问题中，将 LLM 的推理能力与人类领域专家进行面对面的基准测试；该问题的最优解是未知的，且系统表现出显著的随机性。

方法论
研究人员利用一台移动机器人（KUKA LBR iiwa 14）集成“Opsight”智能体优化软件，开展了一场旨在最大化氢气产量的 528 次实验运动，使用的是纳米级共价有机框架（nanoCOFs）作为光催化剂。

实验设计： 问题空间涉及 25 个维度，包括四种 nanoCOFs、12 种无机半导体、三种牺牲剂、三种表面活性剂、pH 调节剂以及一种铂助催化剂前驱体。这创造了一个约 $5.92 \times 10^{16}$ 种潜在配方的组合空间。
执行阶段：
- 阶段 0（实验前）： 向 LLM（GPT-5.1）提供 10 份背景资源（论文、数据表、光谱）以生成初始搜索策略。
- 阶段 1（开放式优化）： LLM 在没有固定预算的情况下进行了 320 次实验，旨在最大化活性。它应对了实验噪声以及实验中期测量设置的变化（为了避免探测器饱和而缩短了光解时间）。
- 阶段 2（重归一化）： 系统调整至 15 分钟的光解时间以确保线性探测响应。LLM 被指示重新锚定其数据分析。
- 阶段 3（固定预算对比）： 进行了一场直接对比实验，在 160 次实验的过程中，将 LLM（使用两种不同提示词运行两次）与一个由四名人类领域专家组成的团队进行比较。两类智能体均可获取之前的所有数据。人类团队还利用了 LLM 无法获取的视觉线索（相行为）。
关键结果：
性能： 在最后的 160 次实验阶段，人类团队发现的催化剂配方平均活性比 LLM 较弱的一次运行结果高出 22%，且与 LLM 最强的运行结果在统计学上相当。人类团队发现的最高单次活性为 126 ± 8 µmol h⁻¹，而 LLM 的最佳结果为 117 ± 17 µmol h⁻¹。
速度与成本： LLM 的推理速度比人类团队快 35 倍（59.2 分钟 vs. 34.7 人时），且据估算，其推理成本仅为人类的约 1,900 分之一。
探索策略： 人类团队探索了更广泛的化学空间（31 种不同的类别配方），冗余度较低。LLM 则表现出高度的开发性（exploitative），专注于一小组变量（18 种不同的配方），并进行了不必要的重复实验。
推理错误： LLM 表现出了“隐性错误”，包括：
- 在阶段 0 中关于 Pt 前驱体分子量的化学计量计算错误。
- 阶段 3 中的上下文窗口限制，导致其在尽管收到了指令的情况下，仍回退到错误的 60 分钟数据分析。
- 逻辑不一致，例如在阶段 3 中得出结论认为 SDS 提高了分散性，这与其在阶段 0 中正确的预测相矛盾——它曾正确预测 SDS 会导致聚集（这一事实通过离线 Zeta 电位和相行为观察得到了证实）。
发现： LLM 和人类都发现添加阴离子表面活性剂 SDS 能显著提高活性，尽管 LLM 是通过实验而非通过检索先前知识发现这一点的。两者都未能成功识别出高效的有机-无机异质结。

主要贡献

首次直接基准测试： 本研究提供了罕见的、直接的、侧重于对比的实验，将 LLM 推理与人类专家推理在高度复杂、多噪的真实闭环实验中进行了对比。
识别局限性： 研究表明，虽然 LLMs 可以导航复杂的化学空间并适应某些实验变化，但它们存在记忆限制、隐性逻辑错误以及在缺乏人类监督时倾向于过度开发的倾向。
成本效益分析： 本工作量化了机器推理的速度/成本效率与人类推理的深度/可靠性之间的权衡，表明最优的劳动分工取决于实验的成本和危险程度。

意义与主张
作者得出结论，LLMs 并不是处理复杂科学问题时可以“开箱即用”的专家推理替代品。虽然 LLM（GPT-5.1）成功指导了一场长期运动并找到了有效的假设，但由于推理缺陷和感知能力的缺失（例如无法观察相变），它未能匹配人类专家在最终优化阶段的整体效能。

文章认为，未来自主实验室的发展方向在于混合系统，即将机器推理的速度和低成本与人类专家的监督、感知判断和纠错能力相结合。作者指出，对于快速、廉价且低风险的实验，机器推理具有显著优势；但随着实验变得更慢、成本更高或更具危险性，人类的干预或密切监督对于缓解隐性机器错误带来的风险变得至关重要。该研究强调，设计人类与 LLM 协作而非追求完全自主的系统，才是最具资源效率的路径。

技术摘要：在大规模闭环催化实验中，大语言模型无法取代化学家

类似论文