MolQuest: A Benchmark for Agentic Evaluation of Abductive Reasoning in Chemical Structure Elucidation
本文提出了名为 MolQuest 的新型代理评估框架，通过将分子结构解析形式化为多轮交互任务，揭示了当前最先进的大语言模型在真实化学实验场景中进行溯因推理和战略决策时仍存在显著局限（准确率仅约 50%），从而为科学导向的 AI 评估与未来发展指明了方向。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 MolQuest 的新测试，它的目的是给现在的超级人工智能（大语言模型）出一些“化学侦探”的难题，看看它们到底有没有真本事，还是只会“死记硬背”。
我们可以把这篇论文的内容想象成一场**“人工智能化学侦探大比武”**。
1. 以前的考试 vs. 现在的考试
以前的考试（静态问答）：
想象一下，以前的 AI 考试就像做选择题。老师直接把所有线索（比如指纹、目击者证词、凶器照片）一次性拍在桌子上，然后问 AI：“凶手是谁？”- 问题在于： 这太简单了。AI 只要背过答案，或者看到线索多就能猜对。但在真实的科学世界里，科学家不可能一开始就拥有所有线索。
MolQuest 的考试（动态侦探）：
MolQuest 把考试变成了**“密室逃脱”或“侦探破案”**。- 场景： AI 被扔进一个虚拟实验室，面前有一个未知的化学物质（就像一具神秘的尸体）。
- 规则： AI 手里没有任何线索。它必须自己决定下一步做什么：是去测测分子量？还是去照个核磁共振（NMR）？
- 代价： 每次做实验都要花钱（模拟真实科研的成本）。如果 AI 乱测一通，钱花光了还没破案，就算输。
- 目标： AI 必须像人类化学家一样，先猜一个结构，然后说：“我觉得缺个证据，我要去测个红外光谱。”拿到新证据后，再推翻或修正之前的猜测，直到猜出正确的分子结构。
2. 这个比赛有多难？
这就好比让你去拼一个几百万块的乐高积木，但是：
- 你看不见盒子上的成品图。
- 你只能一块一块地摸积木，每摸一块都要付钱。
- 积木之间有很多细微的差别（比如氧原子位置差一点点，整个分子就完全不同了）。
- 数据里还有“噪音”（就像听收音机有杂音），AI 得学会过滤掉假信号。
这需要**“溯因推理”**能力：不是简单的“因为 A 所以 B"，而是“我看到了 B 现象，推测可能是 A 原因，为了验证 A，我需要去查 C"。
3. 比赛结果：AI 们表现如何？
作者找了 12 个目前世界上最厉害的 AI 模型来参赛，结果让人大跌眼镜：
- 顶尖选手（Gemini 3 系列）： 表现最好，准确率大概能到 50% 左右。它们就像经验丰富的老侦探，知道该查什么，不乱花钱，能根据线索一步步缩小范围。
- 中游选手： 准确率在 20%-30%。
- 困难户： 很多模型连 10% 都达不到，甚至有的模型在动态模式下比静态模式下表现更差。
最有趣的现象：
有些模型在“把所有线索一次给全”的静态模式下表现不错，但一变成“动态侦探”模式就崩了。
- 原因： 它们不会做计划。它们要么乱花钱（测了一堆没用的数据），要么还没收集够证据就急着交卷（过早下结论）。
- 比喻： 就像有些学生背书很厉害（静态模式），但一旦让他去现场办案（动态模式），他就不知道先查指纹还是先查监控，最后把自己绕晕了。
4. 这个研究告诉我们什么？
- 现在的 AI 还不够“聪明”： 它们很擅长处理已知信息，但缺乏主动探索和战略规划的能力。真正的科学发现需要主动去问问题，而不是被动回答问题。
- 幻觉问题（Hallucination）： 很多 AI 会“瞎编”。它们可能会生成一个看起来很合理的化学结构，但实际上根本不符合实验数据（比如原子数对不上）。
- 未来的方向： 我们需要的不只是“知道更多知识”的 AI，而是“会思考、会规划、会省钱”的 AI。未来的 AI 应该能像人类科学家一样，在资源有限的情况下，一步步把谜题解开。
总结
MolQuest 就像给 AI 戴上了“紧箍咒”，强迫它们在信息不全、资源有限的真实环境下做决策。
目前的结论是：AI 在化学推理上还有很长的路要走。 它们现在更像是“博学的图书管理员”，而不是“能独当一面的科学家”。这项研究为未来如何训练出真正能帮人类做科研的 AI 指明了方向——不仅要教它们知识，更要教它们如何像侦探一样思考。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。