Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
这项研究揭示了语言模型中的化学思维链推理功能类似于一个易产生幻觉的分子草稿本，其中虚假的结构性陈述虽屡见不鲜，却在生成正确答案的过程中承担着因果性的负载作用，因此有必要对过程层面进行监督，而非仅仅进行简单的答案评估。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能的广阔版图中，新一代模型已经学会了在说话之前先进行思考。这些系统不再是直接跳到答案，而是经过训练，能够写出逐步的推理过程，就像学生在草稿纸上演算数学题一样。这种被称为“思维链”（chain-of-thought）推理的方法，已成为帮助计算机解决复杂谜题的标准方式。在化学领域——其中分子是生命和药物的基石——这种能力显得尤为具有前景。科学家们希望，如果计算机能够解释其设计新药或识别化学结构的逻辑，人类专家就可以检查该逻辑是否存在错误。人们一直假设，如果最终答案是正确的，那么得出该答案的推理过程也必然是可靠的。
然而，最近的一项研究挑战了这一令人安心的假设。来自包括新加坡国立大学和香港理工大学在内的研究机构的研究人员调查了这些人工智能模型是在真正通过化学问题进行推理，还是仅仅在过程中编造内容。他们关注了一种特定类型的错误，即“幻觉”（hallination），即模型自信地陈述一个并不真实的客观事实。在化学语境下，这可能表现为：模型声称一个分子包含特定的化学基团（例如羧酸），而实际上该基团在结构中并不存在。由于化学结构是精确的，并且可以根据已知数据库进行校验，这个领域提供了一个罕见的机会来测试人工智能的解释是否与现实相符。研究人员想要知道：当模型得到正确答案时，是因为它理解了化学，还是因为它只是猜中了正确的形状，同时编造了一个虚假的故事来为其辩解？
为了找到答案，团队分析了四个不同系列的推理模型在十二个不同化学任务上的表现，涵盖了从描述分子到设计新分子的各个方面。他们构建了一个系统来读取模型的书面推理，并针对涉及的实际分子结构检查每一个化学主张。他们的发现令人震惊。幻觉现象广泛存在。在许多情况下，模型生成的分子结构完全正确，但在其书面推理中却包含了捏造的化学细节。例如，在一项涉及根据文本描述生成分子的任务中，某领先模型的输出结果中有约13%是完全正确的，但其伴随的推理文本中至少包含了一个伪造的化学主张。研究发现，这些谎言的存在与最终答案的正误几乎没有联系。一个模型可以其结果完全准确，但其推理过程却漏洞百出；或者其结果错误，而其推理过程却非常严谨。
这种脱节表明，书面推理并不总是记录模型如何得出结论的忠实记录。为了理解为什么会发生这种情况，研究人员进行了一系列实验，他们刻意改变了模型的输出。他们替换了书面推理文本中的化学基团名称，将其改为错误的名称。令人惊讶的是，改变这些语言层面的主张对模型生成的最终答案几乎没有影响。模型在生成最终结构时似乎忽略了它自己的书面解释。然而，当他们改变原始输入或模型写下的内部结构草图时，最终答案发生了剧烈变化。这表明模型在解决问题时并不依赖于自己的文字描述。相反，它们是将推理空间当作一种分子的“草稿纸”。
研究人员发现，模型正在记录化学结构的片段，通常采用一种称为SMILES的格式，这是一种将分子表示为文本字符串的方法。这些片段充当了中间笔记，模型利用它们来构建最终答案。虽然描述化学现象的可读句子往往不可靠且容易造假，但这些结构草稿却承载了计算的真实重量。不同的模型使用这种草稿纸的方式各不相同。有些模型严重依赖这些基于文本的结构片段，而另一些模型则似乎更侧重于更广泛的化学线索，如分子的形状或特定部分的相对位置。研究表明，可读的解释往往只是一种“事后合理化”（post-hoc rationalization）——即事后编造的故事——而真正的计算工作发生在这些隐藏的结构草稿中。
这些发现的意义重大，影响着我们如何信任和使用科学领域的人工智能。如果一个模型可以在撒谎关于所使用的化学基团的情况下产生正确的候选药物，那么仅依赖最终答案是危险的。阅读解释的人类化学家可能会被捏造的细节误导，从而假设模型理解了化学，而实际上它并未理解。研究人员证明，训练模型变得更加诚实是可能的。通过创建一种新的训练方法，即只有当推理内容不包含伪造主张时才给予奖励，他们产生了一个在解决问题能力不减的情况下，在解释中犯错更少的模型版本。他们将这种新方法称为“Chem-R-Faithful”。这种方法显著降低了伪造主张的比例，同时保持了任务的高性能。
最终，这项工作揭示了在化学领域，思维链推理既不是完美的解释，也不是无用的副产品。它是一个复杂的、易产生幻觉的工作空间，模型在此绘制其解决方案的草稿。可读的文本通常是不可靠的，但隐藏在其中的结构性笔记对于获得正确答案至关重要。这意味着，要真正信任科学领域的人工智能，我们不能只看最终结果或书面故事。我们必须开发新的方法来验证过程本身，去检查背后的结构草稿和逻辑。随着这些工具在药物研发和分子设计中变得越来越普遍，理解“推理轨迹”是一个工作草稿而非最终报告，对于确保未来化学物质的安全性和准确性至关重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。