Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
科学边缘评估（SEE）基准测试表明，当前的多模态大语言模型难以在现实世界的科学发现中从实验数据中可靠地推导出基于证据的见解，这凸显了在解释既定概念与生成新颖且合理的科学推论之间存在的关键差距。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代实验室中，发现很少是瞬间的灵感迸发。它是一个缓慢且审慎的收集证据的过程。科学家观察着从分子上反射出的光谱、细胞的显微图像或温度变化的图表，并追问这些沉默的信号究竟意味着什么。答案必须严格基于数据所展示的内容，而非科学家希望发现的内容，也非他们在其他实验中所见到的内容。这种坚持证据的纪律是可靠科学的基石。如今，被称为大语言模型的强大计算机程序正被要求协助这项工作。这些系统可以轻松阅读海量的科学论文并讨论复杂的理论。但一个关键问题仍然存在：它们能否观察一组原始、杂乱的实验结果，并得出既正确又严格受限于数据所允许范围的结论？
一项名为“科学边缘评估”（Science Edge Evaluation）的新研究直接探讨了这个问题。来自阿里巴巴集团、清华大学及其他机构的研究人员创建了一项严苛的测试，旨在观察这些人工智能系统是否真的能够作为现实科学发现的伙伴。他们构建了一个名为 SEE 的基准测试，其中包含一千多个源自化学、生物学和材料科学领域已发表研究的问题。与以往仅仅询问模型是否知道某个事实或能否解决教科书问题的测试不同，该基准测试向模型展示了人类科学家会看到的相同视觉证据——例如凝胶图像、光谱曲线和显微照片——以及随附的文本。其目标是观察模型能否解读这些图像，并得出保持在所提供证据边界内的结论，而不进行猜测或捏造事实。
评估结果令人清醒。研究人员测试了 18 种不同的先进模型，包括通用型系统和专门针对科学领域训练的模型。即使是表现最好的模型，正确率也仅为 48.7%。没有一个模型达到 50% 的门槛。这一低分表明，当前的人工智能在处理现实实验室中所需的细微推理方面尚不够可靠。或许更令人惊讶的是，专门为科学设计的模型并没有比通用模型表现得更好。事实上，通用模型的平均表现略胜一筹。这一发现表明，仅仅向计算机喂入更多的科学事实或用专业文本进行训练是不够的。缺失的部分不是知识，而是根据手头特定证据进行仔细推理的能力。
研究还观察了当这些模型获得辅助工具（例如通过网络搜索背景信息或使用代码解释器进行数学化图像分析）时的情况。给予模型这些工具确实有所帮助，将最高准确率提升到了 52.7%。然而，这种提升是有限的，且模型仍然会出现显著错误。研究人员发现，虽然工具可以提供更多信息，但它们并未解决核心问题：模型仍然难以正确管理这些信息。它们经常在证据充足时无法适时停止，或者以导致错误结论的方式将新数据与旧假设相结合。工具扩展了模型的视野，但并未教会模型如何在所见之物的限制内进行思考。
当研究人员分析模型失败的具体方式时，一个清晰的模式浮现了出来。错误主要分为两类：感知与推理。在感知方面，模型往往缺乏从图表或光谱中读取精确数值的精度。它们擅长识别一般模式，但在作为测量仪器方面表现较差。在推理方面，模型经常让先验知识凌驾于实际视觉证据之上。如果图像显示了一些异常情况，模型往往会忽略这些奇特的细节，转而描述它们根据训练数据所预期的景象。它们还倾向于过度推断，将一个微小的、局部的结果转化为一个数据并不支持的宏大且确定的结论。
其中一个最能说明问题的实验是，研究人员完全移除图像，仅凭文本要求模型回答问题。一个真正智能的系统应该意识到，如果没有视觉证据，它无法回答问题。然而，模型几乎总是尝试回答，仅根据文本进行猜测。它们仅在 4.6% 的案例中识别出了信息的缺失。这种被称为“幻觉”的行为在科学领域是危险的，因为它创造了一种虚假的自信。模型宁愿编造一个答案，也不愿承认必要的证据缺失。
研究结论指出，当前人工智能与真实科学发现之间的差距不在于拥有更多的数据或更聪明的工具。差距在于管理证据的能力。真正的科学发现需要一个能够观察一组观测结果、理解这些观测结果究竟证明了什么，并止步于此的系统。它需要一种纪律，即能够说出“这就是数据所展示的内容”，并抵制利用猜测来填补空白的冲动。直到人工智能能够可靠地区分已知事实与仅仅是可能发生的情况，它将始终只是解释既定思想的工具，而非发现新事物的伙伴。研究人员建议，未来的路径不仅是让模型变得更大或更有知识，而是要教会它们基于证据进行严密逻辑推理的能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。