Frontier language models recover scientific quality but predictably diverge from human reviewers
尽管前沿语言模型能够成功恢复已建立的科学质量等级体系，并在实现比人类评审员更高的模型间一致性方面表现出色，但它们系统性地低估了原创性，并在识别论文缺陷方面表现出与人类的弱对齐，揭示了评审过程中存在的结构性不对称。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
科学依赖于一种被称为“同行评审”的过程，即专家阅读新的研究论文，并决定该研究是否足够优秀以达到发表标准。这一系统起到了过滤器的作用，确保只有高质量的思想才能进入科学记录。然而，论文撰写的数量正在爆炸式增长，尤其是在快速发展的人工智能领域。海量的投稿量使人类志愿者不堪重负，这引发了许多人对计算机是否可以提供帮助的思考。大语言模型——即那些能够写文章或回答问题的强大人工智能系统——目前正被测试，以观察它们是否可以充当评审员。核心问题不仅在于这些机器能否阅读论文，还在于它们能否理解是什么让一篇论文真正优秀，以及它们的判断是否与人类专家相符。
一个研究小组致力于通过测试三种最先进的人工智能模型来回答这个问题。他们收集了来自主要会议和期刊的一千多篇机器学习论文，其中包括一些被广泛接受的论文以及一些较不被认可的论文。他们要求这三个人工智能系统阅读每一篇论文，并在四个类别上按照简单的四分制进行评分：科学性的严谨程度、写作的清晰度、工作的显著重要性，以及思想的新颖性或原创性。随后，研究人员将这三个人工智能系统的评分结合起来，为每篇论文创建一个单一的共识判断。他们在进行此操作时并未告知人工智能哪些论文被接收，哪些被拒绝，从而确保机器仅根据内容进行评判。
结果显示，人工智能系统在识别质量方面表现得非常出色。当研究人员查看评分时，发现人工智能对顶级会议论文的评分始终高于对小型研讨会论文的评分。它还给出了那些被其他科学家多次引用的期刊文章比引用次数较少的同类文章更高的分数。即使在没有被告知结果的情况下，人工智能对作为口头报告展示的论文的排名也高于作为海报展示的论文。这表明，人工智能能够检测到人类专家几十年来用来区分卓越工作与平庸工作的微妙信号。
然而，研究也发现了人工智能思维方式中一个清晰且一致的缺陷。虽然人类和机器在论文的整体质量上达成了一致，但人工智能系统性地低估了原创性。在评分系统中，原创性本应与技术准确性或清晰度具有同等权重，但人工智能模型始终赋予它的权重较低。它们倾向于青睐那些方法论扎实且写作精良的论文，即便其观点并非特别新颖；同时会降低那些提供了新颖概念但可能稍欠润色的论文的评分。这种偏见出现在所有三种不同的模型中，表明这是这些系统在学习如何评估科学文本时产生的一种深层模式，而非单个程序的错误。
研究人员还仔细观察了人工智能对论文优缺点的评价，并将其与人类评审员撰写的评论进行了对比。他们发现人工智能与人类在评价方式上存在一种奇特的差异。在识别论文优点方面，人工智能与人类往往高度一致。但在发现缺陷或不足之处时，人工智能经常会遗漏人类能发现的问题，或者指出人类并未察觉的问题。这种差距并非人工智能所独有；即使是人类评审员彼此之间在讨论缺点时，也往往比在讨论优点时更容易产生分歧。这表明，识别科学论证中的缺陷是一项极具挑战性的技能，无论是人类还是机器都很难完美掌握。
最终，这项研究表明，虽然人工智能可以成为筛选大量研究并识别高质量工作的强大工具，但它并不是人类判断的完美替代品。机器擅长识别已有的价值和技术上的完备性，但在面对人类面临的同样难题时却显得力不从心：即捕捉论证中微妙且关键的弱点。研究人员得出结论，如果未来使用这些工具，应当将其与人类监督相结合，以确保对技术完美的追求不会在无意中排挤掉真正原创和具有创造力的思想。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。