Automated auditing of statistical quality in university theses: why lexical rules fail and what a language layer adds
本研究表明，由于根本性的词汇局限性，基于规则的大学论文统计质量自动化审计表现得比随机概率更差，但通过集成语言模型层，可以在保持高召回率和低成本的同时，显著提高与专家判断的一致性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几十年来，科学家们一直对研究报告的呈现方式感到担忧。当一项研究声称发现了显著结果时，它通常依赖数字和测试来证明这一点。专家们早已知道，这些报告往往包含错误，例如数字不匹配或细节缺失，这可能导致研究结果变得不可靠。为了解决这个问题，研究人员尝试开发计算机程序，能够自动扫描数千篇科学论文以寻找这些错误。人们曾希望机器可以快速检查许多作者的工作，发现人类评审员因疲劳或时间限制而可能忽略的问题。这种自动化检查的概念变得非常流行，尤其是在审查大学产生的海量研究成果方面，其中学生论文是主要的产出形式。
然而，一项来自秘鲁研究人员的新研究挑战了这样一个假设，即这些简单的计算机程序实际上做得很好。该团队构建了一个系统来审计近一千篇大学论文，寻找常见的统计错误。他们从一个直接的方法开始：他们编写程序让计算机寻找特定的词汇和短语，例如统计测试的名称或对“p值”的提及（p值是用于判断结果是否有意义的数字）。其思路是，如果一篇论文提到了某种测试，但没有提到检查其要求，或者如果它声称某个结果是显著的却没有任何正确的数字，计算机就会将其标记为错误。这种方法成本低、速度快，并且能产生乍看之下令人印象深刻的整洁百分比。
随后，研究人员将这个简单的词汇搜索系统与一个更严格的标准进行了对比测试：即人类专家细致、经过双重检查的判断。他们要求两名独立的专家阅读相同的论文，并判定其中是否包含真实问题。当他们将计算机生成的错误列表与专家的列表进行对比时，结果令人震惊。计算机不仅表现得稍有偏差，甚至表现得还不如随机猜测。事实上，计算机与专家的吻合度是负相关的，这意味着它实际上找错了东西。它经常将原本没问题的论文标记为有错，同时也漏掉了那些真正存在严重问题的论文。
这项研究深入探讨了发生这种情况的原因，并发现了两个主要原因。首先，计算机无法区分学生实际进行的测试与学生仅仅在谈论他人工作时提到的测试。如果一篇论文说“史密斯使用了t检验”，计算机就会认为该学生使用了t检验，并会在该学生未检查必要条件时发出警告。其次，更重要的一点是，计算机无法理解数字背后的逻辑。在一个清晰的例子中，一篇论文声称由于一个数字小于另一个数字，所以结果是显著的，但这些数字的写法使得该主张在数学上是不可能的。计算机看到了“显著”这个词和一个数字，因此认为一切都是正确的。它看不出连接它们的逻辑是断裂的。
为了解决这个问题，研究人员为他们的系统增加了第三层。他们不再仅仅寻找单词，而是将小块且集中的文本输入到一个复杂的语言模型中。这个模型的作用更像人类读者；它通过观察上下文来查看是谁做了实验，并检查结论是否确实由所提供的数字推导而来。当他们使用这种更聪明的方法时，系统变得更加可靠。它捕捉到了专家发现的所有真实错误，包括那个简单的词汇搜索器漏掉的棘手错误，并且不再误标那些原本正确的论文。运行这个更智能系统的成本极低，每篇论文仅需几美分，这使得任何大学都有可能使用。
这项工作的最重要启示不仅在于新系统运作得更好，而在于旧有的做法从根本上就是失效的。研究表明，仅仅计数单词或模式并不能告诉你一份科学报告的好坏。一个仅依赖于寻找特定短语的计算机程序会产生看起来具有科学性、但实际上毫无意义的数据。研究人员得出结论：任何使用自动化工具来检查研究质量的人，都必须首先证明其工具与人类专家达成了一致。如果没有这种证明，他们发表的关于某一领域存在多少错误的统计数据不仅是不准确的，而且是无法解读的。未来的道路需要能够理解文本含义的系统，而不仅仅是理解页面上的单词。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。