Citation language changes little after findings fail to replicate: a longitudinal analysis
对超过15,000个引用句进行的纵向分析显示，后续论文很少调整其语言以反映失败的复制实验或提及冲突证据，从而几乎没有向读者提供关于原始发现是否被成功复制的任何迹象。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
科学常被想象成一台自我修正的机器，即新证据会自动更新我们对世界的理解。当一项研究在重复实验时未能产生相同的结果时，人们预期科学界会注意到这一点，并暂停并调整他们描述该原始发现的方式。这一过程依赖于研究人员在引用前人工作时所使用的语言。如果一个主张已被证明是站不住脚的，那么在后续论文中描述该主张的句子理想情况下应该变得更加谨慎，或者至少提到原始结果无法得到证实。这就是知识应当演进的方式：不是通过抹除过去，而是通过完善对已知与未知之物的描述。
一组研究人员着手测试这种自我修正是否真的如我们所预期的那样发生。他们专注于一个特定的问题：当一次重大的、预先计划好的对著名研究的重复实验失败时，后续论文的作者是否会改变他们描述该原始发现时所用的措辞？为了寻找答案，他们调查了来自心理学、经济学和社会科学的大量科学主张。他们确定了110项曾参与过三次重大复制项目研究中的原始研究。针对这些研究中的每一项，他们收集了后续引用该原始工作的论文中的数千个句子。随后，他们利用先进的计算机模型阅读这些句子，并根据确定程度对其进行评分，以衡量作者陈述原始主张时的确定性程度。他们将用于描述失败发现的语言与用于描述成功重复发现的语言进行了对比。
结果显示出一种显著的缺乏变化。研究人员发现，用于描述失败发现的措辞与用于描述成功发现的措辞几乎完全一致。即使在尝试复制的研究表明原始结果无法重现多年后，后续论文仍以同样的信心水平陈述这些发现。计算机模型并未检测到向更谨慎语言转变的显著变化。事实上，这两组之间的确定性差异如此之小，以至于在统计学上与零无法区分。该研究还寻找了对失败的明确提及。他们发现，在绝大多数情况下，作者根本没有提到失败的复制实验。只有极小比例的句子（大约每百句中的三到五句）承认原始发现受到了挑战或矛盾。
这种模式随时间推移依然成立。研究人员追踪了复制结果公布后八到十一年的语言变化。他们发现并没有出现向谨慎程度的逐渐漂移。描述失败主张的句子并没有随着时间的推移而变得更加温和或带有更多限定词。研究人员认为，这可能是因为研究人员经常重复使用既定的短语，而没有重新阅读原始证据或检查新的、矛盾的数据。对一项发现的原始描述可能会成为科学记录中固定的一部分，像标准参考资料一样从一篇论文传递到另一篇，而不论其潜在证据是否已被动摇。
这项研究并不声称科学家是在故意忽视证据，而是指出科学发现是如何被传播的系统存在一种惯性。即使一项发现已被证明是不可靠的，在新的研究中描述它的方式往往保持不变。这对我们如何阅读科学以及我们如何构建辅助理解科学的工具具有启示意义。如果科学语言不能自动反映一项发现何时失败，那么读者、编辑甚至人工智能系统都可能被误导，从而认为某个主张比实际情况更为稳固。研究人员得出结论，为了让科学实现真正的自我修正，我们可能需要更好的方法，将原始研究与其复制结果直接关联起来，确保关于一项发现的故事包含了它的失败，而不仅仅是它最初的成功。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。