Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping
本文提出了一个“可审计的科学把关”框架，旨在解决预印本审核中存在的关键测量缺口，认为虽然决策标准通常是透明的，但由于无法观察被拒绝稿件的结果，导致无法对假阴性率进行实证评估，因此有必要建立新的报告标准，使实质性的筛选过程具备实证可检验性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
科学依赖于一个简单的承诺：新的想法可以被任何人看到、测试和辩论。几十年来，研究人员分享早期工作的主要方式是通过预印本服务器，即科学家在论文经过期刊正式审查之前将其发布的数字图书馆。这些平台充当了发现过程中的快速通道，让世界在论文写就的那一刻就能看到一项主张或一种方法，而不是等待数月甚至数年漫长的传统同行评审过程。然而，这些服务器不仅仅是开放式的档案柜；它们是经过策划的空间。在论文出现在公开列表中之前，由一组志愿者阅读它，以决定它是否属于那里。如果他们认为论文缺乏原创性、科学意义不足或工作过于不完整而无法使用，他们可以拒绝提交。这种把关角色是必要的，可以防止图书馆被废话淹没，但也产生了一个难题。当把关人说“不”时，人们如何知道这个决定是否正确？如果一篇论文被隐藏起来，且作者从未在其他地方发表它，那么世界就永远看不到这项成果。这篇论文可能是一项被误埋的卓越发现，也可能是一个被正确拦截的死胡同。由于没有查看被拒稿件的方法，系统无法区分错误与成功。
这就是独立研究员大塚淳（Atsushi Otsuka）在一项新研究中解决的核心谜题。他并不认为现有的系统是破碎的，也不认为志愿者存在偏见。相反，他提出了一个关于度量更根本的问题：系统是否有办法看到自身的错误？大塚研究了全球最大、最著名的预印本服务器 arXiv 的规则和公开报告，以观察追踪那些被拒绝论文的去向是否可行。他发现，虽然该服务器非常擅长告诉我们收到了多少篇论文以及拒绝了多少篇，但它并未告诉我们那些被拒绝的论文后来发生了什么。服务器知道自己的拒绝率，但它并不追踪那些被拒绝的论文随后是否在其他期刊上发表、是否被其他科学家引用，或者作者是否改进了它们并再次尝试。由于缺乏这种后续信息，系统无法计算它犯了多少次错误。这就像一名保安，他确切地知道有多少人在门口被拦下，却没有任何记录显示被拦下的人中是否有人其实是由于误判而被挡在门外的无辜访客。
大塚的工作建立在传统学术期刊领域类似研究的长久历史之上。多年来，研究人员一直在追踪被期刊拒绝的手稿，以观察它们最终是否会在其他地方发表，或者是否成为了高引用率的重要著作。这些研究表明，即使是最好的期刊有时也会错过优秀的论文，而且拒绝过程本身会改变作者的行为，或许会挫伤他们完成工作的积极性。大塚将同样的逻辑应用于预印本服务器。他指出，我们在判断这些决定时存在一个关键的不对称性。如果一篇被拒绝的论文后来在顶级期刊上发表了，那就是预印本服务器犯错的有力证据。但如果一篇被拒绝的论文再也没有发表，这并不能证明服务器是正确的。拒绝行为本身可能会导致作者放弃，或者论文可能因为一个实际上是错误的理由而被拒绝。因为拒绝改变了论文的未来，所以你不能简单地通过最终结果来判定最初的“不”是否正确。
为了解决这个问题，大塚提出了一个新的框架，使科学把关变得“可审计”。他将问题分解为三个层面。第一层是决策透明度，即仅仅报告拒绝了多少篇论文以及原因。第二层是结果可观测性，即追踪那些被拒绝的论文随后的去向。第三层也是最重要的层面是错误可审计性。这要求平台预先声明它将如何判断一个决定是否错误。例如，如果一篇论文因为需要“重大修改”而被拒绝，平台必须有一套明确的规则，用于在日后检查作者在其他地方发表前是否确实进行了这些修改。大塚对 arXiv 当前公开记录的审计显示，该服务器在第一层表现出色，但在其他两层表现薄弱。服务器报告了其总数和一般政策，但它并未发布将特定拒绝行为与后续结果联系起来的数据，也没有提供一种方法来检查被拒绝的论文是否确实是一个错误。
这项研究并非声称 arXiv 正在拒绝好的科学，也不是声称志愿者在犯错。它只是指出目前的公开信息是不够的。服务器可能是完美的，也可能犯了很多错误；目前的公开数据结构无法分辨。大塚建议，要使一个系统真正值得信赖，它必须能够衡量自身的准确性。他建议平台开始收集并分享特定数据：有多少被拒绝的论文后来出现在期刊上，作者申诉并获胜的频率如何，以及拒绝理由是否与作品的最终命运相符。他还建议，平台应谨慎使用作者过去的记录或其大学隶属关系作为拒绝理由，除非能证明这些因素不会导致不公平的错误。目标不是消除所有的拒绝（这是不可能的），而是创建一个可以让错误率被观察和研究的系统。
最终，这项研究将对话从争论把关是好是坏，转向了询问我们如何衡量其质量。该论文认为，如果一个系统拥有将科学工作从世界面前隐藏的权力，那么它就有责任向我们展示它在多大程度上做错了决定。通过追踪被拒绝的论文并将其与其后续的生命联系起来，科学界可以从猜测把关者的质量转向真正了解其质量。这种方法并不要求对什么是“好的科学”有一个完美的定义，它只需要一份关于在说出“不”之后发生了什么的清晰、诚实的记录。如果系统能够向我们展示这份记录，它就可以证明自己正按预期运作。如果不能，那么该系统就是一个黑箱，决策在黑暗中做出，而这些决策的代价则由那些作品从未被看到的科学家们来承担。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。