Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control
这项横向元研究审计显示，尽管在制药制造领域的机器学习研究中，只有约三分之一的研究可以在无需订阅的情况下获取，但这些可获取的论文中仅有区区 1.1% 提供了必要的公开数据、代码以及留出的评估集，从而能够对研究结果进行独立验证。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在制造现代药物的工厂里，机器现在不仅仅是进行混合和装瓶。它们还在观察、测量和预测。利用一种被称为机器学习的计算机智能技术，这些系统可以从照片中识别出缺陷药片，预测药物如何溶解，或者监测生长细胞的巨大反应罐内极其微妙的环境条件。这项技术已成为确保每一粒药丸和每一剂注射液安全有效的标准工具。但为了让这些智能系统获得监管者和开方医生的信任，构建这些系统的科学家必须能够证明他们的工作。正如厨师不能在不展示食谱和原料的情况下声称一道菜美味一样，科学家也不能在不展示其学习的数据、运行的代码以及在新的、未见过的样本上表现良好的证明时，声称一个计算机模型有效。
一项新的研究提出了一个简单但至关重要的问题：当科学家发表关于制造药物的机器学习研究时，实验室以外的人是否真的能够检查他们的工作？研究人员是一位名叫 Phani Kumar Balagam 的独立学者，他着手对该领域的已发表记录进行了审计，时间跨度为 2019 年至 2025 年。他们想知道两件事。首先，一个没有特殊图书馆订阅权限的普通人，是否真的能读到完整的论文？其次，如果能读到，论文是否包含了重复该实验并验证结果所需的具体细节？研究发现，答案是：对于大多数此类论文而言，这两个问题的答案都是“否”。
为了查明情况，研究人员在五个主要的科学数据库中搜索了数千篇描述使用机器学习来制造或测试人类药物的论文。在过滤掉综述、预印本以及不符合标准的各种研究后，他们得到了 553 篇符合研究条件的论文。第一个障碍是获取权限。研究检查了每篇论文是否可以向公众免费开放。在 553 篇论文中，只有 186 篇（约三分之一）无需订阅即可阅读。其余的论文要么被锁定在付费墙后，要么根本无法检索，尽管其中一些被标记为开放获取，但这通常是因为自动化安全检查阻止了下载等技术障碍。这意味着，对于该领域的每三篇研究中的两篇，好奇的读者甚至连全文都看不见。
随后，研究人员将重点放在了那 186 篇可读的论文上。他们仔细查看了这些论文是否报告了验证结果所需的四种基本要素：原始数据、计算机代码、关于如何将数据分为训练组和测试组的清晰说明，以及基于从未见过的数据得出的最终性能评分。最后一部分至关重要；如果没有它，模型可能只是在死记硬背答案，而不是在学习规则。研究发现，虽然几乎所有论文都提到了如何划分数据，但很少有论文分享实际的数据或代码。只有大约四分之一的论文公开了数据，而只有大约十分之一的论文公开了代码。
当寻找“完整包”时，情况甚至更加糟糕。研究将一篇“可检查”的论文定义为同时分享了数据、代码、划分方式和最终测试结果的论文。在 186 篇可读论文中，只有两篇达到了这一标准。这仅占百分之一多一点。换句话说，该领域几乎没有任何已发表的研究提供了足够的信息，让独立人士能够重新运行分析并确认标题中的数字。研究人员指出，这种缺乏透明度的现象并非由于数据本身的性质。即使数据来自小型实验室实验而非大规模工业工厂，也极少被分享。同样，代码分享不足也不是因为代码是秘密；仅仅是因为没有提供。
研究还调查了这些问题是随着时间的推移在好转，还是因发表论文的期刊类型而异。结果显示，数据或代码的分享率在历年间没有显著提高，且不同类型的科学期刊在报告质量上也并无差异。研究人员使用了一种大型语言模型（一种人工智能类型）来阅读并为论文评分，并通过让模型两次检查相同的论文来验证其方法。该模型能够找到支持其判断的论文中的特定句子，证明了信息的缺失是一个真实的报告缺口，而非读者的误解。
结论是严峻的。虽然机器学习正在成为制药制造中的常规手段，但该领域已发表的记录在很大程度上是不透明的。三分之一的论文公众无法阅读，而在可以阅读的论文中，几乎没有一篇包含验证结果所需的完整细节。研究人员认为，解决方案并不需要作者去做任何新颖或困难的事情。他们只需要分享已经拥有的数据和代码，并明确说明哪些数据产生了他们的主要结果。通过要求作者提供他们已经拥有的东西，科学界可以弥合已发表内容与可检查性之间的差距，从而确保制造我们药物的智能机器如其所言那样可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。