The Invisible Infrastructure of Biomedical Research: An Exploratory Analysis of Software Mentions and Sentence-Level Citation Marking
这项针对生物医学论文中近 80 万次软件提及的探索性分析显示,句子层级的引用标记率普遍较低(10.7%)且因工具类型而异,其中统计软件包的被引用频率最低,这凸显了进行针对性政策干预和改进验证方法的必要性。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
现代科学在很大程度上依赖于隐形的工具。当生物学家测序一段 DNA 或统计学家分析大规模数据集时,他们不仅仅是在使用纸和笔;他们正在运行复杂的计算机程序。这些程序是发现的引擎,塑造了研究人员能够得出何种结论以及工作速度有多快。然而,科学家用来给予其工作认可的系统——学术引用——是为书籍和文章设计的,而非为软件设计。当研究人员在论文中提到一个程序时,它通常只是作为一个简单的名称出现在句子中,就像放在工作台上的一个工具。由于这些名称很少与正式的参考文献联系起来,开发这些软件的人往往无法获得对其劳动的认可。这种缺乏认可的情况使得很难证明维持这些工具运行所需的时间和资金是合理的,同时也造成了记录中的空白,使得他人难以重复实验。
来自阿肯色大学小里特尔岩分校的 Md Motasim Billa 的一项新研究调查了这种情况发生的频率,以及该问题是否在每种类型的软件中都同样存在。研究人员查看了 1980 年至 2022 年间发表的近 14 万篇生物医学研究论文中出现的近 80 万次软件名称提及。他们不仅仅是统计了软件被提及了多少次;他们还仔细观察了句子,以查看该提及是否伴随着正式的引用标记,例如括号中的数字或指向参考文献列表的上标。这种区别至关重要,因为一个漂浮在句子中的名称对人类读者是可见的,但对于追踪科学影响力的自动化系统却是不可见的。
研究人员发现,正式引用出人意�料地罕见。在整个论文集中,只有约 11% 的软件提及在同一句子中带有引用标记。绝大多数(近 70%)只是写在文本中的纯名称。然而,研究表明,这种低比例在所有类型的工具中并不统一。一个软件工具被引用的可能性很大程度上取决于它属于哪种类型的工具。机器学习框架(用于训练人工智能模型的工具)在大约 18% 的提及中被引用。编程语言在大约 16% 的案例中被引用。相比之下,作为数据分析主力军的通用统计软件包,其被引用的比例仅为 2%。文献管理工具(用于组织书目信息的工具)的引用率仅为 1%。
这种模式表明,科学家谈论软件的方式并不是一种单一的、错误的习惯,而是根据工具的不同而存在的一套不同的惯例。统计软件通常被视为标准设备,就像显微镜或试管一样,而不是作为需要特定认可的独特著作。当科学家说他们使用了某个统计软件包时,他们通常是在遵循一种不需要引用的方法论惯例。相反,机器学习框架通常有相关的研究论文,这些论文被视为引用该工具的主要方式,从而导致了较高的引用率。研究还发现,工具在文本中的命名方式会改变被引用的概率。如果句子中包含指向该软件的网络链接,那么它更有可能带有正式引用。如果句子指明了制作该软件的公司或开发者,那么它进行引用的可能性就会大大降低,这表明在作者眼中,命名创造者往往取代了对正式参考文献的需求。
研究人员还测试了现有方法区分软件名称与看似软件名称的普通单词的能力如何。许多软件工具的名字都是常见的英语单词,如“star”(星)、“cluster”(簇)或“string”(字符串)。研究发现,标准的已知软件工具列表并不包含这些具有歧义的名称。当研究人员尝试使用基于周围词汇的简单规则来判断一个像“cluster”这样的词是指软件还是仅仅指一群事物时,这些规则效果尚可,但在技术语境下经常失效。这凸显了一个重大挑战:用于自动追踪软件提及的工具在没有人工帮助或更先进技术的情况下,还不足以处理最常见的歧义名称。
研究结论认为,虽然软件引用不足的问题确实存在,但这并非简单的科学家忘记给予认可的问题。相反,这是一个复杂的议题,即不同类型的工具被对待的方式不同。对于驱动大部分现代研究的统计软件包来说,这一差距最为显著。由于本研究中使用的数据并非完美的随机样本,且识别软件的方法尚未经过人类专家的充分验证,因此这些发现最好被视为问题最严重之处的地图,而非最终的普查结果。研究结果表明,一个要求所有科学家“引用你的软件”的统一规则可能并不奏效。相反,政策可能需要针对特定类型的工具进行定制,特别是那些目前被视为隐形设备的工具,以确保科学数字基础设施的建设者最终能获得应有的认可。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。