More than half of recent astronomy papers are written with language-model assistance
对超过 20 万篇天文学论文进行的层级贝叶斯分析显示,超过一半的近期 astro-ph 手稿表现出语言模型辅助的语言痕迹,这一比例远高于那些明确披露此类使用的论文(后者占比不足 1%)。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
在天文学这个安静且数据密集的领域,科学家们每天的工作就是将来自遥远恒星和星系的微光转化为关于宇宙的故事。几十年来,这些发现的书面语言一直是一种严谨、技术性的方言,剥离了修饰,完全专注于精确度。但在2022年末,一种新工具进入了视野:能够编写流畅、类人文本的高级计算机程序。这些被称为语言模型的工具迅速流行起来,用于帮助研究人员起草论文、检查语法并组织复杂的想法。很快产生的问题不是这些工具是否正在被使用,而是它们的影响力已经变得多么广泛。如果计算机协助编写了一篇科学论文,其文本是否会看起来有所不同?它是否会携带一种微妙的指纹,即一组人类作者很少选择但机器偏好的特定词汇?
来自俄亥俄州立大学和马克斯·普朗克天文学研究所的一个研究小组试图通过观察文献中的实际词汇来寻找答案。他们分析了2015年至2026年中期提交的20多万篇天文学论文的全文。他们的目标是统计有多少文档显示出计算机辅助的迹象。他们专注于一组在机器生成文本中变得常见的特定词汇,例如“delve”(探究)、“underscore”(强调)、“intricate”(错综复杂)和“pivotal”(关键)。这些不是像“红移”或“超新星”那样的技术术语;它们是风格化的选择,是为句子增添某种节奏感的词汇。在这些计算机工具兴起之前,天文学家很少使用这些词。研究人员想知道,近期论文中这些词汇的突然出现,是否意味着这些论文是在借助计算机辅助编写的。
为了获得清晰的图景,该团队不仅仅是在计数,还构建了一个复杂的统计模型来从噪声中分离信号。他们知道语言会随时间变化,而且某些词汇可能会因为非计算机使用的原因而变得流行。为了解释这一点,他们观察了在2020年(即这些工具广泛普及之前)之前发表的论文中这些词汇的使用情况。这为人类天文学家自然使用这些词汇的情况提供了基准。然后,他们将这一基准与2022年后撰写的论文进行了对比。至关重要的是,他们还查看了少数明确承认使用语言模型的论文。这些承认使用的论文作为一个校准点,一个已知的参考,帮助团队理解在数据中什么是“计算机辅助”的论文。
结果令人震惊。通过2025年,研究人员估计超过一半的新天文学论文都带有语言模型辅助的痕迹。具体而言,他们计算出有54%的论文显示出与计算机辅助一致的词汇模式,即使在最保守的假设下,其误差范围也使该数字稳稳保持在36%以上。这个数字一直在迅速上升:2024年,该数字约为20%,到2026年上半年,它已攀升至近87%。这表明,这些工具的使用已从一种罕见的实验转变为大多数天文学家写作过程中的标准组成部分。
然而,这个故事比简单的计数要复杂得多。研究人员发现,计算机的“指纹”正变得越来越难以察觉。在2023年初,使用这些工具的论文中,这些特定标记词的过剩程度非常明显——大约是人类撰写论文的3.5倍。到2026年,这种过剩程度已降至基准值的1.5倍。这是因为作者开始适应。随着像“delve”这样被视为计算机使用标志的特定词汇变得出名,作者们不再如此频繁地使用它们,或者将其编辑掉,使得计算机的手笔变得不再那么明显。这些工具仍在被使用,但它们变得更加微妙,更自然地融入了人类的写作风格。
或许最能说明问题的发现是现实发生的情况与所言之情况之间的差距。虽然研究人员估计2025年有54%的论文受到了辅助,但其中只有0.81%的论文包含了关于使用计算机的正式声明。换句话说,对于每一篇作者承认使用该工具的论文,大约有66篇论文显示出相同的语言痕迹却未作任何说明。研究人员仔细检查了他们的检测方法,发现他们并没有遗漏许多声明;这种沉默是真实存在的。大多数公开表态的作者表示,他们使用这些工具是为了语法、清晰度或语言编辑,这些任务是许多期刊已经允许的。缺乏披露似乎并非源于试图隐瞒不当行为,而是源于想要避免污名化,因为科学界尚未就使用这些工具是否可接受达成共识。
研究结论指出,科学写作的格局发生了根本性的转变。这些工具不再是新奇事物,而是生产天文学论文的主导力量。研究人员指出,这种转变并不一定意味着诚信的失败,而是实践上的变化,而科学界尚未跟上这一步伐。随着这些工具的语言痕迹继续消退并变得难以检测,衡量其影响的窗口正在关闭。作者们建议,最紧迫的步骤不是禁止这些工具或追踪消逝的信号,而是建立明确的披露规范。如果作者仅仅说明何时使用了这些辅助工具,该领域就可以在没有隐藏辅助带来的困惑的情况下向前发展,将目前被忽视的做法转变为一种公开透明的理解。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。