Did LLMs colonize scientific titles? Fifty years of titular colonicity
本研究分析了五十年的科学标题数据，旨在证明虽然冒号的使用是一种长期存在的惯例且其流行程度正在上升，但大语言模型生成的标题中冒号出现频率显著高于人类作者，这一模式对提示词敏感，并会影响检索排序性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
科学论文通常通过其标题来接受评判，这些简短的短语必须承担起重任，在读者点击链接之前就告知其研究的主题。几十年来，研究人员注意到这些标题中存在一种特定的模式：冒号的使用，这个由两个点组成的小标点符号。一个标题可能会写成“气候变化：一个新视角”，利用冒号将广泛的主题与具体的焦点分隔开。这种习惯在学术界被称为“标题冒号化”（titular colonicity），自20世纪80年代以来就已被观察到。它是组织信息的一种标准工具，但最近，一股新的力量进入了视野：大型语言模型。这些人工智能系统经过大量文本训练，现在可以撰写摘要、回答问题，甚至起草科学标题。随着这些工具在研究中变得普遍，一个自然的问题随之而来：它们是否正在改变我们的写作方式？具体而言，这些机器是否过度使用了冒号，使其成为了其输出结果的一个特征，并且这种标点符号在计算机试图在数据库中查找论文时，究竟是提供了帮助还是造成了阻碍？
为了回答这个问题，来自波兰 Interactive Crafts 的一个研究小组进行了一项跨越五十载科学史的大规模调查。他们并非凭空猜测；他们查看了发表在 1976 年至 2025 年间近九千五百万篇期刊文章，这一集合取自名为 OpenAlex 的全球数据库。他们的首要任务是绘制冒号的历史轨迹。他们发现，冒号的使用从未呈现出直线式的上升或下降。相反，它在几十年间不断波动，在 20 世纪 70 年代末维持在 16% 左右，经历起伏后，近年来再次攀升。到 2022 年，约有 25% 的英文标题包含冒号。到 2024 年，这一数字已跃升至近 29%，而对 2025 年的初步观察显示，它可能达到 34%。虽然这种近期的增长非常显著，但研究人员谨慎地指出，这一趋势在人工智能成为主流写作工具之前就已经开始了，这意味着这种增长是人类写作方式演变的长期复杂故事的一部分，而不一定是由机器引起的突然转变。
随后，研究小组将注意力转向了机器本身。他们提取了近 1,700 篇科学摘要（即研究论文的总结），并要求三个不同的开源语言模型为这些摘要生成新的标题。他们向模型提供了两种类型的指令：一种是中性的，仅要求生成一个标题；另一种则是要求模型遵循特定科学领域（如生物学或工程学）的风格惯例。结果令人震惊。当模型撰写标题时，它们使用冒号的频率远高于发表论文的人类作者。对于测试的主要模型而言，41% 的中性标题包含冒号，而实际发表的标题中这一比例仅为 27%。当被要求遵循领域惯例时，冒号的使用率进一步飙升，达到了 60%。这表明，虽然人类适度使用冒号，但这些人工智能系统具有强烈的过度使用倾向，尤其是在被要求模仿特定学术风格时。研究人员还发现，这些模型表现得并不一致；有时它们会生成带有冒号的标题，有时则不会，即使面对同一个摘要也是如此，这表明这种行为对提问方式非常敏感。
最后，研究人员想知道，当计算机尝试查找论文时，这种标点符号是否真的重要。他们设计了一个受控实验，将带有单个冒号的标题中的冒号替换为一个简单的空格，同时保持其他所有单词完全相同。然后，他们要求搜索系统使用修改后的标题来查找原始论文。令人惊讶的是，去掉冒号后，搜索效率反而略有提高。在没有冒号的情况下，系统能更频繁地找到正确的论文，并在结果列表中将其排名更高。这并不意味着冒号对人类读者有害，但它确实表明，对于本次测试中所使用的特定搜索技术而言，冒号充当了一个轻微的障碍。研究人员指出，这种效应并非普遍存在；对于许多标题而言，这种改变并未产生任何影响，但在很大一部分案例中，使用空格的效果优于使用这两个点。
该研究得出结论，虽然大型语言模型确实在“殖民”科学标题，其频率超过了人类常态，但这并不意味着它们是近期冒号使用量增加的唯一原因。这一趋势在这些工具被广泛采用之前就已经开始，其增长很可能是人类习惯变化与机器影响共同作用的结果。此外，冒号的存在并不是识别机器生成论文的可靠方式，因为人类使用冒号已有数十年之久。真正的启示在于，标点符号不仅仅是一种风格选择；它是一个会改变机器读取和检索信息方式的变量。随着人工智能在研究过程中变得更加深入，理解这些细微的语言变化变得至关重要，这不仅是为了识别人工智能，更是为了确保我们创造的知识仍能被那些旨在分享知识的系统所检索。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。