Generative AI and the future of scientometrics: current topics and future questions
本文提出了一个区分文本语义与语用维度的概念框架，旨在指导生成式人工智能在科学计量学中进行原则性、可解释性的整合，同时警告其可能改变用于衡量科学的基础文本特征。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
请将**科学计量学（Scientometrics）**想象成学术界的“天气预报”。这些科学家不是在测量降雨和风力，而是在通过测量词汇、引用和作者姓名，来理解知识是如何增长和流动的。
现在，请将**生成式人工智能（GenAI）**想象成一个超级快速、博览群书的机器人图书管理员，它几乎读过人类写过的每一本书。这篇论文提出了两个重大问题：
- 我们能否信任这个机器人图书管理员来协助我们进行天气预报？
- 如果这个机器人图书管理员开始亲自撰写图书馆里一半的书籍，我们的天气图会发生什么变化？
以下是使用简单类比对该论文论点的拆解。
1. 机器人的技能组合：“三层蛋糕”模型
作者解释说，人工智能并非魔法；它的工作原理是基于它学习到的模式来预测句子中的下一个词。为了理解机器人在哪里表现出色、在哪里表现失败，他们使用了“三层蛋糕”模型来理解语言：
- 第一层：句法（语法）
- 类比： 搭建一座完美的乐高塔。
- 机器人的技能： 极其出色。 机器人是一位大师级的建筑师。它完全知道如何堆叠词汇，使其符合语法规则且看起来正确。如果你让它写一个句子，它几乎不会犯语法错误。
- 第二层：语义（意义）
- 类比： 理解这座乐高塔代表了什么（例如，“这是一个城堡”）。
- 机器人的技能： 非常好。 机器人非常擅长理解通用含义。如果你让它把一堆书分类为“历史”或“科学”，它能做得很好，因为它识别出了这些领域所使用的词汇模式。它能够处理那些根据语境具有不同含义的复杂词汇（比如“bank”既可以指河岸，也可以指银行）。
- 第三层：语用（语境与意图）
- 类比： 知道为什么有人建造这座塔，以及他们是为谁建造的。是为了送礼？开玩笑？还是一个严肃的建筑方案？
- 机器人的技能： 薄弱且不可预测。 这是机器人跌跤的地方。它并不真正理解社交情境、隐藏的笑话或文本背后的特定人类意图。它可以进行猜测，但在判断个人或特定复杂情况时，经常会失准。
2. 将机器人用于科学研究（“工具”部分）
作者测试了这位机器人图书管理员在协助科学计量学任务方面的表现。
- 机器人的闪光点（语义任务）：
如果你需要将成千上万的论文归入宽泛的类别（如“生物学”对比“物理学”）或总结一个庞大的主题列表，这个机器人表现得非常出色。它就像一台能瞬间将海量邮件分拣到正确箱子里的机器。对于大规模的任务，它既快速又一致。 - 机器人的短板（语用任务）：
如果你要求机器人评判一篇单篇论文的质量、判定一位特定的科学家是否“卓越”，或者精确预测某篇特定文章将获得多少次引用，机器人就会变得不可靠。这就像要求一个机器人去评判一场脱口秀表演；它可能抓住了大致的氛围，但会错过那些让人发笑或落泪的细微差别。- 论文的建议： 不要让机器人对单个案例做出最终决定。让它承担繁重的体力活（分类、总结），但要保持人类专家在环（human in the loop）以检查工作，尤其是在涉及资助或聘用等高风险决策时。
3. 危险：机器人成为作者（“对象”部分）
这是论文中最令人担忧也最令人兴奋的部分。到目前为止，我们讨论的是机器人如何帮助我们分析科学。但如果机器人开始撰写科学呢？
作者警告说，如果科学家开始使用人工智能来撰写论文，科学的“天气图”可能会发生扭曲。情况如下：
- 词汇的变化： AI 倾向于以一种非常特定、精致的风格写作。如果每个人都使用它，科学写作可能会变得“同质化”（听起来都一样）。这可能会使研究课题看起来比实际情况更加稳定，从而掩盖了新的、奇特的或新兴的想法。
- 作者身份的模糊： 如果 AI 协助撰写论文，谁才是作者？论文指出，这在名字与实际人类努力之间造成了鸿沟。看起来可能是一个人在完成大量的研究工作，而实际上他只是在使用工具来提高速度。
- 参考文献陷阱： AI 有时会“幻觉”（编造）虚假的参考文献。即使它停止了这种行为，它也可能开始反复引用同样的流行论文，因为那是其训练数据所暗示的。这可能会让科学的“地图”看起来像是少数几颗星辰比实际情况更加璀璨，而新的、较不出名的想法则会被忽视。
核心结论
论文得出结论：生成式人工智能不仅仅是一个新工具；它正在改变科学家用来研究科学的底层数据结构。
- 对于机器人： 我们应该利用它进行宏观层面的分类和总结（语义），但必须非常谨慎地对待将其用于评判个人或特定语境（语用）的情况。
- 对于未来： 我们需要保持警惕。如果 AI 开始撰写我们的论文，我们用来衡量科学成就的“指标”（如引用计数或词汇使用量）可能会不再反映科学进展的真实情况。
作者呼吁开启一个研究新时代：我们需要研究 AI 是如何改变科学语言的，这样我们才不会失去理解数据背后真实故事的能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。