A new impact for an AI-mediated science
本文认为，在期刊去中心化和人工智能介导知识获取的时代，传统的基于引用的科学影响力指标正趋于过时，因此有必要建立一套新的系统，以认可并衡量人工智能参与、开源库以及缺乏正式出版物的数据集所做出的贡献。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心理念：图书馆正在改变，但计分板却停滞不前
想象一下，科学世界就像一座巨大的图书馆。在过去的70年里，我们衡量一本书“成功”的标准，是看图书馆里的其他书中有多少次提到：“我读过这一本。”这就是引用系统。如果一篇论文被频繁引用，它就被视为重要的。
但作者法比奥·法沃雷托（Fabio Favoretto）指出，这座图书馆正在经历一场大规模的翻修。我们正从一个人类阅读书籍全文的世界，转向一个由AI助手（如智能聊天机器人）成为人们获取信息主要方式的世界。
问题在于？旧的计分板（统计引用次数）已经失效了，因为它看不见 AI 实际上正在使用的那些新东西。
类比 1：隐形的引擎
想象你正在驾驶一辆汽车。旧的评判汽车成功的方式是计算有多少其他车辆向它鸣笛。但现在，这辆车是靠一种由软件代码和数据组成的、全新的隐形引擎在驱动。
- 旧系统： 统计有多少其他车辆向这辆“车”（发表的论文）鸣笛。
- 新现实： 这辆车实际上是运行在一个隐形的引擎之上（例如
pandas或NumPy等软件库）。这些引擎如此重要，以至于没有它们车子根本无法移动，但它们从未被“鸣笛”，因为它们并不是以正式书籍的形式存在的。
研究表明，科学家使用的最重要的工具中，有三分之一根本没有正式的论文。 它们仅仅是代码。旧的引用系统对它们视而不见。这就像评价一位厨师的成功时，只看他写下的食谱，却忽略了事实——他的厨房其实是运行在某个特定的、隐形的品牌炉灶上的，而他从未为那个炉灶写过说明书。
类比 2：AI 图书管理员
把 AI 助手想象成一位能回答你问题的超级快速的图书管理员。
- 旧方式： 如果你问：“关于气候变化我们了解哪些知识？”图书管理员会递给你 1990 年代最著名、评分最高的书籍，因为那是其他图书管理员推荐的书籍。
- 新方式： AI 图书管理员查看的是现在真正有用的东西。它会递给你更新的书籍、更实用的指南以及开放获取的摘要。
研究发现，AI 展示给我们的是一个比旧的引用系统所展示的更年轻、更多元且更具实用性的科学版本。
- 差距： 在气候科学领域，AI 展示的前 50 篇论文，平均比人类引用的前 50 篇论文年轻 16 年。
- 公平性： AI 更有可能向你展示免费、开放获取的论文（就像一个公共公园），而不是昂贵、封闭的期刊（就像一个私人俱乐部）。
提议的解决方案：“AI 影响力指数”
作者提出了一种新的衡量成功的方法，称为 AI 影响力指数（AI Impact Index）。这个新指数不再统计论文被引用的次数，而是统计 AI 系统“触及”某项工作的频率。
论文定义了 AI “触及”科学的三种方式：
- 检索（Retrieval）： 当你提问时，AI 找到了这篇论文（就像图书管理员从书架上取下一本书）。
- 生成（Generation）： AI 写出的答案在语气或内容上与该论文非常相似（就像学生用自己的话总结了一本书）。
- 记忆（Memorization）： 当被直接问及时，AI 能回想起论文中的特定事实（就像百科达人能记住一个特定的日期）。
关键区别： 作者非常谨慎地指出，这个新指数并不证明该论文是“正确”或“最好”的。它仅仅证明了 AI 触及 了它。这是一个关于**可及性（Access）的衡量标准，而非质量（Quality）**的衡量标准。
为什么这很重要（“那又怎样？”）
论文认为，如果我们不更新我们的评分系统，我们将会在错误的对象身上给予奖励。
- 风险： 我们可能会继续把奖项颁发给那些撰写华丽论文的人，尽管现在几乎没人读了；同时却忽略了那些构建了 AI（以及其余科学领域）赖以生存的隐形软件工具和数据集的人。
- 目标： 我们需要一种新的“信任技术”。正如期刊曾经是认可的印章一样，我们需要一个能够看到并认可 AI 在执行任务时所使用的软件、数据和工具的系统。
简而言之
科学正在从一个书籍的世界转向一个 AI 助手的世界。用旧的方式来衡量成功（统计引用次数），就像试图通过统计有多少人购买了说明书来衡量一款电子游戏的受欢迎程度。它忽略了事实——游戏本身（代码、数据、工具）才是大家真正正在玩的东西。
这篇论文建议，我们应该开始统计 AI 与科学“玩耍”的频率，这样我们才能最终向那些让现代科学运转的隐形工具致敬。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。