Unraveling the Ai2 Asta Scholarly Research Assistant Citation System
本研究评估了 Ai2 Asta 学术研究助手，发现虽然它能生成具有密集引用的高质量文献报告，但其引用系统存在显著的不稳定性与不透明性，为定量科学研究中的可复现性与透明度带来了挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在试图写研究论文的学生。与其在图书馆里耗费数小时，你不如向一位超级聪明、由人工智能驱动的图书管理员 Asta 求助，请她“总结相关文献”。你期望 Asta 能找到最好的书籍，阅读它们，并给你一份报告，其中附上一份你可以信任的来源清单。
这篇论文就像是一场针对 Asta 究竟是如何工作的“侦探调查”。研究人员在几天后两次向 Asta 提出了相同的 10 个问题，以观察其答案是否一致。以下是他们的发现，用简单的语言进行了解释：
1. “沉重”的报告（引用强度）
发现： Asta 写的报告非常详尽。它不会只给你一个简短的回答；它会写长篇论文（约 2,000 到 3,000 字），并且在其中大量填充参考文献。
类比： 想象你向一位厨师要一个三明治。Asta 不仅仅给你一个三明治，而是为你端来一张摆满了 20 到 40 种不同食材（引用）的巨大宴会桌，并告诉你：“关于三明治，你需要知道的一切都在这里了。”
陷阱： 这些报告结构良好且看起来令人印象深刻，但它们非常“依赖引用”。Asta 倾向于在文中反复提及同样的几篇来源，就像一个为了填满一页纸而不断引用那三本教科书的学生。
2. “魔力 8 号球”问题（不稳定性）
发现： 这是最大的惊喜。当研究人员在几天后向 Asta 提出完全相同的问题时，所列出的来源清单竟然是不同的。
类比： 想象你问一位占卜师：“最好的披萨配料是什么？”
- 周一： 他们说：“意大利香肠、蘑菇和洋葱”，并给了你三家特定的披萨店名单。
- 周二： 你问了完全相同的问题。他们说：“意大利香肠、香肠和甜椒”，并给了你一个完全不同的披萨店名单。
现实情况： 在某些情况下，两次尝试中相同的来源仅占约三分之一。在另一些情况下，几乎所有的来源都不同。这意味着 Asta 不是一个稳定的图书馆；它更像是一副不断洗牌的扑克牌。如果你今天问，明天再问，你可能会得到不同的“真相”。
3. “心仪书籍”偏好（引用多样性）
发现： Asta 并不是随机挑选书籍的。它有自己强烈的偏好。
类比： 想象 Asta 是一个只从图书馆里特定的三排书架上读书的学生，尽管图书馆里有数百万本书。
- 偏爱对象： Asta 热爱来自 Scientometrics、PLoS One 和 arXiv（一个预印本服务器）的论文。这三个来源占据了所有报告中近 30% 的参考文献。
- 偏见： 因为 Asta 依赖于一个特定的数据库（Semantic Scholar）来寻找它的书籍，所以它倾向于选择较新的论文（2023 年以后发表的）以及那些已经非常流行或被高度引用的论文。它忽略了那些较旧的、分众的或不太著名的研究。
4. “隐藏过滤器”（不透明性）
发现： Asta 在搜索过程中找到了大量的文档（多达 256 个片段），但它在最终报告中只引用了其中的一小部分。
类比： 想象 Asta 去了一家杂货店，捡起了 256 个苹果。但当它把篮子拿到柜台时，它只往袋子里放了 20 个苹果。研究人员无法看出它为什么选择这 20 个而丢弃了另外 236 个。在寻找信息和撰写报告之间，存在着一个“黑箱”过滤器。
总结
论文得出结论：Asta 是一个获取快速、组织良好的概览的强大工具，但它对于精确、可重复的研究来说并不可靠。
- 适用于： 获取“初稿”思路或某个主题的总体概览。
- 不适用于： 定量研究或那些需要知道“如果我再次询问，是否会得到完全相同的来源？”的情况。
研究人员警告说，由于 Asta 的来源列表每次都会变化，因此使用它进行严肃的学术工作需要极其谨慎。你不能仅仅信任它给出的参考文献列表；你必须对它们进行复核，因为 Asta 告诉你的“真相”可能会根据你提问的那天而改变。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。