Useful for Exploration, Risky for Precision: Evaluating AI Tools in Academic Research
本文提出了一种以人为核心的基准评估框架，用于评估学术研究中的人工智能工具，发现尽管这些工具在文献检索和摘要等探索性任务中提升了效率，但其缺乏透明度、可复现性以及可靠的解释性，使得精确信息提取必须经过严格的人工验证。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一名研究人员，正试图在一座藏有数百万册书籍的庞大而混乱的图书馆中穿行。你没有时间阅读每一页，因此你雇佣了一支由非常迅速、非常自信的图书管理员（即人工智能工具）组成的团队，来帮助你寻找答案并总结书籍内容。
这篇论文本质上是一份成绩单，评估这些“人工智能图书管理员”实际执行工作的表现如何。作者来自德累斯顿工业大学的安特娅·达特（Anthea Dathe）、基兰·霍夫曼（Kiran Hoffmann）和阿琳·曼戈尔德（Aline Mangold），他们测试了两种主要类型的图书管理员：
- “与书对话”型图书管理员（问答工具）： 这些工具允许你上传特定文档，并提出诸如“这项研究关于情绪说了什么？”之类的问题。
- “搜索与探索”型图书管理员（文献综述工具）： 这些工具允许你提出一个广泛的问题，例如“帮我找到所有关于情绪传染的研究”，然后它们会前往互联网为你寻找书籍。
以下是他们研究发现的分解说明，使用了简单的类比：
1. “与书对话”型图书管理员（问答工具）
好消息：
这些工具非常擅长为你提供快速摘要。如果你想要一份 50 页论文的“要点速读”版本，它们通常准确且有帮助。它们也能相当好地描述文本中的图片或图表。
坏消息：
- “魔术戏法”失败： 当你要求获取具体细节（例如表格中的某个数字或特定公式）时，它们经常出错或编造事实。这就像一位魔术师能从帽子里变出一只兔子，却忘记了如何玩杂耍。
- “隐藏证据”问题： 这是最大的问题。当这些工具给出答案时，本应高亮显示书中找到答案的确切句子（这被称为“可解释性”）。研究发现，它们经常高亮错误的句子。 有时它们高亮整页内容，或者一个与答案毫无关系的随机段落。
- 结果： 由于它们向你展示的“证据”经常是错误的，你不能盲目信任它们。你最终不得不亲自阅读书籍以双重检查它们的工作，这反而违背了节省时间的初衷。
2. “搜索与探索”型图书管理员（文献综述工具）
好消息：
这些工具非常适合浏览。如果你想对某个主题有个大致了解，或者寻找一些你未曾想到的新想法，它们速度很快，并且能理解自然语言（你不需要掌握复杂的计算机搜索代码）。
坏消息：
- “不可靠的幽灵”： 如果你两次问同一个问题，你会得到完全不同的书单。这就像今天向算命师询问你的未来，明天再问一次却得到完全不同的预测。这使得它们对于需要能够重复步骤并获得相同结果的严肃、系统性研究毫无用处。
- “假书”问题： 这些工具有时会编造不存在的书籍（幻觉），或列出来自“掠夺性期刊”（低质量出版物）的书籍。即使它们找到了真实的书籍，其中许多实际上与你的问题并不相关。
- “黑箱”谜团： 这些工具不告诉你它们在哪里进行了搜索。它们不会说“我搜索了图书馆 A 和图书馆 B"。它们只是给你一份书单。这就像一位厨师端给你一碗汤，却拒绝告诉你里面有什么食材或它们是从哪里买来的。
主要结论
作者得出结论，这些人工智能工具适用于探索，但在精确性方面存在风险。
把它们想象成异国城市里的导游：
- 它们非常适合向你展示城市的大致布局，指出主要地标，并给你一个有趣的概览（探索）。
- 然而，如果你需要找到特定建筑的准确地址，或者出于医疗原因需要知道一道菜的确切成分，你就不能仅依赖导游。你必须自己查看地图和菜单（精确性）。
最终裁决：
人工智能工具可以加速研究的早期阶段，但它们尚未准备好取代人类研究人员。因为它们经常隐藏错误（通过高亮错误的文本）或每次提问时都改变答案，研究人员仍然必须承担核实事实的重任。该论文认为，直到这些工具变得更加透明和一致之前，它们应被视为需要持续监督的“助手”，而不是可以独立信赖的“专家”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。