DeepScholar-Bench: A Live Benchmark and Automated Evaluation for Generative Research Synthesis
本文提出了 DeepScholar-bench，这是一个针对生成式研究综述任务的实时基准测试与自动化评估框架，旨在通过从最新 ArXiv 论文中提取任务来解决现有评估方法在时效性、复杂性和验证性方面的不足。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这份论文介绍了一个名为 DeepScholar-Bench 的新工具，它的目标是给那些“试图成为人工智能研究员”的 AI 系统进行一场极其严格的“期末考试”。
为了让你听明白，我们可以把这个过程想象成一场**“超级学术大厨大赛”**。
1. 背景：AI 正在尝试“写论文”
现在的 AI（比如 ChatGPT 或 OpenAI 的 DeepResearch）已经不满足于只回答“1+1等于几”这种简单问题了。它们开始尝试做更高级的事：“学术综述”。
这就像是要求一个厨师不仅要会炒菜，还要能去翻遍全世界的菜谱，总结出“川菜的历史演变与调味逻辑”，然后写出一篇长篇大论的专业报告。
2. 痛点：现有的“考试题”太简单了
以前评估 AI 聪不聪明，就像是考“这个苹果是什么颜色的？”或者“姚明有多高？”。这种题目太死板，AI 只要背过书就能拿满分。
但写学术综述不一样，它需要：
- 实时性：你得知道昨天刚发表的新研究（不能只靠旧记忆）。
- 深度：你得能把几十篇论文的精华揉在一起，而不是简单的复读。
- 真实性：你说的每一句话都得有据可查，不能“一本正经地胡说八道”。
如果考试题是旧的，AI 可能会通过“作弊”（因为训练数据里已经见过这些题了）来拿高分，这根本测不出它的真实水平。
3. DeepScholar-Bench：一场“动态的、无法作弊”的考试
研究人员发明了 DeepScholar-Bench。它的厉害之处在于：
- “动态考卷”：它不使用旧题库，而是直接去抓取 ArXiv（一个最新的科研论文网站）上刚刚发表的论文。这就像是考试题目是今天早上刚从报纸上剪下来的，AI 绝对没法提前背题。
- “全方位评分标准”：它不只看 AI 写得好不好看，还要从三个维度“毒舌”地打分：
- 知识合成能力（像不像大厨）：你能不能把各种食材（论文信息）处理得有条理，写出一篇逻辑通顺、有深度的报告？
- 检索质量（找食材准不准）：你找的那些参考资料，是真的跟题目相关的“高级食材”，还是随手抓来的“垃圾食品”？
- 可验证性（有没有乱放调料）：你说的每一句话，是不是真的能在你引用的那篇论文里找到依据？还是你为了让文章看起来专业，自己瞎编的？
4. 考试结果：现在的 AI 还是“实习生”水平
研究人员找来了市面上最强的选手：包括 OpenAI 的 DeepResearch、各种开源模型和搜索代理进行比赛。
结果令人震惊： 即使是最顶尖的 AI，在这次考试中的平均得分也只有 31%！
这说明了什么？说明现在的 AI 虽然看起来很博学，但在真正的“学术研究”面前，它们还只是个**“只会照抄菜谱、偶尔还会乱加盐的实习生”**。它们在寻找重要文献、总结核心事实以及保证引用准确性方面，还有巨大的进步空间。
总结一下
这篇论文就像是为 AI 研究界制定了一套**“防作弊、高难度、全自动”的学术能力测评标准**。它告诉全世界：别被 AI 写出的漂亮文章骗了，真正的科研能力，它们离“大师”还差得远呢！
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。