ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers
该论文介绍了 ResearchQA，这是一个包含 6,211 个问答对的新基准，旨在评估大语言模型为科学论文提供基于引用的答案的能力，研究表明，基于引用的指标比基于 LLM 的评估器能更好地区分模型性能，同时显示出开源权重模型可以以显著更低的延迟实现相当的准确率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你刚刚把一叠由 494 篇科学论文组成的文献交给了一组超级聪明的机器人，并要求它们玩一场“与论文对话”的游戏。你想让它们回答类似“样本量是多少？”或“作者为什么怀疑自己的结果？”之类的问题。但这里有个陷阱：你不仅希望它们听起来很聪明，你还希望它们能证明自己真的读过这本书。如果它们捏造了一个事实，或者假装某页存在并不存在的内容，它们就应该立即判定失败。
这正是 ResearchQA 的核心所在。它是一个巨大的、充满陷阱的测试，旨在观察这些 AI 机器人是否能在不产生幻觉（即凭空捏造）的情况下阅读科学论文，并且最重要的是，它们能否指出文中找到答案的确切位置。
大问题：“自信的骗子”陷阱
长期以来，我们通过询问“这个答案听起来好吗？”来测试 AI。如果机器人写出了一个流畅、自信的段落，我们就给它高分。但本文作者认为，这是测试科学研究的一种糟糕方式。这就像是在评价一个学生时，只看他的字迹是否工整，却忽略了他是否真的掌握了数学知识。
论文明确反对依赖“嵌入相似度”（embedding similarity，一种高级说法，意指“这句话听起来是否属于这篇论文？”）。他们发现，这种方法会让机器人在即便引用的是虚假事实（只要这些事实听起来符合语境）的情况下也能通过测试。他们还反对仅使用“LLM 评估器”（用其他 AI 来给答案打分）作为唯一的评判标准，因为这些评分器往往过于宽容，会给每个人都打出完美的分数，从而掩盖了某些机器人其实只是在瞎猜的事实。
新游戏：“引用侦探”
与其仅仅问“答案对不对？”，ResearchQA 要求的是：“你能展示你的推导过程吗？”
研究人员构建了一个包含 6,211 个问题 的数据集，这些问题提取自 494 篇开放获取论文，涵盖了从机器学习到历史学的八个不同领域。他们设计了四种类型的挑战：
- 查找 (Lookup)： “找出样本量。”（简单，只需找到那个数字）。
- 理解 (Comprehension)： “作者的主要批评是什么？”（较难，需要进行总结）。
- 多跳推理 (Multi-hop)： “将第 3 节的结果与第 1 节中的基准进行比较。”（非常难，需要连接贯穿整篇论文的信息点）。
- 对抗性测试 (Adversarial)： “安慰剂组的表现如何？”（陷阱题！论文中提到并没有安慰剂组。机器人应该回答：“我无法回答这个问题，因为论文中没有相关信息”，而不是编造一个虚假的结果）。
结果：谁通过了测试？
研究人员让 8 种不同的 AI 模型 接受了这项测试。以下是他们的发现：
- “听起来不错”的分数 vs. “展示过程”的分数： 当他们使用标准的 AI 评分器按 1 到 5 分对答案进行评分时，几乎所有模型都得到了 4.9 或 5.0 分。它们打平了！所有的机器人听起来都很出色。但当他们使用“引用侦探”指标（检查引用的内容是否确实存在于文中）时，分数出现了巨大的分化。有些模型擅长找到正确的页面，而有些则表现得很差。
- “拒绝”测试： 这是最大的区分点。当被问及一个陷阱问题（如安慰剂组的问题）时，表现最好的模型 (gemini-3.1-pro-preview) 在 87% 的情况下能够拒绝撒谎；而表现最差的模型 (gpt-oss-120b) 仅在 47.8% 的情况下拒绝撒谎，这意味着它几乎有一半的时间都在为了尝试回答问题而捏造证据。
- 速度 vs. 质量： 论文发现了权衡关系。最聪明的模型 (gemini-3.1-pro-preview) 每个问题需要 18.3 秒。而一个更快的开源模型 (gpt-oss-120b) 比它快了 6 倍（仅需 2.9 秒），但在引用准确性和拒绝撒谎方面犯错更多。
“多跳推理”怪兽
论文指出，对所有机器人来说，最难的部分是多跳推理 (multi-hop reasoning)。当一个问题需要连接论文中两个不同部分的信息时，得分会显著下降。例如，在针对多跳问题的章节覆盖率上，最好和最差模型之间的差距高达 42 分（范围从 0.542 到 0.958）。这表明，虽然机器人在寻找单一事实方面做得很好，但在将整篇文档串联成一个完整的故事方面仍然面临困难。
这篇论文目前还不知道的事
作者对他们实验的局限性保持了诚实。他们承认：
- 他们没有让人类专家去检查每一个答案。相反，他们使用了另一个 AI (Gemini 3.1 Pro) 来生成问题并检查答案。他们认为这种方法效果良好，但尚未通过人类评审员来证实这一点。
- 测试仅限于英文。我们不知道这些机器人在处理西班牙语或中文论文时是否也能表现得一样好。
- 使用的论文均为开放获取 (open-access) 论文。他们没有测试付费墙后的论文，也没有测试那些难以阅读的复杂图表。
- 由于该数据集是公开的，未来的机器人可能会通过在训练过程中“背诵”答案来进行“作弊”。
核心结论
ResearchQA 表明，如果你想让 AI 帮你阅读科学文献，你不能仅仅要求它“提供帮助”。你必须强制它引用来源，并惩罚它捏造事实的行为。论文显示，虽然今天的机器人在这方面正在进步，但在处理棘手问题或需要连接多个信息点时，它们在能否说实话的能力上仍存在巨大差异。最好的机器人准确但缓慢；最快的机器人迅速但容易捏造证据。这提醒我们，在 AI 的世界里，听起来自信并不意味着你就是正确的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。