CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text
本文介绍了 CiteCheck，这是一个混合框架，它将学术检索与结构化大语言模型验证相结合，以准确检测科学文本中的引用幻觉，并在一个新构建的物理基准测试中相较于现有基线实现了更优越的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在阅读一份由一位非常自信、速度极快的机器人撰写的科学报告。机器人文笔优美，但当它列出所使用的书籍和论文作为来源时，有时会凭空捏造。它可能会编造一个书名，搞混作者的名字，甚至创造一篇根本不存在的完整论文。这被称为“引用幻觉”。
你提供的这篇论文介绍了一种名为CITECHECK的新工具，用于捕捉这些错误。请将 CITECHECK 视为一个并非靠猜测的机器人，而是一位拥有特定职责的超级侦探图书管理员：其任务是核实引用是否真实，以及细节是否正确。
以下是 CITECHECK 的工作原理，分解为简单步骤：
1. “图书馆搜索”（检索）
当 CITECHECK 看到一条引用（例如"Smith, 2023, The Physics of Stars"）时，它不会仅仅信任机器人的记忆。相反，它像一位图书管理员，立即奔向书架（或互联网）去寻找实际的书籍。
- 它会检查多个数据库（如 CrossRef、Semantic Scholar 和 arXiv），以找到与标题匹配的真实论文。
- 如果找不到匹配项，它立刻就知道该引用很可能是伪造的。
2. “找不同”游戏（验证）
一旦图书管理员找到了真实的书籍，CITECHECK 就会将机器人的引用与真实书籍的封面和细节并排放在一起。
- 它使用一个智能 AI“裁判”来对它们进行比较。
- 评分： 裁判会给引用打 0 到 10 分。
- 10 分（完全匹配）： 机器人完全正确。
- 6 或 7 分（轻微幻觉）： 书籍确实存在，但机器人搞错了年份、拼错了作者名字，或者稍微修改了 URL。这就像点了披萨，配料对了，但饼底错了。
- 0 或 1 分（严重幻觉）： 书籍根本不存在，或者机器人描述的是一本完全不同的书。这就像点了披萨，结果端上来一个根本不存在的三明治。
3. “第二意见”（审查员环节）
有时，机器人可能会耍花招。它可能会给你一个真实的 URL（比如指向真实论文的链接），但将其与虚假的标题或作者配对。这就像给了你一个真实的地址，却告诉你那里住着错误的人。
- 针对这些可疑情况，CITECHECK 设有一个“审查员”步骤。第二个 AI 会仔细检查，确保标题和作者确实与链接匹配，而不仅仅是链接本身。
“训练场”（基准测试）
为了证明其工具有效，作者为该系统建立了一个“训练健身房”。他们选取了982 条真实的物理学引用，并创建了两类伪造版本：
- 轻微伪造： 真实的论文，但带有微小、隐蔽的错误（例如将"2023"改为"2024"）。
- 严重伪造： 完全捏造的论文，听起来合理但根本不存在。
结果：侦探获胜
当他们将 CITECHECK 与其他大型 AI 模型（如 GPT、Claude 和 Gemini）进行测试时，结果显而易见：
- CITECHECK 表现最佳。 它正确识别真实与虚假引用的准确率约为89%。
- 获胜原因： 其他 AI 模型试图依靠记忆或仅通过阅读文本来猜测。CITECHECK 之所以获胜，是因为它在做出决定之前，实际上对照真实数据库核实了事实。
- 即使给其他 AI 提供“作弊小抄”（即需要查找什么的示例）或允许它们使用互联网，它们仍然无法击败 CITECHECK 这种“先搜索，后比较”的方法。
核心结论
该论文声称，要阻止 AI 在来源问题上撒谎，不能仅仅要求 AI“诚实”。你需要一个系统，首先检索真实证据，然后利用结构化的比较来识破谎言。CITECHECK 正是这样做的，它充当了科学写作中可靠的事实核查员。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。