Detection and Interpretability Analysis of Quotation Errors by Large Language Models

想象一下，你是一位在浩如烟海、繁忙喧嚣的科学知识图书馆里的管理员。每天，学者们都会撰写新的书籍（研究论文），并引用旧的书籍（文献）来支持他们的观点。通常情况下，他们会说：“正如作者 X 在其著作中所说，天空是蓝色的。”

但有时，学者也会出错。也许他们说：“作者 X 说天空是绿色的，”尽管作者 X 从未这样说过。或者他们说“作者 X 证明了某事”，但作者 X 表达的其实恰恰相反。这就是论文中所说的**“引用错误”（quotation error）**。这就像是一场“传声筒”游戏，信息在传递过程中发生了扭曲，导致学术界出现混乱和不公平的判断。

问题在于，书籍太多，学者也太多，无法靠人工去逐一检查每一处引用。这太耗时了！因此，这篇论文的作者提出了一个问题：我们能否教会一台超级聪明的计算机（大语言模型或 LLM）自动识别这些谎言和错误？

以下是他们如何尝试教导计算机的方法，通过简单的类比进行了解释：

1. “学校教育” vs. “阅读说明书” 的方法

研究人员测试了两种教学方式：

• “阅读说明书”的方法（提示词工程/Prompting）： 他们给计算机一个特定的指令（提示词），例如：“这里有一段引用和原著。请告诉我这段引用是否真实。”他们尝试了不同版本的计算机，仅通过阅读指令来让它解决问题。
• “学校教育”的方法（微调/Fine-Tuning）： 他们不仅仅是给出指令，而是拿出一台预训练好的计算机，并给了它一个特别的“魔鬼训练营”（微调）。他们向它喂入了数千个正确和错误的引用示例，使其能够深度学习其中的模式，调整其内部的“大脑”，从而成为处理这项特定任务的专家。

结果： “学校教育”的方法效果要好得多。这就像是一个已经识字的学生，通过参加专门的考前辅导班，突然变得比仅仅阅读说明书的学生更擅长发现特定的错误。

2. “摘要” vs. “全文” 的两难选择

在检查引用时，你是需要读完一整本书，还是读一下摘要（Abstract）就足够了？

• 摘要： 这就像是读一本书的封底介绍。它提供了核心思想。
• 全文： 这是在阅读每一个章节。

研究人员尝试了三种向计算机提供“全文”的方法：

1. “相关片段”法： 他们扫描整本书，只挑选出 10 句听起来与该引用最相似的句子。
2. “来源摘要”法： 他们扫描整本书，并挑选出 10 句听起来与该书摘要（Abstract）最相似的句子。
3. “倾倒”法： 他们直接把整本书的内容全部塞进计算机的记忆里。

结果： 出人意料的是，“来源摘要”法的效果最好。这就像是找到了一份完美的“小抄”，即那些最能反映书籍核心主题的相关句子。单纯倾倒整本书（信息量过载）或挑选随机片段，效果都不如挑选出能体现书籍核心信息的句子来得好。

3. 答案背后的“为什么”（可解释性）

当计算机说“这段引用是错误的”时，我们需要知道它是为什么这么说的。它是瞎猜的吗？还是因为它看到了某个特定的词？
研究人员使用了一个叫做 TokenSHAP 的工具。你可以把它想象成计算机大脑里的荧光笔。

• 它会查看引用和原文中的每一个单词（Token）。
• 如果某个词帮助计算机判定引用错误，它会用红色高亮显示。
• 如果某个词让计算机认为引用正确（或让它感到困惑），它会用蓝色高亮显示。

结果： 这表明经过“学校教育”（微调）后的计算机实际上是在观察正确的东西。它注意到了细微的矛盾（例如“增加”与“减少”），而未经训练的计算机则会错过这些细节。未经训练的计算机往往只看到相似的词（如“天空”和“蓝色”）就猜测为“正确”，而经过训练的计算机则能看出逻辑上的破裂。

4. 计算机仍然出错的地方

即使经过了“学校教育”，计算机也并非完美无缺。研究人员发现了它出错的四个主要原因：

• 缺失背景知识： 如果一个引用依赖于一个常识（例如“英国拥有某种规模的人口”），但书中并未明确说明，计算机就会感到困惑。
• 数学难题： 如果引用改变了单位（例如“75 nmol”变为“75 micromol”），计算机有时会忽略这种差异。
• 大小数值混淆： 它有时会混淆“最大的增幅”与“最大的总量”。
• 缺失限定条件： 它可能会忽略改变整个句子含义的微小“如果”或“仅”等限定词。

总结

这篇论文本质上是一份关于如何构建更好的科学界“引用警察”的指南。他们发现：

1. 针对该任务进行专门的 AI 训练，比仅仅礼貌地询问效果更好。
2. 向其提供全文中正确的组成部分（特别是那些与书籍主旨相匹配的句子），能帮助它更好地洞察真相，效果优于仅仅阅读摘要或整本书。
3. 我们可以看到 AI 做出决策的原因，这有助于我们更加信任它并修正它的错误。

其目标并不是取代人类学者，而是为他们提供一个强大的工具，以便在这些“传声筒”式的错误在学术界传播之前将其拦截。