Who Checks the Citations? Benchmarking Legal Hallucination Detection
本文通过引入一种新的分类法和数据集，探讨了日益严重的 AI 生成法律引用幻觉问题，并证明尽管先进的智能体模型可以检测出许多错误，但它们仍难以应对细微的不准确性，且面临着必须通过政策干预来解决的显著资源与准入障碍。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，法律体系就像一座规模宏大、赌注极高的图书馆，你提出的每一个论点都必须有书架上特定的书籍作为支撑。如果你声称某本书存在但它实际上并不存在，或者你引用了一本书中并不存在的句子，你就是在“幻觉”。
这篇题为**《谁来检查引用？》（"Who Checks the Citations?"）**的论文，调查了一个日益严重的问题：律师和普通人在使用人工智能编写法律文件时，不小心（或有时在不知情的情况下）编造了虚假的法院案例和虚假的引文。研究人员想知道：人工智能能否成为那个在假书进入法庭之前将其拦截下来的“图书管理员”？
以下是他们研究结果的拆解，使用了简单的类比：
1. 问题所在：“假书”瘟疫
过去，如果有人编造了一个虚假的法院案例，就像是在口袋里发现了一枚假币，非常罕见。但现在，随着人工智能编写法律简报，这就像有人在印刷假钞并向市场大量投放一样。
- 趋势： 研究人员发现了超过 1,000 份包含这些虚假引文的真实法院备案文件。
- 令人惊讶的事实： 大家都希望随着人工智能变得更加“聪明”（比如从基础计算器升级到超级计算机），它会停止犯这些错误。但研究发现情况恰恰相反。更新、更“聪明”的 AI 模型实际上制造了更多的虚假引文，而且它们制造的方式也更加复杂。
- 杰文斯悖论（The Jevons Paradox）： 作者将其与一个著名的经济学概念进行了对比：当一台机器让某项任务变得更便宜、更快时，我们最终反而会做更多这类工作。因为 AI 让编写法律论证变得更快，人们提交的文件数量也随之增加，且每份文件中的引文也更多了。即便 AI 在不撒谎方面有了微小的进步，由于虚假引文的总量增长速度极快，法官和律师正淹没在试图核查它们的繁重工作中。
2. 解决方案尝试：构建一个“幻觉检测器”
既然人类太忙，无法检查每一条引文，研究人员提出了疑问：我们能否构建一个 AI 代理来进行检查？
为了测试这一点，他们创建了一个新的训练场，名为 LEPHANTOMCITE。
- 类比： 想象一位老师拿着真实的学生的文章，然后偷偷把其中的参考文献替换成假的。他们创建了 1,300 篇这样的“陷阱”文章，其中包含了不同类型的谎言：
- 幽灵书（The Ghost Book）： 引用了一个根本不存在的案例。
- 混淆项（The Mix-Up）： 引用了一本真实的书，但声称它表达了书中并未表达的内容（比如声称《哈利·波特》是关于一条龙的故事）。
- 错误的页码（The Wrong Page）： 引用了一本真实的书，但指向了错误的页码。
- 虚假引文（The Fake Quote）： 引用了一个看起来很真实但改动了几个单词的句子。
- 错误的含义（The Wrong Meaning）： 引用了一个真实的案例，但声称它支持了一个它实际上反对的法律观点。
3. 测试：AI 能抓到骗子吗？
研究人员让五种不同的 AI 模型（包括最新的“GPT-5”）接受了严格测试。他们给这些 AI 这些陷阱文章，并要求它们找出虚假的引文。他们给了 AI 两种模式：
- 单机模式（Solo Mode）： 只阅读文本并进行猜测。
- 代理模式（Agent Mode）： AI 扮演侦探的角色。它可以“搜索”法律数据库，阅读实际的案例，并采取多个步骤来验证引文是否真实。
测试结果：
- 侦探胜出： “代理模式”表现得好得多。表现最好的 AI（GPT-5）在扮演侦探时能抓到约 83% 的虚假引文，而在仅仅进行猜测时只能抓到 63%。
- 弱点： 即便是最强的 AI 在面对特定类型的谎言时也会感到吃力：
- 页码： 它在检查引用是否在正确页码方面表现得很差。为什么？因为“公共图书馆”（免费法律数据库）通常没有付费图书馆所拥有的官方页码。这就像试图在一本没有印制页码的书中寻找特定的段落。
- 微妙的谎言： 如果 AI 稍微改变了案例的含义，检测器往往会漏掉。
- 成本： 当侦探是一项艰苦的工作。AI 平均需要 17 个步骤（搜索和检查）才能验证一个简短的段落。这既慢又贵。
4. 巨大的瓶颈：“付费墙”问题
研究发现，导致 AI（以及人类）无法抓住这些谎言的最大原因并不是因为 AI “笨”，而是因为图书馆被锁住了。
- 在美国，官方法院记录通常位于付费墙之后，或者按页收费（如 PACER）。
- 虽然存在免费数据库，但它们是不完整的。它们可能有这个案例，但没有验证引文所需的特定页码。
- 类比： 这就像要求一名保安检查访客是否持有有效门票，但保安并不被允许查看访客名单。保安只能靠猜。如果 AI 因为在免费图书馆找不到这本书而猜它是“假的”，它可能是错的——这本书可能只是在付费区域。
5. 结论：为什么这很重要
论文得出结论，我们不能仅仅等待人工智能变得更聪明并自动停止撒谎。这是一个结构性的问题。
- 对于普通人： 在法庭上自我辩护的人（没有律师支持）是最脆弱的。他们使用 AI 来撰写法律文件，但他们没有钱去购买昂贵的法律数据库来检查 AI 是否在撒谎。
- 解决办法： 作者认为，要解决这个问题，我们需要让法律记录对所有人免费且易于获取（例如加拿大的系统，那里的所有法院记录都是免费的）。在此之前，人工智能对普通人来说将一直是一个“虚假的承诺”，可能会让他们因为引用了自己并不知道是假的案例而陷入麻烦。
简而言之： AI 编写法律简言的能力正在提高，但它编造虚假证据的能力也在提高。我们正在构建 AI “侦探”来捕捉这些谎言，但它们目前受到了阻碍，因为它们需要核查的“图书馆”被锁在了付费墙之后。在解锁这座图书馆之前，问题将会持续增长。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。