💬 NLP

Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs

本文介绍了“引用锚定”（Citation Grounding），这是一种用于检测和减少大语言模型中法律引用幻觉的新型指标和框架，该框架通过利用大规模乌克兰法院判决图谱来评估引用准确性，并采用偏好学习方法（CG-DPO）来训练模型以区分有效引用与损坏的引用。

原作者： Volodymyr Ovcharov

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Volodymyr Ovcharov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常聪明、说话很快的法律助理来为你撰写报告。这位助理读过数百万本书，博学多才。然而，这里有一个陷aw：当被要求引用特定法律来支持其论点时，这位助理有时会编造法律。他们可能会发明一个不存在的法律，或者引用一个多年前就被废止的法律，又或者是引用来自另一个国家的法律。在法律界，这被称为“幻觉”（Hallucination），而这可能会让人们陷入严重的麻烦。

这篇论文介绍了一种捕捉这些谎言的新方法，以及一种教导助手不再撒谎的方法。

问题所在：“假法”生成器

作者发现，即使是最先进的 AI 模型，在被要求编写关于乌克兰法律的内容时，也会有 13% 到 21% 的概率编造虚假的法律引用。这就像一个学生在写论文时，编造了一个并不存在的教科书页码。

解决方案：“引用落地”（Citation Grounding）测试

为了解决这个问题，研究人员构建了一个巨大的数字地图，称为引用图谱（Citation Graph）。你可以把这个图谱想象成一个由 1 亿个真实法院判决书构建的、极其精确的超级图书馆目录。它包含了每一位真实的法官在真实案件中引用特定法律的所有记录。

他们创建了一个名为**引用落地（CG）**的测试。其工作原理如下：

地图： 他们拥有“真相地图”（即真实案例的图谱）。
测试： 他们要求 AI 写出一个法律答案。
检查： 他们检查 AI 提到的每一项法律，并对照地图进行核实：
- 该法律是否存在？（准确性/Precision）
- 该法律是否适用于这一特定情况？（相关性/Relevance）
- 该法律在那个特定日期是否仍然有效？（时效性/Temporality）

如果 AI 引用的法律不在地图上，或者引用的上下文不符，测试就会将其标记为“幻觉”。

他们的发现

他们针对 100 个法律问题测试了五种不同的 AI 系统。

结果： 大多数 AI 的引用准确率约为 80%。剩下的部分是虚假的。
“RAG”胜出者： 其中一个系统使用了名为 RAG（检索增强生成） 的特殊技巧。想象一下，这个 AI 不仅仅依赖于记忆；它实际上会去图书馆，找到真实的图书，并在回答之前先阅读它们。这个系统犯错最少，且引用的法律总数也最少，这证明了当你真正查阅事实时，“少即是多”。
令人惊讶的模式： 他们原以为引用法律越多的 AI 模型，出错也会越多。但事实并非如此。有些模型引用了大量法律却依然准确；而有些模型引用较少却依然错误。这完全取决于 AI 是如何构建的，而不仅仅是它说了多少话。

“自我教学”方法 (CG-DPO)

这篇论文最大的突破在于，他们计划如何在不雇佣一支昂贵的资深律师团队来检查每一个答案的情况下，去纠正 AI。

通常，要教 AI 变得诚实，人类必须阅读它的答案并评价“这是好的”或“这是坏的”。这既缓慢又昂贵。

研究人员意识到，他们的引用图谱可以胜任人类的工作。他们创造了一个游戏：

选取一个带有正确引用的真实法院判决书。
破坏它： 他们使用计算机程序来替换法律、发明虚假的条款，或使用过时的法律（例如将 2020 年的法律改为一个当时并不存在的 2025 年法律）。
教学： 他们向 AI 展示两个版本：一个是“真实的”，一个是“被破坏的”。AI 学习去偏好“真实的”版本。

因为“真相”已经存在于图谱中，所以他们不需要人类来标注数据。他们只需让图谱来进行评分。他们使用这种方法训练了一个模型，使其在识别真实引用与虚假引用之间的差异时，准确率达到了 98.5%。

核心结论

这篇论文表明：

AI 经常在法律问题上撒谎，但我们可以通过将其答案与庞大的真实法庭历史地图进行对比来捕捉它。
RAG 系统（即在回答前先查阅事实的系统）目前是避免这些谎言的最佳选择。
我们可以教 AI 停止撒谎，通过利用地图本身来生成“正确 vs 错误”的示例，从而无需人类律师去做那些枯燥乏味的逐条检查工作。

作者们已将其“地图”、测试工具和训练数据开放给所有人使用，希望让法律 AI 对每个人来说都更加可靠。

技术摘要：用于检测与减少大语言模型（LLM）引用幻觉的引用对齐（Citation Grounding）研究

1. 问题陈述

大语言模型（LLM）在法律领域表现出一种系统性的可靠性问题：引用幻觉（citation hallucination）。这包括生成看似合理但实际虚构的法规引用、引用已废止的条款、混淆管辖权或构建无效的法律推理链。尽管 LLM 在法律推理基准测试（如律师资格考试）中表现出色，但现有的评估框架（如 LEXTREME、LexGLUE、LegalBench）主要侧重于分类任务，缺乏衡量或检测生成输出中引用准确性的指标。目前，依靠法律专家进行人工验证是行业标准，但这无法扩展到持续监控或低资源语言领域。

2. 研究方法

2.1 地面真值引用图谱（Ground-Truth Citation Graph）

该方法的基础是从**乌克兰统一法院判决登记处（EDRSR）**中提取的大规模二分引用图谱 $G = (V, E)$ 。

规模： 包含 1.008 亿个判决节点 ( $V_d$ )、21,736 个唯一法条节点 ( $V_n$ ) 以及 5.022 亿条引用边 ( $E$ )。
结构： 边将法院判决连接到其引用的特定法律条款。
时间跨度： 该图谱涵盖 2005 年至 2026 年，跨越了三个不同的法律时期（和平时期、混合战争时期以及全面入侵/戒严时期），从而能够进行时效性验证。

2.2 引用对齐（Citation Grounding, CG）指标

作者提出了**引用对齐（CG）**指标，用于根据地面真值图谱 $G$ 验证 LLM 生成的引用。该指标被分解为三个组成部分，以便进行幻觉类型的差异化诊断：

引用精确度 (Citation Precision, CP)： 验证存在性。所引用的法条节点是否存在于 $V_n(G)$ 中？
引用相关性 (Citation Relevance, CR)： 验证上下文适当性。所引用的条款是否在与查询语义相似的判决中使用？（通过 XLM-RoBERTa 嵌入计算）。
引用时效性 (Citation Temporality, CT)： 验证时间有效性。该法条在相关法律事件发生时是否有效？

复合引用质量 ($CQ$) 计算为 CP 与（CR 与 CT 的平均值）之积。一个不存在的法条（CP=0）会导致质量为零，这反映了法律标准：单个伪造的引用即可使整份文件失效。

2.3 引用对齐直接偏好优化 (CG-DPO)

为了在无需人工标注的情况下减少幻觉，论文引入了 CG-DPO 方法，通过算法构建直接偏好优化（DPO）训练对。

机制： 从 $G$ 中经过验证的法院判决开始，系统通过修改引用来创建“损坏”版本的文本。
破坏策略：
1. 条款替换 (Article Swap)： 用同一法典中的另一个条款替换原条款（针对 CP）。
2. 法律替换 (Law Swap)： 保留条款编号但更换法典（针对 CR）。
3. 幻觉注入 (Hallucination Injection)： 用不存在的条款替换真实条款（针对 CP）。
4. 时代错置 (Anachronism)： 用在判决日期之后颁布的法规替换原法规（针对 CT）。
训练： 带有正确引用的原始文本作为优选响应 ( $y_w$ )，损坏的文本作为弃选响应 ( $y_l$ )。这消除了对人工标注员的需求。

3. 实验设置与结果

3.1 实证评估

作者在 100 个乌克兰法律查询（涵盖民事、刑事、行政、劳动、家庭、宪法、军事七大领域）上评估了五个系统：

系统： 四个通过 AWS Bedrock 提供的商业 LLM（Claude Haiku 4.5、Mistral Pixtral Large、Amazon Nova Pro、Amazon Nova Lite）以及一个基于 Claude Sonnet 4 的 RAG 增强型生产系统（LEX Chat）。
发现：
- 幻觉率： CG 分数分布在 0.791 到 0.873 之间，表明 13–21% 的引用存在幻觉。
- RAG 的优越性： RAG 增强型系统实现了最高的 CG 值（0.873）和最低的引用密度（每条响应 2.9 条引用），这表明检索机制能约束模型进行基于证据的引用。
- 密度-准确性相关性： 在原始模型中，引用密度与准确性之间的相关性很弱 ( $\rho = -0.12$ )，这反驳了关于存在普遍权衡关系的假设。
- 领域差异： 宪法法领域在所有模型中均实现了完美的对齐（CG = 1.0）。家庭法和劳动法表现出最高的方差（CG 介于 0.46–0.90 之间）。

3.2 CG-DPO 训练结果

使用基于 2,244 个法院判决及其算法构建的偏好对，通过 LoRA 对 Qwen2.5-7B-Instruct 模型进行了微调。

性能： 在三个随机种子下，该模型在区分正确引用与损坏引用方面的平均验证准确率达到了 98.5%。
稳定性： 奖励间隔（reward margin）为 +14.9，标准差小于 0.3 个百分点。
收敛性： 训练收敛迅速，在第一个 epoch 内就达到了接近完美的准确率。

4. 核心贡献

引用对齐指标： 一种新型的可分解指标（CP, CR, CT），用于大规模测量和诊断法律引用幻觉，利用了一个拥有 5.022 亿条边的引用图谱。
大规模评估： 对五种 LLM 在乌克兰法律领域的实证研究，揭示了 RAG 系统在引用准确性方面优于原始模型，并指出幻觉率随法律领域的变化而显著不同。
CG-DPO： 一种通过引用图谱算法化生成 DPO 训练对的方法，消除了对昂贵的人工法律标注的依赖。

5. 重要性与主张

论文声称，大规模引用图谱具有双重用途：既作为评估预言机（evaluation oracle）来检测幻觉，又作为训练信号来实现无需人工干预的模型对齐。

闭环： 该方法实现了从检测到缓解的闭环，且在任何阶段都不需要人工标注。
可扩展性： CG-DPO 证明了基于图谱的信号足以实现引用对齐，为资源受限环境下的法律 AI 提供了可扩展的解决方案。
指标有效性： 作者验证了 CG 是一个保守的指标；虽然它可能会产生假阳性（由于图谱覆盖范围限制，将某些虽真实但极少被引用的法条标记为错误），但对于虚构的条款，它不会产生假阴性。
开放资源： 引用图谱、评估框架和 CG-DPO 数据集均已作为开放资源发布，以促进进一步的研究。

作者也指出了局限性，包括图谱对现有法院判决的依赖（存在新法覆盖缺口）、当前时效性实现的局限（仅检查存在性而非具体的版本有效性），以及目前专注于民法体系，建议未来开展针对普通法系的适配及端到端生成评估的工作。