Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law

本文提出了一种结合案例增强法律条文知识图谱（CLAKG）与大语言模型（LLM）的闭环法律条文推荐框架，通过图嵌入检索与基于知识图谱的推理，在中国刑法判决数据上将推荐准确率从 0.549 显著提升至 0.694，有效缓解了基层法院的案件积压与决策依赖问题。

要点

这篇文章介绍了一种**“给法官配个超级智能助手”**的新方法，目的是帮助法官更快、更准地找到处理案件时该引用的法律条文。

想象一下，法官每天面对堆积如山的案件，就像是在一个巨大的、没有索引的图书馆里找书。以前，他们要么靠自己的记忆（容易累、容易错），要么靠传统的搜索工具（只能搜关键词，不懂深层含义）。

这篇论文提出的方案，可以概括为三个核心步骤，我们用生活中的比喻来解释：

1. 核心发明：CLAKG（法律界的“超级关系网”）

比喻：把法律条文和过往案例变成一张巨大的“地铁线路图”。

• 传统做法：以前的法律数据库像一本厚厚的字典，你查“盗窃”，只能看到关于盗窃的定义，但不知道哪个案例里法官是怎么判的，或者这个定义和“抢劫”有什么细微差别。
• 新方法（CLAKG）：作者构建了一个**“案例增强型法律条文知识图谱”**。
  • 这就好比把法律条文（站点）和过去的真实案例（列车）全部连在了一起。
  • 不仅知道“盗窃”这个站，还知道它和“入室”、“夜间”、“金额大小”等关键信息（换乘站）是怎么连接的。
  • 关键点：这个“地图”不是人工一点点画的，而是用**大语言模型（LLM）**自动去读判决书，把里面的关键信息提取出来画上去的，效率极高。

2. 工作流程：如何给法官推荐条文？

比喻：就像是一个“懂行的老律师”带着“智能导航”在帮你找路。

当一个新的案件（比如“张三偷了东西”）进来时，系统是这样工作的：

1. 提取关键词（找路标）：

   • 系统先让大语言模型（LLM）读一下案情，提取出几个核心词，比如“盗窃”、“金额”、“自首”。
   • 这就像是你告诉导航：“我要去一个有盗窃、金额不大、且主动自首的地方”。

2. 在“地图”上检索（查路线）：

   • 系统拿着这些关键词，去刚才建好的“超级关系网”（CLAKG）里找。
   • 它不是简单的文字匹配，而是看结构。比如，它发现“盗窃”这个节点，通过“关键信息”这条线，直接连着“刑法第 385 条”这个站点。
   • 同时，它还能顺藤摸瓜，找到以前处理过类似情况的“老案例”（历史列车），看看当时是怎么判的。

3. 大模型做最终决定（老律师把关）：

   • 系统把找到的“候选法律条文”和“类似老案例”打包，喂给大语言模型。
   • 最重要的一步：大模型被严格限制了，它只能从系统找到的这几个选项里选，不能瞎编（防止“幻觉”，即胡编乱造法律条文）。
   • 最后，大模型像一位经验丰富的老律师，结合案情和找到的证据，给出最终建议：“这个案子应该用第 385 条，因为……"

3. 闭环升级：越用越聪明

比喻：就像“错题本”和“地图更新”。

• 如果法官觉得系统推荐得对，系统就把这个新案例记下来，更新到“地图”里。
• 如果法官觉得不对，手动改对了，系统不仅会修正结果，还会把这次“纠错”的经验也记下来，更新“地图”。
• 这样，这个系统就像一个会学习的助手，随着使用的人越多、修正的越多，它画的“地图”就越精准，以后推荐得就越准。

4. 效果怎么样？

比喻：从“蒙对”到“算得准”。

• 以前的方法：就像是用传统的搜索引擎（BERT、DPCNN 等），准确率只有 0.549（大概一半对一半，甚至更低，因为容易受数据不平衡影响，比如某个条文案例多，它就总猜那个）。
• 大模型自己用：虽然大模型很聪明，但容易“一本正经地胡说八道”（幻觉），准确率大概 0.549。
• 我们的新方法：结合了“超级关系网”和“受限的大模型”，准确率直接提升到了 0.694。
• 结论：这个方法比目前市面上最先进的方法都要好，而且大大减少了大模型“瞎编”法律条文的风险。

总结

这篇论文的核心思想就是：不要只让 AI 靠“死记硬背”或“瞎猜”来判案，而是给它一张精心绘制的、包含所有法律条文和真实案例的“关系地图”，并给它戴上“紧箍咒”（只能查地图，不能乱编）。

这样，AI 就能像一个经验丰富的法律专家一样，既快又准地帮法官找到最合适的法律依据，让司法效率更高，判决更公正。

技术摘要

这是一份关于论文《Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law》（利用知识图谱和大语言模型进行法律条文推荐：以中国刑法为例）的详细技术总结。

1. 研究背景与问题 (Problem)

• 司法效率瓶颈：全球范围内，基层法院面临巨大的案件积压，司法判决高度依赖法官的认知努力，缺乏高效的智能辅助工具。
• 现有技术的局限性：
  • 传统机器学习方法（如 LSTM, CNN, BERT 等）：主要关注案件事实与法律条文 ID 的映射，忽略了法律条文内部的语义信息。这些方法对数据量敏感，且在数据不平衡（某些法条样本极少）的情况下表现不佳，容易陷入“多数类偏差”。
  • 大语言模型（LLM）直接应用：虽然 LLM 具备强大的推理能力，但直接用于法律推荐时容易产生幻觉（Hallucination），即编造不存在的法条或引用错误的法律条款，这在法律领域是不可接受的。
  • 检索增强生成（RAG）的不足：现有的 RAG 方法多基于文本相似度（如 TF-IDF, BM25）或通用图结构，缺乏针对法律领域深层语义和结构化关系的建模，难以精准匹配复杂的法律概念。

2. 核心方法论 (Methodology)

论文提出了一种结合**案例增强型法律条文知识图谱（CLAKG）与大语言模型（LLM）**的闭环推荐框架。

2.1 案例增强型法律条文知识图谱 (CLAKG)

• 架构设计：CLAKG 由两部分组成：
  1. 法律条文知识图谱 (LAKG)：存储原始法律条文、条文 ID 及通过 LLM 提取并经专家审核的“关键信息”（Key Information）。
  2. 已判决案例知识图谱 (ACKG)：存储案件名称、审理时间、起诉理由、案件详情等。
• 连接机制：基于判决书中引用的法条，将“案件节点”与“法条 ID 节点”连接；利用 LLM 分析案件事实描述与法条关键信息的关联，将案件与最相关的 5 个关键信息节点连接。
• 自动化构建：利用 LLM 自动从非结构化文本中提取实体和关系，构建图谱，并通过人工专家反馈进行修正，确保图谱的准确性和一致性。

2.2 闭环推荐框架

整个流程分为三个阶段，形成人机协作闭环：

1. 图谱构建与嵌入：
   • 使用 RGCN (Relational Graph Convolutional Network) 对 CLAKG 进行图嵌入，将节点映射为低维向量，以捕捉图谱的拓扑结构和语义关系。
   • 训练目标为链接预测（Link Prediction），优化 DistMult 评分函数。
2. 检索增强推荐 (RAG)：
   • 关键词匹配：用户输入新案件描述，LLM 提取 8 个最相关的“关键信息节点”。
   • 候选法条检索：在 CLAKG 中，通过关键信息节点反向查找关联的“原始法条节点”，计算向量相似度（余弦相似度），选出 Top-5 候选法条。
   • 历史案例检索：获取与候选法条关联的历史案例作为参考上下文。
   • LLM 推理：将新案件描述、候选法条、历史案例及严格约束（如“仅从候选集中选择，禁止编造”）构建为 Prompt，输入 LLM 生成最终推荐结果及解释。
3. 人机协作与图谱更新：
   • 法律专家审核系统推荐结果。
   • 若推荐正确，将新案件与法条的关联作为高质量监督信号加入 CLAKG。
   • 若推荐错误，专家修正后，系统更新图谱中的边（如"Applicable Law"和"Agree With"关系），实现图谱的动态演进。

3. 主要贡献 (Key Contributions)

1. 提出 CLAKG 架构：设计了一种任务导向的 Schema，将法律条文与历史判决案例统一在知识图谱中，并开发了基于 LLM 的自动化构建流水线。
2. 构建闭环推荐框架：设计了基于检索增强生成（RAG）的 LLM-CLAKG 框架。通过图谱 grounding（接地），强制 LLM 基于可验证的法律证据进行推理，有效抑制了幻觉。
3. 实证研究与性能提升：
   • 构建了基于中国裁判文书网（China Judgments Online）的中国刑法数据集（涵盖刑法修正案十一，共 1170 个案件，85 个特定法条）。
   • 实验表明，该方法将法律条文推荐的准确率从 0.549（仅 LLM）提升至 0.694（LLM + CLAKG + 案例信息）。
   • 显著优于传统文本分类基线（BERT, GRU, DPCNN）和通用 RAG 基线（TFIDF-RAG, Graph-RAG, Light-RAG）。

4. 实验结果 (Results)

• 对比传统模型：在数据稀缺和标签不平衡的刑法数据集上，传统模型（如 BERT）准确率仅为 0.289，倾向于预测多数类标签；而本文方法达到 0.694。
• 对比 RAG 基线：
  • 纯 LLM 基线：0.549
  • TFIDF-RAG：0.597
  • Light-RAG：0.636
  • Graph-RAG（通用图）：0.179（表现较差，因其未针对法律细粒度结构优化）
  • 本文方法 (LLM + CLAKG)：0.676（不含案例信息）至 0.694（含案例信息）。
• 消融实验：在 GPT-4 和 Llama-3.1-405B 两个不同模型上，加入 CLAKG 和案例信息后，准确率均有显著提升（GPT-4 从 0.549 升至 0.694，Llama 从 0.619 升至 0.786），证明了框架的通用性和鲁棒性。

5. 意义与价值 (Significance)

• 解决法律 AI 的幻觉问题：通过引入结构化的知识图谱作为“事实锚点”，并配合严格的 Prompt 约束，有效解决了 LLM 在法律领域编造法条的致命缺陷。
• 应对数据不平衡挑战：利用知识图谱的拓扑结构和语义关联，弥补了传统监督学习在长尾法条（样本极少）上的不足，提高了模型在数据稀疏场景下的泛化能力。
• 可解释性与可维护性：系统不仅给出法条推荐，还能提供基于历史案例和关键信息的推理依据。同时，人机协作的闭环机制使得知识库能够随着新案件的判决不断自我更新和优化。
• 开源与可复现：作者公开了源代码、处理后的数据集及构建好的 CLAKG，为法律人工智能领域的后续研究提供了重要基准。

总结：该论文通过“知识图谱结构化知识 + 大语言模型推理能力 + 人机协作闭环”的三位一体策略，成功构建了一个高精度、低幻觉且具备自我进化能力的法律条文推荐系统，为中国乃至其他法域的法律智能化提供了新的技术范式。