From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

技术摘要：从判决到争议点：带有引用幻觉控制的法律推理结构化提取

问题陈述
现代司法系统，特别是意大利，生成的法院判决规模已超过了法律专业人员单独阅读的能力。仅意大利税务法院数据库就包含近一百万份判决书，且每年以数十万份的速度增长。虽然这些海量数据对于二次利用（如判例检索、引用网络分析以及训练法律自然语言处理系统）具有重大价值，但原始 PDF 文档的非结构化特性阻碍了这些应用。现有的提取方法通常将整份判决书视为一个单一单元，这引入了程序性套话带来的噪声，并且无法隔离特定的法律问题。此外，大语言模型（LLMs）容易产生“幻觉”，即编造看似合理但并不存在的立法或案例法引用，这破坏了自动化法律推理流水线的可靠性。

方法论
作者提出了一种自动化的流水线，旨在将意大利税务法院的判决书分解为独立的法律争议点（legal issues），并为每个争议点提取结构化的 XML 表示。该方法基于三个核心组件：

1. 基于争议点的分解与模式设计：
   与其将判决书作为整体进行处理，该流水线将“法律问题”（questione giuridica）作为分析单元。这符合司法论证理论（例如 MacCormick, 1994），即裁决被视为对特定法律问题的解决。提取的结构基于 IRAC 框架（Issue 争议点, Rule 规则, Application 应用, Conclusion 结论）和法律三段论。每个争议点都编码在 XML 中，包含特定字段：

   • <text>：采用“是否 + 从句”形式的法律问题表述。
   • <issue_outcome>：判决结果，按受益方分类（纳税人、税务机关、其他）。
   • <factual_premises>：相关的案件事实与事件。
   • <legal_references>：引用的列表（立法、案例法、原则、行政实践）及其类型。
   • <citation_reason>：解释为何引用特定参考资料。
   • <judge_reasoning>：法律对事实的应用。
   • <summary>：针对该争议点的抽象摘要。

2. 提取流水线与模型选择：
   该流水线处理了约 33 万份意大利一审和二审税务法院判决书。为了在处理能力与处理数十万文档的成本之间取得平衡，作者选择了 DeepSeek V3，这是一款提供优异性价比（每份判决书约 0.0035 美元）的通用模型。针对较长的判决书，提取过程采用了两步提示策略：

   • 第一步： 识别争议点并提取 <text>、<summary> 和 <issue_outcome>。
   • 第二步： 针对每个识别出的争议点，提取详细的推理、事实和引用。
     提取后的修正步骤使用 few-shot 提示，以确保 <text> 字段严格遵循“是否 + 从句”的格式。

3. 通过 Linkoln 进行幻觉控制：
   为了解决 LLM 引用不可靠的问题，流水线集成了一个使用 Linkoln 库（Bacci et al., 2019）的验证层。该步骤：

   • 解析原始判决文本和 LLM 输出中的法律引用。
   • 将其归一化为标准标识符（URN-NIR, ECLI, CELEX）。
   • 对比两组集合。任何存在于 LLM 输出中但在源文本中未找到的引用都会被标记为幻觉并予以删除。
   • 对于缺乏标准标识符的法律原则，使用由专家衍生的 182 个规范原则白名单来验证匹配情况。

主要贡献
本文做出了三个主要贡献：

1. 结构化模式： 一种基于 IRAC 和法律三段论的新颖、基于争议点的 XML 模式，旨在实现机器可读、便于人类查阅，并能被中等性能的 LLM 可靠地提取。
2. 带有幻觉控制的高效流水线： 一个结合了 DeepSeek V3 与自动解析器过滤器的可扩展流水线，该过滤器通过将引用归一化并对照源文本进行验证。
3. 专家验证评估： 在 50 份由两名博士级税务法专家标注的判决书上进行了严谨的验证协议，报告了评分者间一致性（IAA）、LLM 与专家的一致性以及幻觉过滤器的性能。

结果
在 50 份判决书样本上的评估得出以下发现：

• 争议点提取： 与人类专家相比，LLM 展示了高精确度（93–94%）但中等召回率（70–82%）。主要的错误模式是欠提取（漏掉争议点）而非幻觉。在 78 个提取出的争议点中，仅有 4 个被专家标记为不存在。
• 引用提取： LLM 相对于专家标注达到了约 74% 的 F1 分数。虽然模型提取的引用数量与专家相当，但有时会包含对特定争议点而言并非相关的引用。
• 幻觉过滤器性能： 该过滤器非常有效。过滤前，幻觉率为 11.7%；过滤后，降至 0.9%。过滤器从 31 个幻觉引用中成功删除了 29 个，而仅错误删除了 7 个有效引用（误报率 3.0%）。过滤器在处理“法律原则”时效果最差，其在过滤前的幻觉率为 69%。
• 定性评分： 自由文本字段（推理、摘要、结果）获得了专家极高的平均分（4.6–4.9/5）。这些定性维度的评分者间一致性非常高（Gwet's AC2 > 0.93）。
• 随机性： 作者指出，即使使用固定种子，LLM 仍表现出非确定性。运行间的协议（争议点 F1 约为 78%，引用 F1 约为 73%）低于评分者间的一致性，但与 LLM-vs-human 的一致性相当，这表明模型的随机性是导致性能差距的重要原因。

意义与主张
作者声称，这项工作提供了首个专门针对意大利税务法院判决、具有专家验证且带有幻觉控制的争议点级结构化提取流水线。他们将该流水线定位为下游应用的具体起点，包括：

• 争议点级检索： 通过隔离单个法律问题来提高搜索精度。
• 引用网络分析： 构建边反映实际用于决定争议的引用的图谱，而非仅仅是偶然提及。
• 数据集构建： 创建大规模、结构化的法律推理数据集，用于训练和基准测试法律 NLP 系统。

论文保持了谦逊的基调，承认了局限性，例如验证样本量较小（50 份判决书）、依赖单一模型和单一司法管辖区，以及将判决书划分为争议点时存在的固有主观性。作者强调，所提出的格式是一个用于结构化提取的方法论模板，独立于特定的司法管辖区或模型，证明了当前的 LLM 在配合适当的验证层时，可以可靠地实例化复杂的法律推理结构。