💻 computer science

Time as Structure: Temporal Dependency Graphs for Verifiable Deadline Computation over Legal Documents

本文提出了一种混合方法，将法律文档中的时间依赖性提取到图中，用于基于代码的截止日期计算，并证明该流水线在准确性和可验证性方面显著优于直接的语言模型回答，特别是通过避免算术错误，同时强调提取仍然是失败的主要来源。

原作者： Maryia Zhyrko, Lifeng Han, Suzan Verberne

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Maryia Zhyrko, Lifeng Han, Suzan Verberne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在法律世界中，时间不仅仅是一个背景；它是一个决定索赔命运的结构性要素。法律文件通常必须在特定截止日期前提交，而该日期是根据某个起始事件（如终止雇佣关系或歧视事件）计算得出的。这些计算很少是简单的算术。它们涉及根据严格的法定规则计算天数，考虑时钟停止以进行强制调解的暂停期，并针对日历的特性进行调整，例如不同长度的月份或闰年。如果一项索赔即便只晚了一天提交，也往往会被永久剥夺追诉权，无论案件本身多么有力。这创造了一个高风险的环境，其中成功与失败的区别是以小时来衡司量的，然而包含必要日期的文件却往往埋藏在复杂的、嵌套的法律术语之中。

莱顿大学的研究人员致力于解决一个关于计算机应如何处理这一问题的基本问题。他们询问：是否应该信任大型语言模型（一种可以阅读和总结文本的人工智能类型）直接计算这些截止日期？或者，让计算机先从文本中提取出特定的日期及其关系，构建一个结构化的事实图谱，然后再使用一个独立的、僵化的计算器来进行数学运算，是否会更安全？该团队构建了一个将时间视为连接事实网络的系统，其中每个日期都是一个节点，而连接它们的规则则是边。他们使用真实的英国就业法庭判决书以及一组设计好的、已知正确答案的大规模模拟案例，将这种方法与原始的直接回答法进行了对比测试。

研究表明，虽然现代语言模型在阅读法律文本方面表现得相当出色，但在被要求执行法律截止日期所需的精确算术时，它们却表现得非常吃力。当研究人员要求一个强大的语言模型阅读一个案例并一次性输出一个截止日期时，即使模型的内部推理步骤是正确的，它也经常得出错误的最终结论。在一个引人注目的发现中，模型有时会计算出正确的总天数，但随后又在最后一句中自相矛盾，宣布一项逾期的索赔是及时的。在对测试的最强模型进行的 21 次尝试中，这种情况发生了 6 次。错误不在于数学本身，而在于模型无法使其最终结论与其刚刚完成的工作保持一致。

为了测试另一种方法，研究人员构建了一个流水线：首先将相关的日期及其依赖关系提取到一个图中（一种计算机可以观察一个日期如何导致另一个日期的视觉化结构），然后由一个独立的、确定性的引擎将严格的法律规则应用于该图。这个引擎并不进行猜测；它遵循一套固定的指令来计算月份、处理闰年以及应用强制性的调解暂停期。当这个结构化系统在相同的真实案例上进行测试时，它完美地还原了法官给出的日期，并在 7 个案例中的 6 个案例中匹配了法庭的裁决。该系统的可靠性极高，以至于当它无法在文本中找到明确的起点时，它只会拒绝回答并解释原因，而不是进行猜测。

研究人员随后通过创建 427 个新案例进一步推进了测试。他们采用了真实的判决书，并有系统地将起始日期移动了几天，从而跨越了使索赔性质从“及时”变为“逾期”的精确界限。这创造了一个正确答案具有绝对确定性的场景，因为该答案是由引擎本身计算出来的，而非由人工标注。在这项严苛的测试中，结构化流水线在尝试处理的案例中正确率达到了 90.2%，而直接使用语言模型的正确率仅为 61.2%。该结构化系统的优势在于其处理依赖链的能力；随着事件链条的增长，直接模型会变得越来越困惑，而基于图表的系统则能保持精确。

然而，研究也指出了这种新方法的局限所在。结构化系统的错误几乎从未出现在算术或截止日期的计算上。相反，失败发生在第一步：选择文本中哪个事件是正确的起始点。在复杂的法律文件中，多个事件可能看起来都像是潜在的起点，而系统有时会选错对象。这是一个理解法律语境的问题，而非进行数学计算的问题。研究人员发现，即使是最好的语言模型，在被要求提取这些事实时，也经常无法将正确的事件与正确的规则联系起来，这表明这项任务中最难的部分不是计算，而是对哪些事实具有重要意义的初步解读。

最终，这篇论文证明了对于需要严格遵守规则和精确计算的任务，混合方法效果最好。通过将阅读文本与执行数学运算分离，系统获得了一层纯语言模型所缺乏的可靠性。语言模型充当“翻译官”，将混乱的法律术语转化为清晰的一组事实；而引擎则充当“法官”，不带犹豫或矛盾地应用法律。这种分工协作使得系统能够承认自己的不确定性，并为自己的迟疑提供明确的理由，而不是给出一个自信但错误的答案。研究结果表明，对于法律截止日期这种单日之差便能改变一切的任务，最有效的工具不是一个试图包揽一切的模型，而是一个能够将问题拆解、检查自身工作并知道何时停止并寻求帮助的系统。

技术摘要：时间作为结构：用于法律文档可验证截止日期计算的临时依赖图

问题陈述

法律截止日期是管辖权的边界，无论案件本身是否有理，哪怕仅仅一天的误差也会导致权利主张失效。计算这些截止日期涉及复杂的依赖关系：一个期限可能始于特定的触发事件，其计算方法遵循法定惯例（例如，“三个月”结束于前一天），并可能因强制性的调解窗口而暂停。

目前的方法面临两个主要局型限制：

提取碎片化： 传统的提取系统在孤立地对时间表达式进行归一化，未能记录哪个日期是由哪个日期推导而来的。因此，修正无法通过依赖链进行传播。
直接回答风险： 将整个文档输入大型语言模型（LLM）要求模型在单次处理中完成识别支配性事件、解释规则、执行算术并报告结果。虽然 LLM 可以对事件排序，但它们往往无法忠实地执行支撑其推理的过程。研究发现的一个关键失效模式是“工作层级不一致性”，即模型的结论与其内部算术逻辑相矛盾（例如，将一项索赔计算为逾期，却报告为及时）。此外，聚合错误率掩盖了危险的方向性偏差；一个错误报告“剩余时间”的工具比一个错误报告“截止日期已过”的工具更具危险性。

方法论

作者提出了一种将提取与计算分离的分工模式，利用**临时依赖图（Temporal Dependency Graph, TDG）**作为中间表示。

1. 临时依赖图 (TDG)
TDG 是一个有向图，其中：

节点代表具有语义角色的日期事实：START（开始）、END（结束）或 DURATION（时长），并归一化为 ISO 8601 标准。
边代表类型化的依赖关系：
- 加法边： 携带 delta_days（天数增量）偏移量，表示目标日期由源日期计算得出。
- 排序边： 表示仅存在先后顺序，无偏移量。
- 区间边： 连接不带具体日期的节点。
  只有带有已解析源日期的加法边才支持算术执行。

2. 系统架构
该流水线由三个主要部分组成：

提取器： 两种方法构建 TDG：
- 基于规则的方法： 使用 HeidelTime 进行归一化，使用 spaCy 进行依赖解析，将动词映射到角色（例如，“开始” $\to$ START），并通过图形构建器根据共享实体和时长匹配来配对起始/结束事件。
- 基于 LLM 的方法： 通过单个提示词处理原始文档，返回包含用于加法依赖关系的触发短语的 JSON 事实和关系。
确定性引擎：
- 接收一个法规图和一个案例图。
- 锚点匹配： 使用多机制匹配器（别名、停用词列表、冲突门控）将法规锚点概念（例如，“终止生效日期”）绑定到案例事实。
- 计算： 应用日历算术（处理闰年和月末舍入）以及法定规则（例如，英国惯例“3个月减去1天”）。
- 暂停逻辑： 实现咨询、调解与仲裁服务（ACAS）的暂停机制，在联系与证书颁发之间暂停计时，并设有一个月的最短保证。
- 输出： 返回一个带有完整推导过程（锚点、规则、算术）和置信度评分的截止日期。如果无法唯一识别锚点，引擎会弃权并给出命名原因，而不是进行猜测。
直接基准： LLM 在单次处理中接收判决书和法规文本，无需中间图或弃权机制，直接给出答案。

**3. 评估策略
研究采用了五种评估模式：

受控基准测试： 210 个生成的项目，测试对提取过程中的推理能力，涵盖不同的期间明确度和链条长度。
提取审计： 对 41 份独特文档（源自 4 份抽样合同）进行基于规则与基于 LLM 提取器的比较，重点关注“可计算边”（具有已解析日期的加法边）。
法庭案例研究： 在源自 6 份英国就业上诉法庭（EAT）判决书（发布时间点之后）的 7 行法规-案例行上进行端到端评估。
反事实扫描： 通过扰动锚点日期（7 个案例 $\times$ 61 天）生成 427 个项目，跨越法定边界以创建计算出的地面真值，从而防止记忆效应。
一致性测量： 一种无需地面真值的测试，针对单个案例向模型提出六个相关问题，以检测内部矛盾（例如，报告的逾期天数是否与报告的判决相符？）。

核心贡献

基于显式图的确定性引擎： 该引擎通过应用从文本中提取的法定规则，重现了 7 个法庭时效判定中的 6 个以及所有三个法官陈述的日期，证明了显式结构能提高时间推理能力。
识别工作层级失效： 对四个 LLM 进行的工作层级审计显示，在 GPT 系列的 21 个响应中，有 6 个出现了所输出的判决与模型自身算术逻辑相矛盾的情况。所有矛盾都倾向于危险的方向（将逾期索赔判定为及时）。
反事实框架： 一种 GSM-Symbolic 式的扰动方法，通过移动锚点日期跨越法定边界，生成了 427 个带有计算地面真值的项目，以便在大规模范围内测试系统而无需人工标注。
瓶颈定位： 一项详尽的审计表明，截止日期计算中的错误几乎不在于算术本身，而在于锚点选择（选择正确的起始事件）和实体身份识别。
一致性 vs. 准确性： 研究发现，通过单提示词与多调用条件消除 LLM 的自我矛盾，并不会提高判决准确性，反而可能降低准确性，这表明自我一致性并非可靠的置信信号。
开源发布： 发布了引擎、图表示、法定规则包及评估框架。

结果

受控基准测试： 结构化流水线（图 + 引擎）在所有类别中实现了 100% 的准确率。直接 LLM 的准确率随着依赖链变长和期间变得不那么明确而显著下降（例如，Llama 在 3 级链条上的准确率降至 3%）。
提取比较： 基于规则的流水线解析了 486 个日期，而 LLM 为 95 个。LLM 生成了 92 条依赖边，而基于规则的方法为 11 条。然而，LLM 的边中只有 10 条是“可计算的”（两端均有已解析日期），而基于规则的方法为 9 条。在针对正确锚点选择的严格审计后，LLM 仅剩 3 条边，而基于规则的方法仅剩 1 条。
法庭案例：
- 引擎（配合金标准事实）实现了 6/7 的正确判决。
- 直接 LLM 基准在处理“减去一天”惯例和 ACAS 暂停方面表现挣扎。
- 最强的 LLM (GPT-5.4) 准确生成了 3 个可计算的截止日期，但在 2 个案例中产生的判决与其自身的推导过程相矛盾。
反事实扫描 (427 个项目)：
- 在两个系统都回答的项目中，流水线的准确率为 90.2%，而直接回答方式（Gemma）为 61.2%，Llama 为 82.2%（对比直接回答的 54.6%）。
- 流水线在锚点模糊的困难项目中选择弃权，而直接模型则自信且错误地给出了答案。
- 直接模型在法定边界处发生了 68–117 次判决翻转，而流水线仅发生 18–24 次，紧密追踪法定边界。
- 在提取的锚点等于真实偏移后的锚点（n=234）的子集中，流水线的准确率达到 98.3%。
一致性： 在强制 LLM 在单提示词条件下保持一致并不提高准确性；事实上，当被迫保持一致时，两种具备能力的模型的准确性都下降了。

意义与主张

本文认为，对于涉及算术和管辖权边界的高风险法律任务，显式结构优于直接回答。所提流水线的核心价值不在于在所有情况下都获得更高的原始准确率，而在于可验证性和故障定位能力。

可验证的推理： 系统提供了一条可追溯的推理链（锚点 $\to$ 规则 $\to$ 算术 $\to$ 判决），允许用户审计失效的具体位置。
安全的弃权： 不同于会产生幻觉的 LLM，当法定锚点无法解析时，引擎会带着命名原因进行弃权，从而防止错误的传播。
局限性： 作者谦逊地指出，系统的极限在于提取。如果识别正确锚点所需的法律结论具有歧义或需要深层的法律解释（例如，区分“申诉”与“解雇”），系统在无法获得此类法律结论的情况下无法自行解决。该方法并非解决法律解释本身的问题，而是为一旦事实被提取后提供一个稳健的计算框架。

这项工作证明，尽管 LLM 在文本生成方面非常强大，但在数值法律推理方面容易出现危险的不一致性，而结合了提取与确定性执行的混合方法，为截止日期计算提供了一条更可靠的路径。

技术摘要：时间作为结构：用于法律文档可验证截止日期计算的临时依赖图

问题陈述

方法论

核心贡献

结果

意义与主张

类似论文