When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
本文引入了一个针对时间适用法律判定的基准测试，并揭示了大语言模型由于强化学习引发的推理收敛，表现出应用最新法律的强烈偏见，从而导致了一种反直觉的逆相关关系，即具备更强通用推理能力的模型在具有时间约束的法律任务上表现反而更差。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
法律并非一座静止的纪念碑，而是一片随时间变化的动态景观。新的规则不断被书写，旧的规则不断被修订，而适用于某一特定情况的法律版本，完全取决于该情况发生的时间。今天签署的一份合同可能受一套规则管辖，而五年前签署的类似合同则可能适用另一套规则。这一原则被称为“不溯及既往”，是法律公平性的基石：人们应当根据其行为发生时的法律进行评判，而非根据后来制定的法律。对于人工智能而言，若要使其在法律领域发挥作用，它必须理解这种时间性。它不能仅仅知道法律的内容，还必须知道在法律事件发生的准确时刻，哪一个版本的法律正在生效。如果计算机系统在时间判断上出错，它就会应用错误的规则，从而导致无论其对事实的分析多么精明，都会得出根本错误的结论。
长期以来，研究人员一直希望大型语言模型——即那些能够回答复杂问题并撰写文本的强大AI系统——能够实现法律推理的部分自动化。这些模型在预测法院判决结果和分析合同方面已展现出潜力。然而，一个关键问题仍悬而未决：这些模型能否可靠地识别出针对特定案件应适用哪一个版本的法律？一项由来自日本和中国机构的研究人员开展的新研究，调查了这一精确问题。他们构建了一个专门的测试，以观察这些先进的AI系统是否能根据案件中的事件日期正确识别出正确的法律版本。结果揭示了一个令人惊讶且具有系统性的缺陷。尽管这些最先进的模型具备处理复杂问题的能力，但在正确答案是旧版法律时，它们却表现得极其糟糕。相反，它们总是倾向于选择最新的、最近颁布的版本，即便案件的事实明确指向过去。
为了理解这一问题的深度，研究人员利用数千份真实的中国民事判决书构建了一个基准测试。他们选择了相关事件发生在重大法律更新（即2021年《民法典》实施）之前的案例。在这些案例中，正确的法律答案需要引用当时有效的旧有独立法律，例如旧的《物权法》或《合同法》。研究团队随后要求各种尖端的AI模型识别每个案件适用的正确法律版本。结果差异巨大。当涉及现行法律时，模型的表现相当出色，正确率往往超过70%。但当案件需要适用旧法时，它们的表现却大幅崩塌。在这些涉及旧法的案例中，大多数模型的得分低于15%，有些甚至接近于零。这些模型并非在随机猜测，而是在持续犯下同一种特定的错误：它们识别出了正确的法律类型，却应用了错误的版本，总是试图寻找最新的版本。
研究人员随后着手诊断这一现象发生的原因。他们首先考虑模型是否仅仅是缺乏必要的知识。或许AI从未“读过”那些旧法，或者不理解法律随时间变化的规则。为了测试这一点，他们要求模型背诵旧法的文本，并回答关于法律时间规则的选择题。模型在这些测试中表现得异常出色，证明它们拥有这些事实和规则。它们知道旧法存在，也理解不溯及既往的原则。失败并非源于记忆缺失或知识缺口，问题在于模型在面对真实案例时如何使用这些知识。
进一步的调查发现，这个问题与这些模型的训练方式有关。现代AI系统通常通过一种鼓励模型进行逐步思考（即在给出答案前生成思维链）的过程进行微调。这种训练旨在让模型更好地解决复杂的逻辑谜题和数学问题。然而，研究人员发现，这种优势在法律语境下反而成了弱点。那些具备最强通用推理能力的模型，在执行这项时间性任务时表现反而最差。训练过程似乎收窄了模型的思维，导致它们收敛于一条单一且占主导地位的路径：应用现行法律。这就像是模型已经习得了“最新信息最为重要”的模式，并且由于过度专注于这一模式，以至于即使事实要求它们这样做，它们也不再探索其他可能性。
研究表明，模型的失败并非因为它们不够聪明而无法理解时间线，而是因为它们过于高效地遵循了一种特定的、习得性的习惯。当研究人员为模型提供一个简单的提示，提醒它们考虑事件日期和具体的法律时间规则时，模型的表现得到了显著提升。这表明模型具备做对的能力，但其默认的操作模式与法律推理的特定要求并不一致。如果没有一个促使它们关注时间线的“推力”，它们强大的推理引擎只会强化向新法倾斜的偏见。
这一发现凸显了当前人工智能的一个微妙但危险的局限性。它表明，提高模型的通用推理能力并不自动意味着它在所有任务上都会变得更好。事实上，对于需要仔细关注特定约束条件（如法律的时效性）的任务，使这些模型强大的机制本身反而会导致它们忽略关键细节。研究人员发现，当迫使模型探索不同的推理路径而非固守其默认习惯时，它们能够成功识别出正确的旧版法律。该研究得出结论：要使AI在法律领域真正可靠，不仅要训练它们进行良好的推理，还要训练它们尊重该领域特定的、往往是反直觉的规则——即最新的法律并不总是正确的那个。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。