💬 NLP

Temporal Concept Drift in Legal Judgment Prediction: Neural Baselines Across Three Epochs of Ukrainian Court Decisions

本研究揭示，乌克兰法院判决中的法律语言在不同地缘政治时期经历了显著的时间概念漂移，导致标准模型在向前应用时性能严重下降，同时表明时序持续学习与法律领域预训练可有效缓解这种漂移并防止灾难性遗忘。

原作者： Volodymyr Ovcharov

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Volodymyr Ovcharov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生预测法院案件的判决结果。你给他们一叠 2008 年至 2013 年（和平时期）的旧教科书，然后要求他们在 2026 年，即经历了一场大规模战争和司法体系彻底变革之后，参加今天的考试。

本文探讨的是当你试图用那个“旧教科书”学生来解决“新世界”问题时会发生什么。研究人员发现，该学生遭遇了惨败，并非因为他们愚笨，而是因为他们所研究的世界发生了根本性变化。

以下是他们研究发现的简要分析，辅以简单的类比：

1. “时间旅行”问题

研究人员在三个不同时期的乌克兰法院判决数据上测试了人工智能模型（能够理解语言的计算机程序）：

战前（2008–2013）： 一个平静、稳定的时期。
混合战争（2014–2021）： 一个充满冲突与改革的时期。
全面入侵（2022–2026）： 一个处于戒严状态且法律完全更新的时期。

研究发现： 如果你用“战前”数据训练人工智能，然后用“全面入侵”数据测试它，其性能会崩溃。这就像教某人在宁静的乡村道路上驾驶，然后要求他们在拥有从未见过的新交通法规的、混乱且饱受战争蹂躏的城市中导航。人工智能的准确率最高下降了27%。

2. 法律知识的“单行道”

最有趣的发现是，这种失败在两个方向上并不对等。

向前（旧到新）： 如果你用旧法律训练人工智能，然后用新法律测试它，人工智能会失败。它不知道新的“戒严”规则，也不了解战争催生的新罪行。
向后（新到旧）： 如果你用复杂、混乱的“全面入侵”数据训练人工智能，然后用简单的“战前”数据测试它，人工智能的表现实际上会更好。

类比： 将法律语言想象成一棵生长的树。

新法律就像新长出的树枝和树叶。它们生长在旧树枝和树叶之上。
如果你研究整棵树（包括新树枝），你可以轻松识别出旧树干和较低的树枝。
但是，如果你只研究旧树干，你就完全不知道新树枝长什么样。
研究人员将此称为**“累加假说”**：法律是不断添加新事物；它很少完全删除旧事物。因此，在“更新、更大”的数据集上训练的模型能完美理解“更旧、更小”的数据集，但反之则不可能。

3. “专家”与“通才”

研究人员测试了两种类型的人工智能：

通才： 在各种文本上训练的标准人工智能模型。
专家： 专门在法律文件上预训练的人工智能模型。

令人惊讶的是： 你可能会认为“专家”会更好。但“通才”实际上整体表现更好。

专家更稳定（在从旧数据转向新数据时崩溃得没那么厉害），但它从一开始就在这个任务上表现较差。这就像是一个精通游戏规则但玩得很糟糕的专家。
通才是更好的玩家，但当规则改变时，它受到的冲击更大。

4. “外国教师”实验

他们尝试看看用来自不同国家（瑞士）的数据来教导人工智能，是否有助于它更好地理解乌克兰法律。

结果： 这确实让人工智能整体变得更聪明了一点（就像给了它一本更好的词典），但它并没有解决时间问题。当从旧的乌克兰数据转向新的乌克兰数据时，人工智能仍然表现糟糕。
启示： 问题不在于人工智能缺乏对其他国家的了解；问题在于法律语言本身随着时间的推移而演变，而外国数据无法预测这种演变。

5. 解决方案：“按时间顺序重新训练”

如何挽救一个因世界改变而不断失败的学生？你并不是扔掉旧教科书从头开始，而是更新它们。

研究人员测试了持续学习：

正确的方法（按时间顺序）： 先在“战前”数据上训练人工智能，然后添加“混合战争”数据，再添加“全面入侵”数据。
- 结果： 人工智能完美地记住了旧法律，并学会了新法律。它成为了一位通晓整个历史的超级专家。
错误的方法（逆向）： 先在“全面入侵”数据上训练，然后试图回到“混合战争”，再回到“战前”。
- 结果： 人工智能“忘记”了复杂的新法律并崩溃。这就像试图为了回到基础数学而“忘掉”高等微积分；大脑会感到困惑并失去高级知识。

总结

这篇论文证明，在法律世界中，时间比你选择的模型更重要。

如果你今天使用旧数据构建法律人工智能，它将很快变得不可靠。
最佳策略是保持人工智能按时间顺序更新，随着新数据的到来不断喂给它，使其知识像生长的树一样构建，而不是像静态快照。
“专家”法律模型并没有力挽狂澜；事实上，当正确更新时，标准模型表现最佳。

研究人员已发布其数据（428,000 份法院判决），以便其他人能在自己的系统中测试这种“时间旅行”问题。

技术摘要：法律判决预测中的时间概念漂移

问题陈述

当前的法律自然语言处理（Legal NLP）基准（如 LexGLUE、LEXTREME、SCALE）主要依赖随机训练/测试划分，隐含地假设法律语言是平稳的。这种设计掩盖了时间概念漂移的现实，即随着测试数据的时间分布与训练数据发生偏离，模型性能会下降。在法律领域，这种漂移因立法变更、司法实践的演变以及外部冲击（如冲突、改革）而加剧。虽然先前的研究已证实，经典的 TF-IDF 基线模型在乌克兰法院判决的不同时期之间会出现显著的性能退化，但这种现象在神经 Transformer 模型中的程度，以及领域特定预训练或持续学习策略的有效性，此前尚未得到探索。

方法论

数据集与时间时期

本研究利用了从乌克兰法院判决统一国家登记处（EDRSR）提取的428,000 份乌克兰法院判决（涵盖民事和商业管辖权）。数据被划分为三个反映地缘政治动荡的不同时间时期：

战前（2008–2013 年）： 和平时期基线（12.8 万份判决）。
混合战争（2014–2021 年）： 克里米亚吞并后及司法改革时期（15 万份判决）。
全面入侵（2022–2026 年）： 戒严令及新程序框架时期（15 万份判决）。

在每个时期内，划分均采用时间顺序（80% 训练，10% 验证，10% 测试），以防止时间泄露。标签分为三类：批准、驳回和部分。

模型与实验设计

基于XLM-RoBERTa的四种 Transformer 变体经过微调，以隔离模型规模和领域预训练的影响：

通用目的： XLM-R Base（2.78 亿参数）和 Large（5.6 亿参数）。
法律领域： Legal-XLM-R Base 和 Large（在 MultiLegalPile 上预训练）。

评估协议包含四项实验：

时期内基线： 在同一时期进行训练和测试，以建立对角线性能。
跨时期泛化： 一个 $3 \times 3$ 矩阵，其中在一个时期训练的模型在所有三个时期进行测试。指标包括前向退化（战前 $\to$ 全面入侵）和后向退化（全面入侵 $\to$ 战前）。
跨管辖权迁移： 使用**瑞士判决预测（SJP）**数据，测试外国管辖权预训练是否能减轻时间漂移。
持续学习： 按两个方向进行顺序微调：
- 前向（时间顺序）： 战前 $\to$ 混合战争 $\to$ 全面入侵。
- 后向（逆时间顺序）： 全面入侵 $\to$ 混合战争 $\to$ 战前。

主要结果

1. 严重且不对称的前向退化

时间漂移是性能退化的主要来源，其影响超过了模型选择或领域预训练的影响。

前向退化： 在战前数据上训练的模型，应用于全面入侵时期的判决时，宏观 F1 分数损失11.2 至 27.2 个百分点（pp）。最大模型（XLM-R Large）下降了27.2 pp。
不对称性： 后向迁移表现出更强的鲁棒性。在复杂的全面入侵时期训练的模型，在战前测试数据上的表现往往优于其自身训练时期的表现（例如，XLM-R Base 在后向迁移时增益**+9.0 pp**）。这支持了**“累加语言”假设**：新的法律框架涵盖了旧的框架，但旧模型缺乏对新概念（如戒严令条款）的表示。

2. 法律领域预训练的悖论

与预期相反，法律领域预训练（Legal-XLM-R）并未比通用 XLM-R 提高绝对性能。

绝对性能： 在时期内任务中，Legal-XLM-R 模型的得分比通用模型低 7–9 pp。
时间鲁棒性： 法律模型表现出较少的前向退化（11–12 pp 对比 20–27 pp）以及更小的不对称性差距。然而，这种“鲁棒性”源于较低的基线判别能力；它们的表示对特定时期的依赖性较小，但也因此对任务的有效性较低。
方向性脆弱性： 与通用模型不同，法律模型在前向和后向两个方向上均出现退化，表明其表示对任何时间偏移都很脆弱。

3. 持续学习动态

时间顺序（前向）训练： 对于通用 XLM-R 模型，顺序微调（战前 $\to$ 全面入侵）消除了灾难性遗忘。战前知识得以保留或提升（+1.8 至 +6.2 pp），而全面入侵时期的性能提升了**+16.5 至 +19.0 pp**。由此产生的模型优于任何单一时期模型。
逆时间顺序训练： 该方向导致严重的灾难性遗忘（在全面入侵数据上损失 −12.2 至 −14.3 pp）。
法律模型： Legal-XLM-R 甚至在前向方向上也无法保留知识，在战前数据上损失了5.6 pp。

4. 跨管辖权迁移的局限性

在瑞士判决预测数据上预训练提高了所有时期的绝对性能（+3 至 +10 pp），但并未减少时间退化的幅度。前向退化差距几乎保持不变（20.3 pp 对比 21.3 pp），证实时间漂移是法律语言演变的固有属性，而非特定管辖权的产物。

5. 神经模型与经典基线的对比

神经模型（平均 F1 约 63–65%）的表现远低于 TF-IDF 基线（平均 F1 约 79.8%）。作者将此归因于分词器对乌克兰西里尔文本的生育力惩罚，SentencePiece 将法律术语分割为 3–5 个子词，从而在 512 个 token 的窗口内减少了有效上下文。

意义与主张

本文建立了法律 NLP 中首个神经时间鲁棒性基准。其主要贡献包括：

量化漂移： 证明时间漂移是比模型架构或领域预训练更关键的影响模型可靠性的因素。
机制洞察： 通过不对称迁移结果和持续学习轨迹，验证了“累加语言”假设。
缓解策略： 确定时间顺序持续学习是通用模型在适应新法律框架的同时保持历史知识的有效策略，而逆时间顺序训练则有害。
基准标准： 主张法律 NLP 基准必须在报告聚合性能的同时报告时间鲁棒性，以反映现实世界部署的风险。
资源发布： 提供一个包含 42.8 万份带时间标注判决的公开数据集，作为对 LEXTREME 的贡献。

作者得出结论，对于部署的法律 NLP 系统，定期基于近期数据进行时间顺序重训练至关重要，而对于需要高判别力的特定管辖权任务，依赖法律领域预训练可能是适得其反的。