Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

技术摘要：诊断与缓解基于大语言模型的法定问答中的时间性失效模式

问题陈述
大型语言模型（LLM）正日益被应用于法律研究，但其静态训练数据和固定的知识截止日期与成文法不断演变的本质之间存在根本性的错位。本文识别了法定问答（QA）中两种具体的时间性失效模式：

1. 截止日期后陈旧性（Post-Cutoff Staleness）： 模型将已被取代的法律规则应用于立法修正案发生后的事实情形，依赖过时的参数化知识。
2. 近期偏差（Recency Bias）： 即使事实情形明确要求适用历史上已被取代的法律版本，模型仍错误地优先选择较新的法律条款。

作者指出，尽管法律专业人士对 AI 研究的依赖日益增加（2024 年至 2025 年间使用率从 14% 上升至 26%），但这些工具往往缺乏对其时间鲁棒性局限的认知。与一般知识不同，法律正确性严格取决于条款的具体版本及其时间适用性。

方法论
为了诊断并缓解这些问题，作者构建了一个新颖的基准测试，并在四种推理设置下评估了五个大语言模型。

• 数据集构建： 作者创建了一个包含 312 个经专家验证的、具有时间敏感性的德国成文法问答对的数据集。该数据使用源自 buzer.de 的六部德国成文法（BGB、StPO、AO、EStG、BauGB、HGB）的历史合并版本合成生成。数据集分为三类：
  • 截止日期后修正案问题（115 项）： 旨在通过呈现模型训练截止日期之后的事实日期来测试陈旧性，要求模型掌握截止日期后发生的立法变更知识。
  • 修正案前问题（113 项）： 事实日期落在修正案之前，要求模型适用旧版法律，尽管其上下文或训练中可能存在更新的版本。
  • 多条款修正案前问题（84 项）： 复杂的场景，需要综合多个条款，其中至少有一个条款必须以其历史版本适用。
• 评估模型：
  • 截止日期后任务： ChatGPT-5.1 和 Claude Sonnet 3.7（知识截止日期早于评估日期）。
  • 修正案前任务： ChatGPT-5.2、Claude Opus 4.5 和 DeepSeek v3.2（实验当时的最先进模型）。
• 推理设置：
  • 原生（Vanilla）： 仅依赖内部参数化知识。
  • 网络搜索（Web Search）： 模型使用原生或外部网络搜索工具检索当前信息。
  • RAG-kNN： 基于文本嵌入的 k 近邻搜索进行检索增强生成，并通过提取的“截至（as-of）”日期进行过滤，以确保仅检索有效的条款版本。
  • RAG-ToC： 一种检索策略，利用成文法的目录选择相关条款，随后执行与 RAG-kNN 相同的时间过滤和检索。
• 评估： 采用“作为裁判的 LLM"（Gemini 3 Flash Preview），经人类专家评分验证，根据四项标准对答案进行评分：结果正确性、法律推理正确性、法律依据正确性以及版本适用正确性。

主要结果

• 原生模型严重陈旧： 在截止日期后任务中，原生模型表现出严重的性能退化。例如，Claude Sonnet 3.1 的结果正确性得分低至 24.35%，法律推理正确性降至 0%。模型自信地适用已被取代的条款，而非表明不确定性。
• 时间性 RAG 的有效性： RAG-kNN 和 RAG-ToC 在所有问题类型中均显著提高了性能。在截止日期后场景中，RAG 方法的结果正确性得分介于 78% 至 94% 之间，显著优于原生模型和网络搜索基线。两种 RAG 变体在性能上无统计学显著差异，表明时间过滤是关键因素，而非检索机制（嵌入与目录）。
• 网络搜索的不稳定性： 虽然网络搜索在某些情况下比原生模型提高了性能，但其收益不稳定，并表现出显著的近期偏差。在基于历史锚定的任务中，启用网络搜索的模型在近期问题上的表现明显优于旧问题，即使需要历史版本，也往往检索到现行法规。
• 多条款复杂性： 与单条款任务相比，多条款问题的性能普遍略有下降，特别是在原生和网络设置中。然而，RAG 方法保持了稳健性，表明一旦提供正确的时间上下文，当前的 LLM 仍能有效综合多个条款。
• 近期偏差： 仅在网络搜索条件下观察到基于问题年龄的显著性能差异，这表明此背景下的近期偏差是由检索管道偏好“新鲜”内容所驱动的，而非模型固有的参数偏差。

意义与主张
本文主张，可靠的法定问答需要将时间有效性视为硬性约束。作者认为：

1. 静态训练不足： 静态模型参数与动态成文法之间的错位构成了法律 AI 的关键失效点，当模型自信地适用过时法律时，会带来重大的责任风险。
2. 带时间过滤的 RAG 是解决方案： 仅检索“相关”的语义匹配是不够的。系统必须根据法律事实情形的“截至（as-of）”日期显式过滤检索空间，以确保模型在正确的法律框架内进行推理。
3. 网络搜索并非万能药： 通用网络搜索工具容易受到近期偏差的影响，无法可靠地替代经过策划的、带版本控制的成文法数据库以应对时间敏感的法律任务。

该研究填补了现有基准测试的空白（这些测试往往缺乏对大陆法系的关注，或未能测试截止日期后的陈旧性），并提供了实证证据，表明虽然检索可以缓解数据陈旧问题，但 LLM 在复杂的多条款历史综合方面的推理能力仍面临适度的上限。作者总结认为，未来的研究应探讨这些发现如何推广至普通法管辖区，并进一步调查近期偏差的机制。