🤖 AI

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

本文介绍了 TIDE，这是一个用于评估大语言模型在随时间演进的文档理解方面表现的新型专家验证基准，揭示了当前模型在版本解析方面存在显著困难，并且往往优先考虑自信的参数化知识而非具有权威性的、特定时间的文本。

原作者： Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图为一个游戏寻找正确的规则，但那本规则书是一个每天都在变化的生命体。在人工智能的世界里，处理知识通常有两种主要方式。第一种就像一本巨大的百科全书：如果一个事实发生了变化，旧的事实会被直接抹去并被新的取代。如果你询问一个更名的国家首都，百科全书只会显示它的新名字。第二种方式则要复杂得多，它就像一叠法律合同或是一款带有补丁的游戏。在这里，旧规则不会消失；它对于其生效期间仍然是完全正确的，而新规则会在稍后接管。如果你问：“2015年的限速是多少？”你需要的是2015年的规则，而不是2025年的。如果计算机搞错了这一点，这不仅仅是一个愚蠢的错误；这可能意味着告诉某人缴纳错误的税款，或者遵循早已被取消的医疗指南。这就是“版本解析”（version resolution）的挑战：弄清楚在特定日期究竟是哪个版本的规则在掌权。

一组研究人员构建了一个名为 TIDE（演变文档中的时序信息漂移）的新测试，旨在观察当今最智能的 AI 计算机是否能处理这种复杂的“时空旅行”逻辑。他们并没有凭空捏造问题，而是挖掘了来自孟加拉国政府的 644 份真实官方文件，涵盖了从 1969 年到 2025 年的海关法、税法和法规。这些文件非常杂乱，混合了英语和孟加拉语，并且包含一个由修正案交织而成的网络——其中一个规则取消了另一个，而后者又被第三个规则取消。研究人员基于这些文件创建了 3,050 个问题，要求 AI 扮演一名“时空旅行律师”。他们测试了九种目前最强大的 AI 模型，并为它们提供了三种寻找答案的方式：仅依靠训练期间记忆的内容（类似于闭卷考试）、阅读提供给它们的准确文档，或者搜索数据库以找到正确的页面。

结果令人警醒。即使是最好的 AI 模型，在被给予了完美的参考文档时，也仅能答对约 68.5% 的问题。这意味着，即使答案就在它们的“眼前”，它们仍然在超过三分之一的情况下出错。研究发现，当这些模型明确知道该去哪里寻找文本时，它们在定位正确文本方面表现得相当出色，但在意识到自己正在阅读的文本实际上是针对特定日期“错误版本”时，表现却很糟糕。例如，如果你给 AI 一份写着“税率为 10%”的文件，但问题询问的是税率为 5% 时期的情形，AI 往往会自信地忽略该文档，转而坚持其记忆或错误的文本。事实上，当研究人员尝试用一个自信但错误的陈述来误导 AI 时，这些模型非常擅长察觉到问题所在（检测错误的成功率约为 79%），但它们在精准指出究竟“哪里错了”方面却表现得很差（识别特定错误的成功率仅为 19% 左右）。这意味着它们经常能感觉到问题，却会自信地归咎于错误的细节。

论文指出，仅仅给 AI 更多的阅读文本或更好的搜索工具并不能解决这个问题。这些模型在处理需要拼凑时间线（例如按顺序排列事件，或计算“三年后”规则是什么）的任务时最为吃力。它们倾向于假设规则只会变得更加严格或向一个方向改变，却忽略了法律经常会被废除或恢复到旧版本这一事实。虽然研究人员展示了拥有正确的文档会有所帮助，但这并不能保证成功。研究结论认为，“版本解析”仍然是 AI 面临的一个重大且尚未解决的障碍。在这些模型能够真正理解法律文档中的时间流逝之前，将它们信任于税务申报或海关清关等现实任务中可能存在风险，因为在这些领域，弄错日期可能会导致严重的财务或法律麻烦。

技术摘要：TIDE —— 针对随时间演进的文档进行大语言模型基准测试

1. 问题定义：版本解析的挑战

当前的语言大模型（LLMs）在处理演进型文档（如法律、税法和软件文档）时面临困难，这些文档中的规则会随着时间的推移被修订、替换或撤销。与百科全书式知识（例如维基百科，其中旧事实仅是被简单覆盖）不同，演进型文档保持着持久的历史记录：早期的版本在其特定的有效期限内仍然具有法律效力，而新的修正案则会明确说明其替换了什么以及何时生效。

识别的核心挑战在于版本解析（version resolution）：即能够识别在查询日期时哪一个特定版本的规则正在生效。现有的时序问答基准测试（如 TempReason、MenatQA、evolveQA）仅将时间视为一种标注，或者是在测试闭卷知识上的过时数值。它们未能测试识别哪个修正案在特定日期管辖的关键能力，尤其是当源文本本身就包含了关于替换和撤销的逻辑时。此外，现有基准测试通常缺乏现实世界监管文档的复杂性，这些文档通常是代码混合（code-mixed）、布局异构且使用双历制系统的。

2. 方法论：TIDE 基准测试

为了填补这些空白，作者引入了 TIDE（Temporal Information Drift in Evolving Documents，演进文档中的时序信息漂移），这是一个经过专家验证的基准测试，旨在评估 LLM 在处理真实的、演进中的法律文本时的版本解析能力。

2.1 数据来源与构建

语料库： 该基准测试基于孟加拉国政府在 1969 年至 2025 年间发布的 644 份官方海关文书。这包括 3 部议会法案、20 份通用命令（GOs）、609 份法定监管命令（SROs）和 12 条规则。
复杂性： 这些文档具有深度代码混合特征（孟加拉语–英语），包含嵌入的税率表，且 97% 的文档同时使用孟加拉历和公历标注日期。
解析流水线：
1. 提取： 使用通用模式提取条款、层级、表格和元数据，在不丢失文本的情况下保留原始的混合脚本结构。
2. 实体-概念提取： 利用 LLM 提取规范的“实体-概念”对（例如，“海关关税”及其变化率），以实现跨文档的命名归一化。
3. 线程构建： 将实体进行聚类并链接为演进的概念线程。一个线程代表一个监管主题，表现为按时间排序的文书列表及其设定的数值，明确捕捉了修订、废止和还原的过程。
4. 问答生成： 基于这些线程生成问题，确保每个问题都植根于规则的历史演变，而非单一的时间快照。

2.2 任务类型

TIDE 包含 3,050 个问答对，涵盖八种不同的任务类型，用以隔离不同方面的时序推理能力：

时序选择题 (Temporal MCQ)： 在词法接近的干扰项中识别正确的文书/日期。
事件排序 (Event Sorting)： 在没有显式日期的情况下，重建被打乱事件的先后顺序。
扰动检测 (Perturbation Detection)： 验证陈述是否准确，并纠正被修改的具体字段。
场景简答 (Scenario Short Answer)： 在没有直接条款引用的情况下，从现实场景中提取数值。
时序场景简答 (Temporal Scenario Short Answer)： 对多个文书进行推理，以找到在特定日期生效的数值。
相对时间问答 (Relative-Time QA)： 从锚点和偏移量计算目标日期（例如，“三年后”），以找到管辖规则。
开放式问题 (Open-Ended)： 解释政策变化背后的逻辑。
上下文失配 (Context Misalignment)： 当提示词包含一个误导性的、已被取代的前言时，确定正确答案。

2.3 评估协议

作者在三种知识获取设置下评估了 9 个最新的 LLM（6 个开源模型，3 个闭源模型）：

参数化（闭卷/Parametric）： 模型仅根据内部记忆进行回答。
黄金上下文（ICL/Gold-Context）： 为模型提供用于生成问题的精确黄金文档。
检索增强（RAG）： 模型接收来自语义搜索索引的前 10 条检索到的条款。

评分机制：
采用了一种独特的 “LLM 作为委员会”（LLM-as-a-Council） 方法，使用三个异构的评审员（Claude Opus 4.6, Gemini 3.5 Flash, GPT-5.1）。至关重要的是，评分包含一个硬性日期门槛（hard date gate）：即使含义正确，如果日期错误，该答案也将获得零分。这区分了“正确的含义”与“正确的时刻”。

3. 关键结果

对 9 个模型的评估表明，版本解析仍是一个悬而未决的问题，最佳的宏平均准确率仅为 68.5%（ICL 设置下的 GPT-5）。

知识获取方式至关重要： 性能表现出从参数化 $\to$ RAG $\to$ ICL 持续提升的趋势。然而，即使拥有黄金上下文，模型也无法达到完美准确度，这表明阅读正确的文本是必要的，但并不充分。
版本解析差距： 模型在“寻找正确版本”方面表现较好，但在“拒绝错误版本”方面表现较差。
- 上下文失配： 这是最难的任务。任何模型在任何设置下取得的最佳得分仅为 27.62%（ICL 下的 Kimi），而其他模型和设置的表现显著更低。模型倾向于遵循一个自信但错误的假设，而非所提供的权威文本。
- 相对时间问答： 严格意义上的准确度普遍较低。最高的参数化得分是 12.37%（GPT-OSS），而 GPT-5 为 11.08%，Claude 为 3.77%。在 ICL 下，Claude 以 68.03% 领先，但该任务对大多数模型来说依然困难。
- 事件排序： 性能在 RAG 中崩溃（从 ICL 中的 ~66% 降至 ~31%），因为语义检索往往会遗漏重建顺序所需的全部时间线片段。
检测 vs. 识别： 在扰动检测中，模型擅长标记出陈述错误（高检测率），但在没有接地（grounding）的情况下，难以识别具体修改了什么（低识别率）。接地显著提高了识别能力。
模型行为：
- 参数化阶段： 模型经常拒绝回答或产生日期幻觉。
- 接地阶段： 模型经常产生与所提供文本相矛盾的日期幻觉，或者无法解决误导性上下文与源文本之间的冲突。
- 任务难度： 任务类型比模型身份更能预测性能。简单的识别任务（时序选择题）较为容易，而需要多文档推理的任务（事件排序、上下文失配）则极其困难。

4. 贡献

形式化演进型文档： 本文形式化了版本解析的挑战，将其与简单的事实更新区分开来。
TIDE 基准测试： 发布了一个高质量、经专家验证的基准测试，包含 3,050 个问答对，涵盖 644 份真实的、代码混合的法律文书。
统一评估协议： 提出了一种新颖的协议，通过参数化、黄金上下文和检索三种设置进行评估，并采用严格的日期门槛评分机制。
实证洞察： 研究表明，即使拥有源文本访问权限，当前的 LLM 也无法可靠地解析版本，往往会信任自信的错误前提。

5. 意义与局限性

意义：
本文认为，版本解析不能仅靠检索或长上下文访问来解决。在处理版本敏感型任务时的持续失败，凸显了 LLM 在法律、税务和合规等高风险领域的能力缺口。该基准测试为开发能够可靠处理演进型文档的模型奠定了基础，实现了将“阅读文本的能力”与“解析时序冲突的能力”相分离。

局限性：

领域特定性： 该基准测试目前局限于孟加拉国海关法以及特定的语言对和历制。
冻结模型： 评估是通过提示词对冻结模型进行的；它并未阐明微调或持续预训练是否能解决这些问题。
检索基准： RAG 结果使用的是标准的语义检索器，没有进行时序重排序，因此 RAG 的得分代表了性能的下限。
参数化不确定性： 参数化得分依赖于对训练数据截止日期的不可验证假设。
时序漂移： 由于语料库设定至 2025 年，该基准测试需要定期更新以保持时效性。

作者总结道，虽然阅读正确的文本是前提条件，但识别正在生效的版本并拒绝被取代的信息仍然是当前 LLM 面临的一个重大且尚未解决的挑战。