💬 NLP

Benchmarking Real-Time Question Answering via Executable Code Workflows

该论文提出了 RT-QA 框架，通过可执行代码工作流构建动态评估体系以解决现有基准缺乏实时性的问题，并揭示了当前先进模型在实时问答中因“懒检索”和“时间混淆”导致准确率仅达 46% 的显著局限。

原作者： Wenjie Zhou, Yuan Gao, Xin Zhou, Hao Fu, Zhongjian Miao, Wei Chen, Bo Chen, Xiaobing Zhao

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenjie Zhou, Yuan Gao, Xin Zhou, Hao Fu, Zhongjian Miao, Wei Chen, Bo Chen, Xiaobing Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 RT-QA 的新工具，它就像是一个专门用来“考考”人工智能（AI）能不能实时获取最新信息的“突击考试”。

为了让你更容易理解，我们可以把这篇论文的核心内容想象成一场**“侦探大比拼”**。

1. 为什么要搞这个考试？（旧方法的缺陷）

想象一下，以前的 AI 考试就像是在图书馆里考历史题。

旧模式（静态题库）： 考官拿出一张写着“谁写了《哈姆雷特》？”的试卷。AI 只要从它脑子里的“图书馆”（训练数据）里调取知识就能回答。这没问题，因为莎士比亚几百年前就去世了，答案不会变。
现实问题： 但现在的 AI 被要求做更复杂的事，比如“昨天人民日报的头版头条是什么？”或者“过去 7 天 arXiv 上有多少篇计算机论文？”。
旧模式的死穴： 如果还是用旧题库，AI 可能会直接背答案（如果它以前背过），或者因为答案已经变了（比如昨天的头条今天就不一样了）而给出错误答案。这就好比让侦探去查“昨天的天气”，但他手里只有一本 2020 年的旧日历，这肯定不行。

2. RT-QA 是怎么设计的？（核心创新：可执行代码工作流）

为了解决这个问题，作者们发明了一套**“动态生成答案”**的机制。

以前的答案： 像是一个封存在玻璃瓶里的标本。一旦放进去，就永远不动了。
RT-QA 的答案： 像是一个活的机器人程序（代码工作流）。
- 在这个考试里，每一道题旁边都不直接写答案，而是写了一段**“寻宝指令”**（Python 代码）。
- 指令内容： “现在立刻打开国家大剧院的网站，找到明天的演出列表，把名字抄下来。”
- 考试过程： 当 AI 来答题时，系统会实时运行这段代码。代码会像一个小侦探一样，此时此刻去网上爬取最新信息，生成“标准答案”。
- 比喻： 这就像不是给你一张写好的“明天天气”的纸条，而是给你一把雨伞和雨衣，让你现在出门去感受一下，然后告诉你答案。

3. 考试有多难？（三个难度等级）

这套考试把问题分成了三个等级，就像打怪升级：

Level 1 (直接问)： “北京过去 3 天的平均气温是多少？”
- 难度： 直接去查天气网站。
Level 2 (绕个弯)： "2025 年那个创业峰会的主办城市，过去 3 天的平均气温是多少？”
- 难度： AI 得先查“峰会在哪开”（查历史），再查“那个城市现在的天气”（查实时）。
- 陷阱： 这里有个大坑叫**“时间混淆”**。AI 容易查到"2025 年”这个旧日期，然后傻乎乎地以为“现在”就是 2025 年，结果去查 2025 年的天气，而不是 2026 年（当前时间）的天气。
Level 3 (超级绕)： “某个以‘创新’为主题的峰会，其主办城市里，那个在 2025 年 10 月 28 日发生过某件事的城市，过去 3 天天气如何？”
- 难度： 需要查好几层关系，还要在脑子里把“过去的日期”和“现在的日期”分得清清楚楚。

4. 考试结果如何？（AI 的表现）

作者找了市面上最厉害的 8 个 AI 模型（包括 GPT-5.2, GLM-4.7 等）来参加考试。结果让人大跌眼镜：

成绩很差： 即使是最好的 AI，平均正确率也只有 46% 左右。也就是说，做 10 道题，有一半以上会做错。
主要死因（两个大毛病）：
1. 偷懒（Lazy Retrieval）： 占比 20%。AI 就像个**“只读标题党”**。它搜了一下，看到搜索引擎给出的“摘要”或“小标题”，觉得够了，就直接回答，根本不去点进真正的网页看详细内容。就像侦探只看了案发现场的围栏，没进去看尸体。
2. 时间错乱（Temporal Confusion）： 占比 20%。这是最搞笑的。AI 在中间步骤查到了"2025 年”这个旧日期，然后脑子卡住了，把"2025 年”当成了“今天”。它忘了自己是在 2026 年回答问题。就像侦探查到了嫌疑人 2025 年去过北京，然后他就以为嫌疑人现在还在北京，完全忘了嫌疑人可能早就走了。

5. 论文想告诉我们什么？（结论）

这篇论文告诉我们：

光有“搜索工具”不够： 现在的 AI 虽然能联网，但它们不会“深度搜索”（懒得点进去看），也不会“管理时间”（容易搞混过去和现在）。
未来的方向： 我们需要教 AI 像真正的侦探一样：
1. 不偷懒： 必须深入网页内部，而不是只看摘要。
2. 记性好： 必须时刻提醒自己“现在是几点”，把查到的旧日期和当前时间严格区分开。

总结一句话：
RT-QA 就像给 AI 戴上了**“实时眼镜”和“时间锚点”，发现它们虽然聪明，但在处理“此时此刻”的新鲜事时，还像个拿着旧地图找新路的迷路游客**。这篇论文就是为了解决这个迷路问题，让 AI 真正变成能随时处理现实世界变化的“全能助手”。

这是一篇关于实时问答（Real-Time QA）评估框架的学术论文技术总结。该论文由理想汽车（Li Auto Inc.）和中央民族大学的团队共同完成，提出了名为 RT-QA 的动态基准测试框架，旨在解决现有大模型（LLM）在实时信息检索和推理方面的评估缺失问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

现有局限：当前的问答基准（如 SQuAD, Natural Questions 等）主要基于静态数据。这导致两个核心问题：
1. 数据泄露（Data Leakage）：模型可能直接利用训练记忆中的知识作答，而非进行实时搜索。
2. 知识过时（Knowledge Obsolescence）：静态答案无法反映现实世界中不断变化的事实（如股价、天气、新闻）。
现有动态基准的不足：虽然已有部分定期更新的基准（如 StreamingQA），但它们通常依赖预定义的 API 或结构化数据源（如 Wikidata），且更新存在延迟。对于没有直接 API 的开放网页（Open Web）高频信息，缺乏有效的评估手段。
核心挑战：如何构建一个能够在评估时刻动态生成标准答案（Ground Truth），并能适应网页结构变化的实时问答评估体系。

2. 方法论 (Methodology)

论文提出了 RT-QA 框架，其核心创新在于从“静态答案”范式转向"可执行代码工作流（Executable Code Workflows）"范式。

2.1 核心架构：RT Agent 与代码工作流

问题定义：测试项不再是 (问题，答案)，而是 (问题 $q_\tau$ , 可执行工作流 $w_\tau$ )。
- $q_\tau$ ：包含相对时间约束的自然语言问题（如“昨天”、“过去 7 天”）。
- $w_\tau$ ：一段 Python 代码，用于在评估时刻访问目标网站、解析 DOM 元素并提取答案。
答案生成机制：
$a_t = \text{Exec}(w_\tau, t)$
即在评估时间 $t$ ，执行代码 $w_\tau$ ，动态生成该时刻的标准答案。这消除了时间延迟，确保了答案的实时性。
自动化构建流程 (Agent-in-the-Loop)：
1. 准备阶段：收集 12 个领域的权威网站，定义工具集（如 Check_html_content, Code_interpreter）。
2. Agent 生成：利用 LLM（如 Claude 4.5）作为 RT Agent，自动分析网页 DOM，生成并迭代调试 Python 爬虫代码，以提取特定信息。
3. 自我修复 (Self-Repair)：当网页结构变更导致代码失效时，修复 Agent 会重新分析 DOM 并自动修补代码，确保基准的长期可用性。
4. 难度分级：
  - L1 (0-Hop)：直接检索（如“北京过去 3 天平均气温”）。
  - L2 (1-Hop)：需先识别实体再检索（如"2025 年 HICOOL 峰会举办地的过去 3 天平均气温”）。
  - L3 (2-Hop+)：多跳推理（如“主题为‘构建全球创新生态’的 2025 年峰会举办地..."）。

2.2 评估设置

数据集：涵盖金融、体育、政策等 12 个领域，共 320 道中文问题。
评估模型：测试了 8 个 SOTA 模型（包括 GPT-5.2, Claude-4.5, GLM-4.7, DeepSeek-V3.2 等）。
评估方式：使用 LLM-as-a-Judge（GPT-5.2）对比模型回答与动态生成的标准答案的语义一致性。

3. 主要实验结果 (Results)

整体表现低迷：即使是最好的模型，在实时任务中的平均准确率也仅为 ~46%，远低于其在静态任务上的表现。大多数开源模型准确率低于 40%。
表现波动性：模型性能在不同日期间波动剧烈（例如 DeepSeek-V3.2 在 24 小时内波动超过 11%），这主要归因于搜索结果的随机性。
反直觉的难度曲线：
- 预期：L1 > L2 > L3。
- 实际：L2 表现最差，L3 反而有所回升。
- 原因：L2 任务容易引发“时间混淆”，而 L3 任务的复杂性迫使模型进行更严谨的规划，从而避免了简单的错误。

4. 关键发现与失败模式分析 (Key Findings & Failure Modes)

通过对 7000+ 条推理轨迹的分析，论文识别出两大主要失败模式：

懒惰检索 (Lazy Retrieval, 20% 错误)：
- 现象：Agent 仅依赖搜索引擎的摘要片段（Snippets）作答，未真正访问权威网页进行深度扫描。
- 后果：一旦摘要信息不全或错误，模型直接给出错误答案。
时间混淆 (Temporal Confusion, 20% 错误)：
- 现象：这是 L2 任务失败的主要原因。Agent 在推理过程中检索到一个历史日期（如"2025 年 10 月”），随后**错误地将该历史日期作为“当前时间”**用于后续推理，而未能重新锚定到评估时刻（如"2026 年 1 月”）。
- 验证：通过在 Prompt 中注入严格的“时间锚点（Time Anchor）”指令，L2 的准确率显著提升（从 33% 升至 40.4%），甚至超过了 L3，证明了这是认知规划问题而非任务难度问题。

其他失败模式包括：源质量差（10%）、扫描不完整（15%）、解析失败（10%）、幻觉（15%）和逻辑错误（10%）。

5. 贡献与意义 (Contributions & Significance)

首个动态基准：提出了 RT-QA，这是首个利用可执行代码工作流动态生成 Ground Truth 的基准，解决了实时信息评估的延迟和过时问题。
自动化基础设施：开发了 RT Agent 框架，实现了从网页分析到代码生成、自我修复的全自动化流程，降低了构建实时基准的门槛。
揭示核心瓶颈：
- 指出当前 Agent 的瓶颈不在于检索工具本身，而在于检索深度（需克服懒惰检索）和时间状态管理（需克服时间混淆）。
- 证明了复杂的任务规划（L3）有时能强制模型进行更严谨的时间管理，而中等难度任务（L2）反而容易诱发认知陷阱。
未来方向：呼吁未来的 Agent 设计不仅要增强搜索能力，更要强化时间状态管理（Temporal State Management）和主动验证机制，从简单的“搜索者”进化为“主动调查员”。

总结

RT-QA 论文通过引入“代码即答案”的动态评估范式，揭示了当前大模型在处理实时、高频变化信息时的显著短板。其核心发现表明，时间感知的缺失和浅层检索是阻碍 Agent 成为真正实时助手的关键障碍，为未来 Agent 系统的优化提供了明确的方向。