🤖 AI

Agentic Time Machine as an Infrastructure for Future-Event Forecasting

本文介绍了 Agentic Time Machine，这是一个通过重建历史网络状态来为预测智能体提供高效且真实的评估的基础设施，以及一个在回顾性基准测试和实时 FutureX 排行榜上均达到最先进性能的多智能体框架。

原作者： Jingyi Chai, Bingyang Zheng, Xiangrui Liu, Hao Lu, Zihang Zhou, Tianchen Wang, Kemeng Zhang, Siheng Chen

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingyi Chai, Bingyang Zheng, Xiangrui Liu, Hao Lu, Zihang Zhou, Tianchen Wang, Kemeng Zhang, Siheng Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测下周六的一场足球比赛的胜负。你有一个超级聪明的 AI 助手（大语言模型）来帮助你。但有一个限制：如果你今天询问 AI，它可能会不小心瞥见某个已经发布了最终比分的体育网站，因为互联网永不遗忘。

为了解决这个问题并让你的 AI 成为更好的预测者，这篇论文介绍了两个核心概念：时光机和专家团队。

1. 问题所在：“剧透”互联网

目前，测试一个 AI 预测未来的能力，就像是在玩一个规则书坏掉的“老师说”游戏。

“直播”模式： 你等待真实事件发生，然后再询问 AI。这很公平，但需要数周或数月才能得到结果。这就像是在电影看完之后才去写影评。
“冻结”模式： 你使用旧的、静态的数据。这很快，但 AI 无法浏览实时网络，所以这并不是一个真实的测试。
“泄露”问题： 如果你试图在今天利用“实时”网络来测试 AI 对过去事件的预测，AI 会作弊。它会在昨天的文章中找到答案，比如：“A 队以 2-1 获胜”。这时，测试不再是关于预测，而仅仅是关于寻找答案。

2. 解决方案：代理型时光机 (Agentic Time Machine)

作者构建了一个数字时光机。把它想象成一个非常严格的图书管理员，守护着 AI 对互联网的访问权限。

运作方式： 当 AI 询问关于 1 月 17 日发生的事件时，时光机会拦截每一个搜索结果。
过滤器： 这个“图书管理员”（AI 过滤器）会阅读每一个搜索结果，并提出两个问题：
1. 这个页面是否直接给出了答案？（例如：“科文特里以 2-1 获胜”）。如果是，禁止访问！
2. 这个页面的日期是否晚于 1 月 17 日？（例如：1 月 19 日的赛后采访）。如果是，禁止访问！
结果： AI 看到的网络状态与 1 月 17 日完全一致。它必须根据比赛开始前可获得的线索来进行预测，就像真正的预报员一样。

这使得研究人员可以立即进行测试（快速反馈），同时避免 AI 通过阅读未来来作弊（高保真度）。

3. 策略：规划者-求解者-聚合器团队

在拥有了公平的测试场之后，他们需要一种更好的方式让 AI 进行思考。他们没有让一个 AI 完成所有工作，而是创建了一个三人团队：

规划者（教练）： 这个 AI 观察问题（例如：“这部电影会获得奥斯卡奖吗？”）并将其拆解。它会说：“好吧，让我们从三个角度来看：1. 影评人怎么说？2. 票房数据如何？3. 宣传预算是多少？”然后将这些任务分配给不同的队友。
求解者（侦察兵）： 这是三个独立的 AI 代理。每个人的任务是专门收集针对其特定角度的证据。一个看评论，一个看资金，一个看新闻。他们并行工作，就像向不同方向奔跑的侦察兵一样。
聚合器（将军）： 这个 AI 收集所有侦察兵的报告。它会寻找矛盾之处。如果侦察兵 A 说“是”，而侦察兵 B 说“否”，将军会深入挖掘以确定谁才是正确的。它将所有证据整合为一个最终的、有理有据的预测。

4. 结果：奏效了吗？

论文声称这个系统取得了巨大的成功：

在测试中： 当他们使用“时光机”在过去事件上测试该系统时，它的得分高于其他任何方法，包括那些仅仅通过询问相同问题五次并进行投票的系统。
在现实世界中： 他们将该系统投入到一项名为 FutureX 的实时预测竞赛中。
- 他们在 5 月的第一周排名第一。
- 他们连续八周稳居总排行榜第一之位（截至 2026 年 6 月 17 日）。
关联性： 论文证明，如果一个 AI 在他们的“时光机”测试中表现出色，那么它在现实的实时世界中也会表现出色。这意味着研究人员现在可以快速测试新想法，而无需等待数月的现实世界结果。

总结类比

想象你在尝试猜猜一场赛马的赢家。

传统方式： 你问一个聪明的朋友，但他正站在终点线旁边读着结果。他告诉了你赢家，但他并不是在预测；他只是在阅读。
时光机： 你把你的朋友关进一个隔音室，里面有一台电视，画面被冻结在比赛开始前的时刻。他看不见终点线。
团队： 你不仅仅有一个朋友，你有一个教练，他指挥三个不同的朋友分别观察马的腿部、骑师以及天气。他们都写下了报告，然后第四个朋友（将军）阅读所有的报告，做出最终决定。

论文表明，这种“时光机”设置创造了一种公平、快速且准确的方式，来训练和测试 AI 代理，使其成为更好的未来预测者。

技术摘要：作为未来事件预测基础设施的智能体时间机器（Agentic Time Machine）

1. 问题陈述

预测现实世界的未来事件（例如选举结果、货币政策决策、金融市场波动）对大语言模型（LLM）智能体提出了独特的挑战。与标准的信息检索任务不同，在预测时，“正确”答案并不存在于任何在线来源中。智能体必须综合噪声数据、考虑不确定性，并在无法获取已解决的地面真值（ground truth）的情况下，对潜在结果进行推理。

当前的评估范式面临着效率与环境保真度之间的根本权衡：

实时基准测试（Live Benchmarks）： 如 FutureX、Prophet Arena 和 ForecastBench 等系统提供了动态的网络访问和开放式的工具使用能力。然而，它们存在固有的反馈循环缓慢的问题，研究人员需要等待数天甚至数周，直到现实世界的事件得到解决后才能进行评分。
回顾性/冻结基准测试（Retrospective/Frozen Benchmarks）： 为了加速开发，一些方法通过使用静态的、预先冻结的数据库或闭卷推理来重放历史问题。虽然这些方法提供了快速反馈，但由于限制了智能体仅能使用有限的非动态数据源，从而牺牲了环境的真实性，无法模拟实际部署中所要求的开放式网络交互。此外，朴素的回顾性评估容易受到**答案泄露（answer leakage）**的影响，即更新后的网页片段或页面可能会无意中透露出已解决的结果。

2. 方法论

本文提出了两个核心组件来应对这些挑战：一种新的评估基础设施和一个多智能体预测框架。

2.1. 智能体时间机器 (Agentic Time Machine, TM)

智能体时间机器是一种基于 LLM 的评估基础设施，旨在实现快速、可复现的本地预测任务重放，同时防止答案泄露。

机制： TM 位于预测智能体与实时网络工具（搜索和页面抓取）之间。它采用一个 基于 LLM 的泄露过滤器 ( $\phi$ )，在工具输出到达智能体之前对其进行处理。
过滤逻辑： 过滤器根据两个标准评估每个检索到的条目（片段或页面内容）：
1. 直接答案泄露： 内容是否明确陈述或强烈暗示了地面真值答案 ( $a^\star$ )？
2. 日期后信息泄露： 内容是否包含晚于问题截止时间 ( $t$ ) 的时间信号（发布日期、更新时间戳、事件日期）？
LLM 过滤的合理性： 简单的基于规则的日期过滤是不够的，因为网络内容往往会在稳定的 URL 上演变（例如，历史股价页面的 URL 日期可能很旧，但其数据表格每天都在更新）。LLM 过滤器通过检查实际内容，来区分截止时间前的背景信息与截止时间后的揭示性信息。
结果： TM 模拟了时间 $t$ 时刻的网络状态，使得智能体能够在无需接触已解决答案的情况下，与一个动态且开放式的网络环境进行交互。

2.2. 规划者-求解者-聚合者 (Planner-Solver-Aggregator) 多智能体框架

为了提高预测性能，作者提出了一个多智能体系统，该系统通过分解推理过程来提升性能，而无需在单一智能体基线之外进行额外的训练或工具开发。

规划者 (Planner)： 分析预测问题，执行探索性搜索，并将问题分解为 2–4 个不同的分析维度（例如：历史基率、因果驱动因素、市场风险、竞选强度）。它生成一个 JSON 计划，定义每个求解者的角色和搜索重点。
求解者 (Solvers)： 多个求解者智能体并行运行，每个智能体由规划者分配一个特定的维度。它们积极使用网络工具，沿着各自指定的路径收集证据，并生成基于证据而非先验知识的结构化 JSON 报告。
聚合者 (Aggregator)： 接收规划者的计划和所有求解者的报告。它识别一致点与冲突点，并在必要时进行额外的针对性搜索，最后合成一个最终的、有据可依的预测。
设计理念： 这种方法使系统能够实现证据收集过程本身的多元化，而不仅仅是多样化最终答案（如自一致性方法所做的那样）。它允许系统覆盖更多相关的证据切片，而不必强迫单个智能体去追求每一种可能的推理路径。

3. 核心贡献

智能体时间机器基础设施： 一种新型评估系统，能够模拟特定历史时刻的开放网络。它实现了快速、无泄露的本地任务重放，同时有效地阻断了截止时间后的内容及答案揭示信息，有效地弥合了实时真实性与离线效率之间的鸿沟。
规划者-求解者-聚合者框架： 一种零样本（zero-shot）多智能体架构，将复杂的预测任务分解为多样化的分析视角。它利用并行证据收集和协调步骤来产生单一预测，其表现优于标准的自一致性基线。
实证验证： 全面的证据表明：
- TM 有效减少了信息泄露，显著降低了在以往依赖直接检索答案的任务中的得分。
- 在 TM 下实现的离线得分与实时排行榜表现具有强相关性 ( $r=0.92$ )，验证了 TM 作为现实世界测试可靠代理的有效性。
- 所提出的多智能体框架在离线数据集和实时 FutureX 排行榜上均取得了最先进的性能（SOTA）。

4. 实验结果

4.1. 智能体时间机器的验证

泄露减少： 在针对五个不同 LLM 后端（包括 GPT-5.4、GLM-5 和 Kimi-K2.5）的 61 个问题子集（FutureX-Past）进行测试时，启用 TM 使得分降低了 25 到 37 分。这一降幅证实了之前的超高分是由来自实时网络的答案泄露所导致的。
难度敏感性： 得分下降在第 4 级（定量/开放式）问题上最为显著，因为在没有泄露的情况下，这类问题无法通过直接检索获得答案。第 1 级（少选项）问题的得分下降较小，因为模型仍可以依赖历史基准和排除策略。
与实时性能的相关性： 在 TM 下的离线得分与实时 FutureX 得分显示出极强的皮尔逊相关性 ( $r=0.92$ )，证实了 TM 能够忠实地模拟现实世界预测中的约束条件。

4.2. 多智能体框架的性能

离线基准测试 (FutureX-Past & Polymarket)：
- 在 FutureX-Past 上，该框架实现了 39.51 的加权得分，超过了最佳的自一致性基线 (SC@5, 36.81) 和最强的单智能体工具增强基线 (35.02)。
- 在 Polymarket（80 个多选项问题）上，该框架得分为 64.99，超越了 SC@5 (62.26) 和顶尖单智能体基线 (59.24)。
实时排行榜 (FutureX)：
- 该系统（列为 FutureGPTv1）参与了连续四个周期的每周轮次（2026 年 4 月 W3 至 5 月 W2）。
- 它分别取得了第 4、第 2、第 1 和第 6 名，其平均排名 (3.25) 在对比的公开系统（MiroFlow 和 H2O AI Super Agent）中表现最佳。
- 截至 2026 年 6 月 17 日，它以 4.61 的 Bradley-Terry 评分位居 FutureX 官方八周总排行榜 第 1 名。
效率： 该框架比自一致性基线更高效。在 Polymarket 上，虽然 SC@5 平均需要 81.0 轮工具调用调用以获得仅比 SC@3 高出 1.27 分的增益，但所提出的框架以 47.1 轮 就实现了更高的准确度，这表明角色分解比重复采样更有效。

5. 重要性与主张

论文声称，智能体时间机器为 LLM 预测领域提供了关键的基础设施。通过实现快速、无泄露的本地重放，它允许研究人员在无需承担等待现实世界事件解决的漫长等待成本的情况下，迭代优化智能体设计。TM 离线得分与实时排行榜表现之间的强相关性，验证了 TM 是评估真实不确定性下预测能力的可靠代理。

此外，规划者-求解者-聚合者框架表明，将复杂的预测问题分解为多样化的分析维度，并协调并行的证据流，比单纯的单智能体基线或简单的自一致性投票能产生更优的性能。作者强调，这些改进是在无需微调或额外工具的情况下实现的，这表明架构分解是推动基于智能体的预测技术进步的关键杠杆。

这项工作总结道，结合了无污染评估环境（TM）和结构化多智能体推理框架，代表了向稳健的、面向现实世界的未来事件预测智能体迈出的重要一步。