💬 NLP

FutureSim: Replaying World Events to Evaluate Adaptive Agents

该论文介绍了 FutureSim，这是一个按时间顺序重演现实世界事件的基准测试，用于评估 AI 智能体预测未来事件及在长时程中适应的能力，揭示了前沿模型之间存在显著的性能差距，并凸显了改进测试时适应、记忆和推理能力的必要性。

原作者： Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试预测未来三个月的天气。但这里有个关键限制：你不能只看天气预报应用。相反，你必须像一名侦探，仅掌握截至今天的信息，并随着新消息的到来，去推测明天、后天以及随后每一天将会发生什么。

这正是论文FutureSim所探讨的内容。它是一个全新的“训练场”（或基准测试），旨在评估 AI 智能体在实时适应变化世界方面的能力。

以下是用简单类比对论文核心思想的拆解：

1. 问题所在：“静态”世界与“鲜活”世界

大多数 AI 测试就像基于多年未变的教科书进行的期末考试。AI 学习课本，参加考试，然后获得成绩。但现实世界并非一本静态的教科书；它是一部持续播放的、鲜活生动的电影。

作者认为，要真正检验 AI 是否聪明，我们需要观察它能否在电影“播放过程中”观看，每天更新预测，并在出现新的剧情转折（新闻）时调整其信念。

2. 解决方案：FutureSim（“时间旅行”模拟器）

作者构建了一个名为FutureSim的模拟环境。你可以将其视为 AI 的“土拨鼠之日”循环，但不同之处在于，AI 并非重活同一天，而是经历一个特定的三个月时段（2026 年 1 月至 3 月），而这段时间位于 AI 训练数据截止期之后。

设定：AI 从“知识截止点”开始（就像一名在 2025 年底停止学习的学生）。
任务：AI 被要求预测现实世界事件（例如：“尼泊尔选举谁将获胜？”或“某支特定运动队会赢吗？”）。
机制：每天，模拟环境会“解锁”该历史日期的一批真实新闻文章。AI 可以搜索这些文章、阅读它们，然后更新其预测。
规则：AI 被严格禁止窥探未来。它只能看到截至特定那一天已知的信息。

3. 游戏：押注未来

在这个模拟中，AI 不仅仅是回答“是”或“否”。它表现得像一名职业赌徒或天气预报员。

它必须说：“我认为 X 发生的概率是 60%，Y 发生的概率是 30%，Z 发生的概率是 10%。”
评分（Brier 技能分数）：论文采用了一种特殊的评分系统。
- 如果你自信且正确，你会获得高分。
- 如果你自信但错误，你会获得负分（受到严厉惩罚）。
- 如果你不确定并说“我不知道”（弃权），你会获得中性分数。
- 类比：说“我不确定”比自信地把房子押在错误的马上要好得多。

4. 结果：谁赢得了游戏？

作者在此环境中测试了多个顶级 AI 模型（如 GPT-5.5、Claude Opus 等）。

获胜者：GPT-5.5 拔得头筹。它是唯一随着天数推移持续改进预测的模型，最终达到了约 25% 的准确率（对于预测未来事件而言，这令人印象深刻）。
失败者：许多其他模型的表现甚至不如完全拒绝猜测。它们对自己错误的猜测过于自信。
“ Harness（驾驭）”效应：论文发现，如何赋予 AI 工具至关重要。一些模型在默认设置下表现不佳，但当研究人员提供更好的“指令”以及管理记忆和搜索新闻的工具时，它们的表现显著提升。这就像给学生提供更好的学习指南；他们的表现会突然大幅提升。

5. 他们学到了什么？（“消融实验”）

研究人员拆解了游戏，以观察 AI 获胜究竟需要哪些技能：

记忆是关键：如果剥夺 AI 做笔记和记住昨天所学内容的能力，它的表现会大幅下降。它需要记住过去的线索来解决今天的谜题。
搜索至关重要：AI 需要每天主动寻找新信息。如果你冻结新闻，不让它看到新文章，它的预测就会停滞并出错。
深入思考有帮助：当研究人员让 AI 在回答前“更深入、更努力地思考”（使用更多计算资源）时，它的准确率提高了。
“锚定”问题：如果 AI 早期做出了错误的猜测，它往往会“固守”这个错误想法，即使有新证据证明其错误，它也拒绝改变主意。

6. 这为何重要？

论文结论指出，当前的 AI 模型在“长期适应”方面仍然不够出色。它们擅长基于已知知识回答问题，但在世界围绕它们变化时，难以持续学习并更新信念。

FutureSim提供了一种可重现的现实方式来衡量这一特定技能。重点不在于 AI 是否知道某个事实；而在于 AI 能否像人类专家那样，关注新闻，每天更新其世界观，并随着时间的推移做出更好的猜测。

简而言之：该论文构建了一个穿越时间的新闻室，以测试 AI 能否通过观察当下的展开来学习预测未来。结果表明，虽然某些 AI 在此方面已有所进步，但大多数仍需学习如何在不过度固守首次猜测的情况下更新信念。

技术摘要：FutureSim – 通过重演世界事件评估自适应智能体

问题陈述

当前的 AI 智能体在静态基准测试中表现出显著的成功，但在动态、开放的环境中难以实现长周期的适应。尽管近期的基准测试（例如 ARC-AGI-3、VendingBench）提供了适应能力的代理指标，但它们往往依赖于人工设计或模型模拟的动态机制，无法完美映射现实世界的社会演变。目前存在一个关键缺口，即评估智能体能否推理世界如何演变、基于新信息更新其先验知识，并在无法改变底层环境的情况下随时间保持校准的信念。作者认为，对模型知识截止日期之后的现实世界事件进行预测，为衡量这种“长周期测试时适应”提供了一个有根基且可复现的设定。

方法论：FutureSim 环境

作者引入了 FutureSim，这是一个按时间顺序重演现实世界事件的交互式环境，用于评估自适应智能体。

环境设计

时间结构：模拟按日运行，对应现实世界的日期（2026 年 1 月 1 日至 3 月 28 日）。时间步对应新信息的到达。
任务状态：智能体面对 330 个源自新闻文章（具体为半岛电视台）的预测问题。每个问题包含背景信息、判定标准和判定日期。与静态基准测试不同，智能体必须提交其自行生成的多种可能结果的概率分布，而不是从固定集合中进行选择。
上下文状态：环境提供新闻的按时间顺序重演。智能体可访问 Common Crawl 新闻（CCNews）语料库的去重快照。关键在于，访问受到严格限制：智能体只能搜索和阅读在当前模拟日期或之前发布的文章。
智能体动作：环境强制执行一组最小动作：
1. submit_forecast(question_id, outcomes)：为活跃问题注册或更新概率分布。
2. next_day()：推进模拟，触发新文章的到达以及已过判定日期的问题的结果判定。
沙箱隔离：为防止信息泄露，智能体被沙箱化（使用 bwrap），无法访问实时网络。它们通过混合语义加关键词搜索工具（基于 Qwen3 嵌入的 LanceDB）与本地、按日期限制的新闻语料库进行交互。

评估指标

Brier 技能分数 (BSS)：针对自由形式、多结果预测进行了调整。它衡量概率分布相对于真实值的质量。得分为 1 表示自信的正确回答，0 表示弃权，负分表示表现不如弃权。
Top-1 准确率：衡量被分配最高概率的结果的正确性。

实验设置

作者在原生框架和旨在改进编排的自定义“我们的框架”（Our Harness）中评估了前沿智能体（GPT 5.5、DeepSeek V4 Pro、Opus 4.6、Qwen3.6 Plus、GLM 5.1）。自定义框架包含上下文消耗反馈、结构化记忆工具、按问题划分的记忆以及鼓励迭代更新的过程性脚手架等功能。

主要贡献

FutureSim 基准测试：一个可复现的、开放的环境，通过重演模型知识截止日期之后的世界历史，测试现实世界事件上的自适应推理。它防止了未来信息的泄露，同时允许智能体搜索不断演变的证据。
灵活的评估框架：该环境仅强制执行两种动作，允许研究人员插入任意模型、框架和事件数据。它支持对长周期适应、搜索、记忆和多智能体动态的研究。
适应性的实证分析：本文提供了对当前前沿模型在长周期预测中表现的综合分析，突显了即使在原生智能体框架中，仍有巨大的改进空间。

结果

性能分化：前沿模型之间存在明显的能力差异。GPT 5.5（在 Codex 框架中）表现最佳，实现了 25% 的 Top-1 准确率和正的 Brier 技能分数。
基线缺陷：许多开放权重模型（例如 Qwen3.6 Plus、GLM 5.1）在其推荐的框架中获得了负的 Brier 技能分数，表现甚至不如简单地放弃预测。
框架的影响：自定义框架工程显著提升了性能。例如，在其原生框架中失败的开放权重模型，在使用作者改进的框架后，Brier 技能分数转为正值，这表明更好的编排可以激发测试时的适应能力。
适应动态：
- GPT 5.5 随时间表现出持续改进，但在错误预测中表现出过度自信（27.4% 的错误 Top 预测具有 $\ge$ 0.5 的概率）。
- DeepSeek V4 Pro 频繁更新预测，从较弱的初始状态大幅改善，尽管有时依赖空预测。
- 记忆与搜索：消融研究证实，访问记忆和迭代式智能体搜索至关重要。移除记忆会导致所有受测模型表现变差。同样，冻结新闻语料库（无每日更新）或将搜索限制为单次查询，会显著降低准确率和校准度。
人类对比：GPT 5.5 的预测往往与预测市场（例如 Polymarket）上的人类聚合结果一致，有时甚至领先，但在人类偏好聚合度高的市场（例如英国选举）中则表现滞后。

意义与主张

作者声称，FutureSim 提供了一个现实的环境来研究新兴的研究方向，包括：

长周期测试时适应：衡量智能体如何在数月而非单个任务中更新信念。
不确定性下的推理：评估在动态信息流中搜索证据和校准概率的能力。
记忆与上下文管理：研究智能体如何在数千轮交互和上下文窗口压缩中保留和利用信息。
多智能体动态：观察智能体在共享信息环境中相互竞争或合作时的适应情况。

本文结论指出，虽然当前智能体在 FutureSim 中的表现次优，但该基准测试为能力提供了必要的下限，并作为一个灵活的平台，用于衡量向能够在现实世界中持续适应和学习的智能体迈进的进展。作者强调，FutureSim 纯粹是预测性的；它不模拟智能体行动会改变环境的反事实世界，这限制了其在表演性预测领域的直接适用性，但确保了世界模型评估的根基性。