💬 NLP

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

本文介绍了“Hindcast”，这是一个严谨的评估框架，通过将预测市场回放至基于公开信息的冻结时间切片快照中，来防止大语言模型在预测中的数据泄露，从而确保模型是基于真正的预见力而非事后回忆进行评分。

原作者： Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在测试一名侦探解决谜题的能力。你给他们一份卷宗，并问道：“谁偷了饼干？”如果这位侦探只是打开卷宗，读出写在最底部的答案，那么他们并不是在展示侦探技巧，而是在展示阅读能力。这就是科学家在测试人工智能（AI）模型预测未来能力时面临的棘手问题。

为了看清一个AI是否真的聪明，研究人员通常会让它预测已经发生的事情，比如“谁赢得了2022年世界杯？”问题在于，今天的AI模型已经在整个互联网上进行了训练，其中包含了比赛结束后撰写的文章。因此，当AI说“阿根廷赢了”时，这可能并不是因为它提前发现了线索，而是因为它记住了训练数据中的最终比分。这就像一个参加历史考试的学生，偷偷背下了答案解析。为了解决这个问题，科学家需要一种方法来测试AI的“预见性”（猜测将会发生什么），同时又不让它通过查看“答案解析”（实际发生了什么）来作弊。

这就是一项名为 HINDCAST 的新研究。研究人员想要看看，如果我们强迫AI站在过去，在对接下来会发生什么一无所知的情况下，它是否真的能够预测未来。他们利用预测市场（人们对结果进行投注的地方）和一个冻结的互联网存档，建立了一个时间旅行模拟系统。他们发现，当你阻止AI作弊时，它确实可以通过阅读旧闻来提高预测水平，但前提是这些新闻确实包含有用的事实。如果旧闻仅仅是人们的猜测和意见喧嚣，那么阅读这些内容实际上会让AI对真相的预测变得更差。

时间旅行测试

研究人员构建了一个他们称之为 HINDCAST（“forecast/预测”的变体，意为“回溯”）的系统。想象一台时间机器，它将历史中的某个特定时刻冻结，比如大型体育赛事开始前的一个月。在这个冻结的时刻，AI被允许查阅一个新闻文章和论坛帖子组成的图书馆，但只能查阅在那个日期之前撰写的资料。它无法看到那个时刻之后写的任何东西，即使这些东西今天就躺在图书馆里。

为了测试AI，研究人员使用了现实世界的博彩市场——Polymarket。这些类似于数字赌场，人们在上面投注某事是否会发生（例如“球队X会赢吗？”）。因为这些市场已经结算完毕，研究人员知道真实的答案。他们也知道在那个冻结的过去时刻，当时的“市场价格”是多少，这代表了当时人类群体认为的概率。

设置过程如下：

冻结时间： 选择一个市场结算前的过去日期（ $t_0$ ）。
锁定图书馆： AI只能搜索在那个日期之前生成的Reddit（一个流行的互联网论坛）的快照。
进行预测： AI阅读可用的帖子并猜测结果。
评分： AI根据两点进行评分：一是它与实际最终结果的接近程度，二是它与那一刻人类投注者想法的接近程度。

重大发现：事实 vs 炒作

团队测试了九种不同的AI模型，以观察提供这个“冻结图书馆”是否能帮助它们比仅凭记忆进行猜测做得更好。

好消息： 对于大多数AI模型来说，阅读旧帖子确实有所帮助。事实上，在九个模型中的八个中，当AI能够阅读存档时，它的错误率降低了。提升最显著的是一个名为 Qwen3-32B 的模型，它将错误率降低了23%。这表明，当过去存在真实事实时，AI可以利用这些事实做出更明智的猜测。

坏消息（以及陷阱）： 这种帮助并非普遍适用。它完全取决于AI正在阅读的内容。

有效场景： 在体育、奖项和交易等主题中，事件发生前的互联网帖子充满了具体的细节（例如，“球队明星球员受伤了”或“黄金价格正在上涨”）。在这些情况下，AI阅读了事实，从而提高了对获胜者的预测准确度。
失效场景： 在娱乐（如猜测哪首歌会成为冠军）或政治等主题中，互联网充满了响亮的观点、粉丝的炒作和推测。当AI阅读这些帖子时，它会感到困惑。它开始把“炒作”当成事实。例如，如果粉丝们都在高喊某首新歌会夺冠，AI就会押注于此，尽管大多数歌曲实际上都无法登上榜首。在这些情况下，阅读存档反而让AI的表现比它仅仅依靠自身逻辑判断时还要糟糕。

“过度阅读”问题

研究发现了一个有趣的模式：一个市场开放的时间越长，AI就越容易被噪音干扰。如果一个博彩市场持续开放很长时间，互联网就会充斥着无尽的闲聊和相互矛盾的观点。AI试图表现得很有用，于是阅读了所有这些内容，并开始过度思考，最终基于响亮的意见而非坚实的事实做出了错误的猜测。

其中一个特定的模型 R1-Distill-Qwen-7B，在被允许阅读时整体表现反而变差了。研究人员认为，这是因为该模型陷入了阅读冗长且混乱的推理链条中，以至于忘记了实际的证据。这就像一个学生阅读了太多关于某个话题的不同观点，结果反而忘记了简单的基本事实，最终猜错了。

这对未来意味着什么

HINDCAST的核心结论是：一个AI预测未来的能力，仅取决于它在事件发生之前能找到的信息质量。如果互联网充满了事实，AI可以成为出色的预测者；如果互联网充满了噪音和炒作，AI可能只会变成一个自信的傻瓜，听信最响亮的声音而非真相。

研究人员还展示了这种“时间旅行”测试法是一个强大的工具。由于图书馆是冻结的，你可以用同样的老问题来测试新的AI模型，而不必担心它们作弊。这意味着随着AI变得越来越聪明，我们可以不断改进我们的测试，确保我们衡量的是它们的思考能力，而不仅仅是它们的记忆能力。

简而言之，HINDCAST证明了：虽然给予AI一个事实图书馆有助于它洞察未来，但给予它一个谣言图书馆，可能会让它变得盲目。

技术摘要：HINDCAST —— 通过重演预测市场来评估 LLM 预言者

1. 问题陈述

目前的语言模型（LLM）预言者评估方法依赖于对已解决问题的回测（backtesting），即根据模型对已知结果所分配的概率进行评分。作者指出，这种范式存在两个关键的“泄漏”问题，使得模型可以通过获取在预测时刻尚不可知的信息来“作弊”：

检索泄漏（Retrieval Leakage）： 配备检索系统的模型可以搜寻到事件发生后编写的报告、文章或讨论，从而有效地将预测任务转变为查找任务。
训练数据泄漏（Training Data Leakage）： 随着模型在更接近当下的数据上进行重新训练，对于旧版本模型而言属于“未来”的问题，会成为新版本模型的训练数据的一部分。

因此，标准的评估往往衡量的是模型的召回（recall）能力，而非其洞察力（foresight）（即在过去的时间点 $t_0$ 时，它本会对该事件分配多大的反事实概率）。虽然实时基准测试通过提出开放式问题避免了这些问题，但它们缺乏已解决问题所提供的即时地面真值（ground truth）和人类基准（市场价格）。

2. 方法论：HINDCAST

作者引入了 HINDCAST，这是一种旨在通过模拟在特定过去日期 $t_0$ 进行的预测（此时结果尚未可知，且在任何事后信息进入检索语料库之前）来消除上述泄漏的评估协议。

核心组件

冻结信息环境（Frozen Information Environment）： 系统使用一个受时间锚定的公开 Reddit 存档（源自 Pushshift 月度快照）。该存档是不可变的；一旦捕获了快照，它就永远不会改变。这确保了在任何模拟时间 $t_0$ 进行的检索都只能返回严格早于 $t_0$ 创建的内容。
预测市场地面真值（Prediction Market Ground Truth）： 评估使用已解决的 Polymarket 二进制市场。对于每个市场，系统记录：
- 已解决的结果 ( $y$ )。
- 在时间 $t_0$ 时的市场隐含概率 ( $q_{t_0}$ )，这作为基于相同 pre- $t_0$ 信息的基准人类预测。
截止时间强制执行（Cutoff Enforcement）： 为了防止路由错误，检索后端在 SQL 层面强制执行严格的 created_at < t_0 谓词，用于所有的搜索和查找操作。

评估流水线

研究将两类预测器与相同的接口进行对比：

零样本基准（Zero-shot Baseline）： LLM 仅利用其参数记忆进行预测，并被指示仅依赖于 $t_0$ 时可获得的信息。
检索智能体（Retrieval Agent）： LLM 在一个受限的研究循环中运行，查询 $t_0$ 时刻的冻结存档，阅读证据，并优化其预测。

指标

预测结果针对两个目标进行评分：

结果恢复（Outcome Recovery）： 相对于已解决的二进制结果 ( $y$ ) 的准确率和 Brier 分数。
市场改进（Market Improvement）： 模型预测值与 $t_0$ 时刻市场价格之间的绝对差值 ( $|\hat{p}_{t_0} - q_{t_0}|$ )。

3. 主要贡献

HINDCAST 协议： 一种评估框架，通过在固定的检索信息环境下，测量模型在过去 $t_0$ 时刻对已解决问题的预测能力，使得该测试可以在模型改进时针对新市场进行重复测试而不会过时。
不可变存档（Immutable Archive）： 一个无泄漏的检索后端，由 25 个月的公开 Reddit 快照（2024 年 1 月–2026 年 1 月）构建，并针对密集语义搜索和按 ID 查找进行了索引，同时具备严格的时间过滤功能。
双重参考预测器（Dual Reference Predictors）： 一个统一的接口，支持零样本基准和基于检索的智能体，从而隔离出证据检索的贡献。
实证分析： 一项研究，识别了检索能够提升预测性能的具体领域，以及由于投机性噪声导致检索性能下降的领域。

4. 实验结果

作者在 216 个已解决的 Polymarket 市场平衡集上，对 9 个开源 LLM（包括 Qwen3、Llama 3、Gemma 3 和 Ministral 系列）进行了基准测试。

整体表现： 检索降低了 9 个模型中的 8 个 的 Brier 分数。最显著的改进出现在 Qwen3-32B 上，其 Brier 分数从 0.234 降至 0.179（下降了 23%）。
话题依赖性差异： 检索带来的收益并非均匀分布；它高度取决于 pre- $t_0$ $t_{0}$ 语料库中讨论的性质：
- 检索有助于提高性能： 在 体育（Sports）、奖项（Awards）以及交易/商品（Trading/Commodities） 领域，检索显著提高了准确率。在这些领域，Reddit 讨论包含了具体的、以事实为锚点的赛前信号（例如：球队表现、价格趋势），模型可以利用这些信号。
- 检索会损害性能： 在 娱乐（Entertainment）、选举/政治（Elections/Politics）以及科技/AI（Tech/AI） 领域，检索往往降低了性能。在这些领域，赛前语料库充斥着投机性的炒作和观点（例如：对从未登上榜单的歌曲的粉丝热捧）。检索智能体会过度关注这些“声量最大”但预测性最低的闲聊，导致产生自信但错误的预测。
校准度 vs. 准确度： 在某些情况下（例如 Llama-3.1-8B），检索降低了准确度（产生了更多错误的决策），但提高了校准度（使概率向 0.5 靠拢，而不是极端的错误值），从而降低了 Brier 分数。
回溯敏感度（Lookback Sensitivity）： 改变截止时间 $t_0$ （从市场寿命的 25% 到 100%）显示，检索收益在完全回溯之前就已趋于饱和，这表明收益是由早期信号而非后期新闻驱动的。

5. 重要性与主张

论文认为，基于检索的推理并非普遍有益；其效能严格受限于赛前信息环境中可用证据的质量。

弥补泄漏： HINDCAST 提供了一种严谨的方法来评估洞察力，确保模型无法通过其训练数据或检索工具“看到未来”。
信号与噪声： 研究表明，只有当存档携带赛前信号（事实、数据、具体分析）时，检索才会有所帮助。当存档仅携带投机性内容时，检索会通过放大噪声来主动损害预测。
动态评估： 与会随模型重新训练而衰减的静态基准不同，HINDCAST 允许持续评估。新模型可以在相同的冻结历史存档上进行测试，确保测试衡量的是洞察力而非记忆力。

作者总结道，虽然检索在事实密集型领域有助于提高预测水平，但在投机性领域需要仔细校准，以避免对赛前炒作产生过拟合。他们将 HINDCAST 定位为一个研究测试平台而非准备投入使用的交易工具，并警告说未经校准的检索智能体可能会为自动化决策提供虚假的权威感。