🤖 AI

Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs

本文提出了名为 BLF 的贝叶斯语言预测代理系统，该系统通过结合半结构化语言信念状态、层次化多次试验聚合以及层次化校准技术，在 ForecastBench 基准测试中超越了包括 GPT-5 在内的所有顶尖公开方法，实现了二元预测的最先进性能。

原作者： Kevin Murphy

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kevin Murphy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 BLF (Bayesian Linguistic Forecaster，贝叶斯语言预测器) 的人工智能系统。你可以把它想象成一个超级预测员，它的任务不是写诗或画画，而是回答“是”或“否”的问题，并给出一个准确的概率（比如：“下个月某国会发生政变吗？概率是 30% 还是 70%？”）。

在最新的预测比赛（ForecastBench）中，这个系统打败了所有其他顶尖的 AI 和人类专家，成为了目前的“冠军”。

为了让你轻松理解它是怎么做到的，我们可以把它比作一个**“超级侦探团队”**，通过三个核心绝招来破案：

1. 绝招一：写“侦探笔记”，而不是“堆砌文件”

（Linguistic Belief State / 语言信念状态）

普通 AI 的做法：就像是一个只会死记硬背的实习生。你让它去查资料，它就把所有查到的网页、文章全部复制粘贴到一个巨大的文件夹里。随着资料越来越多，文件夹变得像一座山，它反而看不清重点，甚至忘了最开始的问题是什么。
BLF 的做法：它像一位经验丰富的老侦探。
- 每查到一个新线索，它不会把整篇新闻贴上去，而是在笔记本上写下一句总结：“这条新闻说某国经济在衰退，这增加了政变的可能性。”
- 同时，它会更新自己的猜测概率：“刚才看到经济衰退，我把政变概率从 30% 调到了 45%。”
- 比喻：普通 AI 是在堆砌砖块（原始数据），而 BLF 是在盖房子（构建结构化的信念）。它把零散的信息提炼成“证据摘要”，并不断修正自己的“心里有数”（概率）。这让它在面对海量信息时，依然能保持清醒的头脑。

2. 绝招二：召开“专家圆桌会议”，而不是“一人独断”

（Hierarchical Multi-trial Aggregation / 分层多轮聚合）

普通 AI 的做法：就像让一个侦探去破案。如果这个侦探今天心情不好，或者恰好查错了方向，整个预测就错了。大模型有时候会有“随机性”，同一个人问两次，答案可能不一样。
BLF 的做法：它会让5 个独立的侦探（也就是 5 次独立的运行）同时去查同一个案子。
- 这 5 个侦探可能会得出不同的结论（有的说 40%，有的说 60%）。
- BLF 不会简单地把它们加起来除以 5，而是用一种聪明的数学方法（对数空间平均）来综合大家的意见。
- 比喻：这就像投票。如果 5 个人里有 4 个都觉得“大概率会发生”，只有 1 个觉得“不可能”，BLF 会倾向于那 4 个人的共识，但也会给那个“异类”一点权重，防止大家盲目跟风。这种方法大大减少了“运气不好”导致的错误。

3. 绝招三：给不同领域的专家“量身定做”校准器

（Hierarchical Calibration / 分层校准）

普通 AI 的做法：就像给所有学生用同一把尺子打分。不管你是学数学的（通常很准）还是学艺术的（通常很发散），都用同样的标准去调整分数。这会导致对某些领域预测太保守，对另一些领域又太激进。
BLF 的做法：它知道不同来源的问题难度和规律不一样。
- 如果是股市问题，它知道股价像过山车，很难预测，所以它会调整策略，不让预测变得太绝对。
- 如果是维基百科上的事实（比如“某游泳运动员是否破纪录”），它知道这类问题要么发生要么不发生，规律很死，它会调整策略，敢于给出接近 0% 或 100% 的极端预测。
- 比喻：这就像给不同运动员穿不同尺码的鞋子。给短跑选手穿跑鞋，给游泳选手穿泳衣。BLF 为每一类问题（股市、政治、天气等）都定制了专门的“校准器”，确保它的预测既准确又“诚实”（不会瞎吹牛）。

4. 它的“超能力”来源：工具与防作弊

BLF 不仅仅靠大脑（大模型），它还有一双**“手”**（工具）：

联网搜索：它能实时上网查最新新闻，而不是只靠训练时的旧知识。
查数据：它能直接读取股票、天气、经济指标的原始数据。
防作弊（时间锁）：这是最关键的一点。在测试时，BLF 被严格限制不能看到“未来”。就像考试时，它只能看截止到“昨天”的报纸，绝对不能偷看明天的答案。论文里提到，他们设计了四层防御机制，确保它没有“偷看答案”，作弊率低于 1.5%。

总结：它为什么赢了？

想象一下，预测未来就像在大雾中开车：

普通 AI 可能只是盯着挡风玻璃（死记硬背），或者只靠一个司机的直觉（单次运行）。
BLF 则是一个由 5 个老司机组成的车队，他们：
1. 手里拿着精炼的地图笔记（结构化信念），而不是满车的废纸；
2. 互相商量路线（多轮聚合），避免一个人开错；
3. 根据路况（股市、天气、政治）自动切换驾驶模式（分层校准）；
4. 严格遵守交通规则（时间防作弊），绝不看未来的路况。

正是这种**“结构化思考 + 集体智慧 + 个性化调整 + 严格自律”**的组合，让 BLF 在预测未来这件事上，做到了目前人类和 AI 能达到的最高水平。

论文技术总结：基于序贯贝叶斯更新的语言信念代理预测 (Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs)

这篇论文提出了 BLF (Bayesian Linguistic Forecaster)，一种用于二元事件预测的代理系统。该系统在 ForecastBench 基准测试中达到了最先进（SOTA）的性能，超越了包括 Cassi、GPT-5、Grok 4.20 和 Foresight-32B 在内的顶级公开方法。

以下是该论文的详细技术总结：

1. 问题定义 (Problem Definition)

核心任务：预测二元事件发生的概率 $P(Y(r)=1 | data(\le f))$ ，其中 $f$ 是预测日期， $r$ 是解析日期。
数据类型：
- 判断性预测 (Judgemental Forecasting)：基于文本的开放性问题（如“某人是否会当选总统”），需要推理和证据整合。
- 时间序列预测 (Time-series Forecasting)：基于数值数据的问题（如“股价是否高于当前值”），需要处理历史数据并转化为二元预测。
挑战：
- 防止信息泄露 (Leakage)：在回测中，模型不能接触到预测日期之后的信息（包括搜索结果的日期过滤和参数化知识）。
- 高方差：LLM 在不同运行间表现出高度不一致性。
- 校准 (Calibration)：确保预测概率与实际发生频率一致，避免过度自信或过度保守。

2. 方法论 (Methodology)

BLF 的核心架构围绕三个关键创新点构建：

A. 语言信念状态 (Linguistic Belief State)

这是 BLF 的核心创新。与传统方法将检索到的所有证据直接追加到不断增长的上下文（Context）中不同，BLF 维护一个半结构化的信念状态。

结构：在每个步骤 $t$ ，LLM 生成一个动作 $a_t$ 和一个更新后的信念状态 $b_t$ 。
信念状态内容：包含概率估计 $p \in [0,1]$ 、置信度、支持/反对的关键证据摘要（自然语言）、以及待解决的问题。
机制：这是一种近似的序贯贝叶斯推断。LLM 在每一步根据新证据（搜索结果、工具输出）更新信念，而不是简单地堆砌文本。
优势：避免了上下文窗口溢出，并强制模型进行连贯的概率推理。消融实验表明，移除信念状态会导致 Brier Index (BI) 下降 3.0，效果与移除网络搜索相当。

B. 多层次多轮次聚合 (Hierarchical Multi-trial Aggregation)

由于 LLM 预测的高方差，BLF 对每个问题运行 $K=5$ 次独立的推理轮次（Trials）。

聚合策略：
- Logit 空间平均：将概率转换为 Logit 空间进行平均，再转换回概率。这比算术平均更能保持预测的极端性（Extremity）。
- 收缩 (Shrinkage)：引入基于留一法交叉验证 (LOO) 的收缩系数 $\alpha$ ，将预测向 $p=0.5$ 收缩（受 James-Stein 估计启发），以减少高方差数据集上的过自信。在 ForecastBench 上，最佳策略是 $\alpha=1$ （即纯 Logit 平均），因为工具和人群信号已经提供了很好的锚点。
效果：多轮次聚合显著降低了方差，提升了所有指标。

C. 分层校准 (Hierarchical Calibration)

使用 Platt Scaling 对原始预测进行后处理校准。

分层设计：不同于全局 Platt 缩放，BLF 采用分层 Platt 缩放，为每个数据源（Source）学习特定的截距偏移量 $\delta_s$ 。
解决的问题：全局校准往往会过度收缩那些来自具有偏斜基础率（Skewed Base Rates）的数据源的极端预测（例如，某些来源的问题几乎总是“否”）。分层校准保留了这些极端预测的准确性，同时修正了系统性偏差。
效果：在所有设置下，分层校准均优于全局校准，特别是在启用经验先验（Empirical Prior）时。

D. 代理循环与工具 (Agent Loop & Tools)

迭代工具使用：代理在循环中执行动作（网络搜索、URL 查找、特定数据源工具如 yfinance/FRED/Wikipedia 等），并在每一步更新信念。
防泄露机制：实施了四层防御以消除回测中的信息泄露：
1. 搜索引擎的日期过滤。
2. 基于 LLM 的泄露分类器（检查内容而非元数据）。
3. 数据工具的日期钳制。
4. 解析来源的 URL 黑名单。
- 审计显示未检测到的泄露率低于 1.5%。

3. 实验设置与基线 (Experimental Setup & Baselines)

数据集：
- ForecastBench (FB)：主要评估集，包含 400 个问题（200 个市场类，200 个数据集类），共 791 个解析日期。
- AIBQ2：Metaculus 的较小测试集（113 个问题），用于初步开发。
基线模型：对比了 FB 排行榜上的前 5 名方法（Cassi, GPT-5, Grok 4.20, Foresight-32B）以及零样本（Zero-shot）基线。
评估指标：
- Brier Index (BI)： $100 \times (1 - \sqrt{BS})$ ，越高越好。
- Adjusted Brier Index (ABI)：考虑了问题难度的调整指标。
- Metaculus Baseline Score (MBS)。

4. 主要结果 (Key Results)

在 ForecastBench 的 400 个问题（791 个解析日期）上：

总体性能：BLF 在所有问题类型（市场类和数据集类）上均显著优于所有对比方法（ $p < 0.001$ $p < 0.001$ ）。
- BLF (全配置) 的 BI 为 73.8，ABI 为 71.0。
- 超越了 Cassi (BI 70.8), GPT-5 (BI 70.2), Grok (BI 69.5) 等。
市场问题表现：BLF 是唯一能显著击败“人群基线”（Crowd Baseline，即直接使用市场价格）的方法（+3.7 BI）。其他所有方法（包括具有搜索能力的代理）在统计上都无法区分于直接返回市场价格。
数据集问题表现：BLF 显著优于经验基线，特别是在处理时间序列数据时。
人类水平：BLF 的 ABI (71.0) 与 ForecastBench 报告的人类超级预测者中位数 (70.9) 持平。
消融实验发现：
- 信念状态：移除结构化信念状态导致 BI 下降 3.0，其重要性几乎等同于移除网络搜索（下降 4.6）。
- 搜索与工具：移除搜索导致 BI 下降 4.6；移除顺序搜索（改为批量搜索）导致 BI 下降 3.8。
- 人群信号：对市场问题，引入人群信号（市场价格）使 BI 提升了 7.1。
- 模型选择：使用较弱的模型（Kimi, Flash）会显著降低性能。

5. 贡献与意义 (Contributions & Significance)

架构创新：证明了在代理循环中维护结构化语言信念状态比简单的文本累积或批量搜索更有效。这为 LLM 的推理过程提供了一种更接近人类“思考 - 更新”的机制。
严谨的评估框架：开发了一套包含四层防御的防泄露回测框架，并使用了严格的统计方法（配对分析、Bootstrap 置信区间）来控制问题难度的混淆因素，确保了评估的可靠性。
分层校准与聚合：展示了针对数据源特性的分层校准和 Logit 空间聚合对于提升预测准确性和校准度的重要性。
SOTA 性能：在 ForecastBench 上确立了新的性能基准，证明了结合工具使用、结构化信念更新和贝叶斯聚合的代理系统可以超越纯零样本大模型和现有顶级预测系统。
实际意义：该系统在金融、地缘政治和公共健康等领域的概率预测中具有广泛应用潜力，且其防泄露机制对于构建可信的自动化预测系统至关重要。

总结

BLF 不仅仅是一个更强大的 LLM，而是一个精心设计的代理系统。它通过模拟贝叶斯推理过程（信念更新）、利用多轮次集成减少方差、以及针对特定数据源进行分层校准，成功解决了 LLM 在预测任务中常见的幻觉、不一致性和校准问题。其核心发现是：结构化的信念管理对于提升预测性能至关重要，其作用甚至不亚于直接访问网络搜索。