🤖 machine learning

ForecastCompass: Guiding Agentic Forecasting with Adaptive Factor Memory

ForecastCompass (FoCo) 是一种自适应基于因子的记忆框架，它通过将经验组织为可复用的预测因子和推理原则来增强代理型预测能力，从而使代理能够通过回顾性分析迭代地优化其概率准确性和校准度。

原作者： Yurui Chang, Yongkang Du, Yuanpu Cao, Jinghui Chen, Lu Lin

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yurui Chang, Yongkang Du, Yuanpu Cao, Jinghui Chen, Lu Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名专业的预报员。在过去，你可能只是观察天空并进行猜测。而今天，你拥有一个超级智能的助手（AI Agent），它可以阅读数百万篇新闻文章、检查历史数据，并与专家交流以做出预测。

但问题在于，即使是智能助手也会反复犯同样的错误。它们可能会仅仅因为天空晴朗就对晴天过于自信，却忽略了风暴其实正在酝酿。或者它们可能会忘记，“流行度”并不总是意味着“短期成功”。

论文 "ForecastCompass" 介绍了一种新方法，教导这些 AI 助手如何从过去的错误中学习，而不是仅仅死记硬背特定的答案。你可以把它想象成给 AI 提供了一个个性化的、不断进化的“预报指南针”，而不是一本静态的百科全书。

以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“通用记忆”陷阱

想象一下你问 AI：“这款新的应用软件会变得流行吗？”

旧方式（通用记忆）： AI 查看其笔记并发现：“这款应用拥有优秀的评价和著名的品牌。”它得出结论：“是的，它会成为第一名！”
缺陷： 这就像仅仅根据一匹马华丽的外表来评判它的赛跑能力。AI 错过了真正的驱动因素：它今天是否被推荐在首页？竞争对手是否刚刚崩溃？是否突然开展了广告活动？
结果： AI 预测错误，因为它依赖的是“静态”事实（品牌），而不是“动态”因素（此时此刻正在发生什么）。

2. 解决方案：“指南针”（FOCO）

作者创建了 FOCO (ForecastCompass)。FOCO 不仅仅是存储“发生了什么”，它教导 AI 如何思考。它将知识组织成两种特殊的“记忆”类型：

A. “因素图谱”（关注什么）

这可以看作是一份线索清单。

它不只是记住“应用 X 失败了”，而是记住：“在预测应用排名时，务必检查‘近期势头’和‘平台推荐’，而不仅仅是‘总下载量’。”
它还会记住陷阱：“如果一个应用已经一个月没有更新了，不要相信‘好评’。”
类比： 这就像侦探的笔记本，它记录的不只是嫌疑人，而是什么样的证据能真正破案。

B. “置信度旋钮”（有多确定）

你可以把它看作是一个确定性的音量控制旋钮。

AI 学习到了这样的规则：“如果证据大多是旧闻，就把置信度旋钮调低。” 或者 “如果两个不同的来源达成一致，你可以把置信度旋钮调高。”
类比： 这就像教练告诉球员：“除非你看到裁判吹哨，否则不要把全部薪水都押在这场比赛上。”

3. 它是如何学习的：“赛后复盘”

这是最神奇的部分。该系统不仅仅是做出猜测然后就结束了。它有一个特殊的复盘过程：

预测： AI 根据当时可获得的信息做出猜测。
现实检验： 稍后，当事件实际发生时，AI 会带着所有新信息（“回顾性”视角）回过头来看。
诊断： AI 将其最初的猜测与现实进行对比。
- 它是否错过了关键线索？（例如：“我忘记检查竞争对手的广告活动了。”）
- 它是否过于自信了？（例如：“我以为好评就足够了，但事实并非如此。”）
更新： AI 不仅仅是写下“我对应用 X 的预测错了”。相反，它会更新其因素图谱和置信度旋钮。
- 新增规则： “预测应用排名时，务必检查竞争对手的广告。”
- 新增规则： “对于短期预测，不要仅凭好评做判断。”

4. 结果：更聪明、更冷静的预报员

作者在现实世界的预测挑战（如体育、政治和市场趋势）中测试了该系统。

准确性： 拥有“指南针”的 AI 比没有指南针的 AI 做出了更准确的预测。
校准度： AI 变得更擅长了解自己应该有多确定。当证据不足时，它不再过度自信；当证据充足时，它会变得更加自信。
可迁移性： 最棒的部分是？在某一领域（如体育）学到的教训有助于 AI 在其他领域（如政治）变得更好。这个“指南针”是一个通用的思考工具，而不仅仅是一份事实清单。

总结

ForecastCompass 就像是给 AI 请了一位导师。

没有导师： AI 猜测、失败、然后遗忘，不断重复同样的错误。
有了导师 (FOCO)： AI 猜测、接受赛后复盘，并更新其关于哪些线索重要以及如何权衡这些线索的内在“规则手册”。随着时间的推移，它会成为一名精通预报的大师，不仅知道要预测什么，还知道如何思考不确定性。

技术摘要：ForecastCompass (FOCO)

问题陈述

智能体预测（Agentic forecasting）涉及大语言模型（LLM）智能体利用不完整且具有时限性的证据，对未来事件进行校准后的概率预测。虽然 LLM 智能体在信息寻求和推理方面表现出色，但在动态预测环境中面临着重大挑战。具体而言，智能体必须从不断演变的证据中进行推理，并在结果揭晓前生成校准后的概率。

现有的智能体记忆机制主要针对问答或问题解决任务设计。这些方法通常存储过去的交互、反思或事实关联。然而，它们并不适用于预测，因为它们无法显式地表示可复用的预测因子或校解知识。通用的记忆可能会存储某个应用具有“强大的品牌知名度”，但它无法区分这一静态信号对于短期排名变化是否具有信息量，或者是否应被视为应当降低置信度的误导性信号。预测需要能够抽象预测因子、过滤误导性信号，并在结果发生前校准不确定性的记忆，而不仅仅是检索过去的答案或事件层面的轨迹。

方法论：ForecastCompass (FOCO)

作者提出了 ForecastCompass (FOCO)，这是一个专为智能体预测设计的自适应基于因子的记忆框架。FOCO 将预测经验组织成层次化结构，并使用回顾性分析作为学习信号进行按时间顺序的更新。

1. 分层预测记忆表示

FOCO 使用由类别和细粒度子类别组成的预测分类法来组织记忆。对于每个子类别 $s$ ，系统维护一个言语化记忆状态 $M_s = (F_s, R_s)$ ，包含两个互补的部分：

因子记忆 ( $F_s$ )： 一组描述可复用预测维度的条目。每个条目包括因子名称、具体的证据检查项、常见的失效模式以及该因子对预测概率的典型影响。这引导智能体识别相关证据并避免误导性模式。
推理记忆 ( $R_s$ )： 一组面向校准原则的集合。该组件编码了在不同证据条件下应如何调整置信度，处理不确定性、冲突信号和不完整信息。它引导的是概率估计，而非仅仅是因子选择。

2. 记忆增强推理

在推理过程中，一个未解决的问题会被归类到特定的子类别中。智能体检索相应的 $F_s$ 和 $R_s$ 来指导其过程：

因子记忆 指导证据搜索和因子选择，强调预测性信号并警示误导性模式。
推理记忆 提供将证据强度转化为概率预测的校准原则，帮助管理过度自信或置信不足的问题。

3. 通过对比学习进行迭代记忆修订

FOCO 使用已解决的预测任务按时间顺序更新其记忆。更新过程涉及一个诊断—聚合—修订的过程：

回顾性轨迹生成： 在问题解决后，智能体利用事后证据生成回顾性轨迹 ( $z^{retro}$ )。这作为“地面真值”学习信号。
对比诊断： 系统将原始预测轨迹 ( $z$ $z$ ) 与回顾性轨迹 ( $z^{retro}$ $z^{r e t r o}$ ) 进行对比，以识别差异 ( $\Delta$ $Δ$ )。
- $\Delta^F$ ：因子层面的差异（例如，缺失的因子、过度使用的误导性信号）。
- $\Delta^R$ ：推理层面的差异（例如，失校、错误的概率更新）。
聚合与修订： 系统在同一子类别内的多个事件中聚合这些差异，以过滤掉特定事件的回溯性偏差（噪声），并识别循环出现的模式。随后，系统修订言语化记忆条目，以纳入这些可迁移的预测因子和校准原则，同时显式地避免存储特定事件的结果或日期。

核心贡献

以因子为中心的记忆公式化： 本文引入了一种围绕子类别层级的预测因子和面向校准的推理模式组织的记忆架构，这与事件层级的轨迹或通用反思截然不同。
言语化因子记忆修订： 作者开发了一种迭代程序，将回顾性分析视为学习信号。该过程通过诊断预测与结果之间的差异，聚合差异以寻找循环模式，并将记忆修订为可迁移的抽象概念，同时排除特定事件的回溯性信息。
实证验证： 该框架在 Prophet Arena 和 FutureX 等动态预测基准测试中进行了评估，使用了 GPT-5-mini 和 Gemini-2.5-Flash。

实验结果

实验表明，与各种基线相比，FOCO 提高了概率准确性和校准度：

性能： 在两个数据集和两种骨干模型上，FOCO 始终实现了最低的平均 Brier 分数和预期校准误差 (ECE)。它优于非记忆基线 (BASE)、静态记忆变体 (FOCO Static) 以及通用智能体记忆基线 (MEM0, REFLEXION, A-MEM, GRAPHITI)。
迭代改进： 完整的 FOCO 框架优于其静态版本，这表明每周进行的记忆修订能随着新结果的出现有效地优化预测因子和推理模式。
可迁移性：
- 跨时间： 从前几周构建的记忆能够提高后续几周的预测性能，证明所学习的因子和校准原则在主题演变过程中保持相关。
- 跨模型： 用一种模型（如 Gemini-2.5-Flash）构建的记忆成功提升了另一种骨干模型（如 GPT-5-mini）的性能，表明捕获的知识并未过拟合于特定的模型架构。
记忆质量： LLM-as-a-Judge 评估显示，与其他记忆方法相比，FOCO 在泛化性、新颖性、完整性、准确性和可操作性方面得分更高，证实其捕捉的是可复用的预测知识而非特定事件的细节。

重要性与主张

本文声称，有效的预测记忆必须超越存储过去的交互或答案。相反，它必须抽象出可复用的预测因子和校准原则，以指导智能体在证据非结构化且不断演变的开放世界中进行工作。

FOCO 通过将预测信号与推理模式显式分离，并使用对比性回顾分析来迭代优化这些抽象，从而填补了现有智能体记忆设计的空白。结果表明，围绕因子层级的知识和校准规则组织记忆，可以使智能体随着时间的推移积累可迁移的预测专业知识，从而在动态环境中实现更准确、校准度更高的概率预测。这项工作强调，仅仅检索过去的智能体经验是不够的；记忆结构本身必须针对概率预测在不确定性下的特殊需求进行定制。