🤖 machine learning

Reinforcement Learning for LLM-based Event Forecasting

本文证明了通过应用群体相对策略优化（GRPO）对能够获取实时信息的轻量级大语言模型（1.5B–14B 参数）进行微调，可以使其在预测超出其知识截止日期的未来事件方面超越像 Claude Sonnet 3.5 这样的大型模型，同时还分析了其扩展能力以及在不确定性下判断性预测的本质。

原作者： Amit Arnold Levy

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amit Arnold Levy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和日常类比对该论文进行的解释。

核心理念：教 AI 预测未来

想象你有一个非常聪明的学生（AI），他读完了某个日期之前图书馆里的几乎每一本书，但他还没看过今天的报纸。你要求他预测尚未发生的事情，比如“明天会下雨吗？”或者“谁会赢得选举？”

问题在于，这个学生并不知道答案，而且即使他的猜测完全正确，也可能仅仅因为运气不好（比如抛硬币的结果）而导致判断失误。这篇论文讲的是如何通过一种特殊的训练方法——强化学习（具体来说是一种叫做 GRPO 的技术），来教这个学生成为一个更好的预测者。

作者 Amit Arnold Levy 发现了一种方法，可以训练一个相对较小的 AI 模型（拥有 15 亿个“脑细胞”），使其在特定条件下成为比规模更大、更昂贵的 AI 模型（如 Claude Sonnet 3.5）更出色的预报员。

1. 问题所在：“硬币投掷”陷阱

在数学或编程中，通常有一个标准答案。如果你解一个方程，它要么是对，要么是错。但在预测领域，情况非常复杂。

类比： 想象你在赌硬币投掷。

真相： 硬币是公平的。正确的 预测应该是“50% 的概率为正面”。
现实： 你投掷了硬币，结果是正面。

如果你通过告诉学生“你说正面就对了，说反面就错了”来训练他，学生会感到困惑。即使他正确预测了“50%”，他也可能因为那一次硬币落在了反面而被惩罚。这就是偶然不确定性（Aleatoric Uncertainty，即你无法控制的随机性）。

论文的发现： 作者测试了这一点，并发现如果仅使用最终结果（正面或反面）作为“评分标准”来训练 AI，AI 的学习效果很差。这就像是通过只看谁赢了那一手牌来学习德州扑克，而不去理解赔率。这种随机硬币投掷带来的“噪声”会干扰学习过程。

解决方案： 作者不再根据硬币落地是正面还是反面来给 AI 打分，而是根据 AI 的“百分比猜测”与“市场”猜测的接近程度来打分。把市场想象成一个由成千上万人在硬币投掷上进行投注的巨大池子。如果市场认为有 50% 的概率，而 AI 也说 50%，那么即使硬币最后落在反面，AI 也会得到一个好分数。

2. 训练方法：“群体相对策略优化”（GRPO）

他们是如何教这个 AI 的呢？他们使用了一种叫做 GRPO 的方法。

类比： 想象一位老师正在给一个 8 名学生的班级进行测验。

旧方法 (PPO)： 老师在脑子里保留一个单独的“裁判”机器人，用来决定一个答案是否好。这会占用大量的脑力空间（计算机内存）。
GRPO 方法： 老师让 8 名学生回答同一个问题。然后，老师观察这个群体。如果 7 个学生给出了糟糕的答案，而 1 个学生给出了极好的答案，老师会说：“好吧，那个答对的人是赢家。让我们下次都试着像那个赢家一样思考。”

这种方法非常高效，因为老师不需要一个单独的裁判机器人；他只需要将学生之间进行比较。这节省了大量的计算机内存，使得作者能够在短短几小时内，仅使用一块强大的计算机芯片（H100）完成对 AI 的训练。

3. 给 AI “眼睛”（上下文）

如果 AI 不知道现在正在发生什么，它就无法预测未来。它需要阅读新闻。

作者给了 AI 两种获取信息的方式：

新闻摘要器： AI 请求另一个 AI（Perplexity 的 Sonar）阅读互联网并写一份相关的简短新闻摘要。
时空图书馆员（维基百科工具）： AI 被允许查看维基百科文章，但它必须查看事件发生之前的文章状态。这防止了 AI 通过阅读“答案解析”来作弊。

结果： “新闻摘要器”的效果最好。AI 学会了阅读摘要并做出预测。

4. 大惊喜：小模型 vs 大模型

通常在 AI 领域，越大越好。一个巨大的大脑（140 亿参数）通常会击败一个小脑（15 亿参数）。

类比： 想象一辆灵活的小型赛车对比一辆庞大缓慢的卡车。

在开阔的高速公路上（信息充足）： 卡车（大 AI）会胜出，因为它能承载更多数据。
在狭窄多雾的小径上（信息有限）： 小型赛车（小 AI）会胜出。

作者发现，当 AI 只被给予简短的新闻摘要（即“狭窄的小径”）时，经过训练的小型 AI（Qwen 1.5B）实际上击败了规模更大但未经专门训练的 AI（Claude Sonnet 3.5）。

为什么？因为大 AI 会被有限的信息搞糊涂，而小 AI 则是专门针对这种特定类型的猜谜游戏进行了训练。然而，如果你给 AI 提供大量的信息，大 AI 就会重新追上来。

5. 哪些起作用了（以及哪些没起作用）

起作用的： 使用“市场价格”（人们正在投注的价格）作为训练 AI 的“正确答案”。这充当了可靠的地面真值（Ground Truth）。
不起作用的： 尝试使用事件的实际结果（例如，“硬币落在了正面，所以你必须预测正面”）来训练 AI。这太具有随机性了，无法帮助 AI 学习概率，只能学到运气。
局限性： AI 的表现取决于它所阅读的新闻摘要。如果新闻摘要是错误的或有误导性的，AI 就会做出一个自信但错误的预测。AI 无法修正错误的信息。

总结

这篇论文是一个关于如何将一个小型、廉价的 AI 变成一个出色的“预言家”的配方。

不要根据随机事件的最终结果（如硬币投掷）来训练它；要根据赔率（概率）来训练。
要使用一种节省内存的智能群体训练方法（GRPO）。
要给它提供简短的、摘要化的新闻流。
结果： 在信息有限的情况下，经过数小时训练的小型 AI 可以比规模更大、更昂贵的 AI 预测得更准。

作者得出结论，虽然 AI 可以学会预测，但如果提供给它的信息不够好，它就会撞到天花板。这不是魔法，它只是基于现有最佳数据的极其高效的模式匹配。

技术摘要：基于大语言模型（LLM）的事件预测强化学习

问题陈述

本文探讨了训练大语言模型（LLM）进行判断性预测（judgmental forecasting）的挑战——即预测未来二元事件（如选举结果、地缘政治冲突）的概率，而这些事件缺乏即时的地面真值（ground truth）。与数学或编程等具有可验证性的领域不同，预测涉及偶然不确定性（aleatoric uncertainty）（内在的随机性），在这种情况下，单个事件实例的“地面真值”（例如硬币投掷结果为正面）并不一定反映真实的底层概率（例如 50%）。

核心难点在于训练信号：如果 LLM 被训练去预测事件的概率，但根据二元结果（0 或 1）进行奖励，那么奖励就会变得充满噪声。一个预测正确概率（如 0.5）的模型可能会因为事件最终结果为 0 而受到惩罚，而一个预测确定性为 1.0 的模型可能会因偶然性而获得奖励。本文研究了强化学习（RL）是否能在存在此类噪声的情况下，有效地训练 LLM 进行准确预测，以及在配备特定训练方法和上下文工具时，较小的模型是否能超越规模更大、知识更渊博的模型。

方法论

1. 理论基础：偶然不确定性

作者首先使用 GSM8K 数据集建立了一个基准实验，以测试 RL 是否能在存在偶然不确定性的情况下进行学习。他们定义了三种训练模式：

常规模式（Regular）： 模型预测一个数字（25–75），并根据正确性获得奖励（模拟概率本身即为地面真值的场景）。
随机化模式（Randomized）： 模型的预测数字被视为伯努利试验（Bernoulli trial）的概率。地面真值根据随机抽取坍缩为 0 或 1。这模拟了现实世界的预测场景，即已知的是结果而非真实的概率。
仅格式模式（Format Only）： 模型不接收任何正确性奖励，仅接收格式奖励。

该阶段的结果表明，在“随机化”模式（基于结果）下进行训练对特定的随机序列（“硬币投掷”）高度敏感。在大多数情况下，由于偶然不确定性带来的噪声会比拥有真实概率作为地面真值时更严重地损害学习效果。

2. 训练流水线：GRPO 与地面真值近似

主要方法采用了 群体相对策略优化（Group Relative Policy Optimization, GRPO），这是一种无需独立价值模型（critic）的内存高效型 RL 算法。

地面真值代理（Ground Truth Proxy）： 为了避免使用存在偶然噪声的二元事件解析结果，作者使用 Polymarket 的市场价格 作为地面真值。他们假设高成交量的预测市场价格能够近似于给定信息下的事件真实偶然概率。
上下文提供： 为了克服知识截止日期的问题，作者通过两种方式为 LLM 提供上下文：
1. 摘要新闻： 使用 Perplexity 的 Sonar Reasoning Pro 生成相关事件的摘要。
2. 维基百科修订工具： 允许模型查询特定时间戳的历史维基百科文章（用于已解析事件，以防止时间泄露）。
奖励函数： 模型使用 负交叉熵（或负二次误差）进行微调，该函数衡量模型预测概率与 Polymarket 市场价格之间的差异。

3. 实验设置

模型： 研究微调了参数量从 1.5B 到 14B 不等的 Qwen 2.5 模型。
数据集： 来自 Polymarket 的 512 个高成交量二元问题。
对比： 结果与具有较晚知识截止日期的更大模型 Claude 3.5 Sonnet 进行基准测试。

核心贡献

展示了 GRPO 在预测领域的应用： 本文成功将 GRPO 应用于训练 LLM 处理判断性预测任务，表明只要使用可靠的地面真值代理（市场价格），RL 可以在存在偶然不确定性的情况下显著提高预测性能。
小模型的优越性： 一个反直觉的发现是，经过 GRPO 微调后的 1.5B 参数模型（Qwen 2.5 1.5B）在相同数据集上的预测性能优于 Claude 3.5 Sonnet。这是通过针对市场概率的负交叉熵来衡量的。
规模化与瓶颈分析： 研究表明，在“低信息”设置（有限的上下文摘要）中，模型规模不会带来规模化优势。所有模型在性能水平上都趋于一致，这表明所提供的上下文质量和数量（即摘要）是主要的瓶颈，而非模型的内部容量。
不确定性分类学： 本研究阐明了认知不确定性（epistemic uncertainty）（知识匮乏，可减少）与偶然不确定性（aleatoric uncertainty）（内在随机性，不可减少）之间的区别，证明了在二元结果（偶然性）上进行训练比在概率分布（认知性）上进行训练效率要低得多。

结果

性能提升： GRPO 训练提高了 Qwen 模型的初始预测能力。例如，Qwen 1.5B 模型的平均负交叉熵（Mean Negative Cross-Entropy, NCE）从 -1.66 提升到了 -0.415。
与更大模型的比较： 微调后的 1.5B 模型实现了 -0.415 的 NCE，超过了在相同验证集上得分为 -0.62 的基准模型 Claude 3.5 Sonnet。
规模化限制： 在低信息设置下，将模型规模从 1.5B 增加到 7B 并未显著提高最终的性能平台。所有 Qwen 变体都收敛到了相似的 NCE 分数（约 -0.3 到 -0.4），这表明由摘要工具提供的信息限制了进一步的收益。
失效模式： 文中指出，当摘要工具提供错误信息时，模型会持续失败。在一个关于以色列-伊朗停火协议的具体案例中，摘要器错误地声称市场已经结算，导致模型对一个市场定价为 0% 的事件预测了 100% 的概率。

意义与主张

本文主张判断性预测是 RL 可处理的领域，这与数学和代码等完美可验证的领域不同。其主要意义在于证明了：

效率： 通过使用 GRPO 和准确的训练信号（市场价格），可以使用小型模型（1.5B）实现高性能预测，这比训练大型模型在计算上更廉价且速度更快。
数据重于规模： 在上下文受限的预测任务中，检索信息的质量和训练目标（使用市场概率而非二元结果）是决定成功的关键因素，而非模型规模。
实际可行性： 该训练流水线在有限硬件（例如，对于 $\le$ 7B 的模型，使用单块 H100 运行 2-3 小时）上是可行的，这使得先进的预测能力无需大规模计算集群即可实现。

作者总结道，虽然较大的模型通常在开箱即用时表现更好，但在特定的、受信息约束的机制下，通过使用 GRPO 和高质量地面真值代理进行战略性微调可以逆转这种等级关系。他们还强调，未来的工作必须解决信息检索的瓶颈，因为当前的性能受限于提供给模型的上下文摘要的准确性。