🤖 machine learning

Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting

本文介绍了贝塔 - 伯努利校准器（BBC），这是一种轻量级方法，它利用二元结果和人类预测分布，将点估计转化为具有可靠认知不确定性的校准概率预测，其表现优于现有的校准和微调方法。

原作者： Hui Dai, Ryan Teehan, Parsa Torabian, Mengye Ren

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Hui Dai, Ryan Teehan, Parsa Torabian, Mengye Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《将大语言模型与人类不确定性对齐：用于大语言模型预测的 Beta-Bernoulli 校准器》的通俗解释，辅以日常类比。

宏观图景：过度自信的预言家

想象你拥有一个非常聪明、博览群书的 AI（大语言模型，或称 LLM），它就像一个预言家。你问它：“明天会下雨吗？”或者“这家公司的股价会上涨吗？”AI 会给你一个答案，比如“我有 80% 的把握会下雨”。

问题在于？AI 往往过度自信。它可能会说"80%"，而实际情况更接近"50%"。这就像一个气象员，即使天上有云，也总是大喊“晴天！”，因为他想听起来很确定。

目前的方法试图通过让 AI 回顾过去的结果（下雨了还是没下？）并调整其数值来解决这个问题。但本文的作者说：“等等，有一位更好的老师。”

秘密武器：群体的“氛围检查”

这篇论文介绍了一种名为Beta-Bernoulli 校准器（BBC）的新方法。你可以把 BBC 想象成一位站在 AI 和最终答案之间的聪明裁判。

它是如何工作的，用一个简单的类比来说明：

初始猜测（AI）： AI 做出猜测。假设它说：“下雨的概率是 60%。”
群体的意见（人类预测）： 论文使用了预测市场（如博彩网站或预测平台）的数据，那里有成千上万的真人已经做出了猜测。BBC 不是简单地取他们猜测的平均值，而是观察他们意见的分布。
- 情景 A： 每个人都同意是 60%。群体很有信心。
- 情景 B： 有些人说是 20%，有些人说是 80%。群体感到困惑且意见分歧。
裁判（BBC）： BBC 结合 AI 的猜测和群体的“氛围”，创建一个分布（一系列可能性），而不仅仅是一个单一数字。
- 如果群体意见分歧，BBC 会告诉 AI：“你的 60% 猜测还可以，但你应该对此不那么确定，因为其他人正在争论。”
- 如果群体意见一致，BBC 会说：“很好，你的 60% 很扎实。”

魔法技巧："Beta"与"Bernoulli"

论文使用了一些花哨的数学术语，但它们只是描述了两个简单的概念：

Bernoulli（抛硬币）： 这是实际发生的事件。下雨了吗？（是/否）。这是最终结果。
Beta（可能性的云）： 这是 BBC 用来表示不确定性的方式。
- 将 AI 的信心想象成一团云。
- 狭窄、高耸的云意味着 AI 非常确定（低不确定性）。
- 宽阔、扁平的云意味着 AI 在胡乱猜测（高不确定性）。

BBC 学习如何塑造这团云。它利用二元结果（下雨了吗？）来确保云的中心是准确的。但它利用人类预测来塑造云的宽度。如果人类感到困惑，云就会变宽。如果人类意见统一，云就会变窄。

为什么这比其他方法更好

论文将这种方法与其他修正 AI 预测的方法进行了测试比较：

对比“只问 AI"： 当你只问 AI 一个百分比时，它会撒谎说自己有多确定。BBC 修正了这一点。
对比简单的数学修正： 旧方法（如 Platt Scaling）只是拉伸或压缩数字。它们就像一把只能测量长度、不能测量宽度的尺子。BBC 同时测量数值和不确定性。
对比训练一个新的 AI： 你可以尝试从头重新训练一个庞大的 AI，使其更擅长猜测。这既昂贵又缓慢。BBC 是一个轻量级的附加组件。这就像给普通相机装上一个高科技镜头。你不需要买新相机；你只需要加上镜头，让照片更清晰。

关键发现

更高的准确性： BBC 使 AI 的猜测更准确（更低的"Brier 分数”，这只是一个 fancy 的说法，意思是“更接近真相”）。
诚实的不确定性： 最重要的发现是关于认知不确定性。这是一个 fancy 的术语，指“模型有多少不知道的东西”。
- 当 BBC 说“我有一团很宽的不确定性之云”时，它通常是对的。AI 实际上在那个问题上很挣扎。
- 当 AI 只是说“我有 90% 的把握”时，它往往是错的。BBC 的“云宽”比 AI 自己的话语是一个更好的预警信号。
适用于任何 AI： 你可以将这个“裁判”用在任何 AI 之上，甚至是那些你无法更改或无法窥探内部（黑盒模型）的 AI。

总结

这篇论文提出了一个简单但有力的想法：不要只向 AI 索要一个数字；让它从群体的困惑中学习。

通过使用一个小型、聪明的“裁判”（BBC），它同时观察最终结果以及人类意见的一致或分歧程度，我们可以将一个自信但错误的 AI 转变为一个谦逊且准确的预测者。这就像是一个大喊“晴天！”的气象员，与一个说“很可能是晴天，但云层移动很快，所以我不是 100% 确定”的气象员之间的区别。

技术摘要：通过 Beta-Bernoulli 校准器将大语言模型与人类不确定性对齐

问题陈述

概率预测对于从经济到国家安全等各个领域的决策至关重要。尽管大语言模型（LLM）拥有广博的知识和推理能力，但它们往往难以超越熟练的人类预测者。现有的改进 LLM 预测能力的方法通常依赖于使用二元结果（例如事件是否发生）进行监督微调（SFT）或强化学习（RL）。然而，这些方法面临显著局限：它们资源密集，通常不适用于黑盒模型，且未能利用人类预测中包含的丰富信息。具体而言，人类预测不仅提供聚合概率估计，还提供预测者之间的一致程度（共识），这编码了关于人类情绪和认知不确定性的宝贵信号。当前方法大多忽略这种分布信息，转而关注点估计或口头表达的置信度分数，而这些已被证明是过度自信且充满噪声的。

方法论：Beta-Bernoulli 校准器 (BBC)

作者提出了Beta-Bernoulli 校准器（BBC），这是一种轻量级、与模型无关的事后校准框架。与试图微调底层 LLM 的方法不同，BBC 作为一个独立的较小模型，对来自任何输入 LLM 的初始口头预测进行细化。

核心框架

该框架将潜在事件概率 $p$ 建模为从 Beta 分布中抽取的随机变量， $p \sim \text{Beta}(\alpha, \beta)$ ，并将观测到的二元结果 $y$ 建模为伯努利试验的实现， $y \sim \text{Bernoulli}(p)$ 。

输入：校准器接收一个预测问题 ( $x_i$ ) 和来自输入 LLM 的初始口头点预测 ( $\hat{p}^{init}_i$ )。
输出：校准器不输出单一概率，而是预测 Beta 分布的参数（或 $K$ $K$ 个 Beta 分布的混合体以增加灵活性）。
- 预测分布的均值作为校准后的点预测： $\hat{p}_i = \mathbb{E}[p_i] = \frac{\hat{\alpha}_i}{\hat{\alpha}_i + \hat{\beta}_i}$ 。
- 方差作为认知不确定性的度量： $\hat{u}_i = \text{Var}[p_i]$ 。

训练目标

校准器使用复合损失函数 $\mathcal{L}_{total} = \mathcal{L}_{binary} + \mathcal{L}_{human}$ 进行训练：

二元结果监督 ( $\mathcal{L}_{binary}$ )：模型从实现的二元结果 ( $y_i \in \{0, 1\}$ ) 中学习。作者证明，在 Beta-Bernoulli 模型下最大化二元结果的似然，在数学上等价于最小化关于分布均值的二元交叉熵 (BCE) 损失。这确保模型学会预测真实概率。
人类预测监督 ( $\mathcal{L}_{human}$ )：为了解决可识别性问题（即不同的 Beta 分布可能产生相同的均值和 BCE 损失）并捕捉分布形状，模型接受人类预测的监督。作者将人类预测视为来自真实潜在分布的噪声样本。他们构建人类预测的直方图，并最小化该直方图与预测的 Beta（或 Beta 混合）分布之间的Kullback-Leibler (KL) 散度。这使得模型能够学习群体中固有的“共识”和不确定性。

架构

校准器实现为带有全连接层（MLP）头的小型语言模型（例如 Llama-3.2-1B）。它编码输入文本和初始预测，然后预测 Beta 参数。这种设计确保了该方法计算高效，并且可以应用于任何黑盒 LLM，而无需访问其内部权重或表示。

主要贡献

Beta-Bernoulli 校准器：一种轻量级、与模型无关的方法，将点预测转换为事件可能性的分布，有效捕捉了偶然性（固有随机性）和认知性（模型不确定性）不确定性。
人类作为分布监督：本文提出了一种新颖的方法，使用人类预测分布（从 Metaculus 和 Polymarket 等平台聚合）作为监督信号。这提供了超越二元结果的信息，特别是关于概率分布的形状和预测者之间的一致程度。
认知不确定性作为预测因子：作者表明，预测 Beta 分布的方差是比 LLM 提供的口头置信度分数更可靠的预测误差指标。

实验结果

该框架在来自Metaculus和Polymarket的数据集上进行了评估，并在Kalshi上进行了分布外（OOD）测试。

与基线的性能对比：BBC 始终优于传统的事后校准方法（Platt 缩放、等渗回归）以及专门为预测微调的模型（例如 OpenForecaster-8B、Future-as-a-label-32B）。
- 在测试集上，与口头基线相比，BBC 将 Brier 分数降低了约 14.4%（例如，Claude-Sonnet-4 从 0.146 降至 0.125），并将 AUC 从 72.3% 提升至 74.2%。
- BBC 实现了比微调模型更好的校准（更低的期望校准误差）和更强的区分度（更高的 AUC），表明轻量级校准器是替代全模型微调的更高效方案。
人类监督的影响：比较“仅二元 BBC"与“二元 + 人类 BBC"发现，纳入人类预测分布 consistently 改善了 Brier 分数和 AUC。预测分布与人类预测之间的 KL 散度降低，表明模型更好地与人类信念对齐。
认知不确定性：分析显示，Beta 分布的方差与预测误差（Brier 分数）高度相关。相比之下，口头置信度分数充满噪声，且往往与实际表现不相关。
泛化能力：校准器展示了对分布外 Kalshi 数据集的稳健泛化能力，在传统校准方法失效的地方保持了强劲性能。
效率：实验证实，10 亿参数的校准器足以有效细化来自更大模型（例如 700 亿参数）的预测，突显了该方法计算效率的优势。

意义与主张

本文声称，Beta-Bernoulli 校准器通过以下方式在 LLM 预测领域取得了显著进展：

弥合差距：它有效地利用“群体智慧”，不仅将其作为点估计，而且作为建模不确定性的分布信号，解决了当前 LLM 预测文献中的空白。
模型无关性：通过作为事后校准器运行，它允许校准任何 LLM（包括专有黑盒模型），而无需昂贵的微调或访问内部状态。
可靠的不确定性量化：它提供了一种原则性的方法来估计可预测误差的认知不确定性，超越了 LLM 不可靠的自我报告置信度。
互补性：该方法被呈现为与现有技术的互补；它可以应用于已经为预测微调的模型之上，以获得进一步的性能提升。

作者总结道，虽然人类预测者目前仍优于 LLM，但 BBC 框架通过利用人类共识信号来校准模型信念，显著缩小了这一差距，为更可靠的 AI 预测提供了一条可扩展且高效的路径。