📊 statistics

Don't Throw Away Your Beams: Improving Consistency-based Uncertainties in LLMs via Beam Search

本文提出在大型语言模型中采用束搜索而非多项式采样来生成用于基于一致性的不确定性量化的候选项，证明该方法降低了方差，并在短格式问答任务上实现了最先进的性能。

原作者： Ekaterina Fadeeva, Maiya Goloburda, Aleksandr Rubashevskii, Roman Vashurin, Artem Shelmanov, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ekaterina Fadeeva, Maiya Goloburda, Aleksandr Rubashevskii, Roman Vashurin, Artem Shelmanov, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《不要扔掉你的光束》的通俗解释，采用简洁语言和创意类比。

核心问题：AI 回答的“回声室”效应

想象一下，你向一个大语言模型（LLM）提出一个简单问题，例如：“谁演唱了《Thriller》？”

为了评估 AI 对其回答的置信度，研究人员通常会让 AI 多次（比如 10 次）回答同一个问题，并观察回答之间的一致性程度。这被称为基于一致性的不确定性。

旧方法（多项式采样）： 想象这就像掷一个灌了铅的骰子。如果 AI 有 90% 的把握认为答案是“迈克尔·杰克逊”，那么每次掷骰子，结果都会是“迈克尔·杰克逊”。你得到 10 个回答，其中 9 个或 10 个完全相同。
- 缺陷： 因为 AI 不断给出完全相同的回答，你可能会想：“哇，它超级自信！”但实际上，AI 只是陷入了死循环。它没有探索其他可能性。如果正确答案其实是“王子”（一个错误的假设），AI 仍可能被困住，连续 10 次说“王子”，从而误导你，让你误以为它很自信，尽管它是错的。此外，获取 10 个完全相同的回答是对算力的浪费。

新方案：侦探式“束搜索”

作者提出了一种获取这 10 个回答的新方法。与其掷骰子，不如采用一种称为**束搜索（Beam Search）**的策略。

类比： 想象你是一名侦探，正在城市中寻找嫌疑人。
- 多项式采样相当于随机派 10 个人去随机询问街上的路人。如果大众主要说“迈克尔·杰克逊”，那么这 10 个人都会回来报告“迈克尔·杰克逊”。
- 束搜索则是同时派遣 10 名侦探前往10 条最可能的街道。即使“迈克尔·杰克逊”是最流行的答案，束搜索也会迫使侦探们去检查第二、第三和第四条最可能的街道。
- 结果： 你得到了一份包含 10 个不同回答的列表（例如：“迈克尔·杰克逊”、“杰克逊先生”、“王子”、“布鲁诺·马尔斯”）。

为何更好：“多样性”红利

论文指出，使用束搜索能带来两大主要优势：

杜绝重复： 你不再浪费时间获取 10 次相同的回答。你能获得 AI 想法的真正多样性。
诚实的置信度评分：
- 如果 AI 给出了 10 个不同的回答（有些正确，有些错误），系统会意识到：“嘿，AI 并不确定！”并赋予较低的置信度评分。
- 如果 AI 给出了 10 个非常相似的回答（即使只是同一想法的细微变体），系统会意识到：“好吧，AI 相当确定”，并赋予较高的置信度评分。

秘密武器：对回答进行加权

论文还引入了一项巧妙的技巧。束搜索找到 10 条不同路径，并不意味着它们具有同等的概率。

类比： 想象 AI 是一名天气预报员。
- 路径 A（光束 1）：“会下雨”（90% 的概率）。
- 路径 B（光束 10）：“会下雨”（0.01% 的概率）。
- 如果我们把这两条路径视为同等重要，就会扭曲数学计算。
- 解决方案： 作者建议：“将路径 A 中‘会下雨’的回答计为 90 票，而将路径 B 中‘会下雨’的回答计为 0.01 票。”他们使用概率加权估计器。这确保了 AI 的置信度评分反映的是回答的真实概率，而不仅仅是它们是否不同。

证据：它有效吗？

研究人员在六个不同的问答数据集（如测验、科学常识和一般知识）上，使用三个不同的 AI 模型测试了这种方法。

结果： “束搜索”方法系统地击败了旧的“掷骰子”方法。
指标： 他们使用了一个名为**PRR（预测 - 拒绝比）**的评分。这就像是一个测试，用来判断：“如果我们根据置信度评分剔除 AI 最差的回答，剩余的回答是否会变得更好？”
最终结果： 束搜索方法在识别错误回答并保留正确回答方面表现更佳。它取得了**最先进（State-of-the-Art）**的成果，这意味着它是目前针对简短事实性问题可用的最佳方法。

结论

论文指出：不要扔掉你的光束。

在 AI 领域，“光束”是指模型为寻找答案而探索的多种路径。作者表明，与其随机采样回答（这往往导致乏味的重复），我们应当利用束搜索的结构化路径。通过这样做，并仔细计算每条路径的概率，我们可以为 AI 获得更精确的“置信度计数器”。这有助于我们判断何时信任 AI，何时保持怀疑，特别是针对简短的事实性问题。

技术摘要：通过束搜索提升大语言模型中基于一致性的不确定性

问题陈述

基于一致性的不确定性量化（UQ）已成为评估大语言模型（LLM）输出可靠性的稳健方法，特别是在黑盒设置中。这些方法通常通过测量经由多项式采样生成的多个输出之间的一致性水平来估计不确定性。

然而，作者指出了将多项式采样应用于**短文本问答（QA）**任务时的关键局限性：

高冗余性：由于短答案的概率分布呈现尖峰状，多项式采样频繁产生重复或近乎相同的输出。论文指出，对于短输出（2–4 个 token），冗余率可达 30–50%，导致计算资源浪费。
高方差：由于每次采样运行产生不同的候选集，所得的不确定性估计在不同运行间表现出显著方差，削弱了其稳健性。
低效性：获得稳定的估计通常需要大量样本，计算成本高昂。

核心问题在于，多项式采样在短文本场景下未能有效探索模型的输出空间，导致置信度估计噪声较大，不确定性量化效果次优。

方法论

论文提出了一类新的 UQ 方法，用束搜索替代多项式采样来生成候选输出。该方法基于三个关键洞察：

不同的候选：束搜索本质上维护前 $k$ 个最可能的部分序列，保证候选输出各不相同，从而减少冗余。
概率加权估计：简单地将束候选视为均匀样本会过度强调低概率输出。相反，作者引入了一种重要性加权估计器。他们将束候选（ $b^{(i)}$ ）的序列概率归一化以形成权重 $w_i$ ：
$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$
随后利用这些权重计算基于一致性的指标（例如 Dissimilarity、Eccentricity），而非使用简单平均。
理论依据：作者推导了束集概率质量（ $m_B$ ）的理论下界，以确保束加权估计器在均方误差（MSE）上优于标准蒙特卡洛（多项式）估计器。他们证明，如果束集覆盖了足够的概率质量（具体而言，对于简化条件， $m_B > 1 - \frac{1}{2\sqrt{M}}$ ），束搜索方法将产生更低的误差。

适配方法

作者调整了若干现有的基于一致性的 UQ 方法以利用束搜索：

Dissimilarity（差异性）：衡量主答案与束候选之间的预期语义差异，并按 $w_i$ 加权。
Eccentricity（离心率）：在所有样本（包括主答案）的相似度矩阵上使用图拉普拉斯算子。作者修改了嵌入计算，采用概率加权的质心。
Eigenvector Dissimilarity（特征向量差异性）：衡量主答案嵌入到拉普拉斯空间中样本嵌入加权均值的距离。
CoCoA：一种结合 token 级似然与样本一致性的混合方法。作者用束加权估计器替换了一致性信号。

主要贡献

局限性识别：论文通过实证证明，多项式采样在短文本问答中导致高冗余和高方差，使其成为这些场景下基于一致性的 UQ 的次优选择。
束加权估计器：提出了一类新的 UQ 方法，利用带重要性加权的束搜索候选，在不生成重复项的情况下更好地逼近模型分布。
理论分析：推导了一个分布无关的充分条件（定理 1），保证当束集捕获足够的概率质量时，束加权估计器优于多项式蒙特卡洛估计器。
实证验证：在六个问答数据集（TriviaQA、WebQuestions、CoQA、HotpotQA、CommonsenseQA、ARC-Challenge）和六个模型（Gemma 3、Llama 3.1、Qwen 3）上进行了广泛评估。

结果

实验表明，用束搜索替代多项式采样一致性地提升了基于一致性的 UQ 方法的性能：

最先进性能：Dissimilarity、Eccentricity、EigVecDissimilarity 和 CoCoA 的束引导变体在几乎所有模型和数据集组合中均取得了最佳或次佳的预测 - 拒绝率（PRR）分数。
稳健性：与多项式采样相比，束搜索方法在不确定性估计中表现出显著更低的方差。
样本效率：在小样本预算（ $M \ge 2$ ）下，改进最为显著。束搜索用更少的候选者即可达到高 PRR 分数（开放域任务在 $M=5$ 左右饱和，多项选择题在 $M=2$ 左右饱和），而多项式采样的改进则更为渐进。
短文本优势：束搜索与多项式采样之间的性能差距在短输出长度（冗余最高处）最大，并随着输出长度增加而缩小。

意义与主张

论文主张，束搜索不应被弃用为不确定性量化的解码策略。尽管束搜索常与确定性、高质量生成相关联，但作者认为，当与概率加权结合时，在短文本问答中，束搜索比随机多项式采样提供了一种更高效、更稳定的输出空间探索机制。

这项工作的意义在于：

实际效率：它提供了一种在白盒设置中“几乎免费”提升 UQ 性能的方法，因为束搜索通常已经执行，或者与生成 $M$ 个独立的多项式样本相比，其额外成本可忽略不计。
理论根基：它提供了一个形式化条件，证明束搜索在 UQ 方面优于采样，超越了启发式改进。
广泛适用性：该方法既提升了纯基于一致性的指标，也提升了结合一致性与 token 似然的混合方法（如 CoCoA），表明其对短文本生成任务的不确定性估计具有可推广的改进效果。

作者对局限性保持谦逊，指出其评估目前仅限于白盒设置（需要访问模型概率）和短文本问答数据集。他们承认，向长文本生成和黑盒设置（需要经验概率估计）的泛化性仍是一个开放问题。