💬 NLP

Uncertainty-Aware Generation and Decision-Making Under Ambiguity

本文提出并评估了基于贝叶斯理论和风险规避策略的、面向辅导与同行评审场景中大语言模型（LLM）的不确定性感知决策算法，证明了尽管这些方法可以提高生成效用，但贝叶斯方法通常优于风险规避规则，因为后者在歧义场景下可能会导致输出过于泛化。

原作者： Nico Daheim, Iryna Gurevych

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Nico Daheim, Iryna Gurevych

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《不确定性感知下的生成与决策：应对歧义性》的中文翻译。

大局观：“困惑的专家”问题

想象一下，你有一位非常聪明、博学多才的专家（即大语言模型，LLM），他正在尝试完成两项困难的工作：

辅导： 帮助学生解决数学问题，而不是直接给出答案。
同行评审： 阅读研究论文，并决定其是否达到了发表水平，同时撰写评审意见。

问题在于，这些工作具有歧义性。即使是真正的专家也会产生分歧。一位导师可能认为最好的辅导方式是提出引导性的问题，而另一位则可能认为提供提示更好。一位评审员可能会给论文“强力接收”的评价，而另一位则可能给“弱拒绝”。

通常，当我们要求 AI 执行这些任务时，它只会选择一条路径并贯彻到底，表现得好像它对自己的选择百分之百确定一样。本文认为，由于人类存在分歧，AI 也应该承认：“我不百分之百确定哪条路径才是最好的。”作者希望 AI 能够做出考虑到这种不确定性的决策，而不是仅仅进行猜测。

工具箱中的三种工具

作者测试了三种帮助 AI 在不确定时做出更好决策的方法。你可以把它们想象成教练在为比赛挑选战术时使用的三种不同策略。

1. “平均专家”策略（贝叶斯决策规则）

运作方式： AI 不再仅仅挑选一种“最佳”辅导策略或评审分数，而是观察它可能采取的所有策略。它会问：“如果我使用策略 A，结果会如何？如果我使用策略 B，情况又如何？”然后，它会计算所有这些可能性的加权平均值，以找到在所有可能场景下平均表现最好的响应。
类比： 想象你是一位厨师，正试图猜测要在汤里加多少盐，但你并不确切知道你的顾客喜欢多咸。你没有去猜一个具体的数字，而是想象了 100 个口味各异的顾客。你计算出那个能让最多的人在平均意义上都感到满意的“完美”盐量。你不是在赌某一种特定的口味，而是在赌平均水平。
结果： 论文发现，这种方法通常能产生最有帮助且最实用的响应。

2. “安全第一”策略（风险规避 / Minmax）

运作方式： 这种策略非常谨慎。它会观察 AI 不确定范围内的“最坏情况”。它试图选择一个即使在情况发生最坏解释时，表现也“最不差”的响应。
类比： 想象你在为旅行打包行李，你不确定会下雨还是晴天。一个“安全第一”的方法会说：“我会带上一件厚外套和一把雨伞，即使最后是晴天，我也要带上，以确保万一真的下雨时我不会淋湿。”
结果： 这种方法在某些情况下效果很好，但往往会让 AI 变得很乏味。因为它试图避免最坏的结果，导致它给出了过于笼统、安全的回答（比如一位导师为了避免出错，对所有学生都说“做得好”）。

3. “置信度过滤器”（符合性预测 / Conformal Prediction）

运作方式： 这本身不是一种决策规则，而是辅助其他两种方法的工具。它就像一个筛子。它观察所有可能的答案并说：“我们有 95% 的把握确定正确答案就在这一组选项中，我们可以安全地忽略其余部分。”这有助于 AI 将精力集中在最可能的选项上，而不浪费时间在荒诞的猜测上。
类比： 想象一名侦探正在城市里寻找嫌疑人。侦探不会检查城市里的每一栋房子，而是利用地图说：“我们 95% 确定嫌疑人在这个街区。”然后他们将搜索重点放在那里。
结果： 这有助于 AI 节省时间和计算资源。然而，如果 AI 选出的“街区”范围过大（因为任务非常令人困惑），“安全第一”策略就会陷入混乱并表现不佳。

研究发现

研究人员在真实数据上测试了这些方法：

辅导： 使用“平均专家”（贝叶斯）方法使 AI 导师能给出更好的教学建议。而“安全第一”法有时会让 AI 变得过于泛泛，就像一位为了避免犯错而只会说“继续努力”的老师。
同行评审： “平均专家”法再次产生了更具建设性和更有帮助的评审意见。“安全第一”法表现不稳定；它对某些 AI 模型有效，但会让另一些模型产生质量较低的评审意见。

核心结论

本文得出结论：当 AI 被用于处理人类存在分歧的复杂、主观任务时，我们不应仅仅要求 AI “选出一个赢家”。相反，我们应该教会 AI：

观察全局： 考虑情况的多种可能解释。
取其平均： 选择在整体范围内表现最好的响应（贝叶斯方法）。
警惕“最坏情况”思维： 试图过于追求安全会让 AI 变得乏味且毫无用处。

作者强调，这些工具旨在支持人类评审员和教师，而不是取代他们。它们就像是高科技助手，帮助人类在局面混乱且充满不确定性的情况下做出更好的决策。

技术摘要：不确定性感知生成与歧义下的决策制定

问题陈述

大语言模型（LLMs）正越来越多地被部署在诸如自动化辅导和同行评审等高风险、主观性强的领域。在这些场景中，任务通常涉及多个决策步骤（例如，识别学生的错误、选择辅导策略以及生成响应），并表现出高度的歧义性。人类专家经常会对给定输入的“正确”策略或评分产生分歧，从而导致显著的不确定性。

目前的 LLM 决策算法往往未能显式地建模这种歧义，也无法提供统计保证。标准方法（如简单的采样或直接比较输出字符串的最小贝叶斯风险（MBR）解码）并未考虑到中间状态（例如特定的辅导策略或评审分数）上的不确定性。因此，这些方法可能会传播误差，无法缩小合理的决策范围，并且缺乏可靠部署所需的统计可靠性。

方法论

作者提出了一个框架，该框架整合了贝叶斯决策理论和符合预测（conformal prediction），以创建不确定性感知的生成与决策算法。核心决策问题涉及在给定上下文 $x$ 的情况下，从决策空间 $V^*$ 中选择一个输出 $y^*$ （例如，评审意见或辅导响应），其中包含一个离散的状态集 $\Omega$ （例如，辅导策略或评审分数）。

1. 贝叶斯决策规则

主要方法是通过最大化关于状态分布 $p(\omega | x)$ 的期望效用来进行决策。最优输出 $y^*$ 定义为：
$y^* = \arg \max_{y \in V^*} \sum_{\omega \in \Omega} u(y, \omega) \cdot p(\omega | x)$
其中 $u(y, \omega)$ 是编码质量和一致性标准的效用函数。与对比输出字符串的标准 MBR 不同，该方法是在状态空间 $\Omega$ 上进行边缘化处理。为了处理无限的 $V^*$ 空间，作者通过采样一组候选输出 $H$ 并选择其中使期望效用在状态分布上最大化的输出，来近似实现最大化过程。

2. 用于状态剪枝的符合预测

为了解决对所有状态求和带来的计算成本问题并提供统计保证，作者采用了符合预测技术。该技术构建了一个预测集 $C(x) \subseteq \Omega$ ，其覆盖真实状态的概率至少为 $1-\alpha$ 。

歧义处理： 意识到标准符合预测假设存在单一真值（这在歧义任务中并不成立），作者使用了蒙特卡洛符合预测（Monte-Carlo conformal prediction）。这允许考虑多个合理标签（策略或分数），将理论覆盖范围扩大到 $1-2\alpha$ ，但在经验上通常能实现更紧凑的边界。
剪枝： 预测集 $C(x)$ 被用于剪枝贝叶斯目标函数中的状态空间，将求和限制在仅有的合理状态内：
$y^* = \arg \max_{y \in V^*} \sum_{\omega \in C(x)} u(y, \omega) \cdot p(\omega | x)$

3. 风险厌恶型决策

作者还评估了一种风险厌恶策略（极大极小法/minimax），即最大化符合预测集内最差情况状态的效用：
$y^* = \arg \max_{y \in V^*} \min_{\omega \in C(x)} u(y, \omega)$
该方法旨在通过针对最不利的可行情景进行优化，来防止生成低质量的输出。

实验设置

这些方法在两个任务上进行了评估：

同行评审： 为来自 Review-5K 和 NLPEER 数据集的论文生成评审意见和分数。使用的模型包括 Gemma-3-27B、Qwen3-30B 和 Mistral-3.2-24B。使用经过微调的 Llama-3.2-3B 来预测分数分布 $p(\omega | x)$ 。
辅导： 为 MathDial 数据集生成辅导响应，使用 TutorRL-7B 模型。策略（关注、探究、告知、通用）由经过微调的 Llama-3.2-3B 进行预测。

效用通过 LLM-as-a-judge 方法进行估计（评审任务使用 Qwen3-14B，辅导任务使用奖励模型），采用 5 点李克特量表。

关键结果

贝叶斯改进： 在这两个领域中，贝益斯决策规则相对于标准祖先采样（ancestral sampling）一致地提高了生成输出的效用。在同行评审中，它显著提升了“可操作性（actionability）”。在辅导中，它提高了标量奖励指标。
符合预测剪枝： 使用符合预测来剪枝状态空间在保持性能的同时，显著减少了所需的效用估计次数（在评审任务中实现了高达约 50% 的压缩）。
风险厌恶的局限性： 极大极小（风险厌恶）策略表现出好坏参半的结果。虽然它在某些评审标准上表现良好，但在辅导任务中往往会导致性能下降。作者将其归因于该策略倾向于优化“通用”或“告知”类策略，因为当这些策略频繁出现在符合预测集中时，为了满足最差情况约束，实际上降低了输出的质量。
缩放行为： 增加样本量 $|H|$ 会持续提升贝叶斯规则的性能。相反，随着 $|H|$ 的增加，极大极小规则的性能会发生退化，这可能是由于在歧义任务中与更宽的预测集产生了相互作用。
模型敏感性： Qwen3 展现出了与 Gemma 和 Mistral 不同的性能特征，这表明后训练目标会影响这些模型与特定效用标准的对齐程度。

重要性与主张

本文声称提出了一种通过显式建模中间状态的不确定性，来改进 LLM 在歧义、高风险领域决策制定能力的方法。其工作的意义在于：

弥合理论与实践： 它证明了结合贝叶斯决策理论与符合预测，即使在底层状态分布具有歧义的情况下，也能实现诸如统计保证和高效用等现实目标。
处理歧义： 它强调了当人类标签变异度较高时，标准决策规则会失效，并提出了处理多种合理真值的特定技术（蒙特卡洛符合预测）。
对社区的行动呼吁： 作者强调当前的 LLM 在类别预测任务（如分数预测）方面仍存在困难，且现有数据集缺乏针对同一输入的多个标注。他们呼吁社区专注于收集多标签数据、开发更好的 LLM 评判器，并创建能够反映人类决策多样性的模型。

作者保持了审慎的态度，指出其方法旨在支持人类评审员和教师，而非实现同行评审的自动化或取代人类判断。他们也承认了一些局限性，例如数据泄露问题（模型可能见过训练数据）以及缺乏衡量长期影响的现实领域研究。