💬 NLP

Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees

本文提出了一种用于大语言模型判定的风险控制框架，该框架根据校准后的不确定性阈值，在参数化模式与检索增强模式之间动态路由实例，从而在保证被接受判定（accepted verdicts）的错误发现率保持在用户指定水平以下的同时，实现覆盖率的最大化。

原作者： Sher Badshah, Ali Emami, Hassan Sajjad

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sher Badshah, Ali Emami, Hassan Sajjad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能快速发展的世界中，衡量计算机程序理解世界能力的测试出现了一个新标准。研究人员不再依赖人类专家来阅读并评分机器生成的每一个答案，而是通常使用一个大型语言模型来充当另一个模型的评判者。这种方法高效且具有可扩展性，能够让开发者在人类评阅一篇论文的时间内，评估数千个响应。然而，当这些数字评判者被要求验证事实时，一个显著的问题随之而来。与没有唯一正确答案的主观任务不同，事实性问题有着明确的真伪。评判者可能会仅仅因为某个陈述听起来很有道理，或者因为模型遗忘了近期发生的事件，就自信地将一个错误的陈述判定为正确。由于缺乏了解评判者何时处于不确定状态的方法，这些无声的错误可能会悄然溜过，导致结论不可靠。

核心挑战在于平衡信心与准确度。如果评判者过于谨慎，它会拒绝回答大多数问题，从而使系统变得毫无用处；如果它过于急切，则会犯错。研究人员曾尝试通过让评判者承认自己的不确定性来解决这一问题，但这往往意味着要丢弃那些模型只是“感觉不确定”但可能原本正确的答案。发表在 COLM 2026 会议上的一项新研究提出了一种更聪明的折中方案。研究人员 Sher Badshah、Ali Emami 和 Hassan Sajjad 开发了一套系统，允许评判者在放弃之前先暂停并寻求帮助。当评判者基于其内部记忆对某个事实感到不确定时，它不会立即拒绝回答。相反，它配备了一个搜索网络证据的工具。随后，它利用这些新信息重新评估问题。只有当评判者在阅读搜索结果后仍然感到不确定时，它才会承认失败并将问题标记以供人工审核。

该团队在多种困难的问答基准测试上测试了这种两步法，使用不同规模的语言模型分别担任“学生”和“评判者”。他们发现，通过加入这个检索步骤，系统可以比单独工作的评判者更自信地回答更多问题。至关重要的是，研究人员不仅仅是寄希望于此有效，他们还为这一过程构建了一个数学上的安全网。他们在一组已知问题上对系统进行了校准，以确保其接受的答案中的错误率保持在用户定义的特定限度之下。例如，如果用户设置了 5% 的限度，系统就能以极高的统计确定性，保证其错误率维持在该水平或以下。即使当评判者从使用自身知识转向使用网络搜索结果时，这一保证依然成立——而这种复杂的转换在以往的方法中很难在不失控错误率的情况下进行管理。

结果显示，这种自适应策略显著提高了系统在不牺牲可靠性的前提下提供答案的能力。在一些难度较高的数据集上，该系统能够接受几乎所有被问及问题的答案，而没有网络搜索功能的评判者则会拒绝回答其中的绝大部分。研究表明，该系统可以恢复在知识密集型任务中的覆盖率，而这类任务在以往往往会因不确定性而丢失。此外，研究人员还检查了当网络搜索结果随时间变化时，系统是否仍能保持可靠，这模拟了互联网信息不断变化的现实场景。他们发现，安全保证依然稳固，证明了该系统可以在无需每次因网络变化而进行完全重新校准的情况下，适应新信息。

这项工作为在事实准确性至关重要的场景中部署人工智能提供了一条切实可行的路径。通过将自动化评判的速度与通过搜索实现的类人验证的可靠性相结合，该系统弥合了效率与信任之间的鸿沟。它表明，机器可以被教会识别自身的局限性，不仅是通过保持沉默，更是通过知道何时去查找答案。研究结论指出，通过建立正确的保障机制，我们可以构建出既敢于回答难题、又足以确保答案正确的评估系统，为下一代人工智能应用提供坚实的基石。

技术摘要：判断、检索或弃权：具有可证明风险保证的不确定性防护型 LLM 评判

问题陈述

使用大语言模型（LLM）作为评判器已成为大规模评估模型输出的标准方法，尤其是在处理主观任务时。然而，将 LLM 评判器应用于客观事实类任务（例如开放域问答）时，面临着独特的可靠性挑战。在缺乏参考答案的情况下，评判器依赖于其参数化知识，这带来了幻觉风险，或者在面对近期/罕见实体时会出现知识匮乏的问题；而采用工具增强虽然可以解决问题，却引入了计算成本且缺乏可靠使用的机制。

至关重要的是，现有的不确定性量化方法通常是启发式的；仅通过对不确定性得分应用阈值，无法为被接受的判定提供正式的错误率保证。此外，目前的风险控制选择性预测方法旨在过滤问答任务中的考生答案，而非用于控制*元评估（meta-evaluation）*设置中的错误。最后，现有方法通常将“弃权”视为应对不确定性的唯一手段，从而丢弃了那些由于知识差距（可以通过额外证据解决）而导致不确定性的实例。

方法论

作者提出了一种风险控制的选择性评估框架，该框架集成了自适应检索与形式化风险保证。该框架以两种模式运行，并利用在已知地面真值（ground-truth）标签的留出集上校准的两阈值路由机制。

1. 问题公式化

目标是选择一个阈值（或一对阈值），使得假发现率（False Discovery Rate, FDR）——即评判器选择进行评估的实例中的错误率——能以高概率（ $1-\delta$ ）保持在用户指定的风险水平 $\alpha$ 以下。
$\text{Pr}(R(t) \leq \alpha) \geq 1 - \delta$
其中 $R(t)$ 是真实的 FDR。

2. 两模式路由机制

该框架采用分层评估过程：

模式 1（参数化）： 评判器仅利用其内部知识对候选答案进行评估，生成判定 $v_1$ 和不确定性得分 $U_1$ 。
模式 2（检索增强）： 如果 $U_1$ 超过第一个校准阈值 $\hat{t}_1$ ，系统会根据问题检索前 $k$ 个网页结果。评判器结合这些证据重新评估该实例，生成 $v_2$ 和 $U_2$ 。
弃权： 如果 $U_2$ 超过第二个校准阈值 $\hat{t}_2$ ，则该实例被弃权（标记为需人工审核）。

3. 校准与理论保证

阈值的校准使用基于留出校准集的 Clopper–Pearson 精确置信上限完成。

单模式： 对于固定的阈值，给定输入时选择事件是确定性的，这保留了失败指示符的 i.i.d.（独立同分布）伯努利结构。这使得应用 Clopper–Pearson 界限来保证 FDR 控制成为可能。
两模式扩展： 作者证明了这种伯努利结构可以扩展到两阈值路由设置中。由于路由决策是基于不确定性得分和固定阈值的确定性函数，因此被选中子集的失败指示符仍保持为 i.i.d. 伯努利分布。因此，该联合策略在有限样本下的 FDR 保证成立，且无需额外的分布假设。

校准过程旨在寻找阈值对 $(\hat{t}_1, \hat{t}_2)$ ，在确保经验 FDR 的上限仍 $\leq \alpha$ 的同时，最大化覆盖率（即被接受的实例数量）。

核心贡献

风险控制的选择性评估： 本文针对事实性问答中的 LLM 作为评判器场景，制定了风险控制的选择性评估方案。
自适应检索路由： 引入了一种两模式机制，使评判器能够通过自适应网络检索来获取知识，从而在转向弃权之前解决不确定性，有效地将潜在的弃权转化为有信息的评估。
理论扩展： 证明了实现 Clopper–Pearson 界限所需的伯努利结构可以扩展到两阈值路由设置，从而为联合策略提供有限样本的 FDR 保证。
实证验证： 通过在开放域问答基准测试及不同规模的评判器模型上的实验，验证了该框架在维持目标错误率的同时，比单模式基准实现了显著更高的覆盖率。

结果

该框架在四个数据集（TriviaQA, Natural Questions, HotpotQA, PopQA）上进行了评估，使用了多种候选模型（Qwen3-8B, LLaMA-3.1-70B）和评判器（Qwen3-4B/8B/14B, LLaMA-3.1-8B）。

FDR 控制： 在所有 32 种配置中，经验 FDR 均保持在或低于目标 $\alpha$ ，满足了有限样本保证。FDR 紧随 $\alpha$ 波动，且置信区间较窄。
覆盖率提升： 自适应检索显著回收了原本会因弃权而丢失的覆盖率。
- 在知识密集型任务（如 HotpotQA, NQ-Open）中，模式 2（检索）占据了非弃权判定的绝大部分。
- 例如，在 NQ-Open 中使用 Qwen3-8B 候选模型时，当 $\alpha=0.20$ 时，覆盖率从 7%（仅模式 1）提升至 82%（联合框架）。
- 在 HotpotQA 中使用 LLaMA-8B 时，覆盖率从 40% 提升至 85%。
检索影响： 虽然检索扩大了覆盖率，但并不总是能降低不确定性。对于 14–29% 的实例，检索反而增加了不确定性（例如由于来源冲突）。第二个阈值成功地将这些案例路由至弃权，确保了只有高置信度、有证据支撑的判定才被接受。
鲁棒性： 该框架对检索漂移（网页搜索结果随时间的变化）保持鲁棒，通过将校准后的阈值应用于新鲜的证据快照，依然保持了 FDR 控制。

意义

本文声称其主要意义在于为客观评估环境下的 LLM 评判器提供了正式的、有限样本的风险保证，而此前缺乏这种能力的启发式阈值方法无法做到这一点。通过将自适应检索与风险控制选择相结合，该框架解决了可靠性与覆盖率之间的权衡问题：它允许评判器利用外部工具来解决知识差距，而非仅仅是弃权，同时在数学上限制了错误判定的发生率。这使得在不可接受不受控错误传播的高风险或自主智能体场景中部署 LLM 评判器成为可能。