📊 statistics

Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges

本文表明，在具有标注校准数据的多裁判大语言模型评估中，保留所有裁判并校准其输出，比仅依据准确性筛选子集能显著降低错误率，因为即使较弱或有偏见的裁判也能提供非冗余信号以改善概率校准。

原作者： Yanran Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanran Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《校准，而非筛选》的解释。

核心理念：别开除“弱”评委，要教他们诚实

想象一下，你正在决定两个 AI 聊天机器人中哪一个更擅长回答问题。你没有人类专家可以请教，于是你让一个由 100 个不同 AI 模型组成的评审团来投票。

旧方法（筛选）：
传统做法是，人们查看结果后说：“好吧，这 5 个 AI 评委非常聪明，大多数时候都能给出正确答案。其他 95 个有点笨或很困惑。让我们开除这 95 个，只听取前 5 名的意见。”这被称为筛选。如果你只想知道谁赢了，这很有道理。

新方法（校准）：
这篇论文认为，如果你想知道自己应该对答案有多大的信心，那么开除那些“笨”评委就是一个错误。相反，你应该保留所有 100 个评委，但需要校准他们。

把校准想象成教导一群天气预报员：

专家： 每当下雨时，总是说“降雨概率 100%"。
新手： 即使是大晴天，也总是说“降雨概率 100%"。
反叛者： 每当下雨时，总是说“降雨概率 0%"。

如果你只保留专家，你会得到一个很好的答案，但可能会错过细微差别。如果你保留新手和反叛者，你实际上能学到很多东西！你可以教新手：“嘿，你通常过于乐观了”，并告诉反叛者：“嘿，你通常都是错的，所以把你的答案反过来。”

这篇论文的主要发现是：一旦“教会”（校准）了 100 个评委如何调整他们的信心，这个评审团比仅由前 5 名“聪明”评委组成的评审团能提供更准确的现实图景。

实验：四个竞技场

研究人员在四个不同的“竞技场”（数据集）上测试了这个想法，在这些地方他们事先知道正确答案（就像模拟考试）：

JudgeBench： 350 个问题，32 个评委。
RewardBench： 近 3,000 次比较，100 个评委。
RewardBench 2： 更难的问题，174 个评委。
LLMBar： 指令遵循测试，53 个评委。

在每个竞技场中，他们都比较了两支队伍：

A 队（筛选者）： 根据谁答对的问题最多，挑选出前 3、5 或 10 名评委，然后扔掉其余的。
B 队（包容者）： 保留每一个评委，即使是那些表现糟糕的，并使用数学“老师”（校准）来调整他们的投票。

结果：
B 队（保留所有人）几乎总是获胜。

在最难的测试（RewardBench 2）中，“保留所有人”团队在估计信心方面比“前 5 名”团队准确两倍。
即使研究人员试图极其聪明地挑选最佳评委子集，他们也无法击败“保留所有人”团队。

为什么这行得通？（“噪声”的魔力）

你可能会问：“如果一个评委很糟糕，为什么要保留他们？”

论文解释说，即使是一个“糟糕”的评委也携带有用的信息，前提是你懂得如何解读他们。

“反专家”： 想象一个评委 70% 的时间都是错的。这实际上非常有用！如果他们说“选项 A 更好”，你可以自信地说“选项 B 更好”。你只需要反转他们的投票。
“困惑”的评委： 想象一个评委 50% 的时间是对的（纯粹猜测）。他们的投票没有帮助，但只要你知道他们在猜测，他们也不会造成伤害。
分歧的“信号”： 当聪明的评委和笨拙的评委意见不一致时，这表明该问题很难。如果每个人都同意，问题就很简单。通过保留整个评审团，你能更好地感知哪些问题很棘手。

这篇论文使用了一个名为**“校准陪审团定理”**的数学概念。它证明，只要你有办法从评委那里学习（校准），增加更多的评委——即使是弱评委——也永远不会使你的概率估计变得更糟。这就像给汽车增加更多的传感器；即使是一个略有故障的传感器，如果你知道如何解读它的故障，也能告诉你关于路况的一些信息。

成功秘诀

这篇论文为任何评估 AI 模型的人提供了一个简单的配方：

暂时别开除任何人： 收集你所有的评委（LLM 或奖励模型）。
使用“老师”（校准）： 使用一组你知道正确答案的小问题（校准集）。
教导评委： 运行数学计算，了解每个评委的倾向性偏差。
- “评委 A 过于自信。”
- “评委 B 总是选择第一个选项。”
- “评委 C 实际上是个反专家；反转他们的投票。”
聚合： 合并所有调整后的投票。

什么时候不应该这样做？
论文指出了两个罕见的例外情况，在这些情况下你可能想开除一个评委：

坏掉的评委： 如果评委的答案混乱到计算机甚至无法读取（例如，50% 的时间输出乱码），就把他们扔掉。
冗余的房间： 如果你已经有 174 个评委，而且他们都是彼此的克隆体，再增加一个克隆体不会有任何帮助。但通常来说，拥有一个多样化的群体会更好。

核心结论

过去，我们认为获得好答案的最佳方法是找到最聪明的人并忽略其余的人。这篇论文说这是错的。

如果你想知道自己对一个答案有多确定，你应该保留整个群体，教他们如何诚实，并倾听整个合唱。“微弱”的声音往往掌握着理解不确定性的关键。

这篇论文的口号： 校准，而非筛选。

技术摘要：校准，而非筛选

问题陈述

在大语言模型（LLMs）和奖励模型的评估中，多裁判成对比较是主导范式。管理异质性裁判小组（从近乎随机到近乎专家）的普遍启发式方法是筛选：选择最准确的裁判子集（top- $k$ ）并剔除较弱的裁判，以最大化点准确率。

然而，现代评估系统日益需要校准的概率输出（可靠的置信度估计），而不仅仅是准确的胜者。本文研究了当目标从点准确率转向使用标记校准集进行校准的概率估计时，筛选启发式方法是否仍然成立。核心问题是：我们应该筛选出一个由高精度裁判组成的小组，还是校准包含较弱裁判的完整小组？

方法论

作者提出了一个用于多裁判聚合的四步统计流程，比较了两个分支：基于准确率的筛选（top- $k$ 剪枝）与完整小组包含。关键在于，聚合和校准程序在两个分支中保持固定，以隔离裁判小组构成的影响。

流程

异质性感知聚合 ( $M_\omega$ )：
- 裁判的裁决通过集成的贝叶斯单硬币模型聚合成原始概率。
- 裁判权重源自在校准分割集上估计的后验平均准确率 ( $\alpha_k/(\alpha_k+\beta_k)$ )。
- 这实现了对数几率加权原则，其中准确率不确定的裁判 ( $\alpha_k \approx \beta_k$ ) 获得接近零的权重，而强裁判和弱裁判则根据其学习到的可靠性做出贡献。
- 注：本文还考虑将 Dawid–Skene EM 作为替代聚合器。
残差偏差校正 ( $M_{\omega, \delta}$ )：
- 一个低容量的事后映射（Platt 风格的逻辑回归）校正聚合分数中的全局尺度和偏移偏差。
- 此步骤允许模型类从 $M_\omega$ 扩展到 $M_{\omega, \delta}$ ，而不会增加渐近校准损失。
分布校准 ( $M_{\omega, \delta, G}$ )：
- 对校正后的概率应用Beta 校准映射，以确保分布级别的校准。
- 映射 $g(p) = \sigma(a \log p + b \log(1-p) + c)$ 推广了 Platt 缩放，允许在自信的正面和负面附近进行不对称校正。
- 使用弹性网络正则化以防止过拟合，特别是在校准数据有限时。
共形覆盖（可选）：
- 分裂共形预测包裹校准后的概率，以提供有限样本的边缘覆盖保证。

实验设置

数据集： 四个标记的成对评估基准：JudgeBench、RewardBench、RewardBench 2 和 LLMBar。
裁判： 裁判小组规模从 38 到 174 不等，包括原生奖励模型以及增强型 API/GPU 托管的 LLM。
指标： 负对数似然 (NLL) 和 Brier 分数（严格严格评分规则）、期望校准误差 (ECE) 以及点准确率。
协议： 50/50 校准/评估分割在 100 次排列中重复进行。统计显著性通过项目级配对排列检验进行评估。

理论依据

本文提供了两个理论依据，解释为何在校准设置中包含优于筛选：

神谕校准风险的单调性（命题 1）：
在严格严格评分规则（Brier、NLL）下，神谕校准风险关于裁判集是单调的。如果 $S \subseteq T$ ，则 $R(T) \leq R(S)$ 。添加裁判不会增加最优校准损失，因为它提供了额外的条件信息 ( $I(Y; X_{T \setminus S} | X_S) \geq 0$ )。
校准陪审团定理（定理 1）：
扩展孔多塞陪审团定理，作者表明，即使是“反专家”裁判（准确率 $p_k < 0.5$ ），只要其偏差是可学习的，就对误差界限有积极贡献。最优权重 $\alpha_k = \log(p_k / (1-p_k))$ 会翻转反专家的投票，而不是丢弃它。只要裁判不是纯噪声 ( $p_k \neq 0.5$ )，它们的信号就是非冗余的，并能改善误差界限的指数衰减。

主要结果

1. 校准反转

主要发现是筛选与包含权衡的反转：

未校准： 剪枝弱裁判（top- $k$ ）通常能提高原始准确率，有时通过移除极端低质量信号来提高原始 NLL。
校准： 应用 Beta 校准后，使用完整裁判小组的表现始终优于基于准确率的筛选。
- 在 RewardBench 2 上，保留所有裁判的 NLL 为 0.006，而 top-5 筛选为 0.013（校准误差减半）。
- 在 JudgeBench（NLL 降低 19%）、RewardBench（降低 31%）和 LLMBar（降低 22%）上也观察到了类似的提升。

2. 对更强筛选器的鲁棒性

完整小组包含的优势即使在面对更强的剪枝基线时依然存在：

贪心前向选择： 选择裁判以最小化内部分割校准 NLL 未能击败完整小组。
$\ell_1$ 稀疏逻辑回归： 未能稀疏化小组，实际上恢复了完整集合。
神谕 Top-5： 即使拥有测试集准确率的完美知识，仅选择 5 名裁判也无法匹配完整小组的校准性能。
子集搜索： 在去重家族上的穷举搜索和完整小组上的束搜索确认，包含要么是赢家，要么在统计上持平（完整小组是更简单的默认选择）。

3. 分歧的作用

本文解释，弱裁判通过分歧贡献价值。他们的投票标记了不确定的项目并产生不太极端的概率，校准器可以学习信任这些概率。基于准确率的剪枝会移除这些信息，而完整小组校准则保留这些信息并学习适当的信任水平。

4. 预算和范围诊断

标签预算： 包含优势在小校准预算下最为明显（例如，在 RewardBench 上，完整小组包含仅需 75 个标签即可达到 NLL 0.01，而 top-5 需要 >300 个）。
边界情况： 仅当裁判出现病理情况（例如，无法解析的裁决、低于随机且无学习偏差的可靠性）或小组已经饱和（冗余裁判达到锐度底线）时，包含才会失效。作者提出了操作诊断（可解析性、非饱和性、聚合器兼容性）来过滤此类情况。

意义与主张

本文声称提供了多裁判 LLM 评估中校准反转的首个系统证据。其意义在于转变标记评估制度的操作原则：

不要仅凭准确率丢弃弱裁判。
保留它们，如果它们是可解析的、非冗余的且可校准的。
来自多样化小组的“弱”信号，在适当聚合和校准后，比经过筛选的“强”裁判子集提供更多关于不确定性和正确答案的信息。

作者强调，这一结果 specifically 适用于具有保留校准数据的标记基准。在没有真实值的开放式评估中，无法学习裁判偏差并校准概率，筛选启发式方法可能仍然有效。这项工作表明，在标记制度中，预算权衡有利于保留多样化的裁判小组，并将投资用于校准数据，而不是筛选一个小规模的高精度小组。