技术摘要：基于 LLM 裁判的偏见感知贝叶斯 Top-$k$ 排序

问题陈述

大语言模型（LLMs）正越来越多地被部署为“裁判”，用于执行对响应进行两两比较以进行排序、选择模型或筛选文档。尽管这种方式成本低廉，但这些裁判存在两个关键缺陷：噪声（判决不一致）和系统性偏见（对冗长程度、特定格式或呈现顺序的偏好）。

本文解决的核心问题是在固定比较预算下识别前 $k$ 个项目（例如，最好的 $k$ 个响应）的问题。作者认为，对 LLM 投票进行朴素聚合（例如，简单的胜场计数）是失败的，因为它将呈现质量与潜在的项目质量混为一谈。因此，朴素方法收敛到的是“呈现质量”而非“真相”的排序，并且这种误差无论进行多少次比较都会持续存在。此外，当目标明确为识别 top-$k$ 集合时，旨在解析整个排序的标准主动学习策略是低效的，因为它们会将预算浪费在远离 top-$k$ 边界的项目上。

方法论

论文提出了一个结合了偏见感知贝叶斯推断与 Top-$k$ 感知主动获取的框架。

1. 偏见感知贝纳德-特里（Bradley-Terry）模型

作者将裁判过程建模为一个关于潜在项目质量（$\theta$）的贝叶斯推断问题。他们扩展了标准的 Bradley-Terry 模型，以显式地考虑特定裁判的偏见：

$$\Pr(y = 1 | a, b) = \sigma \left( \theta_a - \theta_b + \sum_{m=1}^d c_m (x_{a,m} - x_{b,m}) + \kappa \right)$$

其中：

• $\theta_a, \theta_b$：项目的潜在质量得分。
• $x_{a,m}, x_{b,m}$：可观测的协变量（例如，响应长度/冗长程度、格式指示符）。
• $c_m$：与质量共同学习的偏见系数。
• $\kappa$：捕捉首选显示项偏好的位置项。
• $\sigma$：逻辑函数（logistic function）。

自适应收缩（Adaptive Shrinkage）： 一个关键组件是对偏见系数（$c, \kappa$）使用收缩先验（具有较小方差 $\tau^2$ 的高斯分布）。这使得数据能够决定哪些偏见是活跃的。如果一个裁判是无偏的，系数将被收缩向零，使模型退化为标准的 Bradley-Terry 模型。这确保了该方法在应用于未知裁判时是“安全”的，即在不存在偏见时产生的惩罚极小。

2. Top-$k$ 感知主动获取

作者没有选择旨在最大化全局排序准确性的候选对（例如，D-最优设计），而是引入了一种针对 top-$k$ 成员身份边界 的获取规则。

候选对 $(i, j)$ 的获取分数 $s(i, j)$ 定义为：
$$s(i, j) = \underbrace{\hat{p}_{ij}(1 - \hat{p}_{ij})}_{\text{信息量}} \times \underbrace{(\Sigma_{ii} + \Sigma_{jj} - 2\Sigma_{ij})}_{\text{}\theta_i - \theta_j \text{ 的方差}} \times \underbrace{(H(p_i) + H(p_j))}_{\text{边界相关性}}$$

• 信息量与方差： 标准项，用于估计质量差异 $\theta_i - \theta_j$ 的信息增益。
• 边界相关性： 项 $H(p_i) + H(p_j)$ 使用二元熵，其中 $p_i = \Pr(i \in \text{Top-}k)$。当一个项目的成员身份不确定时（$p \approx 0.5$），该项达到最大值；而对于明确属于或不属于 top-$k$ 的项目，该项则趋于零。这使得预算集中在解决 top-$k$ 集合的具体边界上。

3. 推断与流程

系统按循环运行：

1. 拟合： 使用拉普拉斯近似（通过 L-BFGS 最小化惩罚负对数后验）来估计 $\theta, c, \kappa$ 的后验分布。
2. 估计： 通过从后验分布中进行蒙特卡洛采样来计算 top-$k$ 成员身份概率 $p_i$。
3. 获取： 选择使 $s(i, j)$ 最大化的下一对 $(i, j)$，以随机顺序呈现给裁判，并观察其判决。
4. 更新： 添加新数据并重复上述步骤，直到预算耗尽。

核心贡献

1. 偏见感知贝叶斯模型： 一种生成式模型，通过使用收缩先验，显式地将潜在质量与呈现偏见（冗长程度、位置）分离。这使得即使在裁判存在偏见的情况下也能稳健地估计真实质量，同时对于无偏裁判保持“安全”（无惩罚）。
2. Top-$k$ 感知获取规则： 一种预算高效的策略，优先处理靠近 top-$k$ 边界的比较，而非完整的排序。论文证明，在有限预算下，该策略优于全局不确定性（D-最优）和轮询（round-robin）基准。
3. 真实 LLM 上的实证证据： 在受控基准测试中，对 16 个真实的 LLM 裁判（涵盖 Llama、Qwen、GPT-4o、Gemini、Claude 等开源及商业模型家族）进行了广泛评估，且已知地面真值（ground truth）。

实验结果

正确性（Top-$k$ 恢复）

• 朴素聚合失效： 在有偏裁判（如 Llama-3.1-8B、Qwen-2.5、GPT-4o-mini）上，朴素胜场计数无论预算多少都会收敛到错误的 top-$k$ 集合。召回率会停留在较低水平（例如，约 0.50–0.60）。
• 偏见感知恢复： 提议的模型可以恢复正确的 top-$k$ 集合，在有偏裁判上的召回率提升至 0.84–1.00。
• 偏见的异质性： 偏见并非统一的。对于“前沿”裁判（如 GPT-5.1、Claude Opus），它们表现出极少或没有偏见，且使用朴素方法即可达到完美召回。偏见感知模型在这些情况下带来的收益微乎其微，这证实了收缩先验的安全性。相反，中端或廉价裁判表现出强烈的冗长程度偏见，而模型成功纠正了这一点。
• 与能力的关联： 裁判的原始能力（朴素召回率）与偏见纠正带来的收益之间存在强负相关性（Spearman $\rho = -0.88$）。该方法对于那些具备排序能力但被偏见破坏的裁判最为有效。

效率（预算使用）

• Top-$k$ 感知获取规则 比全局不确定性或轮询策略能以显著更少的比较次数达到偏见感知的性能上限。
• 在预算 $B=120$ 时，top-$k$ 感知规则实现了 0.80 召回率，而全局不确定性为 0.70，轮询为 0.61。
• 消融研究确认，获取分数中的“边界相关性”项是驱动这种效率的主要因素；移除该项会导致性能退化至全局 D-最优性的水平。

成本效益

• 论文证明，应用偏见纠正后的廉价裁判（如 GPT-4o-mini）达到与前沿、无偏裁判（如 GPT-5.1）相似召回率（0.90）所需的成本，大约仅为后者的 1/20。

意义与主张

论文声称偏见是真实存在的、具有异质性的，且取决于能力水平。作者认为：

1. 朴辐射聚合在有偏裁判下进行 top-$k$ 选择时存在根本性缺陷，因为它估计的是一个混淆量（质量 + 呈现偏好），从而导致不可逆转的误差平台。
2. 显式建模是必要的： 不能假设偏见为零，也不能仅靠简单启发式方法（如交换顺序）来处理，因为冗长程度偏见不同于位置偏见，且因裁判而异。
3. 在线估计是解决方案： 通过将偏见视为每个裁判特有的待推断的潜在参数（由收缩正则化），系统可以适应特定裁判的行为，而无需预先了解其偏见特征。
4. 针对性获取至关重要： 在预算受限的情况下，投入精力解决完整排序是浪费的。将比较集中在 top-$k$ 边界可以产生更高的效用。

作者总结道，他们的方法使得使用廉价、有偏的 LLM 裁判来执行高风险评估任务成为可能，通过纠正其系统性错误，为实现比依赖前沿模型更具成本效益的规模化、准确排序提供了一条路径。他们也指出，关于协变量（如长度）是伪造属性的假设存在局限性；如果长度在某些任务（如摘要任务）中确实代表质量，那么去偏可能会损害性能，这表明需要一个“信任锚点”门控来决定何时应用纠正。