FUSE: Ensembling Verifiers with Zero Labeled Data

1. 问题背景 (Problem Statement)

在大语言模型（LLM）的测试时扩展（Test-time Scaling）和实际部署中，验证（Verification） 是一个关键步骤。常见的做法是 Best-of-N (BoN) 采样：生成 $N$ 个候选回答，然后利用验证器（Verifier）或奖励模型（Reward Model）进行评分，选出得分最高的回答。

然而，现有的验证方法面临以下核心挑战：

• 验证器不完美：实际使用的验证器（如外部 LLM 或奖励模型）并非完美，它们可能存在偏差或错误。
• 缺乏真值标签（Ground Truth）：获取人类专家标注的正确性标签（Ground Truth）既昂贵又耗时。因此，在大多数实际场景中，我们只有验证器的评分，而没有回答是否正确的真实标签。
• 现有集成方法的局限性：
  • 简单集成（如多数投票、平均分数）：假设所有验证器同等重要，忽略了验证器能力的差异。
  • 半监督方法：通常需要少量的标签数据来训练集成权重（如 Logistic Regression 或 WEAVER 方法），这在实际部署中往往不可用。
  • 依赖强假设：现有的无监督集成方法（如基于 Jaffe et al., 2015 的方法）通常假设验证器之间是条件独立的。但在 LLM 验证场景中，验证器往往基于相似的训练数据或架构，导致它们之间存在复杂的条件依赖，使得这些强假设失效，性能大幅下降。

核心问题：如何在完全没有正确性标签的情况下，有效地集成多个不完美的验证器，以选出最正确的 LLM 生成回答？

2. 方法论 (Methodology)

作者提出了 FUSE (Fully Unsupervised Score Ensembling)，一种完全无监督的分数集成方法。其核心思想是通过数据自适应的方式，缓解验证器之间的条件依赖，从而利用谱算法（Spectral Algorithms）在无标签情况下估计验证器质量。

FUSE 包含三个关键步骤（如图 2 所示）：

步骤 1：自适应分数变换 (Adaptive Score Transformation)

• 动机：传统的谱方法（如 Jaffe et al., 2015）依赖于**三元组条件独立性（Triplet Conditional Independence, TCI）**假设，即任意三个验证器在给定真实标签下是独立的。但在 LLM 验证中，这一假设通常不成立。
• 创新：FUSE 不直接假设 TCI 成立，而是引入一个TCI 违反的实证度量。
  • 定义变换函数 $g_\tau$（例如将连续分数二值化为 $\pm 1$，通过阈值 $\tau$ 控制）。
  • 寻找最优变换参数 $\tau^*$，使得变换后的验证器分数矩阵 $\tilde{V}$ 满足 TCI 违反度量最小化。
  • 通过坐标下降法（Coordinate Descent）优化 $\tau$，从而“修正”原始分数，使其更符合谱算法所需的统计特性。

步骤 2：矩估计验证器质量 (MoM Estimation of Verifier Quality)

• 在获得变换后的矩阵 $\tilde{V}$ 后，利用 Jaffe et al. (2015) 的矩估计（Method-of-Moments, MoM）方法。
• 基于二阶和三阶协方差张量（Covariance Tensors），在满足 TCI 假设（经过步骤 1 的修正后）的情况下，解析地估计每个验证器的灵敏度（Sensitivity, $\psi$）和特异性（Specificity, $\eta$），以及类别不平衡（Class Imbalance, $b$）。
• 这一步完全不需要真实标签，仅依赖验证器输出之间的统计相关性。

步骤 3：伪标签构建与集成优化 (Pseudo-labeling and Ensemble Optimization)

• 构建伪标签：利用估计出的 $\hat{\psi}, \hat{\eta}, \hat{b}$，结合 TCI 假设，计算任意三个验证器组合下的后验概率估计 $\hat{p}(r)$。通过平均多个三元组的估计值，得到每个回答 $r_i$ 的**伪标签（Pseudo-labels）**或正确性概率估计。
• 优化集成规则：
  • 不再假设联合条件独立性（Joint Conditional Independence, JCI）（这是传统方法常做的强假设，但在实践中很难验证且往往不成立）。
  • 将伪标签作为“软标签”，训练一个参数化的集成模型（如逻辑回归 $f_\theta$）。
  • 目标函数是最大化预测分数与伪标签估计值之间的相关性（公式 7）。
  • 最终选择得分最高的回答作为输出。

3. 关键贡献 (Key Contributions)

1. 提出了 FUSE 框架：首个能够在零标签（Zero Labeled Data）条件下，通过自适应变换和谱估计，有效集成多个 LLM 验证器的方法。
2. 解决了条件依赖问题：
   • 通过引入 TCI 违反度量并自适应变换分数，使得原本在强依赖数据上失效的谱算法（Jaffe et al., 2015）能够重新适用。
   • 通过伪标签机制，避免了传统集成方法中常见的强 JCI 假设，提高了方法的鲁棒性。
3. 广泛的适用性：
   • 支持离散（二值）和连续（实数）类型的验证器。
   • 支持单查询（Query-conditional）和批量（Batched）处理模式。
4. 性能突破：在多个基准测试中，FUSE 的表现不仅优于无监督基线（如多数投票、简单平均），而且媲美甚至超越了需要少量标签的半监督方法（如 WEAVER、Logistic Regression）。

4. 实验结果 (Results)

作者在多个具有挑战性的数据集上进行了评估，包括：

• Saad-Falcon et al. (2025b) 数据：涵盖 GPQA, MATH500, MMLU 等，使用 Llama 3.1/3.3 (8B/70B) 生成。
• Humanity's Last Exam (HLE)：前沿的未饱和基准，难度极高。
• IMO Shortlist：国际数学奥林匹克竞赛题目，验证器同质性较高。

主要发现：

• 与半监督方法竞争：在 70B 和 8B 模型的实验中，FUSE 在 40 次比较中赢得了 27 次，与需要 5% 标签数据的 WEAVER 方法表现相当（例如在 GPQA Diamond 上，FUSE 64.4% vs WEAVER 64.1%）。
• 显著优于无监督基线：FUSE 在所有设置下均大幅超越了多数投票（Majority Vote）和简单平均（Naive Ensemble）。例如在 MMLU Pro (70B) 上，FUSE 比 Naive Ensemble 高出约 4.4%。
• 极端难度下的表现：在 Humanity's Last Exam 上，FUSE 达到了 54.3% 的准确率，优于所有其他无监督和半监督基线（包括 Oracle Best Verifier 的 53.5%），证明了其在极难任务上的有效性。
• 同质性场景：在 IMO Shortlist 中，尽管验证器高度相似且数量较少，FUSE 仍能匹配 Naive Ensemble 的性能（63.8%），而其他依赖数据的方法表现较差。
• 异质性场景：在混合数据（Mixed Data）设置下，FUSE 表现出更强的鲁棒性，特别是在任务分布发生偏移时，其性能优势比半监督方法更明显。

5. 意义与影响 (Significance)

• 降低部署门槛：FUSE 证明了在缺乏昂贵的人类标注数据的情况下，依然可以通过无监督集成显著提升 LLM 的推理质量。这对于资源受限或隐私敏感的场景至关重要。
• 理论创新：将无监督集成学习理论（Crowdsourcing literature）成功适配到 LLM 验证领域，并解决了该领域特有的“验证器强依赖”难题，为后续研究提供了新的理论视角。
• 潜在应用：
  • 模型排序：无需真值即可对模型进行无监督排名。
  • 基准审计：检测基准测试中的标签错误。
  • 数据过滤：在合成数据生成和强化学习中筛选高质量数据。
• 未来展望：虽然目前计算成本较高（需要调用多个验证器），但 FUSE 展示了无监督方法在 LLM 时代巨大的潜力，未来可通过蒸馏等技术进一步优化效率。

总结：FUSE 是一种强大的无监督集成技术，它通过巧妙的统计变换和伪标签策略，打破了“没有标签就无法有效集成”的困境，为 LLM 的测试时扩展和可靠部署提供了新的解决方案。