技术摘要：联合一致性（JC）

问题定义

本文探讨了**测试时聚合（TTA）**问题，即从为特定查询生成的$N$个候选推理轨迹集合中选择一个单一、可靠的答案。尽管现有的测试时扩展（TTS）方法能有效生成多个轨迹，但其聚合策略通常存在两个局限性：

1. 孤立性：大多数方法（如自一致性、加权自一致性）独立评估轨迹，依赖绝对质量分数或答案频率。这忽略了候选者之间的比较信息。
2. 校准困难：独立评估要求评估者产生校准良好的绝对分数，这往往难以实现，尤其是在跨异构模型生成器时。
3. 比较的可扩展性：虽然比较判断（例如“轨迹 A 优于轨迹 B”）通常比绝对分数更可靠，但天真地纳入所有成对比较会产生$O(N^2)$的计算成本，这对于大规模轨迹预算而言是难以承受的。

作者提出了以下问题：如何以原则性且计算高效的方式将成对比较判断纳入测试时聚合中？

方法论：联合一致性（JC）

作者提出了联合一致性（JC），这是一个形式化为约束伊辛型能量最小化问题的统一框架。

1. 能量函数

聚合的目标是找到一个指示向量 $x \in \{0, 1\}^N$（如果选择轨迹 $i$，则 $x_i=1$），以最小化能量函数 $H(x)$：
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
其中：

• $K$ 是不同候选答案的数量。
• 约束：可行集限制 $x$ 仅选择一个答案组（即所有产生相同答案的轨迹）。
• $h$（外场）：一个编码独立评估信号的向量（例如，针对单个轨迹的“LLM 作为裁判”分数）。
• $J$（交互矩阵）：一个编码成对比较信号的矩阵（例如，轨迹 $i$ 优于轨迹 $j$ 的概率）。
• $\mu$（超参数）：控制独立评估与成对交互之间的权衡。

2. 交互矩阵（$J$）的构建

矩阵 $J$ 是使用**“LLM 作为裁判”**的比较构建的。

• 成对概率：对于轨迹 $y_i$ 和 $y_j$，裁判估计 $p_\theta(y_i \succeq y_j)$，即 $y_i$ 优于 $y_j$ 的概率。
• 半正定构建：为确保稳定性和可解释性，$J$ 定义为 $J = CC^\top$，其中条目 $C_{ij}$ 是偏好概率的归一化版本：
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  这里，$n_i$ 是与 $y_i$ 共享相同答案的轨迹数量。这种构建意味着，如果两个轨迹都被优于相似的竞争轨迹集合所偏好，则它们具有强烈的交互作用。

3. 理论解释

在答案级同质性假设下（即给定答案 $a^{(k)}$ 的所有轨迹相对于另一答案 $a^{(k')}$ 的轨迹具有相同的成对偏好概率），二次项 $x^\top J x$ 简化为答案级偏好之和。这为将轨迹级比较转换为答案级聚合规则提供了理论依据。

4. 高效近似策略

为了解决计算所有轨迹对 $J$ 的 $O(N^2)$ 成本，作者提出了Top-$\kappa$ 近似：

• 不是比较所有 $N$ 个轨迹，交互作用仅在最频繁的 $\kappa$ 个答案组之间进行估计。
• 这将复杂度从 $O(N^2)$ 降低到 $O(\kappa^2)$，其中 $\kappa$ 是一个较小的一致性预算（例如 $\kappa=4$）。
• 能量函数本身的优化是可行的（$O(K)$ 或 $O(\kappa)$），因为可行集被限制在 $K$（或 $\kappa$）个候选答案组内，避免了通用二次无约束二元优化（QUBO）的 NP 难性质。

主要贡献

1. 比较信号的纳入：JC 引入了一种约束能量最小化模型，通过交互矩阵 $J$ 整合成对比较信号，并通过外场 $h$ 整合独立信号。
2. 统一框架：该公式将现有方法作为特例包含在内：
   • 自一致性（SC）：$J=0, \mu=0$（或特定的 $h$）。
   • 加权自一致性（WSC）：$J=0, \mu > 0$。
   • 仅交互：$\mu=0$。
   • 通过改变 $\mu$，JC 在这些策略之间进行插值。
3. 可扩展性：所提出的 Top-$\kappa$ 近似使得交互建模适用于大规模聚合，保留了成对比较的优势，同时成本与标准加权投票相当。

实验结果

作者在数学推理（MathArena: AIME, HMMT, Brumo）和代码推理（CruxEval-O）基准上评估了 JC。

• 众包设置（异构轨迹）：
  • JC 在各种裁判模型（Qwen, DeepSeek, GPT 变体）和轨迹预算下，始终优于基线（SC, WSC, Best-of-N, 淘汰赛）。
  • 在 MathArena-C（高难度子集）上，使用小 $\kappa=4$ 的 JC 相比 WSC 实现了超过 20% 的准确率提升。
  • 即使当轨迹由较低层级的模型生成（此时独立分数不可靠，但比较连贯性仍然有效）时，JC 仍保持稳健。
• 同质设置（内在信号）：
  • 在可获得 token 级对数概率的设置中（例如 DeepSeek-R1, Qwen3），JC 仍然优于内在评估基线，如自确定性（Self-Certainty）和 DeepConf。
  • 随着轨迹数量（$N$）的增加，JC 相对于最强基线的性能提升也随之增加，表明其具有更好的扩展性。
• 成本效率：
  • JC 评估阶段（查询裁判获取 $h$ 和 $J$）的成本被发现低于生成推理轨迹成本的1%。
  • 该方法对 $\mu$ 的选择具有鲁棒性（最佳范围通常为 $[0.5, 1]$），且无需针对特定裁判模型进行微调。

意义与主张

本文主张，联合一致性提供了一种原则性、统一的测试时聚合方法，弥合了独立评估与成对比较之间的差距。

• 理论洞察：它将聚合形式化为能量最小化问题，提供了成对比较如何在答案级进行聚合的理论解释。
• 实际影响：它证明了通过高效近似策略利用比较信号，可以在没有过高计算开销的情况下，持续超越最先进基线。
• 局限性：作者谦逊地指出，当前工作侧重于推理任务中的最终答案聚合；将其推广到开放式推理或研究级问题解决尚未得到证实。此外，交互矩阵 $J$ 的具体构建可能并非最优，且该方法继承了底层生成和裁判模型的局限性。