技术摘要：通过边缘锐化实现自一致性

问题陈述

现代语言模型越来越多地通过在生成最终答案之前生成中间推理轨迹（例如推导过程、代码草图、证明大纲）来解决复杂任务。虽然标准的推理方法（如思维链提示）能够激发这种行为，但它们通常依赖于采样单条轨迹，或使用事后多数投票（自一致性）来选择最终答案。

作者指出了现有推理时锐化方法的一个根本局限性，即幂采样（power sampling）。幂采样对完整生成序列的分布（推理轨迹 $z$ 和答案 $a$ 的联合分布）进行锐化。论文认为，对于推理而言，这是错误的抽象层级：

1. 潜在变量纠缠：推理轨迹是一种潜在计算。许多不同的轨迹可以导向同一个正确答案。
2. 竞争与支撑：序列级锐化将同一解决方案的不同推导或实现视为竞争对手，将概率集中在特定的完整记录上，而不是集中在答案本身上。
3. 投票的脆弱性：标准的自一致性（多数投票）需要精确的字符串匹配。在代码或证明等结构化领域中，相同的底层解决方案可以表现为多种表面形式（不同的变量名、控制流或引理顺序），导致投票将支持分散到各种有效变体上。

核心问题在于：如何利用多条推理轨迹来放大正确答案的概率，而无需要求精确的字符串一致，也无需承担搜索完整轨迹的计算成本。

方法论：边缘锐化

作者提出了边缘锐化（Marginal Sharpening），这是一种推理时目标，将目标从联合分布 $\pi(z, a | x)$ 转移到锐化的答案边缘分布 $p_{\alpha}^{marg}(a | x)$。

理论框架

1. 分解：模型完成输出 $y$ 被解析为推理轨迹 $z$ 和最终答案片段 $a$。模型诱导出一个自然的答案边缘分布 $m(a | x) = \sum_z \pi(z, a | x)$。
2. 目标分布：该方法不是对联合分布进行锐化，而是定义了一个针对答案边缘的幂分布：
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   其中 $\alpha > 1$ 是锐化强度。当 $\alpha \to \infty$ 时，该分布收敛于具有最大边缘支持的答案（理想的自一致性目标）。
3. 整数幂表示：对于整数锐化强度 $K$，作者利用 $K$ 条独立的推理轨迹推导出了精确分解。目标分布可以表示为对 $K$ 条独立采样的轨迹 $z_{1:K}$ 的期望：
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   该公式将自一致性与从答案级目标分布中采样联系起来。

算法：并行自回归解码

直接从推导出的分布中采样是不可行的，因为它需要对所有可能的未来延续进行求和（即“延续归一化器”）。作者提出了一种轻量级并行自回归解码算法（算法 1）来近似该目标：

1. 轨迹生成：生成 $M = K \times S$ 条推理轨迹，分为 $S$ 组，每组包含 $K$ 条轨迹。
2. Token 级近似：算法不是计算完整序列概率，而是逐 Token 解码答案。在每一步 $t$，它计算词汇表上的加权分布：
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • 前缀权重（$w_s$）：这些权重跟踪在每组 $K$ 条轨迹下已生成的答案前缀的可能性。它们随着 Token 的采样在线更新。
   • 局部近似：算法忽略不可行的“延续归一化器”（未来 Token 的概率），将其视为在局部归一化过程中相互抵消的公共因子。
3. 采样：算法从该分布中采样下一个 Token，更新前缀权重，并重复此过程直到答案结束。

这种方法允许模型生成一个由多条推理路径“支撑”的单一答案，从而在生成过程中有效地执行软性自一致性，而不是作为事后投票步骤。

主要贡献

1. 边缘锐化的形式化：论文定义了一种推理时目标，将推理轨迹视为潜在变量，并锐化诱导出的答案分布，而不是轨迹与答案的联合分布。
2. 多轨迹分解：作者证明，对于整数锐化强度，锐化的答案边缘分布可以分解为对 $K$ 条独立推理轨迹的期望，从理论上将自一致性与答案级采样联系起来。
3. 高效解码算法：他们提出了一种并行自回归算法，用于近似采样该锐化分布。该算法完全是自回归的，不需要外部规范化器，并避免了序列级幂采样的二次方 Token 生成成本。
4. 实证验证：该方法在数学推理（MATH-500）和代码生成（HumanEval+、LiveCodeBench）基准上进行了评估。

结果

实验使用了 Qwen 系列模型（1.7B、4B、8B）在三个基准测试上进行了评估。

• 性能与幂采样对比：在代码生成基准（HumanEval+ 和 LiveCodeBench）上，边缘锐化显著优于标准幂采样。在 MATH-500 上，其表现与多数投票相当或略低（由于答案空间小且支持符号验证，多数投票是数学领域的强基线）。
• 效率：对于长序列生成，该方法比幂采样快几个数量级。对于 $L=8192$，在 HumanEval+ 基准上，边缘锐化比幂采样快38 倍，同时实现了更高的准确率。幂采样由于重采样需要 $O(L^2)$ 的 Token 生成量，而边缘锐化仅需 $O(L)$。
• 超参数：
  • 锐化强度（$K$）：增加 $K$ 通常通过将概率集中在由多条轨迹支持的答案上来提高性能，尽管这会增加计算量。
  • 采样数量（$S$）：增加 $S$（轨迹组的数量）可以提高 Token 级近似的質量，带来一致的收益，特别是在生成预算较低的情况下。
  • 预算分配：在固定的总计算预算下（$K \times S = \text{const}$），锐化强度与采样数量之间的不同分配产生了可比较的结果，表明激进锐化与更好的近似质量之间存在权衡，两者在很大程度上可以相互补偿。

意义与主张

论文主张，自一致性应被理解为一种答案级的推理原则，而非事后投票启发式方法。

• 焦点转移：通过针对答案边缘分布，该方法正确地聚合了来自多样化推理路径（例如不同的代码实现或证明策略）的支持，而序列级方法将这些视为不同的、竞争的输出。
• 可扩展性：所提出的算法使得自一致性的优势能够应用于具有大型结构化输出空间（如代码）的领域，在这些领域中精确字符串匹配会失效，同时避免了全轨迹搜索或重采样的过高计算成本。
• 实用性：该方法是一种“软性”自一致性，可以使用标准自回归模型和并行解码实现，使其成为推理任务中温度采样和幂采样的实用替代方案。

作者得出结论：测试时计算资源更有效地用于精炼由潜在推理诱导的答案信念，而不是用于选择最可能的单一完整记录。