技术摘要：基于能量的解码（EBD）

1. 问题陈述

本文解决了预训练大型语言模型（LLM）评估中存在的一个关键不匹配问题。虽然标准基准测试假设模型会将提示解释为任务并生成格式良好的答案，但冻结的预训练模型主要被优化用于下一个 token 预测（续写）。因此，在标准提示和直接解码下，这些模型往往生成续写风格的文本，而非面向任务的响应。这导致基准测试分数不可靠，混淆了模型的实际能力与其在不进行参数更新的情况下无法进入“任务模式”的局限性。

现有解决方案面临显著局限：

• 后训练（SFT/RLHF）： 有效但成本高昂，且模糊了预训练知识与学习行为之间的界限。
• 仅基于似然的解码（如降低温度、束搜索）： 这些方法在没有外部效用信号的情况下重塑输出分布，往往放大了虚假的高似然续写模式，而非激活任务解决行为。
• 重采样搜索（如 Best-of-N、重排序）： 虽然它们使用了奖励信号，但当基础分布严重偏向非任务续写时，其计算成本高昂且效率低下。

核心挑战在于：在不进行参数更新的情况下，在推理时从冻结的预训练模型中激活面向任务的高效用行为，同时保持效率并忠实于原始模型分布。

2. 方法论：基于能量的解码（EBD）

作者提出了基于能量的解码（EBD），这是一个无需训练、由奖励引导的框架，旨在将生成引导至高效用响应，同时将其锚定在预训练先验之上。

理论公式

EBD 将解码框架化为从奖励倾斜的后验分布中进行采样：
$$\pi^*_\beta(y | x) \propto p_\theta(y | x) \exp(\beta S_x(y))$$
其中：

• $p_\theta(y | x)$ 是冻结预训练模型的先验。
• $S_x(y)$ 是由外部轻量级奖励模型导出的提示归一化奖励分数。
• $\beta$ 是逆温度，控制先验与奖励之间的权衡。

该公式等价于能量分布，其中能量 $E_x(y) = -\log p_\theta(y | x) - \beta S_x(y)$。目标是找到在预训练模型下合理且根据奖励具有高能量的低能量响应。

算法：分块 Metropolis-Hastings

为了高效地从该目标分布中采样，EBD 实现了使用分块 Metropolis-Hastings (MH) 采样器的两阶段流程：

1. 初始化（阶段 I）：

   • 从冻结先验中采样一小批候选者（$n_{init}$）。
   • 使用奖励模型对它们进行评分，并计算提示级别的归一化统计量（均值 $\mu_R$ 和标准差 $\sigma_R$）。
   • 定义标准化优势分数：$A_x(y) = (R(y, x) - \mu_R) / \sigma_R$。
   • 从候选池中选出最佳候选者作为初始状态 $y^{(0)}$。

2. 细化（阶段 II）：

   • 执行 $K$ 次细化步骤。在每一步中：
     • 分块选择： 将当前响应划分为 $M$ 个连续块，并均匀采样一个切割位置 $c$。
     • 提议： 保持前缀（$y_{<c}$）固定，从匹配的有条件先验 $p_\theta(\cdot | x, y_{<c})$ 重新生成后缀（$y'_{\ge c}$）。
     • 接受： 计算 MH 接受率。关键在于，由于提议后缀是从与先验项完全相同的条件分布中采样的，因此发生了提议 - 先验抵消：
       $$\frac{p_\theta(y' | x) Q(c, y | y')}{p_\theta(y | x) Q(c, y' | y)} = 1$$
     • 接受概率简化为奖励比较：
       $$\alpha = \min(1, \exp(\beta [A_x(y') - A_x(y)]))$$
   • 如果接受，则更新状态；否则，保留当前状态。

关键效率机制

提议 - 先验抵消是核心创新。它消除了在接受步骤中重新评估基础模型下全序列似然的需求。每一步的计算成本降低为一次自回归后缀生成和一次奖励模型评估，随细化步骤数量线性扩展。

3. 主要贡献

1. 公式化： 本文将奖励引导解码公式化为从奖励倾斜后验分布中采样，从而实现在冻结先验下激活面向任务的行为。
2. 算法创新： 引入了具有提议 - 先验抵消的 EBD，允许仅基于奖励差异进行高效更新，而无需显式的完整序列似然重评分。
3. 行为转变： 作者证明，EBD 不仅提高了总体分数，还将基础模型的行为分布转变为与其后训练（指令微调）对应物高度相似。
4. 实证验证： 在五个模型和六个基准测试上的广泛评估显示，EBD 在直接解码和先前的基于解码的方法（如 Power Sampling）上具有一致的改进。

4. 实验结果

作者在五个开源模型（Llama-3-8B、Mistral-7B、Qwen2.5-7B、Qwen3-8B-Base、Olmo-7B）上评估了 EBD，涵盖了客观（GPQA、Math500、HumanEval）和主观（AlpacaEval2.0、MT-Bench、WritingBench）基准测试。

• 性能提升：
  • AlpacaEval2.0： Qwen3-8B-Base 从 8.8 提升至 44.5（+405%）。
  • 客观任务： 平均客观分数显著增加（例如，Qwen2.5-7B 从 0.398 提升至 0.557）。
  • 行为对齐： 与后训练指令模型的二值正确性的皮尔逊相关系数平均从 0.256（直接） 提升至 0.385（EBD）。
• 效率：
  • EBD 比 Power Sampling 等重采样基线快得多。在 Mistral-7B Math500 上，EBD 将延迟降低了 18.9 倍（相对于先前的解码工作）。
  • 它在不同大小的奖励模型（0.6B 到 8B）之间保持稳健，较小的模型通常能达到与较大模型相当的性能。
• 鲁棒性：
  • EBD 提升了零样本和冷启动 SFT 设置下的性能。
  • 与抑制某些续写模式的 SFT 不同，EBD 在不改变底层分布的情况下应用奖励倾斜，使其在不同任务类型中具有鲁棒性（例如，在提高数学/推理能力的同时保持代码生成能力）。

5. 意义与主张

本文主张解码是模型评估中一个关键但常被忽视的组成部分。标准直接解码低估了冻结预训练模型在面向任务设置中的能力。

• 公平评估： EBD 通过激活通常无法通过标准提示访问的面向任务行为，实现了对预训练模型更公平的推理时评估。
• 与后训练的互补性： EBD 作为参数更新的补充方法。它可以在无需任何训练的情况下，弥补预训练模型与后训练模型之间相当大一部分的性能差距，充当有效的推理时增强手段或检查点敏感性的诊断工具。
• 效率与有效性： 与现有的仅解码方法相比，该方法实现了更优的质量 - 效率权衡，证明了外部奖励信号与高效 MCMC 采样的结合可以解锁冻结模型中的潜在能力。

作者得出结论：奖励引导的推理可以在不进行任何参数更新的情况下显著改善与对齐相关的行为，这表明预训练模型评估中的“缺失环节”往往是解码策略，而非模型权重本身。