🤖 machine learning

ETS: Energy-Guided Test-Time Scaling for Training-Free RL Alignment

本文提出了 ETS，这是一种无需训练的推理方法，它利用能量引导的测试时扩展，结合在线蒙特卡洛估计与重要性采样，以高效地从最优强化学习策略中进行采样，从而在不产生传统强化学习后训练所需成本与不稳定性的情况下，提升推理、编程及科学基准测试中的生成质量。

原作者： Xiuyu Li, Jinkai Zhang, Mingyang Yi, Yu Li, Longqiang Wang, Yue Wang, Ju Fan

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiuyu Li, Jinkai Zhang, Mingyang Yi, Yu Li, Longqiang Wang, Yue Wang, Ju Fan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《ETS：用于免训练强化学习对齐的能量引导测试时扩展》的通俗解释，辅以生动的类比。

核心难题：训练 AI 既昂贵又混乱

想象你有一位才华横溢的学生（大型语言模型），他知识渊博，但有时会给出技术上正确却缺乏帮助或逻辑的答案。

为了解决这个问题，研究人员通常使用强化学习（RL）。这就像雇佣一位严厉的家教，反复批改学生的作业。家教对好答案给分，对坏答案扣分。学生随后努力学习，以便下次获得更多分数。

问题在于？ 这种“辅导”过程：

昂贵：需要巨大的计算能力。
不稳定：有时学生会感到困惑，开始给出奇怪的答案。
缓慢：每次希望学生掌握新技能时，都必须重新教导。

解决方案："ETS"（能量引导的测试时扩展）

本文作者提出了一种巧妙的技巧。他们不是重新教导学生（训练），而是改变学生参加考试的方式（推理）。

他们将这种方法称为ETS。其工作原理可分解为三个简单的概念：

1. “如果”游戏（从最佳中采样）

通常，当 AI 回答问题时，它会选择第一个看起来还可以的答案，然后继续。
ETS 说：“等等，不要只选一个答案。让我们同时想象许多不同版本的答案。”

这就像侦探在破案。侦探不会立即猜测一个嫌疑人，而是写下 10 种关于谁是真凶的不同理论。然后，他们检查哪种理论最站得住脚。ETS 通过同时生成多个“候选”句子来实现这一点。

2. “能量”分数（魔法指南针）

如果没有人类老师，AI 如何知道这 10 种理论中哪一种是最好的？
论文引入了一个**“能量”项**。想象每个可能的答案都有一个看不见的“能量分数”。

高能量 = 糟糕、混乱或错误的答案（就像你不想搬动的一块沉重岩石）。
低能量 = 良好、清晰且正确的答案（就像一片轻盈的羽毛）。

AI 的目标是找到能量最低的路径。论文从数学上证明，如果你能正确计算这种“能量”，你就可以在不重新训练模型的情况下找到完美答案。

3. “速度技巧”（重要性采样）

为每一个候选答案计算这种“能量”非常缓慢。这就像逐个检查 100 块岩石的重量；这需要耗费永恒的时间。

为了解决这个问题，作者使用了一个速度技巧（称为重要性采样）：

他们使用一个更小、更快的 AI（一个“轻量级”模型）来快速猜测哪些候选答案看起来有希望。
然后，他们只使用那个庞大、聪明的 AI 来复核最有希望的那些。
这就像有一个快速的助手扫描房间以找出沉重的岩石，这样你就不必亲自搬动每一个物体。这使得整个过程足够快，从而具有实用性。

结果：更好的答案，无需额外训练

论文在两类 AI 模型上测试了这种方法：

自回归模型（ARMs）：标准的“读一个词，然后写下一个词”的模型（如大多数聊天机器人）。
扩散语言模型（DLMs）：一种较新的类型，通过逐渐填充空白来构建答案（就像画家填充草图）。

发现令人惊讶：

优于训练：在数学、编程和科学测试中，ETS 方法产生的答案比那些实际上经过昂贵 RL 方法“训练”的模型更好。
无需训练：它可以直接使用模型原本的样子，开箱即用。
高效：尽管它检查了许多可能性，但“速度技巧”使其保持快速。

总结类比

想象你试图在雾气弥漫的山区找到最高的山峰。

旧方法（RL 训练）：你雇佣一位向导去爬山、绘制地图并教你路线。这需要数周时间且花费巨资。
ETS 方法：你站在山脚下。与其攀登一条路径，不如派出 20 架无人机（候选者）飞上不同的路径。你使用一种特殊传感器（能量）来观察哪条路径通向最高峰。你使用快速、廉价的无人机侦察容易的路径，而只对棘手的路径使用高科技无人机。你瞬间选出最佳路径。

论文声称：这种“无人机侦察”方法（ETS）比昂贵的“向导训练”方法更快、更准确地找到最高峰（最佳答案），而且无需事先更改地图（模型）。

技术摘要：ETS：用于免训练强化学习对齐的能量引导测试时扩展

问题陈述

强化学习（RL）后训练已成为使大语言模型（LLM）与人类意图对齐的核心范式，特别是在增强推理和指令遵循方面。然而，该方法存在显著的实践局限性：它需要昂贵的奖励建模，依赖大规模人类偏好数据，表现出训练动态的不稳定性，并且对超参数敏感。此外，任何奖励设计的变更都需要重新训练，导致巨大的计算和人力成本。

虽然理论上最优的 RL 分布 admits 一个闭式解，但现有方法依赖于迭代梯度优化来近似该解，而非直接利用其结构。这提出了一个根本性问题：我们能否在推理时直接从最优 RL 分布中采样，而无需任何额外的训练？

方法论

作者提出了能量引导测试时扩展（ETS），这是一种旨在直接从最优 RL 策略中采样的免训练推理方法。该方法建立在统一的掩码语言建模（MLM）框架之上，该框架涵盖了自回归模型（ARMs）和扩散语言模型（DLMs）。

1. 理论基础：能量重加权反向转移

核心理论见解是，MLM 框架的最优反向转移核分解为两个因子：

参考转移：由参考模型（ $p_{ref}$ ）提供的转移核。
能量项：指数化奖励的条件期望，充当能量项。

具体而言，目标反向转移 $p(s | t, y)$ 正比于：
$p_{ref}(s | t, y) \cdot \mathbb{E}_{p_{ref}(x_0|y,s)} \left[ \exp\left(\frac{r(y, x_0)}{\lambda}\right) \right]$
其中 $r(y, x_0)$ 是奖励函数， $\lambda$ 是正则化常数。该公式允许通过蒙特卡洛方法估计能量项，从而实现免训练采样。

2. 算法：能量引导测试时扩展（ETS）

该算法作为一个迭代引导过程运行：

采样：在每一步引导中，算法从参考模型中采样 $M$ 个候选续写。
能量估计：对于每个候选项，使用蒙特卡洛采样估计能量项。具体而言，为每个候选项生成 $K$ 个独立完成项，以计算期望奖励的自归一化重要性采样估计量。
选择：根据估计的能量对候选项进行重加权，并选择一个候选项进入下一步。
奖励设计：为了在推理期间无需真实奖励即可运行，ETS 采用自一致性奖励。它从 $K$ 个完成项中提取最终答案，将多数投票识别为共识，并为匹配共识的完成项分配 1 的奖励，否则分配 0。

3. 通过重要性采样加速（ETS-IS）

为了解决因重复模型查询以进行能量估计而导致的延迟瓶颈，作者引入了ETS-IS。

提议模型：不再从大型参考模型（ $p_{ref}$ ）采样以进行能量估计，而是使用计算成本更低、轻量级的提议模型（ $p_{small}$ ）。
校正：应用重要性采样权重以校正由提议模型引入的偏差，确保估计量保持无偏且在理论上与目标分布一致。
实现：
- 对于ARMs：一个较小且规模对齐的模型（例如，针对 Qwen3-8B 使用 Qwen3-1.7B）作为提议模型。
- 对于DLMs：利用 Fast-dLLM，借助分块 KV 缓存和并行解码来加速推理。

主要贡献

免训练对齐：本文提出了一种直接从最优 RL 策略中采样的方法，无需迭代梯度更新或微调，解决了传统 RL 后训练的不稳定性和成本问题。
统一框架：该方法在统一的 MLM 公式下适用于 ARMs 和 DLMs，为免训练扩展提供了通用解决方案。
理论保证：作者提供了关于采样分布收敛到目标最优分布的严格证明，以总变差距离（Total Variation Distance）衡量。误差界显示与引导步数呈线性缩放，与样本量的平方根呈反比缩放。
高效加速：通过将重要性采样与轻量级提议模型及现代加速框架（如 Fast-dLLM）相结合，该方法在保持采样质量的同时显著降低了推理延迟。

实验结果

作者使用 ARMs（Qwen3-1.7B、Qwen3-8B）和 DLMs（LLaDA-8B-Instruct）在推理（MATH500、GSM8K）、编码（HumanEval）和科学（GPQA）基准测试上评估了 ETS。

性能：ETS 始终优于标准推理和其他测试时扩展基线（如束搜索、Best-of-N、Power Sampling），提升了生成质量。
与 RL 的比较：值得注意的是，ETS 在不进行任何参数更新的情况下，匹配或超越了后训练 RL 策略（如 GRPO）的性能。
效率：加速方法（ETS-IS）在延迟和准确性之间实现了有利的权衡。例如，在 Qwen3-8B 上，ETS-IS 达到了与标准 ETS 相当的准确性，但延迟显著降低。
扩展性：实验表明，增加候选项数量（ $M$ ）比增加完成项数量（ $K$ ）更能有效提高准确性，且中间引导步数（ $I$ ）能带来成比例的准确性提升。

意义与主张

本文主张 ETS 建立了一条通往奖励感知生成的实用、免训练路径。通过证明高质量的对齐可以通过推理时扩展而非昂贵的后训练来实现，这项工作为资源受限的环境提供了一种具有成本效益且稳定的替代方案。作者断言，他们的方法使对齐技术民主化，并通过消除对广泛重新训练周期的需求，减少了 LLM 部署的环境足迹。该框架被呈现为生成模型中高效推理和测试时扩展未来研究的基础。