🤖 machine learning

ESSA: Evolutionary Strategies for Scalable Alignment

ESSA 引入了一种无梯度、仅推理的在线对齐框架，该框架利用进化策略优化低秩自适应奇异值，以实现大规模语言模型可扩展、通信高效且高性能的微调，在匹配或超越 PPO 和 GRPO 等基于梯度的方法的同时，显著降低了训练时间和硬件成本。

原作者： Daria Korotyshova, Boris Shaposhnikov, Alexey Malakhov, Alexey Khokhulin, Nikita Surnachev, Kirill Ovcharenko, George Bredis, Alexey Gorbatovski, Viacheslav Sinii, Daniil Gavrilov

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daria Korotyshova, Boris Shaposhnikov, Alexey Malakhov, Alexey Khokhulin, Nikita Surnachev, Kirill Ovcharenko, George Bredis, Alexey Gorbatovski, Viacheslav Sinii, Daniil Gavrilov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能领域，大型语言模型就像是人类知识的庞大图书馆，能够编写故事、解决方程并回答问题。然而，这些图书馆并非天生就具备良好的组织性，无法自然地变得对人类指令有用、安全且顺从。为了解决这个问题，研究人员使用了一种称为“对齐”（alignment）的过程，这相当于最后的训练阶段，旨在教导模型如何表现得像一个优秀的助手。这种标准方法涉及一种被称为“强化学习”的技术，即模型尝试不同的答案，根据答案的好坏获得评分，然后利用复杂的数学运算来调整其内部设置，以便在下次获得更高的分数。这个过程虽然强大，但也极其沉重。它需要海量的计算能力、专门的硬件以及许多处理器之间不断的通信，这使得为最大的模型进行扩展既昂贵又困难。

来自 T-Tech 和 Yandex 的一个研究团队提出了一条不同的路径，一条完全跳过沉重数学调整的路径。他们将这种新方法称为 ESSA，即“用于可扩展对齐的进化策略”（Evolutionary Strategies for Scalable Alignment）。ESSA 不再去计算如何引导模型走向正确的方向，而是将模型视为模拟环境中的一个生命体。它创建许多略有差异的模型版本，同时测试它们所有，以观察哪一个表现最好，然后保留最佳特征并舍弃其余部分。这种方法消除了由于传统方法中复杂的反向计算而导致的减速需求。通过仅关注模型设置中一个极小的、特定的部分，并使用模仿自然选择的策略，研究人员发现他们可以比以前更快、更节省计算资源地实现大规模模型的对齐，并取得了媲美甚至超越当前最先进方法的结果。

ESSA 的核心思想是停止尝试调整模型内部的每一个数字。大型语言模型包含数十亿个这样的数字，试图同时改变所有数字就像试图通过移动船体上的每一个螺栓来转向一艘超级油轮。研究人员意识到，在初始训练阶段之后，模型已经掌握了执行基本任务的能力。它现在需要的是一种“微调”，即对其行为进行细微的调整。为了实现这一点，他们使用了一种称为“低秩自适应”（Low-Rank Adaptation）的技术，该技术为模型添加了一个小型且灵活的层，并将该层分解为其最本质的组成部分。他们冻结了这些组件的方向，只允许其中几个关键数字的大小（或量级）发生变化。这把问题从调整数十亿个变量简化为调整仅仅几千个变量，从而创造了一个高效进行搜索策略的紧凑空间。

在这种新设置下，计算机生成一组候选模型群体，每个模型的这几千个数字设置都有细微差别。每个候选模型都会在一些问题（如解决数学方程或遵循严格指令）上接受测试，并被赋予一个分数。系统随后根据分数来决定哪些候选模型最为成功。系统并不计算梯度（即用于寻找最佳移动方向的复杂数学斜率），而是简单地选择优胜者，并将其设置作为下一轮变异的起点。这个过程不断重复，使群体逐渐向着更好的性能演化。由于该系统只需要进行模型的前向传播即可获得分数，因此它可以运行在采用简化、低精度数字格式的计算机上，这进一步节省了内存和速度。

研究人员在各种任务上测试了这种方法，包括遵循指令、扮演得力助手以及解决困难的数学问题。他们将 ESSA 与使用传统、沉重数学方法的领先方法进行了对比。在涉及数学推理的任务中，ESSA 的表现与现有的最佳方法不相上下，在某些情况下甚至明显更快。例如，当在由 128 个强大图形处理器组成的集群上训练大型模型时，ESSA 到达特定目标准确度水平的速度几乎是标准方法的八倍。这种加速并非因为 ESSA 需要更少的示例来学习，而是因为其每一步过程都更轻量，并且可以并行运行，从而避开了传统方法中存在的瓶颈。

这项研究还探讨了该方法在不同规模模型和不同类型任务下的有效性。他们发现，即使将模型规模扩大到 720 亿参数（这是一个通常难以进行高效对齐的规模），ESSA 依然保持有效。在这些大规模测试中，该方法能够实现每个图形处理器运行一个候选模型，这对于传统方法来说由于内存限制是无法实现的。研究人员还检查了当初始训练的主题与最终目标不同时（例如，在通用对话上进行训练，但在严格规则遵循方面进行测试），该方法是否依然有效。结果显示该方法表现良好，证明了进化搜索即使在起始基础略有不同时也能找到正确的调整。

最令人惊讶的发现之一是，该方法并不需要传统方法所要求的那些复杂且精细的设置。研究人员测试了候选群体的不同规模，发现适中的数量通常足以获得极佳的结果。他们还发现，该方法对于模型设置允许变化的程度具有鲁棒性。这种稳定性表明，进化方法对工程师的具体选择并不敏感，使其在实践中更容易使用。此外，即使计算机在计算时使用较低的精度，该方法依然表现出色，仅损失了极小部分的准确度，却获得了显著的速度和内存效率提升。

论文还讨论了该方法在与其他搜索最佳设置的方法进行比较时的表现。研究人员测试了不同类型的进化策略，发现虽然有些策略在最后阶段表现稍好，但他们所选的特定策略在快速获得良好结果方面最为可靠。他们还将该方法与一个尝试使用相同的简化设置但配合传统数学方法的版本进行了对比。进化方法始终优于这种混合方法，这证明了搜索方式本身与所搜索的设置同样重要。这表明，利用自然选择来训练机器的旧观念不仅仅是一个备选方案，而是在特定条件下可以超越标准工具的强大替代方案。

最后，这项工作证明了现代对齐中沉重且复杂的机制并非唯一的出路。通过将问题简化为在小规模候选群体中寻找最佳设置，并利用并行计算的力量，研究人员展示了大型模型可以快速且高效地完成对齐。该方法并不取代赋予模型基本知识的初始训练，但它提供了一种更轻量化的方式，将这些知识塑造为一名得力的助手。随着模型规模的不断增长，这种方法提供了一条实用的路径，使我们能够在不要求不可能实现的计算能力的情况下保持模型对齐，这暗示了人工智能对齐的未来可能在于更简单、更直接的策略，而非日益复杂的数学公式。

技术摘要：ESSA —— 用于可扩展对齐的进化策略

问题陈述

目前，将大语言模型（LLMs）对齐以遵循指令和偏好的过程主要由利用基于梯度的优化器（如 PPO 或 GRPO）的强化学习（RLHF）流水线所主导。虽然这些方法很有效，但随着模型规模的增加，它们面临着显著的扩展性挑战。具体而言，它们需要：

通过长序列进行反向传播，这在计算上非常昂贵。
在每一步都要进行模型大小梯度的全规约（All-reduce）同步，这造成了通信瓶颈。
精细的超参数调优（学习率、KL 惩罚、裁剪、批次大小），这在规模扩大时变得日益困难。
与激进量化（如 INT4/INT8）不兼容，因为这需要全精度梯度计算。

作者认为，这些机制的成本随参数量而非任务难度而增长，这使其成为了现代对齐中的主要实际成本。

方法论：ESSA

本文介绍了 ESSA（用于可扩展对齐的进化策略），这是一种旨在紧随监督微调（SFT）之后的无梯度在线对齐阶段。该方法用仅基于推理的黑盒搜索取代了梯度循环。该方法依赖于三个核心组件：

低秩自适应（LoRA）限制： 更新被限制在注意力矩阵内的 LoRA 模块中。这使参数空间从全模型大小缩减到了低秩子空间。
奇异值分解（SVD）参数化： 每个 LoRA 因子（ $A$ 和 $B$ ）通过 SVD 进行分解（ $A = U_A \Sigma_A V_A^\top$ , $B = U_B \Sigma_B V_B^\top$ ）。正交基（ $U, V$ ）是冻结的，仅优化前 $\alpha$ 比例的奇异值（ $\Sigma$ ）。这使得每个因子的可训练参数量从 $O(r(m+n))$ 减少到 $O(r)$ ，其中 $r$ 是 LoRA 的秩。
CMA-ES 优化： 使用协方差矩阵自适应进化策略（CMA-ES）对紧凑的奇异值向量进行优化。
- 仅推理循环： 工作节点采样候选者，重构 LoRA 因子，并执行单次前向传播以评估标量奖励。不执行反向传播。
- 极简通信： 工作节点每轮迭代仅交换一个 32 位随机种子和一个 32 位标量奖励，消除了同步模型大小张量的需求。
- 量化兼容性： 由于循环仅涉及推理，ESSA 可以原生运行在 INT4 或 INT8 量化权重下。

该流水线假设存在一个“热启动”过程，即经过 SFT 训练的 LoRA 因子已经包含了任务相关的方向，而 ESSA 则通过调整这些方向的幅度来进行精炼。

核心贡献

引入 ESSA： 一种用于后 SFT 在线对齐的无梯度方法，它将 CMA-ES 应用于 SVD 分解后的 LoRA 因子的奇异值，针对参数高效的设置并提供廉价的奖励评估。
全面的实证比较： 作者提供了针对指令遵循（IFEval）、基于偏好的微调（HelpSteer2, HH-RLHF）以及数学推理（GSM8K, MATH500）的公平比较，对比对象包括 Online DPO、PPO、LoRA-GRPO、全参数 GRPO 以及 SVD-GRPO。
扩展性分析： 论文表征了 ESSA 从 16 到 128 个 GPU 的扩展情况，证明了它在大规模环境下达到固定准确度的速度明显快于 LoRA-GRPO。
精度鲁棒性： 研究表明，ESSA 在使用 INT4 量化时仍能保持性能，与 MATH500 上的 BF16 相比，准确率仅下降了约 1.1 个百分点。

实验结果

数学推理 (GSM8K)： ESSA 在 Qwen2.5-7B 上实现了 0.867 的准确率，优于最强的 LoRA 基准（LoRA-GRPO 为 0.823）4.4 个百分点。它达到了全参数 GRPO（0.870）的水平，而仅优化了约 2K–4K 个参数，而非数十亿个。
指令遵循 (IFEval)： ESSA 在 Llama-3.1-8B 上实现了 0.555 的准确率，优于 LoRA-GRPO (0.483)，并与 Online DPO 和 PPO（均为 ~0.559）保持竞争水平。
高级数学 (MATH500)： 在 Qwen2.5-32B 和 72B 上，ESSA 的综合得分达到或超过了 LoRA-GRPO。值得注意的是，在 72B 模型上，ESSA 使用 INT4 量化且每个 GPU 仅运行一个候选者，而 LoRA-GRPO 则需要张量并行来进行反向传播。
扩展效率： 在 128 个 GPU 上，ESSA 在 Qwen2.5-32B 上达到固定 MATH500 准确度（0.835）的速度比 LoRA-GRPO 快 7.8 倍。这种加速归功于消除了反向传播、梯度同步，以及能够在集群中分布式部署独立候选者的能力。
优化器控制： 在奇异值子空间中，基于种群的无梯度方法（CMA-ES、普通 ES、ARS）明显优于 SVD-GRPO（在同一空间内受限的基于梯度的更新），这表明优化机制与参数化同样关键。

意义与主张

论文声称，ESSA 证明了现代后 SFT 对齐阶段可以实现一种无梯度实现，其特点是：

质量具有竞争力： 在可验证奖励的任务上，它达到或超过了基于梯度的 LoRA 方法，并在基于偏好的任务上保持了竞争力。
量化友好： 它使得在单个 GPU 上使用 INT4 量化来对齐大型模型（高达 72B 参数）成为可能，而这在标准的基于梯度的 RLHF 中是无法实现的。
具备卓越的可扩展性： 它表现出比评估的 LoRA-GRPO 配置更强的多 GPU 扩展性，在 128 个 GPU 时将达到准确度所需的时间缩短了近一个数量级。

作者强调，虽然 LoRA、SVD 和 CMA-ES 的各个组成部分都是既有的，但它们的结合创造了一种实用且可扩展的替代方案，用以取代 LLM 对齐中的梯度循环，从而将单次迭代的成本从特定梯度的训练与通信转向了推理。

作者承认的局限性：

ESSA 需要强大的 SFT 初始化；它不能取代 SFT。
它可能比梯度方法使用更多的奖励评估，尽管这可以通过消除廉价奖励的反向传播过程来抵消。
低秩假设意味着，对于需要高秩更新的任务，可能无法通过探索到的 LoRA 秩来实现。
选择 CMA-ES 是将其作为一种由于早期进展和调优稳定性而选用的实用默认工具，而非认为它是唯一必要的组件，因为其他无梯度优化器在这一子空间内也表现良好。