🤖 AI

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

Hyper-ES 是一个基于子空间的进化策略框架，它通过优化预计算梯度下降方向的逐层合并系数来增强大语言模型的推理能力，从而以比 GRPO-LoRA 等基于梯度的方法更少的资源实现更优越的性能。

原作者： Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何解决棘手的数学问题。通常情况下，要教机器人，你必须展示成千上万个示例，并使用一种叫做“梯度下降”的过程来调整它整个大脑的每一个神经元。这就像是在通过同时调整每一个乐器的弦，来调音一整个庞大的管弦乐队。这种方法虽然有效，但它需要一台巨大的、昂贵的计算机，并且耗时很长。

最近，科学家们发现了一种不同的教机器人学习的方法，叫做“进化策略”（Evolution Strategies, ES）。与其仔细调整每一个神经元，你只需要对机器人的大脑进行成千上万次微小的随机改变，看看哪些改变能让它更擅长数学题，然后保留那些获胜的版本。这就像是在玩一场“热与冷”的游戏，你随机打乱机器人的大脑，直到它走运为止。问题在于，当机器人的大脑非常庞大（拥有数十亿个部分）时，随机打乱几乎注定会失败。这就像是在草堆里寻找一根特定的针，通过随机抓取一把把草的方式来寻找；你只会得到更多的草，而找不到针。这篇名为 HYPER-ES 的论文，试图通过在开始打乱之前给机器人一张更好的地图来解决这个问题。

问题所在：在草堆中迷失

本文的作者注意到，虽然进化策略在节省内存和计算能力方面表现出色，但在一个拥有数十亿参数的庞大大脑中寻找正确方向时却表现得很糟糕。如果你只是向一个巨大的模型投掷随机噪声，这些变化会变得非常混乱，要么互相抵消，要么将模型推向错误的方向。这就像试图通过从随机角度向一艘巨大的邮轮投掷石块来驾驶它；船只不会移动多少，甚至可能偏离你想要的方向。研究人员称之为“随机游走”问题，即模型会在无用的变化海洋中迷失方向。

解决方案：“下降方向”捷径

为了解决这个问题，HYPER-ES 背后的团队提出了一个巧妙的两步走策略。与其让机器人从零开始猜测正确的方向，他们首先要求它使用传统的、重型的法进行几次非常短暂、廉价的“练习赛”。

想象一下，你正在尝试寻找爬上山顶的最佳路线。与其在黑暗中盲目徘徊（随机打乱），你首先派出几架小型无人机，让它们向上爬行一小段距离，看看路径的坡度是如何变化的。这些无人机不需要爬完全部山路；它们只需要弄清楚哪个方向是“下坡”（即一个有用的方向）。HYPER-ES 方法正是如此：它运行几次快速、低成本的训练环节，以找到一些“下降方向”——基本上就是关于如何微调机器人的大脑使其变得更聪明的几个好主意。

魔法融合：混合最佳猜测

一旦有了这些好的方向，真正的魔法就开始了。与其让进化策略再次在整个拥有数十亿参数的大脑中进行搜索，不如让它只在一个由这些“好方向”组合而成的微小、紧凑的空间内进行搜索。

这就像一位厨师已经识别出了三种完美的食材（下降方向）。与其在整个杂货店寻找新食材，这位厨师利用进化策略来弄清楚如何完美地混合这三种食材。机器人会问：“如果我混合 30% 的方向 A、50% 的方向 B 和 20% 的方向 C，我会得到一个更好的数学求解器吗？”

该论文使用了一种名为 CMA-ES 的复杂算法来进行这种混合。这就像一位大师级厨师在品尝汤的味道并逐层调整香料，只不过这里调整的不是香料，而是调整有多少比例的“好方向”被添加到机器人的大脑中。这把对数十亿种可能性的搜索，转化成了对仅仅几百个数字的搜索，使其变得极其快速且高效。

研究发现

研究人员在三个不同的语言大模型（具体为 Qwen2.5 和 DeepSeek-R1）上测试了这种新方法，并让它们挑战六个不同的数学推理数据集，范围涵盖了从简单的算术到复杂的竞赛级数学问题。

结果令人振奋。HYPER-ES 的表现始终优于标准的“随机打乱”方法，甚至在准确率上略微超过了传统的重型训练方法（称为 GRPO-LoRA）。具体而言，新方法平均实现了约 1% 的准确率提升，同时使用了 10% 更少的昂贵计算机更新。

简单来说，HYPER-ES 通过采取一些聪明的捷径并精心混合这些捷径，而不是靠蛮力解决问题，成功地教会了机器人更好的数学能力。这表明，你不需要把整个厨房都搬出来解决问题；有时，找到几个好的方向并完美地混合它们，才是开启机器人推理能力的钥匙。论文表明，这种方法是一种稳定、节省内存的方式，可以提高 AI 的思考能力，尤其是在你没有超级计算机可以使用的时候。

技术摘要：HYPER-ES

问题陈述

进化策略（Evolution Strategies, ES）为大规模语言模型（LLMs）提供了一种极具前景且内存高效的替代方案，可以取代在资源受限场景下进行反向传播（backpropagation）成本过高的梯度微调。然而，直接将 ES 应用于处理推理任务的数十亿参数量级 LLM 是非常低效的。本文指出了高维空间中 ES 存在的两个根本性的几何失效问题：

方向发现失败（Directional Discovery Failure）： 在高维空间中，随机扰动几乎与有用的下降方向正交。随着参数维度 $d$ 的增加，随机扰动与最优梯度对齐的概率趋于零，导致种群的定向信号极其微弱。
正交随机游走（Orthogonal Random Walk）： 即使单个更新对于降低损失函数没有信息量，重复的 ES 更新仍会在参数空间中累积。这会导致模型偏离预训练初始化点进行“随机游走”，而无法取得实质性的进展，从而导致优化过程不稳定。

现有的基于梯度的算法（如 GRPO）虽然在推理性能上表现出色，但由于需要反向传播，面临着高内存和高时间消耗的问题。相反，直接使用 ES 虽然避免了反向传播，却无法在全参数空间内实现有效收敛。

方法论：HYPER-ES

作者提出了 HYPER-ES（Hyper-ES），这是一个基于子空间的进化策略框架，它将“更新方向的发现”与“无导数优化过程”解耦。HYPER-ES 不再在全参数空间进行搜索，而是将 ES 搜索限制在一个由下降方向构建的紧凑且与任务对齐的子空间内。

该方法分为两个阶段运行：

1. 启动阶段：准备下降方向

HYPER-ES 首先通过少量廉价的、基于梯度的更新来构建一组与任务相关的下降方向（ $\Delta\theta$ ）：

将训练数据划分为 $N$ 个子集。
在每个子集上执行短期的、少样本（few-shot）的 LoRA 版 GRPO 更新（通常为 7 步）。
这些短期运行的目的不在于产生独立的、高性能的模型，而在于廉价地提取包含任务特定信号的 LoRA 增量（ $\Delta\theta_i$ ）。
这些增量构成了一个“方向池” $P = \{\Delta\theta_i\}$ ，作为后续搜索的基础。

2. 基于方向的 Hyper-ES 搜索

一旦方向池固定，HYPER-ES 便采用协方差矩阵自适应进化策略（CMA-ES）来优化这些方向的合并系数，而非优化模型权重本身。

搜索变量： 优化变量 $z$ $z$ 由层级系数组成，用于决定如何组合缓存的 LoRA 方向。具体而言，对于每个层组， $z$ $z$ 控制：
- 丢弃率对数（Drop-rate logits）： 控制 DARE（随机丢弃与添加）稀疏化，以减少干扰。
- 混合权重对数（Mixing-weight logits）： 决定每个方向的贡献强度。
合并过程： 搜索变量通过 DARE–TIES（TIES-Merging）程序被解码为一个合并后的模型：
- 根据丢弃率对方向进行稀疏化处理。
- 通过 TIES（符号选举与不相交合并）解决符号冲突。
- 应用全局缩放因子 $\gamma$ 。
优化： CMA-ES 通过最大化验证集准确率来优化合并系数 $z$ 。这使得优化问题从搜索数百万/数十亿个权重，转变为在大小为 $L \times 2N$ 的低维空间（例如，对于 0.5B 模型，仅为 960 个参数）中进行搜索。

核心贡献

HYPER-ES 框架： 一种新型 ES 框架，它将全参数搜索转化为针对任务相关 LoRA 更新的紧凑型层级系数搜索。它将 ES 的角色从“发现方向”转变为“选择并合并”已识别的下降方向。
少样本方向构建： 该方法利用少样本 GRPO 更新来构建具有信息量的下降方向，使 ES 能够绕过高维随机探索，同时保留其内存轻量化和可并行化的特性。
实证验证： 通过三个 LLM 基座（Qwen2.5-0.5B, Qwen2.5-1.5B, DeepSeek-R1-Distill-1.5B）和六个数学推理基准测试进行的广泛评估表明，HYPER-ES 的表现一致优于模型合并基准方法，并且略微但稳定地超越了单阶段 GRPO。

结果

论文报告了以下关键发现：

性能： 在算术和困难数学推理数据集（如 GSM8K, MATH-500, AMC2023）上，HYPER-ES 相比 GRPO-LoRA 基准实现了高达 1% 的性能提升，且提升通常是稳健的（例如在 Qwen2.5-1.5B 上提升 0.58%）。
效率： 与标准的 GRPO-LoRA 相比，该方法所需的高耗能梯度更新次数减少了 10%。
内存： 通过在 ES 阶段避免全量反向传播，并利用并行化的少样本方向生成，HYPER-ES 保持了与单次 GRPO 运行相当的内存占用，同时显著缩短了实际运行时间（由于并行化，在 0.5B 实验中减少了约 24% 的时间）。
消融实验： 去除 CMA-ES 阶段或使用随机方向而非 GRPO 衍生的方向会导致性能大幅下降，这证实了其收益源于在低维空间中对有意义的下降方向进行搜索。

意义与主张

本文声称 HYPER-ES 解决了直接 ES 在 LLM 中的根本局限性：即无法在高维空间中找到有用的方向。通过利用短期的基于梯度的运行来定义一个“与任务对齐的流形”，该方法使无导数优化能够在其最有效的机制下运行。

作者将 HYPER-ES 定位为一种资源受限的微调方法，它提供了一个实际的权衡：它保留了 ES 的内存效率，同时实现了媲美甚至略优于基于梯度的强化学习（RL）方法的性能。这项工作表明，短期的梯度类运行可以发挥双重作用：不仅用于直接训练，还可以用于定义后续无导数优化的有用低维子空间。

论文在研究范围方面保持了谦逊，指出目前主要关注以 GRPO 作为方向提供者，未来的工作可以探索其他初始梯度方法（如 SFT, OPD）或在线动态方向获取。