🤖 AI

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

本文介绍了协作参数子空间进化策略（CoPES），这是一种通过分解参数空间来实现对智能体大语言模型进行高效资源受限后训练的内存高效型方法，在显著降低 GPU 显存需求的同时，实现了全参数 GRPO 性能增益的 92%。

原作者： Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机不仅仅是在聊天，而是真正能够“做事”的世界。它们可以浏览网页、运行代码，并通过采取许多步骤、检查工作并不断尝试来解决复杂的谜题。这就是“智能体”（agentic）AI 令人兴奋的前沿领域。但问题在于：教导这些数字助手变得更好是非常昂贵的。通常训练它们的方法就像一场高风险的电子游戏，计算机试图通过计算每一个大脑部分的“梯度”（成功的数学斜率）来找出完美的一步。这需要海量的计算机内存，就像在解谜题时还要在大脑中记着一整座图书馆的书一样。如果任务漫长且复杂，所需的内存就会爆炸式增长，使得除了拥有超级计算机的人之外，大多数人都无法训练这些智能体。

于是，另一种被称为“进化策略”（Evolution Strategies）的方法出现了。这种方法不再计算斜率，而更像是玩“热还是冷”（猜大小/距离）的游戏。你对 AI 的大脑进行微小的、随机的改变，观察它是否变得更好，如果变好了，你就保留这个改变。因为它不需要记住你走过的路径，所以它对内存的需求要轻得多。然而，出现了一个新问题：因为你是进行随机猜测，所以你需要尝试非常多次才能获得好的结果，这需要耗费大量的时间和计算能力。这就像是通过一次检查一根稻草来寻找草堆里的针；你最终会找到它，但你可能会在那里待上一个世纪。科学家们面临的大问题是：我们能否保留“热还是冷”方法的内存节省优势，同时让它变得足够快，以便在仅有的几台普通计算机上也能发挥作用？

这篇论文介绍了一个巧妙的新技巧，叫做 CoPES（协作参数子空间进化策略），旨在解决正是这个问题。研究人员意识到，试图同时改变整个 AI 大脑是低效的。因此，他们将大脑分解成了更小、更易于管理的块。想象一下，你正在调试一个庞大的管弦乐队，使其听起来完美无瑕。与其要求每一位音乐家同时随机改变他们的乐器（这会造成混乱），不如先让小提琴声部尝试一个新的设置，然后是铜管声部，接着是打击乐声部，而其他人在此时保持静止。通过逐个测试这些较小的组别，同时保持整个乐队共同演奏，你可以更快地找出有效的方法。

在论文中，作者在一种专门用于解决数学问题的特定 AI 模型（Qwen3.5-4B）上测试了这种方法。他们将这种新的“管弦乐队调音师”方法与标准的“热还是冷”方法以及高内存消耗的“梯度”方法进行了对比。他们发现，CoPES 在资源受限的环境下是一个游戏规则的改变者。虽然标准的随机方法需要大约 480.60 个 GPU 小时（衡量计算机时间的一种度量）才能达到良好的性能水平，但 CoPES 仅用 68.65 个 GPU 小时就达到了几乎相同的效果。更令人印象深刻的是，在重内存方法只能训练 16 个步骤的严格时间限制下，CoPES 恢复了该重内存方法所取得性能增益的 92%，而标准的随机方法仅做到了 67%。

研究还表明，CoPES 对于日常硬件来说要实用得多。虽然重内存方法需要 8 个高端 GPU 的庞大配置才能在长任务上开始训练，但 CoPES 可以成功运行在单个标准的 24GB GPU 上。这意味着，不再需要数据中心，一名拥有单台强大计算机的研究人员现在也可以训练先进的 AI 智能体。作者不仅在数学任务上，也在问答任务上测试了 CoPES，并发现该方法在这些任务中同样表现出色，始终优于标准的随机方法。

该论文指出，通过将问题分解为协作的子小组并仔细结合结果，我们可以兼得两者的优点：进化方法的低内存成本和基于梯度的算法的高速度。它并不声称自己是能瞬间解决一切问题的灵丹妙药，但它展示了一种显著更好的内存与时间之间的权衡。结果表明，通过这种新策略，训练强大的 AI 智能体对于更多人来说变得可行，将一项曾经需要超级计算机的任务变成了在单台工作站上即可实现的任务。

技术摘要：面向资源受限智能体 LLM 后训练的协同进化策略

问题陈述

使用工具的语言模型（LLM）智能体在解决复杂任务时会生成长且多轮的轨迹。虽然通过可验证奖励（例如，通过强化学习）进行后训练是提升智能体行为的一种可扩展方法，但在资源受限的环境中面临着关键瓶颈。

基于梯度的方法（如 GRPO）需要对这些长轨迹进行反向传播。这需要存储模型权重、梯度、优化器状态，以及至关重要的中间激活值。随着上下文长度的增加，激活显存占用变得极其高昂，通常需要许多研究人员无法获得的顶级 GPU 集群。相反，进化策略（ES）提供了一种内存高效的替代方案，因为它完全避免了反向传播，仅需进行前向生成和奖励评估。然而，标准的 ES 计算成本很高，通常比基于梯度的方法需要更多的 GPU 时数才能达到相当的性能。在 GPU 数量有限的资源受限设置中，这种高计算需求会导致无法接受的实际训练时间（wall-clock time）。

核心挑战在于：如何在不牺牲内存优势的前提下，提高全参数智能体 LLM 后训练中 ES 的优化效率。

方法论：协同参数子空间进化策略 (CoPES)

为了解决效率瓶颈，作者提出了协同参数子空间进化策略 (CoPES)，这是一种为全参数 ES 适配的协同进化方法。

核心机制

CoPES 将高维全参数空间 ( $\mathbb{R}^d$ ) 分解为 $K$ 个低维且互不相交的子空间。CoPES 不再为每次评估同时扰动整个参数空间，而是在这些子空间内进行协同搜索：

随机划分： 在每个训练步骤中，将参数索引随机划分为 $K$ 个大小相等的子空间 ( $S_1, \dots, S_K$ )。
协同子空间搜索： 总扰动预算 $N$ 被分配到各个子空间中 ( $N_k = N/K$ )。对于每个子空间 $k$ ，通过仅对参数在 $S_k$ 中的部分添加噪声来生成 $N_k$ 个扰动后的模型，而所有其他参数保持当前值不变。这为评估特定子空间变化的冲击提供了一个共享的全模型上下文。
维度感知扰动缩放： 为了确保子空间扰动的幅度与全空间扰动的预期平方范数相匹配，对扰动规模 $\sigma_k$ 进行调整： $\sigma_k = \sqrt{K}\sigma$ 。
联合奖励标准化： 与在单个种群内进行标准化的标准 ES 不同，CoPES 汇总了所有 $K$ 个子空间中 $N$ 个扰动模型的奖励。它计算全局均值 ( $\mu_c$ ) 和标准差 ( $s_c$ ) 来对所有奖励 ( $\hat{r}_{k,i}$ ) 进行标准化。这提供了稳定的归一化统计数据和用于组合子空间更新的统一奖励尺度。
同步更新： 估计子空间方向并将其组合成全参数更新： $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$ ，其中 $g_k$ 是子空间 $k$ 的估计梯度方向。

实现细节

为了保持内存效率，CoPES 采用了以下技术：

种子重放 (Seed Replay)： 从随机种子重新生成扰动，而不是存储完整的扰动向量。
权重备份 (Weight Backup)： 将预扰动权重备份在 CPU 内存中，以确保每次评估都从完全相同的模型状态开始，从而避免浮点残差误差。
分块处理 (Chunked Processing)： 对参数进行分块处理以管理内存使用。

核心贡献

新颖算法： CoPES 被认为是第一个专门为全参数智能体 LLM 后训练设计的协同进化方法。它结合了参数空间分解与联合奖励标准化。
效率-内存权衡： 该方法在保持 ES 内存高效的全参数特性的同时，提高了固定预算下的优化效率。它避免了基于梯度的反向传播开销，也规避了标准 ES 过长的实际训练时间。
实验验证： 通过在数学和多跳问答（QA）任务上的广泛实验，从包括硬件可行性测试和受控消融实验在内的多个指标上验证了该方法。

实验结果

作者在 Qwen3.5-4B 模型上针对五个数学基准测试（AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test）和三个问答（QA）基准测试（HotpotQA, 2Wiki, MuSiQue）上评估了 CoPES。

与基于梯度的 RL (GRPO) 的性能对比

内存效率： 理论分析表明，CoPES 所需的 GPU 显存不到全参数 GRPO 的 1/8。在实践中，CoPES 可以在单张 24GB GPU 上进行训练，而全参数 GRPO 在 128K 上下文长度下需要 8 张 48GB GPU。
固定预算性能： 在等效于全参数 GRPO 最佳验证检查点的 GPU 时数预算（16 个训练步）下：
- CoPES 恢复了全参数 GRPO 实现的验证准确率增益的 92%。
- 标准 ES 仅恢复了 67%。
- 在五个数学基准测试的所有 pass@k 指标上，CoPES 始终优于标准 ES 和基于 LoRA 的 GRPO。
扩展性： 在具有挑战性的 AIME 2024 和 AIME 2025 基准测试中，尽管使用相同的固定训练预算，Coases 在较大的 $k$ 值（pass@k）下超越了全参数 GRPO。

与标准 ES 的性能对比

CoPES 在所有评估指标上均显著优于标准 ES。
消融研究：
- 子空间数量 ( $K$ )： 性能随着 $K$ 从 1 增加到 4 而提升，但由于每个子空间的种群过少（ $N_k=5$ ），在 $K=8$ 时大幅下降。
- 联合标准化： 与每个子空间内部的独立标准化相比，跨所有子空间的联合奖励标准化产生了更高的 pass@1 分数。
- 扰动规模： 性能提升并非仅仅源于更大的单坐标扰动规模（ $\sigma_k = \sqrt{K}\sigma$ ）；使用相同增加规模的标准 ES 表现更差。

多跳 QA

在问答任务中，CoPES 在所有基准测试指标组合上均优于标准 ES，并与全参数 GRPO 保持竞争水平，证明了该方法在数学推理之外的应用能力。

意义与主张

本文声称 CoPES 为资源受限下的智能体 LLM 后训练提供了一个切实可行的解决方案。通过分解搜索空间并进行联合奖励标准化，CoPES 在内存需求和训练时间之间实现了卓越的权衡。它使得在消费级或有限 GPU 硬件（如单张 24GB GPU）上使用全参数进化策略成为可能，而在这些硬件上，基于梯度的全参数方法因内存限制而无法实现，且标准 ES 因计算成本过高而过于缓慢。作者强调，其方法保留了 ES “仅前向”的优势，同时缓解了其主要的计算劣势。