💬 NLP

Consolidating Rewarded Perturbations for LLM Post-Training

本文介绍了 CoRP，这是一种无需梯度的后训练方法，它通过利用低秩结构将奖励加权高斯扰动整合为单次模型更新，从而在实现较基座模型显著性能提升的同时，消除了类似 RandOpt 等基于集成方法的多次推理开销。

原作者： Zheyu Zhang, Shuo Yang, Gjergji Kasneci

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Zheyu Zhang, Shuo Yang, Gjergji Kasneci

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“厨师太多”的困境

想象你拥有一位才华横溢、训练有素的大厨（基础模型），他几乎能做任何菜。你想教他做出一道特定的、完美的菜肴（比如一道复杂的数学题或一段代码）。

通常，为了教一位大厨，你会使用强化学习（RL）。你让他们做菜、品尝，如果味道好，你就微调一下他们的食谱。这就像是使用梯度一步步调整食谱。这种方法有效，但速度慢且计算成本高。

最近，一种名为 RandOpt 的新方法出现了。RandOpt 不再是一步步微调食谱，而是说：“我们干脆给大厨的基础食谱撒上一堆随机香料，看看会发生什么。”

它创建了 5,000 个略有不同的厨师版本（通过向权重中添加随机的“扰动”或噪声）。
它在一些练习菜品上测试所有 5,000 个版本。
它挑选出表现最好的前 50 个版本。
代价是： 为了给顾客上菜，你必须要求这 50 位“专家级”厨师同时做这道菜，然后根据最终答案进行投票。
- 优点： 它非常聪明。
- 缺点： 它极其缓慢。每做一顿饭，你都得运行 50 个厨师。此外，你不能轻易地将他们合并成一位“大师级”厨师，因为他们的“个性”（权重）可能会产生冲突。

论文的问题：我们能合并这个团队吗？

作者们问道：“我们能否将那 50 位获胜的专家合并成一个单一的厨师，这样我们每次只需要运行一个厨师，而不是 50 个？”

如果我们只是简单地平均他们的食谱，通常会失败。为什么呢？因为虽然他们都很擅长烹饪，但他们学习解决问题的方式可能各不相同。如果你盲目地混合他们，他们的改进方案会互相抵消，最终导致你得到的厨师比最初的还要差。

发现：隐藏的“低秩秘密”

在构建解决方案之前，作者进行了一项“拆分实验”。他们将 5,000 名随机厨师分成两半，并观察了表现最好的那一半。

他们发现了一个令人惊讶的几何模式：尽管这些厨师是随机创建的，但他们的“优秀程度”并不是到处乱飞的。相反，所有有用的改进都集中在一个极其特定的“子空间”（一个狭窄的可能性的走廊）内。

你可以这样理解：如果你向一面巨大的墙投掷 1,000 支飞镖，它们看起来可能很随机。但如果你仔细观察，你会发现每一支“好”飞镖都落在了一个微小的、隐形的圆圈内。论文发现，即使飞镖的平均方向并不总是一致的，但在每一个测试案例中，这种“圆圈”（低秩结构）都是存在的。

解决方案：CoRP（整合奖励扰动）

作者构建了一个名为 CoRP 的工具，旨在将这些专家合并为一个可部署的模型。它通过一个三步走的招聘流程来工作：

猎头（奖励加权聚合）：
首先，CoRP 查看表现最好的厨师，并询问：“共同点在哪里？”它基于得分最高的厨师创建一个“建议方向”。这就像是在说：“好吧，最好的厨师似乎都用了更多的蒜。”
兼容性检查（重加权）：
这是神奇的一步。CoRP 不仅仅是听从那些“大蒜”厨师的意见。它会检查每一位专家，看其风格是否与建议的方向相符。
- 如果一位厨师擅长用蒜，但也坚持要加入巧克力（这与大蒜主题冲突），CoRP 会说：“不行，你太不兼容了。”它会降低该厨师的权重。
- 如果一位厨师擅长用蒜，且没有添加任何奇怪的东西，CoRP 会说：“太棒了，你非常契合。”它会提升该厨师的权重。
- 类比： 想象你在盖房子。你有 50 位优秀的建筑师。你不会直接平均他们的蓝图（那样会搞得一团糟）。你会选择一个最佳的设计方向，然后只聘请那些特定的想法能够支持该方向、且不会产生冲突的建筑师。
安全检查员（留出验证门控）：
在最终确定新的单一厨师之前，CoRP 会在一组这些厨师从未见过的菜品上测试新食谱。
- 如果新厨师在这些新鲜菜品上的表现确实更好，CoRP 就会批准更新。
- 如果新厨师的表现变差了（或者仅仅是持平），CoRP 会说：“不，我们还是沿用原来的厨师吧。”它拒绝进行任何没有实质帮助的改动。

结果：一个厨师，一次运行，巨大收益

论文在 5 种不同的模型（从小型到大型）和 5 种不同的任务（数学、编程、创意写作）上进行了测试。

速度： RandOpt（50 厨师团队）回答一个问题需要 50 次前向传播。CoRP 只需要 1 次前向传播。它的推理速度快了 50 倍。
效率： CoRP 仅使用了 RandOpt 用于训练的 1/10 计算能力（扰动预算）。
性能：
- CoRP 使基础模型平均提升了 8.1 分。
- 它找回了那个庞大的 50 厨师团队所实现的性能增益中的 一半以上，但使用的是单一模型。
- 在某些情况下（如创意写作），CoRP 甚至击败了单一人选方案（RandOpt K=1），并且非常接近 50 厨师团队的表现。

总结

这篇论文表明，你不需要一个由 50 个 AI 模型组成的委员会来获得出色的结果。通过寻找这些模型改进过程中隐藏的“共同几何结构”，并仔细过滤掉那些产生冲突的模型，你可以将它们合并为一个单一、高效的模型。

这就像是意识到，与其雇佣 50 个不同的顾问来解决问题，不如雇佣一位能够综合了这 50 人中最佳想法、且不会让大家争论不休的专家。你既得到了群体的智慧，又拥有了单个人的速度。

技术摘要：整合奖励扰动以进行大语言模型后训练

问题陈述
大语言模型（LLM）的后训练通常被构建为一个通过梯度下降（如 PPO、GRPO）实现的“采样-评分-更新”循环。最近的一种替代方案 RandOpt (Gan and Isola, 2026) 将这一过程转移到了权重空间。RandOpt 不通过梯度更新权重，而是在预训练模型周围采样高斯扰动，在支持集上对其进行评分，并在推理时集成前 $K$ 个高奖励的“专家模型”。虽然在计算量匹配的情况下，该方法与基于梯度的方法相比具有竞争力，但它带来了显著的推理成本（每个样本需要 $K$ 次前向传播），并且难以扩展到无法应用分类投票的自由文本生成任务。本文解决的核心问题是：能否将“受奖励的扰动种群”折叠进一个单一的可部署模型更新中，从而取代推理时的集成过程，实现一次性的权重整合。

方法论：CoRP（整合奖励扰动）
作者提出了 CoRP，一种无需梯度的算子，旨在将一群受奖励的扰动整合为一次单一的权重更新。该方法建立在对 25 个“模型-任务”对进行半拆分分析得出的两个主要洞察之上：

低秩结构： 在所有考察的案例中，围绕基座模型的奖励驱动随机搜索会将有用的方差集中在一个可复现的低秩子空间内，尽管单一的平均方向并不总是可复现的。
兼容性 vs. 有用性： 高奖励的扰动通常表现为“近乎正交的专家”。朴素的奖励加权平均会失败，因为它结合了不兼容的方向，导致模型抵消掉有用的信号。

CoRP 通过一个三阶段、无需梯度的过程来解决这些挑战：

奖励加权候选生成：
该方法首先根据奖励得分选择前 $q$ 分位数的扰动。它计算一个临时方向（ $m^{(1)}$ ）作为这些精英扰动的奖励加权平均值。这一步识别了有用的方向，但尚未确保它们彼此之间是兼容的。
兼容性感知重加权：
为了防止不兼容的信号相互抵消，CoRP 根据扰动与临时方向的对齐程度及其正交离散度对精英扰动进行重加权。
- 对齐度 ( $a_i$ )： 衡量扰动对所提议方向的支持强度。
- 离散度 ( $d_i$ )： 衡量扰动中有多少部分位于提议方向的正交方向上。
  最终的权重 ( $w^{(2)}_i$ ) 结合了原始奖励，并对高离散度施加惩罚，同时对高对齐度给予奖励。这确保了整合后的更新既保留了共享结构，又抑制了不兼容的变异。
验证与迭代：
- 留出门控（Held-Out Gate）： 为了防止对支持集过拟合，CoRP 使用了拆分折验证策略。只有当候选更新在留出验证折（Fold B）上展现出具有统计学显著性下置信界的正向准确率增益时，才会被提交。
- 探测器校准（Probe Calibration）： 使用一个独立的探测集（Fold P）来校准更新的步长（ $\eta$ ）。
- 迭代： 如果更新被接受，该过程可以迭代。新的扰动会在新的中心周围进行采样，使用一种协方差自适应分布，该分布将探索集中在先前受奖励种群发生变化的维度上，同时保持一个各向同性的底限以保证覆盖范围。

核心贡献

发现可复现的低秩结构： 本文证明，在 25 个多样化的模型-任务对（涵盖 0.5B 到 8B 参数以及数学、代码和写作任务）中，受奖励的扰动始终共享一种低秩结构，即使不存在单一的平均方向。
CoRP 算子： 引入了一种无需梯度的整合算子，能够成功地将一群受奖励的扰动合并为一个单一模型。它明确地将“有用”方向的识别与“兼容性”的评估分离开来，而这种区别在朴素的模型合并中经常被忽视。
效率： CoRP 以单次前向传播实现了与大型集成模型相当的性能，消除了像 RandOpt 这样方法的 $K$ 倍推理成本。

实验结果
作者在五个指令微调模型（Qwen2.5 变体、OLMo3、Llama3.1）和五个任务（Countdown、GSM8K、OlympiadBench、ROCStories、MBPP）上评估了 CoRP。

性能： 在所有任务中，CoRP 平均将基座模型提升了 8.1 个百分点。
与 RandOpt 的比较： 使用仅 1/10 的 RandOpt 扰动预算（500 个样本 vs. 5000 个样本），CoRP 的表现超过了单次推理的 RandOpt (K=1) 6.5 个百分点。此外，它回收了 50 次多数投票集成（RandOpt K=50）所获收益的一半以上，且每个测试样本仅需 一次前向传播。
与基于梯度的方法的比较： 在训练计算量匹配时，CoRP 与 PPO 和 GRPO 具有竞争力，并且在特定任务（如 ROCStories）上往往优于它们，同时避免了通过语言模型进行反向传播的计算开销。
误差分析： 结果分解显示，CoRP 的增益来自于真实的推理修复（纠正答案内容）而非仅仅是格式修复，并且与选择单一最佳扰动相比，它显著减少了“退化”（即基座模型原本正确但更新后变得错误的情况）。

意义与主张
本文主张，一个训练良好的预训练模型的“奖励邻域”包含了足够的共享结构，可以被折叠进一个单一模型中，即使不存在能总结整个种群的单一方向。通过在权重空间中闭合回路——从采样扰动转向整合为可部署的更新——CoRP 为基于梯度的后训练提供了一个实用的替代方案。它证明了我们可以通过单个高效部署的模型，在无需反向传播的情况下，实现显著的对齐和推理能力的提升。

作者对局限性保持了谦逊的态度，指出 CoRP 目前需要可验证的奖励（这限制了其应用范围，仅限于具有分类或易于检查输出的任务），并且在较小的模型上，由于专家模型可能更加分离，其与完整集成之间的差距会更大。他们建议未来的工作可以将权重空间采样与轨迹空间采样（如 RLVR 中使用的）相结合，以暴露预训练能力的不同侧面。