💬 NLP

DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning

本文提出动态方差自适应优势优化（DVAO），这是一种新颖的方法，它基于经验方差动态调整多奖励组合权重，以克服组相对策略优化中标准标量化方法存在的训练不稳定性和静态局限性，从而在使大语言模型对齐多个目标时实现更优越的性能与稳定性。

原作者： Guochao Jiang, Jingyi Song, Guofeng Quan, Chuzhan Hao, Guohua Liu, Yuewei Zhang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Guochao Jiang, Jingyi Song, Guofeng Quan, Chuzhan Hao, Guohua Liu, Yuewei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个非常聪明的机器人（大型语言模型）去完成一项复杂的工作。这项工作不仅仅是为了得到正确答案；它还要求快速、不出错，并且严格遵守特定格式。

在人工智能领域，这被称为“多奖励强化学习”。机器人会因不同的表现获得分数（奖励）：

准确性：它是否解决了数学问题？
长度：它是否将答案控制在足够短的范围内？
格式：它是否使用了正确的工具语法？

问题：“音量旋钮”的困境

论文指出，当前教导机器人掌握多项技能的方式，就像试图用三种不同的原料调制鸡尾酒，却只有一个音量旋钮。

方法 A（奖励组合）：你在告诉机器人该做什么之前，先将各项分数混合在一起。问题在于：如果其中一种原料（例如“长度”）的分数出现剧烈波动，就会淹没其他信号。机器人会感到困惑，训练变得不稳定，甚至可能开始“大喊大叫”（产生巨大且 erratic 的更新），而不是进行学习。
方法 B（优势组合）：你分别测量每种原料，将其标准化，然后再进行混合。这种方式更为平稳，但它将每项技能视为孤立存在。它未能意识到，有时获得完美的答案有助于你保持在长度限制内，而有时它们又会相互冲突。它使用固定的配方（静态权重），即使机器人在某项特定技能上挣扎，这个配方也永远不会改变。

解决方案：DVAO（智能指挥家）

作者提出了一种新方法，称为DVAO（动态方差自适应优势优化）。

将 DVAO 想象成一位智能乐队指挥，他实时倾听各位乐手（不同的奖励）的表现。

倾听噪音：在任何一次练习（称为"rollout"）中，指挥家会观察乐手们的波动程度。
- 如果“准确性”乐手演奏的音符变化剧烈（高方差），这意味着机器人正处于学习新事物的边缘。指挥家会调大该信号的音量，因为这是一个强烈的学习机会。
- 如果“长度”乐手反复演奏完全相同的音符（低方差），这意味着机器人已经掌握了它，或者该信号只是噪音。指挥家会调小音量，以免其干扰更困难的任务。
“群体”效应：与旧方法孤立地看待各项技能不同，DVAO 关注技能在同一次尝试中的相互作用。如果机器人努力追求准确性却未能通过格式检查，DVAO 会调整学习信号以反映这一整体情况，而不仅仅是准确性分数。它充当一种“正则化器”，防止机器人过度执着于一项简单任务而忽视其他任务。
稳定性：论文从数学上证明，DVAO 能防止学习更新的“音量”失控爆炸。它确保机器人稳步学习而不至于失控，而这正是旧“奖励组合”方法存在的主要问题。

结果：更佳的平衡

作者在两项严峻的挑战中测试了该方法：数学推理（解决难题）和工具使用（让机器人正确调用外部工具）。

旧方法：它们通常迫使人们做出权衡。如果你将机器人调校得非常准确，它的回答就会过长或破坏格式；如果你将其调校得简短，它又会算错数学题。
DVAO：它找到了“最佳平衡点”（帕累托前沿）。它能够在严格遵循长度限制和格式规则的同时，保持极高的准确性。它无需为了提升某项技能而牺牲另一项。

一句话总结

论文认为，旧有的教导 AI 掌握多项技能的方式，要么过于混乱（导致不稳定），要么过于僵化（忽视了技能之间相互促进或相互制约的关系）。DVAO 通过根据 AI 在当下时刻的实际学习程度，动态调整每项技能的重要性，从而解决了这一问题，造就了一个更智能、更稳定且平衡性更好的 AI。

技术摘要：动态方差自适应优势优化（DVAO）

问题陈述

强化学习（RL）已成为使大语言模型（LLM）与人类意图对齐的标准范式，特别是通过组相对策略优化（GRPO），该方法消除了对独立价值模型的需求。然而，实际部署需要同时优化多个往往相互冲突的目标（例如，准确性与输出长度、工具使用正确性与格式合规性）。

当前处理 GRPO 中多奖励设置的标准做法依赖于标量化，主要通过两种方法：

奖励组合（RC）：在计算优势之前线性组合原始奖励。本文证明，这种方法经常生成具有过大平方幅值的优势，导致策略梯度不稳定和训练动荡。
优势组合（AC）：独立归一化奖励以计算个体优势，然后使用静态权重进行组合。虽然这缓解了幅值爆炸问题，但它依赖于固定超参数，并将目标视为孤立任务。这种“朴素解耦”未能捕捉单次 rollout 期间目标之间的协同或对抗相关性，通常导致次优的权衡。

方法论：DVAO

作者提出了动态方差自适应优势优化（DVAO），以解决幅值爆炸和目标隔离的局限性。DVAO 是一种完全动态、数据驱动的加权方案，根据单次 rollout 组内每个目标的经验奖励方差来调整组合权重。

核心机制

DVAO 不使用固定权重 $w_k$ ，而是为大小为 $G$ 的 rollout 组内的每个目标 $k$ 计算动态权重 $\tilde{w}_k$ ：
$\tilde{w}_k = \frac{w_k \sigma_k^i}{\sum_l w_l \sigma_l^i}$
其中 $\sigma_k^i$ 是给定查询 $x_i$ 在 $G$ 次 rollout 中第 $k$ 个奖励的标准差。

最终的 DVAO 优势计算如下：
$A_{DVAO}^{(i,j)} = \sum_k \tilde{w}_k A_k^{(i,j)} = \frac{\sum_k w_k \sigma_k^i A_k^{(i,j)}}{\sum_l w_l \sigma_l^i}$

该机制对具有较高方差的目标（表明更强、信息量更大的学习信号）进行加权，而对低方差目标（可能代表噪声或饱和信号）进行降权。

理论性质

本文提供了数学证明，确立了 DVAO 的两个关键性质：

有界优势幅值：DVAO 保证组合优势的幅值严格有界，且逐点小于或等于奖励组合产生的优势（命题 2）。这防止了与幅值爆炸相关的训练不稳定性。
自适应跨目标正则化：与优势组合不同（后者的目标梯度敏感性仅取决于其孤立表现），DVAO 的敏感性取决于涉及全局多目标性能的交叉项（ $A_{DVAO}^{(i,j)} A_k^{(i,j)}$ ）。这创建了一种隐式正则化机制，根据模型在特定 rollout 上的整体表现动态调节单个目标的学习信号，从而促进协同对齐，而非对单一指标的贪婪过优化。

实验结果

作者在数学推理和工具使用基准测试上，使用 Qwen3（4B/8B）和 Qwen2.5（3B/7B）模型评估了 DVAO。

数学推理（准确性 vs. 长度）：DVAO 在保持近乎完美的长度合规性（Qwen3-4B 为 100%，Qwen3-8B 为 99.99%）的同时，实现了最高的平均准确性。相比之下，奖励组合和优势组合方法迫使进行权衡，要么牺牲准确性以换取长度，要么反之。GDPO 实现了高长度合规性，但在所有方法中准确性最低。
工具使用（正确性 vs. 格式）：在伯克利函数调用排行榜（BFCL-v4）上，DVAO 在准确性和格式合规性方面均显著优于基线。值得注意的是，虽然 GRPO 和优势组合在格式合规性方面表现挣扎（7B 模型上通常接近 0%），但 DVAO 在保持高合规性的同时未牺牲准确性。
训练动态：训练曲线的可视化显示，与基线相比，DVAO 实现了更高的平均奖励，且方差（标准差）显著更低。DVAO 下的奖励标准差更快收敛，表明训练稳定收敛。
帕累托前沿分析：通过扫描权重超参数，作者证明 DVAO 在整个权衡范围内始终主导帕累托前沿，而固定权重基线则表现出饱和或不稳定性等失效模式。

主要贡献与意义

本文声称以下贡献：

理论缺陷识别：该工作正式揭示了现有用于多奖励 GRPO 的标量化方法的根本理论缺陷：奖励组合中的幅值爆炸和优势组合中的目标隔离。
DVAO 算法：提出了一种无超参数、动态的加权方案，能够适应经验奖励方差。
理论保证：数学证明 DVAO 保持有界的优势幅值以确保稳定性，并引入了一种隐式的跨目标正则化机制。
实证优越性：大量实验表明，DVAO 实现了更优的多目标帕累托前沿，比现有基线更有效地平衡相互竞争的目标（准确性、长度、格式），且无需手动权重调整。

作者得出结论，DVAO 为 LLM 的多目标对齐提供了稳健的解决方案，实现了稳定训练，并优化了现实应用中固有的复杂且相互冲突的需求。未来的工作建议探索扩展到具有更多冲突奖励函数的环境，并将该机制扩展到更广泛的对齐范式。