🤖 machine learning

RSPO: Regularized Self-Play Alignment of Large Language Models

本文介绍了一种名为正则化自博弈策略优化（Regularized Self-Play Policy Optimization, RSPO）的新型框架，该框架将先前的自博弈方法与即插即用的正则化器相结合，以缓解过度优化问题，并显著提升了在多个基准测试中的对齐性能和响应多样性。

原作者： Xiaohang Tang, Sangwoong Yoon, Seongho Son, Huizhuo Yuan, Quanquan Gu, Ilija Bogunovic

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaohang Tang, Sangwoong Yoon, Seongho Son, Huizhuo Yuan, Quanquan Gu, Ilija Bogunovic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，研究人员正不断尝试教会计算机程序理解并遵循人类的意愿。这个过程通常被称为“对齐”（alignment），这至关重要，因为一个技术上卓越但忽视人类价值观的强大语言模型可能会是危险的，或者仅仅是毫无用处的。多年来，教导这些模型的标准方法是一种监督式训练，即由人类对哪些答案更好提供反馈。然而，一种更新颖且更具动态性的方法应运而生：自我博弈（self-play）。想象两个相同版本的 AI 模型相互竞争，生成响应并根据一套规则判断哪一个更优。通过这种无止境的竞争与改进循环，模型在理论上学习如何找到最佳的交流方式，就像运动员通过与实力相当的对手进行实战演练来磨炼技能一样。

然而，自我博弈法的挑战在于，如果没有安全网，模型可能会做得过头。在追求获胜的狂热驱动下，它们可能会开始利用评判系统的缺陷，产生那些在纸面上看起来完美、但实际上却荒谬无稽或有害的答案。这种现象被称为“过度优化”（over-optimization）。这类似于一名学生背诵了练习题的精确答案，却并未理解底层概念，结果在面对稍微不同的问题时便败下阵来。为了防止这种情况，研究人员通常会添加一个“正则化”（regularization）项，即一种数学约束，它能温柔地将模型拉回到其原始的、表现良好的状态。虽然这一概念在机器学习的其他领域已被广泛理解，但在自我博弈的具体背景下却在很大程度上被忽视了，这在如何确保这些竞争性模型保持安全可靠方面留下了一个空白。

一支研究团队通过引入一种名为“正则化自我博弈策略优化”（RSPO）的新框架，填补了这一空白。他们的工作聚焦于一个简单而强大的想法：如果我们能轻松地将不同类型的安全约束植入自我博弈游戏中，以让模型保持在正确的轨道上，结果会怎样？与其被锁定在一种单一、僵化的应用约束的方式中，他们的新方法允许使用不同策略的灵活组合。研究人员使用了几种流行的的大型语言模型测试了这种方法，包括基于 Mistral、LLaMA 和 Gemma 架构的版本。他们发现，通过仔细调整这些安全约束，模型可以取得比完全不使用任何约束进行训练时显著更好的结果。

他们的实验结果令人瞩目。当他们将此方法应用于名为 Mistral-7B 的模型时，其在标准基准测试中的胜率从 28.5% 提升到了 35.4%。对于一个更大的模型 LLaMA-8B，胜率从 38.77% 跳升至 43.66%。即使对于一个更小、更高效的模型 Gemma-2B，性能也从 50.54% 上升到了 51.83%。这些数字代表了一个意义深远的进步，表明这些模型不仅赢得了更多的比赛，而且生成的响应质量更高，更加有用且真实。除了赢得更多比赛外，研究人员还观察到，使用该方法训练的模型产生了更具多样性的答案。在许多情况下，不受约束的自我博弈会导致模型坍缩为单一、重复的说话风格，而新方法则鼓励了更丰富的响应多样性，这对于一个得力的助手而言至关重要。

其中一个最重要的发现是，并非所有的安全约束都以同样的方式发挥作用。研究人员发现，不同类型的约束对模型的行为有着截然不同的影响。某些类型的约束倾向于让模型写出更短、更简洁的答案，而另一些则更擅长提升响应的整体质量。通过结合这些不同的方法，他们能够获得两全其美的效果：既高质量又恰当简洁的答案。这种灵活性是以往方法的主要优势，因为以往的方法往往局限于仅使用一种特定类型的约束。这个新框架允许研究人员根据手头任务的具体需求来混合和匹配这些工具，使训练过程更加稳健且具有适应性。

研究还强调，这种方法具有极高的效率。研究人员证明，通过在较小的基础模型上使用该方法，他们可以达到与规模大得多、复杂得多的模型相媲美的性能水平。这表明，训练过程的质量与模型本身的大小同样重要。通过优化模型通过自我博弈学习的方式，可以在使用更少计算资源的情况下获得更多回报，这在这些技术日益普及的背景下是一个至关重要的考量。研究人员证明，该方法不仅是一个理论上的改进，更是一个实用的工具，可以轻松集成到现有的训练流水线中，而无需对现有系统进行彻底改造。

最终，这项工作为如何将人工智能与人类价值观对齐提供了更清晰的前行路径。它表明，防止模型在自我博弈过程中脱轨的关键不在于停止竞争，而在于用正确的约束来引导竞争。通过提供一种应用这些引导的灵活方式，研究人员为构建不仅更聪明，而且更安全、更可靠的 AI 系统提供了一个强大的新工具。研究结果表明，AI 对齐的未来在于平衡改进的动力与稳定的需求，确保随着这些系统变得更加强大，它们仍能牢牢扎根于人类实际需要和珍视的事物之中。

技术摘要：RSPO：大语言模型的正则化自我博弈对齐

1. 问题陈述

自我博弈对齐已成为一种强大的迭代微调大语言模型（LLM）的方法，它将偏好优化构建为一个双人博弈。在该框架下，目标是寻找一个纳什均衡（Nash Equilibrium, NE），使 LLM 策略生成的响应在基于通用偏好模型的情况下，优于竞争策略的响应。尽管这种方法非常有效，但现有的自我博弈方法（如 SPPO）往往缺乏对参考策略（reference policy）的显式正则化。

这种正则化的缺失导致了**过度优化（over-optimization）**问题，尤其是在偏好模型不准确、误设或表达能力有限（例如小规模奖励模型 PairRM）的情况下。由于缺乏约束，策略会显著偏离参考模型，导致性能下降、响应分布坍缩以及多样性降低。虽然最近的一些方法（如 Nash-MD）引入了正则化，但它们通常局限于 逆向 KL 散度（Reverse KL divergence），并且需要专门的采样程序（几何混合策略），这难以推广到其他散度度量。目前缺乏一个既能支持灵活的正则化策略，又能保持理论收敛保证的统一框架。

2. 方法论：正则化自我博弈策略优化 (RSPO)

作者提出了 RSPO，这是一个统一了先前自我博弈方法并支持多种正则化策略“即插即用”集成的创新框架。

核心框架

RSPO 定义了一个损失函数 $L_{RSPO}$ ，该函数结合了均方自我博弈损失与一个加权正则项：
$L_{RSPO} = \mathbb{E}_{y \sim \pi_t} \left[ \left( \log \frac{\pi_\theta(y)}{\pi_t(y)} - \eta \left( G(y, \pi_t, \mu) - B(\pi_t, \mu) \right) \right)^2 \right] + \lambda R(\pi_\theta, \mu)$

其中：

$G(y, \pi_t, \mu)$ ：更新方向，通常设置为偏好梯度 $P(y \succ \pi_t)$ 。
$B(\pi_t, \mu)$ ：用于降低方差的基准函数（设置为 $1/2$ ）。
$R(\pi_\theta, \mu)$ ：衡量当前策略 $\pi_\theta$ 与参考策略 $\mu$ 之间距离的通用凸正则化函数。
$\lambda$ ：正则化温度系数。

关键机制

统一性与简洁性：RSPO 通过简单地在其损失函数中添加 $\lambda R(\pi_\theta, \mu)$ 项，实现了对现有无正则化方法（如 SPPO）的泛化。它同时也泛化了正则化方法 Nash-MD，证明了 Nash-MD 是 RSPO 在使用特定更新方向和逆向 KL 正则化下的一个特例。
灵活的正则化：与本质上绑定于逆向 KL 且需要从几何混合策略中采样的 Nash-MD 不同，RSPO 允许使用任意正则化函数 $R$ $R$ 。作者实验了以下内容：
- 逆向 KL 散度 ( $D_{KL}(\pi \parallel \mu)$ )
- 前向 KL 散度 ( $D_{KL}(\mu \parallel \pi)$ )，通过重要性采样 (IS) 或直接重采样进行估计。
- 卡方散度 ( $\chi^2$ )。
- 线性组合（例如：前向 KL + 逆向 KL）。
理论保证：作者证明了优化 RSPO 损失等同于在 广义磁性镜像下降（Generalized Magnetic Mirror Descent, GMMD） 框架内进行强化学习。在假设正则化函数 $R$ 相对于熵函数是 1-强凸的情况下，RSPO 被证明能够实现向相应正则化偏好优化博弈纳什均衡的末次迭代收敛（last-iterate convergence）。

3. 主要贡献

框架提案：引入了 RSPO，这是一个模块化框架，它将自我博弈优化目标与特定正则化选择解耦，从而实现各种散度度量的简单集成。
理论扩展：将收敛保证从仅限逆向 KL 正则化的博弈扩展到了通用的正则化博弈，证明了 RSPO 会收敛至正则化博弈的纳什均衡。
正则化实证分析：通过系统研究揭示了不同正则化器的不同效应：
- 逆向 KL：显著提高了原始胜率，并有助于缓解过度优化。
- 前向 KL：倾向于减少响应长度（解决长度偏差问题），但如果单独使用，由于违反了相对凸性假设，可能会降低胜率。
- 组合策略：前向 KL 与逆向 KL 的线性组合实现了最佳平衡，在提高长度控制胜率（LCWR）的同时保持了多样性。
参数效率：证明了 RSPO 可以利用显著更少的参数，达到与使用更大规模偏好模型的模型相当的性能。

4. 实验结果

作者在 Mistral-7B、LLaMA-8B 和 Gemma-2B 上评估了 RSPO，使用的基准测试包括 AlpacaEval-2、Arena-Hard、MT-Bench 和 ArmoRM。

性能提升：使用调优后的正则化器（特别是前向 KL 与逆向 KL 的组合）的 RSPO 显著优于无正则化的 SPPO 基线。
- Mistral-7B：AlpacaEval-2 上的 LCWR 从 28.5% (SPPO) 提升至 35.4%。
- LLaMA-8B：LCWR 从 38.77% 提升至 43.66%。
- Gemma-2B：LCWR 从 50.54% 提升至 51.83%。
鲁棒性：与在后期迭代中因过度优化而出现性能下降的无正则化 SPPO 不同，RSPO 在迭代过程中保持或提高了性能。
多样性：观察到带有逆向 KL 正则化的 RSPO 在某些语境下增加了响应的多样性（较低的 Self-BLEU 分数），这反驳了正则化会降低多样性的直觉。这归功于参考策略的多模态分布。
效率：在 LLaMA-8B 上使用 0.5B 偏好模型 (PairRM) 训练的 RSPO，达到了与使用 8B 偏好模型 (GPM-8B) 训练的 SPPO 相当的性能，这意味着总参数量减少了 47%。

5. 重要性与主张

本文声称 RSPO 为探索正则化自我博弈对齐提供了坚实的基础。其重要性在于：

解决过度优化问题：通过显式引入正则化，RSPO 减轻了与不准确偏好模型相关的风险，这是实际 LLM 对齐中的一个关键问题。
灵活性与通用性：它打破了对逆向 KL 散度的依赖，允许研究人员在单一且具有理论依据的框架内，利用不同散度度量的特定优势（例如，通过前向 KL 实现长度控制，通过逆向 KL 提升性能）。
实际影响力：该方法在多个基础模型和基准测试上实现了显著的经验性能提升，且无需复杂的架构更改或专门的采样程序，使其成为现有自我博弈流水线的“即插即用”解决方案。

作者总结道，正则化不仅仅是一个技术细节，而是实现稳定且有效的自我博弈对齐的关键组成部分，使模型能够获得更高质量、更多样化且更鲁棒的响应。