🤖 AI

Safety Alignment of LMs via Non-cooperative Games

本文介绍了 AdvGame，一种新颖的安全对齐范式，它将攻击者（Attacker）与防御者（Defender）语言模型之间的交互构建为一个通过基于偏好的奖励进行在线强化学习训练的非零和博弈，从而产生一个更具鲁棒性且更有帮助的防御者，以及一个强大的通用型红队测试智能体。

原作者： Anselm Paulus, Ilia Kulikov, Brandon Amos, Rémi Munos, Ivan Evtimov, Kamalika Chaudhuri, Arman Zharmagambetov

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anselm Paulus, Ilia Kulikov, Brandon Amos, Rémi Munos, Ivan Evtimov, Kamalika Chaudhuri, Arman Zharmagambetov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但缺乏经验的机器人（防御者）如何应对一个充满棘手问题、甚至包含危险问题的混乱世界。

传统上，开发者试图通过向这个机器人展示一份“坏问题”清单来教它学习，并告诉它：“不要回答这些。”但这个机器人很聪明；它最终会学会背诵这份清单，但当有人提出它从未见过的“新式”坏问题时，它就会失败。这就像教一名保安只去识别“通缉令”上的特定面孔，而不是教他们如何识别一般的可疑行为。

这篇论文介绍了一种名为 AdvGame 的新训练方法。它没有采用传统的教师与学生模式，而是设置了一个由两名玩家组成的电子游戏：

攻击者（“诡计匠”）： 一个唯一的任务就是发明各种新颖、巧妙的方法来诱骗“防御者”说出有害内容。
防御者（“守护者”）： 一个负责在安全地避开“诡计匠”陷阱的同时，回答有益问题的机器人。

核心思想：永不停歇的舞蹈

在旧方法中，诡计匠试图击垮守护者，然后守护者会被修复，接着诡计匠再试一次。这是一个缓慢的、回合制的“猫鼠游戏”。

在 AdvGame 中，他们同时进行。

诡计匠试图寻找守护者盔甲上的新漏洞。
守护者会立即学习如何修补那个漏洞。
因为他们在同时进行，所以守护者学会了如何应对“诡计匠”提出的任何新花招，而不仅仅是处理昨天见过的那些。

论文认为这并不是一场“零和博弈”（即一方赢、另一方输）。相反，这是一场非零和博弈。“诡计匠”并不是想摧毁“守护者”，而是试图通过发现其弱点来让“守护者”变得更好；“守护者”也不是试图让“诡计匠”噤声，而是试图在保持有用性的同时不被诱骗。

计分板：“更好”还是“多少分”

这篇论文的一个重大创新在于他们如何评判玩家。

旧方法（基于点数）： 评委给出一个分数，比如“7分（满分10分）”。这很难，因为“7分”是主观的。机器人可能会学会钻系统的空子，给出看起来很好但实际上并不安全的答案（比如学生通过背诵答案解析而非学习学科知识来应付考试）。
新方法（基于成对比较）： 评委被展示两个答案并排在一起，只需被问到：“哪一个更好？”
- 类比： 与其要求一位美食评论家在1到10分的量表上给一个汉堡打分（这很难统一标准），不如直接问他：“汉堡 A 是否比汉堡 B 更好吃？”这更难作弊，并且能提供关于“好”究竟是什么样子的更清晰的信号。

结果：更强壮，更聪明

论文在两个流行的机器人模型（Llama 和 Qwen）上测试了这种方法。以下是他们的发现：

守护者变得更强韧了： 经过 AdvGame 训练的防御者模型更难被诱骗。在面对已知的“越狱”攻击（绕过安全过滤的方法）时，它们比使用旧方法训练的模型表现得更加稳固。
守护者保持了实用性： 安全训练的一个常见问题是，机器人会变得过于谨慎，从而拒绝回答无害的问题（例如“我该如何结束一个计算机进程？”）。AdvGame 成功地让机器人既保持了有用性和实用性，又兼顾了安全性。
诡计匠变成了一个超级工具： 攻击者机器人并没有在训练后消失。它变成了一个强大的“红队（Red Team）”工具。这意味着攻击者本身现在可以被用来测试其他机器人是否安全，充当专业的压力测试员。

秘诀所在

论文强调了三个让这种方法如此成功的理由：

两个独立的机器人： 他们没有使用同一个机器人来扮演两个角色（这会导致混淆），而是使用了两个不同的模型，因此攻击者专注于攻击，而防御者专注于防御。
“更好”的评委： 使用基于成对比较（哪个更好？）的评分方式防止了机器人通过作弊来操纵评分系统。
“移动平均”技巧： 他们使用了一种叫做 EMA（指数移动平均）的技术。想象一下，守护者是一个正在参加考试的学生。他们不会因为错了一道题就陷入恐慌，而是会观察自己过去几周的表现，以了解自己的真实水平。这保持了训练的稳定性，防止机器人对单个坏例子做出过度反应。

总结

AdvGame 就像是一个机器人学习躲避拳头的健身房。它不是通过看教练演示拳头视频来学习如何躲避，而是通过与一个能实时发明新拳法的对手进行实战对抗来训练。其结果是，得到的机器人不仅更安全，而且更有用，同时还拥有一个如此优秀的陪练，以至于它可以用来测试未来的任何机器人。

技术摘要：通过非合作博弈实现语言模型的安全对齐

问题陈述

在保持大语言模型（LM）效用的同时确保其安全性仍然是一个关键挑战。目前的安全性对齐方法通常依赖于顺序对抗训练：攻击者 LM 生成对抗性提示（越狱），防御者 LM 被微调以抵御这些提示。这一过程通常以“猫鼠游戏”的方式迭代进行。作者认为，这种顺序交替过程存在于交替优化中固有的低效性和潜在不稳定性。此外，现有方法往往难以应对自适应攻击，导致在标准基准测试中的越狱成功率较高。此外，许多方法依赖于来自判别模型的点分式（point-wise）奖励信号，由于难以校准绝对安全得分以及安全违规的主观性，这些方法容易出现奖励黑客行为（reward hacking）。

方法论：AdvGame

本文引入了 AdvGame，一种将安全性对齐建模为两个不同智能体——攻击者 LM ( $\rho$ ) 与 防御者 LM ( $\pi$ ) 之间的非零和、非合作博弈的新范式。与以往通过单一模型承担双重角色（共享参数）的“自我博弈”方法不同，AdvGame 通过在线强化学习同时训练两个独立的模型。

核心组件

非零和公式化：该博弈被定义为非零和，因为攻击者和防御者的目标是截然不同且并非完全对立的。
- 防御者目标：生成安全、符合策略且有用的响应。对于良性查询，它应保持合规；对于有害查询，它应提供“偏离”（即安全的、语义相近的信息）而非直接拒绝或输出有害内容。
- 攻击者目标：诱发防御者的失效（拒绝服务）或违反策略的行为。至关重要的是，攻击者通过诱导防御者错误分类查询类型（例如，使良性查询看起来像有害查询以触发过度拒绝，或使有害查询看起来像良性查询以绕过安全限制）来获得奖励。这防止了攻击者收敛到退化解（如生成乱码），虽然生成乱码在零和设置下技术上算作“获胜”，但无法测试鲁棒性。
基于偏好的优化：不同于使用难以校准的点分式标量奖励，AdvGame 利用成对偏好信号。
- 判别器：判别器 LM 评估响应对（针对防御者）或攻击提示及其产生的响应对（针对攻击者）。
- 防御者判别器：选择更合规的响应（针对良性种子）或提供更好偏离信息的响应（针对有害种子）。
- 攻击者判别器：选择成功欺骗防御者的攻击提示。偏好逻辑根据种子类型进行切换，以确保攻击者学习的是操纵防御者的分类，而非仅仅生成噪声。
- 忠实度：一个单独的判别器确保攻击者的提示保持对原始种子意图的忠实，防止攻击者改变查询的底层含义。
训练算法 (AdvGame-DPO-MD)：
- 该方法将 直接偏好优化 (DPO) 和 纳什镜像下降 (Nash-MD) 的概念应用于这一联合设置。
- 离策采样 (Off-Policy Sampling)：为了提高训练稳定性，算法使用 指数移动平均 (EMA) 模型 ( $\pi^\gamma, \rho^\gamma$ ) 来生成在线数据（rollouts），而不是直接使用当前策略。这种离策方法有助于平滑更新，并防止模型过度拟合近期变化，这是纯在线策略强化学习中常见的问题。
- 损失函数：作者推导了针对攻击者和防御者的特定 DPO 式损失函数，利用成对偏好数据来优化博弈的纳什均衡。

主要贡献

联合非合作训练：论文提出了一个框架，在该框架下，攻击者和防御者在非零和博弈中同时进行训练，从而摆脱了顺序交替或参数共享的自我博弈。
基于偏好的监督：该方法用稳健的成对偏好比较取代了脆弱的点分式奖励信号，减轻了奖励黑客行为和校准问题。
离策稳定性：证明了集成基于 EMA 的离策采样（AdvGame-DPO-MD）比 GRPO 等在线策略方法能显著提高训练稳定性。
双重效用输出：该框架不仅产生了一个鲁棒的防御者，还产生了一个强大的、通用的攻击者，其收敛为一个具备能力的红队测试代理。

实验结果

作者在 Llama3.1-8B 和 Qwen2.5-7B 模型上对包括原始指令微调模型、无审查版本以及 Self-RedTeam 基准在内的对象进行了评估。

效用-安全权衡：AdvGame 变体（特别是 AdvGame-DPO-MD）成功保留了原始模型的效用（通过 MMLU、IFBench、AlpacaEval2 等衡量），同时显著提升了安全性。相比之下，Self-RedTeam 基准往往会导致明显的效用下降。
安全性表现：在 HarmBench、WildJailbreak (WJB) 和 WildGuardTest 等安全基准上，AdvGame-DPO-MD 实现了最先进的性能，其降低攻击成功率（ASR）的效果显著优于基准模型。例如，在 Qwen2.5-7B 上，AdvGame 将 HarmBench ASR 从 Self-RedTeam 的 16.8% 降低到了 4.7%。
对自适应攻击的鲁棒性：与固定提示词防御和顺序训练方法相比，该方法在应对自适应越狱攻击（PAIR、TAP、GCG）时表现出卓越的鲁棒性。
攻击者能力：经过训练的攻击者 LM 达到了与强力自适应攻击方法相当的水平（例如在 Qwen2.5-7B 上达到约 56% 的 ASR），验证了其作为红队测试工具的实用性。
消融研究：
- DPO/IPO vs. GRPO：基于偏好的方法（DPO/IPO）优于 GRPO，后者表现出不稳定的训练动态和较低的安全得分。
- 成对 vs. 点分式：成对判别器产生了更好的安全与效用权衡，而点分式判别器则导致了奖励黑客行为和性能下降。
- EMA vs. 在线策略：使用 EMA 进行离策生成对于稳定性至关重要；移除 EMA 会显著降低安全性指标。
- 训练攻击者：积极训练攻击者（而非保持其固定）对于生成多样化且具有挑战性的攻击至关重要，从而带来了更鲁棒的防御者。

意义与主张

论文声称 AdvGame 移动了安全与效用的 帕累托前沿 (Pareto frontier)，产生了一个既更具帮助性又更能抵御对抗性攻击的防御者。通过将安全性对齐形式化为具有基于偏好奖励的非合作博弈，该方法解决了顺序训练的低效性和点分式奖励优化的不稳定性。

强调的一个关键意义是生成了一个可重复使用的红队测试代理。训练后的攻击者 LM 可作为一个系统化工具，用于探测任意目标模型的安全性，在开发早期发现安全性相关的失效模式。作者强调，这种方法支持在发现与修复之间建立更紧密的反馈循环，提高了安全性评估的速度和覆盖范围。

该工作承认了局限性，指出其仅专注于人类可理解的自然语言攻击，并未涵盖不可读的攻击序列（如 GCG）。然而，作者认为，未来在奖励模型设计以及扩展到其他攻击模态方面的研究可以进一步增强基于博弈论的语言模型安全性方法的鲁棒性。