💬 NLP

Learning diverse attacks on large language models for robust red-teaming and safety tuning

本文提出了一种基于 GFlowNet 的自动化红队测试框架，该框架克服了现有强化学习方法在生成多样化且有效的攻击提示词时存在的模式崩塌限制，从而能够创建更具鲁棒性的安全微调大语言模型。

原作者： Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，大型语言模型已成为能够以类人般的流利度进行写作、推理和对话的强大工具。然而，这种能力也带来了显著的风险：这些系统可能会被操纵，从而产生有害、有毒或危险的内容。为了防止这种情况，开发者进行了一种被称为“红队测试”（red-teaming）的实践。想象一支受雇在公众入住前破门而入建筑物的安全团队；在数字领域，红队测试涉及系统性地尝试诱骗人工智能，使其暴露其弱点。其目标是找到那些能够绕过模型的安全过滤器并迫使其生成其设计初衷予以拒绝的内容的特定问题或指令（称为提示词）。识别这些漏洞对于构建更安全的系统至关重要，但寻找它们非常困难，因为可能的提问空间极其庞大，且用于寻找这些问题的各种方法往往会陷入僵局，重复同样的几种套路，而不是发现更多样化的破解新方法。

一组研究人员针对这一问题开发了一种新方法，该方法成功生成了多样化的有效攻击提示词。他们没有依赖于往往会收敛于单一、重复解法的传统方法，而是利用了一个被称为“生成流网络”（generative flow network）的概率框架。这种方法不将寻找有害提示词的过程视为一个简单的优化任务，而是一个从广阔的可能性景观中进行采样的过程。研究人员训练了一个人工智能模型来探索这一景观，收集了大量能成功诱发目标模型产生有毒响应的提示词。随后，他们应用了第二个平滑步骤来精炼这些发现，确保最终的攻击集既高度有效又具有显著的多样性。其结果是一个工具包，能够发现其他方法所遗漏的漏洞，为开发者提供了一个更全面的安全网。

研究人员解决的核心挑战是自动化红队测试中的一个常见失效问题：系统容易坍缩到仅生成少数几个相似、重复提示词的状态。以往试图通过添加规则来鼓励多样性的尝试往往以失败告终，导致系统要么产生多样化但无害的问题，要么产生有效但完全相同的攻击。这种新方法通过一个两阶段过程避免了这一陷阱。在第一阶段，系统在探索可能提示词的空间，并由一个衡量提示词触发有害响应可能性的奖励信号进行引导。这种探索旨在保持广泛性，寻求许多不同的“模式”或攻击类型，而非仅仅寻找最容易的一种。在此阶段，系统会收集一个大规模的此类成功的、多样化的提示词数据集。

在第二阶段，研究人员利用收集到的提示词再次训练模型，这一次侧重于学习使这些特定提示词奏效的模式。这一步起到了精炼作用，平滑了攻击的分布，使得模型能够生成新的、高质量的变体——这些变体虽然并非显式见过，但共享相同的成功特征。这种先进行广泛探索、后进行针对性学习的结合，使得系统能够在保持高度多样性的同时，确保攻击依然强力。研究人员在多种不同的语言模型上测试了这种方法，包括一些经过专门训练以具备安全性且能抵抗攻击的模型。他们发现，该方法始终优于现有技术，在生成更高比例的有毒提示词的同时，保持了极高的措辞和结构多样性。

其中最显著的发现之一是这些攻击跨模型的迁移能力。旨在攻击特定模型的生成的提示词，往往对其他完全不同的模型也同样有效，甚至对研究人员在训练阶段从未测试过的模型也有效。这表明不同的人工智能系统在安全训练方面存在共同的弱点，而多样化的攻击集比狭隘、重复的攻击能更有效地揭示这些共同的脆弱性。例如，当研究人员针对名为 Gemma 的模型进行训练时，生成的提示词能够成功绕过包括 Llama 和 Mistral 在内的其他多个模型的安全过滤器，并保持较高的成功率。这种可迁移性至关重要，因为这意味着一次设计良好的红队测试工作可以同时提升许多不同系统的安全性。

研究人员还证明，使用这种多样化的攻击集来训练模型会使其显著增强鲁棒性。当他们对目标模型进行微调，并使用针对其生成的提示词的拒绝响应进行训练时，得到的模型变得更难被攻破。事实上，这种经过安全微调的模型能够抵御由其他较不先进的红队测试方法产生的攻击，而这些方法此前曾是有效的。这表明，在其安全训练过程中让模型接触广泛的攻击风格，比仅仅让其接触少数重复的例子要有效得多。研究显示，这种安全性的提升并没有以牺牲模型的通用能力为代价；经过安全微调后的模型仍保留了遵循指令和执行任务的能力。

这项工作还强调了当前安全措施的局限性。研究人员指出，攻击的有效性取决于用于判定响应是否有毒的分类器，且真正的伤害具有主观性和上下文相关性。他们观察到，某些方法（特别是依赖简单优化的方法）会陷入一种陷阱，即生成的提示词在分类器看来看似有毒，但实际上并未从模型中诱发出有害响应，这种现象被称为“奖励黑客”（reward hacking）。他们的两阶段方法通过确保提示词不仅在统计学上极具触发分类器的可能性，而且能真正有效地从目标模型中诱发出预期的响应，从而缓解了这一问题。

最终，这项研究为人工智能系统在发布给公众之前提供了更可靠的压力测试方法。通过放弃那些会陷入重复循环的方法，转而拥抱一种寻求多样化攻击的策略，开发者可以识别并修补更广泛的漏洞。这些攻击在不同模型间的可迁移性表明，这些系统面临的安全挑战是相互关联的，而一种多样化的、基于概率的红队测试方法，为构建更具韧性和值得信赖的人工智能提供了强大的工具。本研究开发的代码和方法已公开供他人使用，旨在加速为所有人创造更安全系统的进程。

技术摘要：学习多样化攻击以实现大型语言模型的鲁棒红队测试与安全性微调

问题陈述

部署大语言模型（LLMs）带来了生成有害、有毒或不安全内容的显著风险。虽然模型通常会通过安全性约束进行微调，但它们仍然容易受到“越狱”或“攻击”提示词的影响，从而诱导产生不良响应。红队测试（Red-teaming）——即自动识别此类提示词——对于在部署前确保鲁棒的安全性对齐至关重要。

现有的自动化红队测试方法主要基于强化学习（RL），面临着**多样性（Diversity）与有效性（Effectiveness）**之间的根本权衡。

模式崩溃（Mode Collapse）： 标准的 RL 算法（如 REINFORCE、PPO）往往会收敛到单一的高奖励轨迹，从而生成一组高度相似的攻击提示词。
无效的多样性（Ineffective Diversity）： 试图强制执行多样性的方法（例如通过引入新颖性奖励或熵奖励）往往无法在多样性与毒性之间取得平衡，导致生成的提示词虽然具有多样性，但却无法成功绕过安全过滤器，从而缺乏有效性。
较差的迁移性（Poor Transferability）： 为一个目标模型生成的攻击往往无法迁移到其他目标 LLM，这限制了跨不同架构进行安全性微调的效率。

本文认为，当前的方法难以发现实现 LLM 鲁棒安全性微调所需的完整攻击模式谱系。

方法论

作者提出了一个使用 GFlowNets（生成流网络）随后进行 最大似然估计（MLE） 平滑的两阶段概率框架。该方法将攻击提示词的生成视为从奖励分布中采样，而非优化单一的确定性轨迹。

第一阶段：GFlowNet 微调

第一阶段涉及将预训练的攻击者语言模型（LM）作为 GFlowNet 策略进行微调。

目标： 学习一个随机策略 $p_\theta$ ，使得采样出的提示词 $x$ 的概率与其奖励 $R(x)$ 成正比。
奖励函数： 奖励结合了两个组成部分：
1. 毒性（ $R_1$ ）： 目标 LLM 的响应被毒性分类器（如 Llama-Guard 或 RoBERTa）判定为有毒的可能性。
2. 自然度（ $R_2$ ）： 提示词在参考模型（ $p_{ref}$ ）下的似然度，确保攻击提示词看起来自然，且不会轻易被基于困惑度（Perplexity）的防御机制过滤。
训练： 模型使用 轨迹平衡（Trajectory Balance） 目标进行训练。在此阶段，策略在提示词空间中进行探索，将高奖励样本收集到离线数据集中。这一阶段旨在实现“离线策略（Off-policy）”，允许模型发现标准 RL 可能错过的多样化攻击模式。

第二阶段：MLE 平滑

第二阶段解决了 GFlowNet 对奖励温度参数（控制毒性与多样性之间的权衡）的敏感性问题。

过程： 重新初始化预训练的攻击者 LM，并使用第一阶段收集的高奖励提示词进行 最大似然估计（MLE） 微调。
机制： 这相当于一种行为克隆（Behavior Cloning）。通过在第一阶段发现的多样化成功攻击上进行训练，模型学习到了高奖励提示词的“平滑”分布。
益处： 这一步骤将探索（第一阶段）与最终的策略优化解耦，使该方法对 GFlowNet 目标中使用的特定温度设置具有鲁棒性，并显著提升了最终输出的多样性。

通过重排序进行适配

两阶段方法的关键特征是其适配性。为了对新的目标 LLM 进行红队测试，作者建议跳过昂贵的阶段 1。相反，他们使用来自第一阶段的存储提示词，利用新的目标 LLM 重新计算奖励，筛选出高奖励提示词，并仅执行轻量级的阶段 2（MLE）微调。

核心贡献

概率化红队测试： 本文引入了一种基于 GFlowNet 的红队测试方法，将提示词生成建模为从奖励分布中采样，从而本质上鼓励了多样性。
两阶段平滑： 作者提出了一种新型的 MLE 平滑步骤，它从 GFlowNet 训练期间发现的高奖励样本中进行泛化，有效地平衡了多样性与毒性，同时降低了对超参数的敏感性。
迁移性： 该方法生成的攻击提示词可以有效地迁移到不同的目标 LLM（例如，从 Llama-2 到 Llama-3，或从 Gemma 到 Mistral），揭示了安全性对齐中共同存在的失效模式。
鲁棒的安全性微调： 本文证明，使用该方法生成的多样化数据集对目标 LLM 进行安全性微调，可以使其比使用标准基准进行微调的模型更具鲁棒性，能够抵御来自其他基于 RL 的红队测试方法的攻击。

实验结果

该方法在五个目标 LLM（GPT-2, Dolly-v2-7b, Gemma-2b-it, Llama-2-7b-chat, Llama-3.1-8B-Instruct）上进行了评估，并与包括监督微调（SFT）、上下文学习（ICL）、REINFORCE、PPO + Novelty 以及独立 GFlowNet 在内的基准方法进行了对比。

多样性 vs. 毒性： 所提出的 GFlowNet + MLE 方法是唯一一种在所有目标模型上都能持续实现高毒性率（有效性）和高余弦距离（多样性）的方法。诸如 REINFORCE 之类的基准方法受困于模式崩溃（高毒性，低多样性），而 PPO + Novelty 则往往无法在经过安全性微调的模型上找到有效的攻击。
迁移性： 当在 Gemma-2b-it 上训练时，GFlowNet + MLE 攻击者在 Llama-2-7b-chat 上达到了约 27% 的毒性率，在 Llama-3-70b-instruct 上达到了约 52%，显著优于所有其他方法。相比之下，REINFORCE 攻击是针对训练模型定制的，无法迁移（在其他模型上的毒性率为 0%）。
安全性微调功效： 在 GFlowNet + MLE 数据集上进行微调的目标模型，对来自其他方法（如 PPO + Novelty）的攻击具有鲁棒性，而使用其他数据集进行微调的模型则在 GFlowNet + MLE 攻击面前依然脆弱。
效率： 第二阶段（MLE）计算成本极低，在适配阶段仅占用总训练时间的不到 5%，且不需要在线采样或昂贵的奖励计算。

意义与主张

论文指出，多样性是实现鲁棒安全性微调的前提条件。由于未能发现多样化的攻击模式，当前的安全性对齐过程会使模型暴露在未见的攻击向量之下。所提出的方法为标准的 RL 提供了一个原则性的、概率性的替代方案，能够发现更广泛的漏洞。

作者声称，其方法：

解决了标准 RL 红队测试中固有的“模式崩溃”问题。
提供了一种可扩展的机制，无需从头开始重新训练即可将红队测试策略适配到新模型。
证明了基于多样化 GFlowNet 生成攻击进行安全性微调的模型，对更广泛的威胁具有更强的抵御能力。

论文最后指出其局限性，具体而言，其有效性受限于作为伤害代理的毒性分类器的准确性，且训练的在线性质（需要查询目标 LLM）会产生计算成本。然而，所提出的两阶段框架在实现自动化、鲁棒的红队测试方面迈出了重要的一步。